Экспертные оценки и принятие решений
Экспертные технологии — неотъемлемая составная часть процесса принятия важных управленческих решений.
Профессионально принятое решение основано на правильном представлении ситуации, понимании структуры и комплексного (системного) характера ее составляющих, учете основных факторов и тенденций, определении путей эффективного достижения поставленных целей.
Ситуации могут возникать простые и сложные, а решения, как в простых, так и в сложных случаях хотелось бы принимать верные, приводящие к достижению поставленных целей.
Следует отметить, что для нашего времени характерна возросшая технологическая сложность процесса управления. С одной стороны, это объясняется возросшей сложностью объектов управления, с другой стороны, осознанием необходимости учитывать как объективные тенденции развития ситуации, так и реакцию на принимаемые решения лиц, оказывающих влияние на ее развитие (рефлексивность). Дополнительные возможности открываются с появлением компьютерных технологий поддержки процесса принятия решений.
Владение современными технологиями требует наличия у лица, принимающего решения (ЛПР), необходимых опыта, знаний, умения, навыков, иными словами, профессионализма. Отсутствие такого профессионализма нередко приводит к дорогостоящим ошибкам и потерям.
Особо подчеркнем, что когда мы говорим о профессионализме при принятии решений, речь идет, прежде всего, о профессионализме управленца, о совершенном владении технологиями принятия решений.
Простые ситуации, в которых ЛПР обладает достаточным опытом принятия решения и достаточной информацией, как правило, не вызывают затруднений.
Однако более сложные ситуации, развитие которых важно для ЛПР, требуют дополнительного внимания. ЛПР может не обладать всей совокупностью необходимой информации. При чем это скорее типичный случай, чем исключение, если ситуация действительно сложная. Принятие же важного решения при отсутствии необходимой информации и четкого понимания тенденций развития ситуации содержит слишком большой элемент риска.
Снижение риска принятия ошибочного решения может быть достигнуто за счет использования экспертных технологий. Корректное их использование при принятии управленческих решений и является основным содержанием книги.
В первом разделе Части 1 книги приводится структура взаимодействия «СИТУАЦИЯ — ЛПР» и определяется место, занимаемое в процессе управления экспертными технологиями. Обсуждаются основные проблемы, для решения которых необходимы экспертные технологии. К их числу относятся, в частности, определение целей, стоящих перед объектом управления, прогнозирование, разработка сценариев, генерирование альтернативных вариантов решений, разработка оценочных систем и систем рейтингов, принятие коллективных решений.
Во втором разделе обсуждаются основные проблемы экспертного оценивания, решение которых необходимо для корректного их использования. Это такие проблемы, как формирование экспертных комиссий, организация и проведение экспертиз, корректное получение экспертной информации, определение результата работы экспертных комиссий, многокритериальные оценки, анализ результатов экспертизы, компьютерные системы поддержки организации и проведения экспертиз.
В третьем разделе приводится пример определения рейтинга 100 ведущих политиков страны, публикуемый «Независимой газетой», — характерный пример использования экспертной информации для принятия решений в области политической деятельности. Анализируются преимущества и недостатки применяемых экспертных технологий.
В завершающем четвертом разделе Части 1 книги приводятся примеры типичных ошибок, встречающихся в реальной практике проведения экспертиз. Типичные ошибки разбиты на три группы. К первой группе отнесены ошибки, совершаемые при организации и проведения экспертиз, ко второй — при обработке экспертной информации, к третьей — при использовании коллективных экспертных процедур.
В Части 2 книги, посвященной методам получения и обработки экспертной информации, в первом разделе дается обзор наиболее известных методов организации и проведения экспертиз, включая методы Делфи и решающих матриц Поспелова, мозговой атаки и прогнозного графа. Отдельно рассматриваются методы разработки сценариев, эффективно используемые при ситуационном анализе.
Во втором разделе дается обзор наиболее распространенных методов оценки качества эксперта. Они подразделяются на априорные, в основе которых использование информации о компетентности эксперта, полученной до его участия в работе экспертных комиссий; апостериорные — рассчитанные на основании данных об оценке результатов участия эксперта в работе экспертных комиссий; тестовые — рассчитанные на основе специально разработанных тестов.
В третьем разделе приводятся методы получения качественных экспертных оценок такие, как парные сравнения и ранжирования, вектора предпочтений и дискретные экспертные кривые, и методы получения количественных экспертных оценок такие, как метод непосредственной количественной оценки и средней точки, Черчмена-Акофа и лотерей.
В четвертом разделе, посвященном основам теории экспертных измерений, обсуждаются определение шкалы, основные виды шкал, используемые при экспертных измерениях, основные проблемы, возникающие при экспертных измерениях такие, как проблема представимости экспертной информации, проблема единственности и проблема адекватности преобразований экспертной информации.
В пятом разделе основное внимание уделено многокритериальным оценкам, позволяющим определить степень достижения цели с учетом частных факторов ее характеризующих. Приводятся свойства, которым должен удовлетворять набор частных критериев, характеризующих объект управления. Рассматриваются достаточно часто используемые в экономике при принятии решений о выборе наиболее предпочтительного проекта методы «стоимость — эффективность» и «затраты — прибыль». На их примере показываются механизмы принятия решений при многокритериальных оценках.
В шестом разделе детально рассматриваются оценочные системы — основной инструментарий, используемый при оценке сравнительной предпочтительности альтернативных вариантов, определяющей выбор.
Обсуждаются составляющие оценочных систем: формирование частных критериев, определение их сравнительной весомости, шкал, предназначенных для определения оценок объекта экспертизы по частным критериям, принципы выбора. Широко используемые в настоящее время рейтинги также являются разновидностью оценочных систем.
Седьмой раздел посвящен коллективным экспертизам. Формулируются особенности коллективных экспертиз такие, как возможность более полных и разносторонних оценок объектов экспертизы, возможность получения объективизированных и более надежных оценок и т.д. Анализируются свойства коллективных решений, впервые сформулированные Эрроу и парадокс Эрроу, согласно которому их совместное выполнение невозможно. Приводятся примеры, подтверждающие, что правило большинства во многих случаях не позволяет определить выбор, действительно соответствующий предпочтениям большинства.
В восьмом разделе приводятся рациональные формы представления и методы корректного определения результата работы экспертных комиссий, в частности, определения результирующего ранжирования объектов экспертизы на основании ранжирований, указанных экспертами. Приводятся, сопровождаемые примерами, алгоритмы определения результатов коллективной экспертизы.
Девятый раздел посвящен методам анализа результатов экспертиз. Особое внимание обращается на нередко возникающую в практике проведения экспертиз неточность получаемых результатов, противоречивость экспертных суждений, их несогласованность. Анализируются основные причины, приводящие к неточности результатов экспертиз. Обсуждаются рациональные пути анализа причин несогласованности экспертных суждений, выявления коалиций экспертов — «единомышленников», обработки и анализа результатов оценок наиболее представительных коалиций экспертов.
В Части 3 книги приводится описание интеллектуальных систем и, прежде всего, тех из них, которые направлены на усиление возможностей человека при принятии управленческих решений.
В первом разделе дается общая характеристика интеллектуальных систем, сделавших возможным качественный скачок в развитии управленческих технологий, напоминаются основные идеи, реализованные в действующих интеллектуальных системах, определяется область их применения. Приводится описание основных типов интеллектуальных систем, принадлежащих направлению, представляющему для нас наибольший интерес. В частности, приводится описание экспертных систем, предназначенных для использования знаний и опыта квалифицированных специалистов специалистами менее высокой квалификации, систем поддержки принятия решений, предназначенных для сопровождения и поддержки управленческой деятельности ЛПР, а также автоматизированных систем экспертного оценивания, предназначенных для сопровождения и повышения эффективности работы высококвалифицированных специалистов — экспертов, от качества которой во многом зависит качество принимаемых управленческих решений.
Во втором разделе рассматриваются экспертные системы, предназначенные для наиболее массового использования. В экспертных системах предусматривается как диагностика ситуаций, определяемых предметной областью, так и выработка необходимых рекомендаций. Обсуждаются основные составляющие экспертных систем: база знаний, подсистема логического вывода, модуль извлечения знаний, подсистема объяснений. Приводятся многочисленные примеры систем.
В третьем разделе обсуждаются системы поддержки принятия решений, которые обеспечивают ЛПР необходимой информацией, позволяют прогнозировать ожидаемые результаты действий, уточнять оценочную систему, с помощью которой определяется сравнительная предпочтительность вариантов решений. Приводится описание некоторых реализованных и используемых систем поддержки принятия решений.
В четвертом разделе приводится структура, принципы работы автоматизированных систем экспертного оценивания, методы получения и анализа экспертной информации при их использовании. Обсуждаются технологии организации и проведения экспертиз при принятии управленческих решений, предполагающие применение автоматизированных систем экспертного оценивания. Приводится описание реализованных и применяемых в практике принятия управленческих решений систем.
Часть 4 посвящена применению экспертных технологий при принятии решений в различных областях практической деятельности. Рассматривается применение экспертных технологий при определении надежности банков, при прогнозировании динамики банковского продукта, при инвестиционных конкурсах, включая экспертизу бизнес-планов, при аккредитации учреждений, в деятельности аналитических служб.
В первом разделе содержится анализ наиболее известных методик расчета рейтингов банков, лежащих в основе оценки их надежности как для клиентов, так и для самих банков при определении кредитной политики. С точки зрения эффективности применения экспертных технологий рассматриваются методики расчета рейтингов банков, используемые Информационным центром «Рейтинг», Аналитическим центром финансовой информации, МБО «Оргбанк», Финансовой академией, рассматривается также широко известная методика Кромонова и др. Анализируются их сильные и слабые стороны.
Рассматривается также методика расчета рейтинга чековых инвестиционных фондов.
Во втором разделе приводятся результаты использования экспертных технологий при анализе финансовых рынков, в частности, при прогнозировании динамики изменения банковских продуктов, инфляции, валютного курса и т.д. К числу обсуждаемых проблем относится необходимость использования комплексных экспертиз, подготовка аналитической информации, разработка сценариев развития ситуации, формирование экспертных кривых, определение комплексной экспертной оценки.
В третьем разделе приводятся основные этапы экспертизы при проведении инвестиционных конкурсов такие, как экспертиза бизнес-планов, сравнительная оценка инвестиционных предложений экспертной комиссией, определение приоритетности реализации инвестиционных предложений, распределение финансовых средств, а также контроль реализации инвестиционных проектов. Обсуждаются экспертные технологии, используемые на различных этапах экспертизы инвестиционных конкурсов.
В ПРИЛОЖЕНИИ 1 приводится перечень вопросов, который может быть использован при разработке и экспертизе бизнес-планов.
Четвертый раздел Части 4 посвящен описанию экспертных технологий, используемых при аккредитации учреждений. К числу аккредитируемых объектов могут относиться медицинские учреждения научные центры, вузы и средние специальные учебные заведения т.д. Обсуждаются экспертные технологии, используемые при оценке эффективности деятельности учреждений, качества оказываемых населению услуг. Рассматриваемые технологии могут использоваться и при сертификации продукции.
Автоматизация процесса аккредитации открывает дополнительные возможности как в деятельности аккредитационных органов, так и для организации самообследования объектов аккредитации.
В пятом разделе обсуждается использование экспертных технологий аналитическими службами различной подчиненности. Формулируются основные цели деятельности аналитических служб, определяются основные особенности и даются рекомендации по использованию аналитическими службами экспертных технологий.
В ПРИЛОЖЕНИИ 1, как уже говорилось выше, содержится перечень вопросов, который может быть рекомендован для использования при разработке и экспертизе бизнес-планов.
В ПРИЛОЖЕНИИ 2 приводится методика оценки экологического риска с достаточно детальным описанием используемых экспертных технологий.
В ПРИЛОЖЕНИЕ 3 приводятся основные принципы организации экспертных служб на примере их организации в сфере науки. Эти же принципы могут использоваться и в других сферах деятельности.
Надеемся, что книга окажется полезной широкому кругу читателей и, прежде всего, тем, кто стремится принимать управленческие решения, не допуская при этом риска ошибочных решений или сводя такой риск к минимуму.