Экспертные оценки и принятие решений

Экспертные оценки при принятии решений в той или иной форме использовались во все времена. Делфийский оракул в Древней Греции вещал внушаемые свыше пророчества, а совет старейшин их интерпретировал, стремясь верно определить подсказанное богами решение.

Организация и проведение экспертиз, реализованных в той или иной форме, отражающей особенности эпохи, народа, традиций и обычаев, должны были обеспечить профессиональную оценку ситуаций и принятие эффективных управленческих решений.

По мере совершенствования и усложнения процесса принятия решений, по мере того, как мир становился более технологичным, возрастало внимание к экспертным оценкам.

Мы считаем началом становления экспертных оценок — момент создания первых официально описанных и исследованных технологий экспертного оценивания. В частности, появление первых работ, посвященных групповому выбору, определению результата коллективных экспертиз, методам Делфи, мозговой атаки, сценариев и др., описанию опыта их использования. Это 50-е, 60-е годы нашего столетия. Хотя было и немало работ, предшествовавших началу широкого использования экспертных оценок.

К их числу можно отнести и рассуждения Галилео Галилея о точности оценок экспертов, и работы Кондорсе, впервые обратившего внимание на то, что принцип большинства далеко не всегда позволяет определить наилучшую альтернативу, и работы Фехнера, посвященные психологическим измерениям, и работы Бернулли по субъективной вероятности, и работы Эйлера, связанные с функциями полезности. Этот список, естественно, далеко не полон.

В бывшем СССР началом создания и использования методов экспертного оценивания можно считать появление в конце 60-х годов работ В.М.Глушкова, Г.М.Доброва, Ю.В.Ершова и др. Однако возможности практического применения экспертных оценок в тот момент были несколько преувеличены, что показали специально проведенные эксперименты.

Однако следствием этого естественного заблуждения явился и вполне определенный положительный результат — была осознана необходимость более тщательного изучения возможностей экспертного оценивания, развития математических методов обработки и анализа экспертной информации.

Целесообразность практического использования методов экспертного оценивания. Экспертные оценки в нашем понимании — это суждения высококвалифицированных специалистов-профессионалов, высказанные в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования при принятии решений.

Экспертизы бывают индивидуальные и коллективные, однотуровые и многотуровые, с обменом информацией между экспертами и без, анонимные и открытые. Многообразие областей применения делает достаточно многообразным и гибким используемый на практике аппарат экспертного оценивания. Однако опыт показывает, что при реальном использовании экспертных оценок далеко не всегда можно уложиться в одну из широкоизвестных и применяемых схем.

Возникающие на практике задачи нередко оказываются сложнее традиционных подходов. Настоящая же цель применения технологий экспертного оценивания — принятие эффективного решения, а не обязательное использование традиционных схем. Поэтому специалистам — технологам, проводящим экспертизы, важно уметь творчески подойти к их организации и проведению для того, чтобы решить основную задачу — обеспечить адекватную оценку объекта экспертизы, выработать реализуемые и приводящие к цели альтернативные варианты решений, а среди них выбрать самый эффективный и надежный.

Однако творческий подход предполагает профессиональное знание специалистом — технологом принципов организации и проведения экспертиз, методов получения, анализа и обработки экспертной информации, анализа результатов экспертизы. Отсутствие профессионального владения технологиями экспертного оценивания чревато грубыми ошибками и получением неадекватных оценок, принятием нереализуемых и неэффективных решений. Примеры типичных ошибок при организации и проведении экспертиз будут приведены далее.

С нашей точки зрения, одна из самых серьезных опасностей сегодня — опасность непрофессиональных решений и действий. Непрофессионализм — вот причина больших и малых Чернобылей в экономике, промышленности, политике.

Основная цель организации и проведения экспертиз — повысить профессиональный уровень принимаемых решений за счет использования специально разработанных и проверенных на практике технологий экспертного оценивания.

Экспертные оценки являются информацией для ЛПР, необходимой при принятии взвешенных обоснованных решений, преимущественно, в сложных ситуациях принятия решений.

Это в полной мере относится к принятию решений в самых различных сферах практической деятельности.

Но вернемся непосредственно к экспертным оценкам. Для того, чтобы получаемая экспертная информация была качественной, необходимо выполнение следующих условий:

- наличие экспертной комиссии, состоящей из специалистов, профессионально знакомых с объектом экспертизы, и имеющих опыт работы эксперта;

- наличие аналитической группы, профессионально владеющей технологией организации и проведения экспертиз, методами получения и анализа экспертной информации;

- получение достоверной экспертной информации;

- корректная обработка и анализ экспертной информации.

Отсутствие любого из перечисленных условий ставит под сомнение эффективность и корректность проводимой экспертизы.

Укажем основные, с нашей точки зрения, проблемы совершенствования и развития экспертных технологий.

1. Формирование экспертной комиссии

Одной из центральных проблем при формировании экспертной комиссии является определение качества эксперта. Она достаточно детально будет обсуждена в разделе 2.2.

При формировании экспертной комиссии необходимо предусмотреть возможность эффективного взаимодействия экспертов, входящих в её состав, с целью получения полной и адекватной оценки объекта экспертизы ( [50], [73]) и др.).

Следует обратить внимание (раздел 3.4) на реализованную в автоматизированных системах экспертного оценивания (АСЭО-8, EXCO) задачу автоматизированного подбора экспертов для оценки объекта экспертизы с учетом их профессиональных знаний и опыта. При этом может решаться и обратная задача подбора для эксперта объектов, с которыми он профессионально наиболее знаком.

2. Организация и проведение экспертиз

Ряд работ посвящен организации и проведению экспертиз. Это, прежде всего, работы по систематизации многочисленных разновидностей метода Делфи, касающиеся, в основном, совершенствования процедур обмена информацией между экспертами в процессе экспертизы. Дальнейшее развитие получили метод мозговой атаки, сценариев, ситуационного анализа.

Для экспертизы сложных объектов, в частности, для экспертизы и прогнозирования научно-технических объектов, развивались и совершенствовались такие методы как ПАТТЕРН, методы Глушкова и Поспелова, система АСАС, различные разновидности использования метода деревьев целей и критериев и др. Разрабатывались механизмы выявления экспертных знаний и оценок.

В настоящее время все большее значение приобретает проведение комплексных экспертиз при оценке сложных объектов.

3. Получение экспертной информации

Широкое распространение получили методы экспертных ранжирований и гиперупорядочений, классификаций, парные и множественные сравнения, методы Терстоуна и Черчмена-Акофа, метод векторов предпочтений и др., изложение которых можно найти в разделе 2.3 и [50].

Ю.В.Сидельниковым [87] разработана классификация экспертных оценок, насчитывающая свыше 70 видов. Естественно, что различные виды экспертной информации требуют как различных методов ее получения, так и различных методов обработки.

При практическом использовании значительное внимание уделяется как качественным, так и количественным методам получения экспертной информации.

Широко используется и развивается язык бинарных отношений для единообразного представления как количественной, так и качественной экспертной информации.

Разрабатываются методы измерения экспертной информации. К числу основных проблем относятся:

- проблема представимости экспертной информации,

- проблема единственности измерений,

- проблема адекватности.

Последняя особенно важна для определения корректных преобразований экспертной информации при расчетах результирующих экспертных оценок — результата работы экспертных комиссий.

Проблема единственности измерений экспертной информации тесно связана с введением основных шкал теории измерений: шкал интервалов, разностей, отношений, порядковых шкал и т.д.

4. Определение результирующих экспертных оценок

Одной из центральных проблем обработки экспертной информации является определение результирующих экспертных оценок — результата коллективной работы экспертов. Для этой цели был введен аналог расстояния — мера близости между ранжированиями, классификациями и т.д.

Это позволило разработать корректные способы определения результирующих экспертных оценок такие, как медиана Кемени, метод строчных сумм и др. Более детальное описание упомянутых выше методов можно найти в разделе 2.8.

Получены первые результаты, определяющие целесообразность использования тех или иных видов результирующих в зависимости от характера экспертной информации.

Установлена связь между методами определения результирующих экспертных оценок и принципами коллективного выбора.

5. Многокритериальные оценки

Многолетний опыт использования методов и процедур экспертного оценивания показал, что во многих случаях, хотя и не во всех, оценки объектов экспертизы экспертами оказывались более точными при использовании методов многокритериального оценивания.

Развитие получили методы определения факторов, характеризующих объекты экспертизы. В частности, многомерное шкалирование, факторный анализ, статистические методы определения существенных факторов. Развивались методы оценки их сравнительной весомости, принципы принятия решений на основе оценок объектов по многим критериям, далеко не всегда сводящиеся к сверткам. Проведена систематизация и классификация принципов выбора и анализ результатов их использования при принятии решений.

Применяются композиционные принципы выбора. Решаются задачи многокритериальной оптимизации, существенно использующие экспертную информацию.

6. Анализ результатов экспертизы

Полученная экспертная информация обязательно должна быть проанализирована. Получили развитие методы оценки согласованности экспертных суждений, высказанных в виде ранжирований, парных сравнений и т.д. При этом установлена связь между коэффициентами ранговой корреляции, характеризующими согласованность экспертных суждений, и упомянутыми ранее мерами близости.

На основании оценки степени согласованности экспертных суждений определяются коалиции экспертов — «единомышленников». Разработаны методы оценки непротиворечивости экспертных суждений. Особенно такой анализ актуален при использовании метода парных сравнений.

Развиваются методы оценки точности экспертных суждений. При этом большее развитие получили методы оценки сравнительной точности экспертных суждений при использовании различных критериев точности.

Скорее поставлены, чем решены проблемы оценки степени конъюнктурности, конформизма и других факторов, характеризующих адекватность экспертной информации.

7. Компьютерные системы поддержки

Характерным для современного этапа использования методов экспертного оценивания является широкое применение компьютерных систем поддержки (см. Часть 3).

К числу таких систем могут быть отнесены экспертные системы, позволяющие использовать знания и опыт экспертов — специалистов высокой квалификации специалистами менее высокой квалификации для решения задач, возникающих в их практической деятельности.

Системы поддержки принятия решений, находящие применение в различных областях, в качестве одной из основных составляющих используют результаты экспертного оценивания.

Однако наиболее важным классом компьютерных систем, позволяющих обеспечить сопровождение и поддержку непосредственно процедур получения, обработки и анализа экспертной информации являются, с нашей точки зрения, автоматизированные системы экспертного оценивания (АСЭО).

АСЭО обеспечивают технологическое сопровождение, необходимое методическое и информационное обеспечение процесса экспертного оценивания при организации и проведении экспертиз с учетом специфического характера проводимой экспертизы.