«ОСОБЕННОСТИ ТЕХНОЛОГИИ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ ФИНАНСОВЫХ РЫНКОВ»
Мастер-класс по управлению


Одной из отличительных особенностей российского финансового рынка является динамичность его развития и разнообразие факторов, оказывающих реальное воздействие на быстро, а подчас и резко, изменяющуюся ситуацию. Тем более необходимым представляется точно и своевременно определять основные механизмы, изменяющие ситуацию, и на основании их понимания предвидеть основные тенденции ее вероятного изменения.

Сказанное выше во многом объясняет и затруднения, испытываемые при использовании лишь традиционных статистических методов для проведения надежного анализа ситуации, складывающейся на финансовом рынке.

Дополнительные возможности открываются при изучении и анализе финансового рынка с использованием технологий экспертного оценивания. Следует, тем не менее, отметить, что непосредственное применение лишь одного из наиболее распространенных методов экспертной оценки, скажем, Делфи, ПАТТЕРН, мозговой атаки и т.д., при анализе столь сложного объекта не всегда приводит к успеху.

Как правило, к успеху приводит комплексная технология экспертного оценивания, сочетающая различные методы экспертной оценки и позволяющая объяснить и предвидеть динамику развития ситуации.

Необходимость использования сочетания различных методов экспертного оценивания и составляет Проблему 1, возникающую при организации и проведении экспертиз финансовой информации. В успешной ее реализации полезной может оказаться специально формируемая аналитическая группа, профессионально владеющая технологией экспертного оценивания.

Проблема 2. Формирование группы экспертов

При формировании группы экспертов (экспертной комиссии) нередко приходится сталкиваться с ситуацией, когда имеются профессионалы-финансисты, прекрасно представляющие практику анализируемой сферы деятельности, но не обладающие достаточной практикой, а иногда и готовностью, к деятельности эксперта. Поэтому одной из основных задач специалистов, организующих и проводящих экспертизу, является умение сделать привлекательным для экспертов участие в работе экспертной комиссии.

При регулярном проведении экспертиз целесообразно формирование банка данных об экспертах, приглашаемых для участия в работе экспертных комиссий. Данные о каждом эксперте запрашиваются в виде специально разработанных анкет. При регулярно проводимых экспертизах целесообразно рассчитывать рейтинг экспертов, как на основании предварительной информации, так и по результатам работы эксперта в составе экспертной комиссии.

Проблема 3. Подготовка аналитической информации

При анализе финансового рынка нередки ситуации, когда объектом экспертного оценивания становятся вопросы, требующие углубленных специальных знаний и опыта экспертов. В то же время эксперты, включенные в экспертную комиссию, как правило, не обладают возможностями и временем для дополнительного углубленного знакомства с объектом экспертизы. В этом случае целесообразной представляется подготовка аналитического материала, позволяющего в концентрированном виде представить основную информацию, характеризующую объект оценки. Такой материал готовится аналитической группой, возможно с привлечением соответствующих специалистов.

Проблема 4. Определение основных факторов

Ключом к пониманию механизмов, влияющих на развитие оцениваемой ситуации, является понимание факторов, оказывающих существенное воздействие на развитие ситуации.

При наличии достаточных статистических данных этому этапу экспертизы должен предшествовать анализ статистической информации. Нередко задача выявления основных факторов, влияющих на развитие ситуации, может быть решена с использованием методов факторного анализа, корреляционного анализа, многомерного шкалирования и т.д.

В случаях более сложных, нередко характерных для анализа финансового рынка, а также в случаях, когда необходима качественная (неколичественная) оценка, основные факторы определяются с помощью методов экспертного оценивания.

Экспертам предлагаются специально разработанные анкеты, в которых они указывают наиболее важные, с их точки зрения, факторы, ранжируют их по важности и оценивают их сравнительную весомость. Использование специально разработанных методов обработки экспертной информации позволяет при проведении коллективной экспертизы, когда для участия в экспертизе привлекается несколько специалистов-профессионалов, рассчитать результирующие экспертные оценки и на их основании установить перечень основных факторов, влияющих на развитие оцениваемой ситуации.

Отметим, что при экспертном оценивании финансовых рынков мнения экспертов могут значительно отличаться, поэтому определение результирующих экспертных оценок, как при определении основных факторов, так и при определении количественных и качественных оценок, является актуальной задачей.

Сравнительная весомость факторов учитывается в дальнейшем при определении ожидаемых тенденций развития оцениваемой ситуации. В некоторых случаях требуется использование более сложных зависимостей между факторами при анализе их воздействия на развитие ситуации.

Проблема 5. Определение сценариев развития

На оценки ожидаемых значений факторов, показателей и др. оцениваемых величин во многом влияют условия, при которых такие оценки производятся. Совокупность этих условий описывается наиболее вероятными сценариями развития ситуации. Их определение и описание — одна из основных составляющих успешной экспертной оценки. В сложных случаях определение наиболее вероятных сценариев развития ситуации может стать объектом самостоятельной экспертизы. При формировании альтернативных вариантов сценариев могут использоваться материалы, подготовленные аналитической группой.

Наиболее распространенным методом, используемым при формировании альтернативных вариантов сценариев и выбора среди них наиболее вероятных, является метод мозговой атаки в сочетании со специально проводимым анализом основных тенденций развития ситуации.

Определенные в результате экспертизы сценарии являются основной информацией, характеризующей условия, при которых производится экспертная оценка.

Так, например, при экспертной оценке ожидаемого валютного курса в качестве наиболее вероятных рассматривались следующие сценарии:

- сохранение валютного коридора, при этом верхняя и нижняя границы коридора должны определяться экспертами;

- фиксированный курс рубля;

- отсутствие жестких ограничений на валютный курс.

Проблема 6. Получение качественных и количественных экспертных оценок

После того как четко определены условия, при которых оценки должны производиться, эксперты приступают непосредственно к процедуре оценивания значений основных факторов, определяющих развитие той или иной анализируемой ситуации на финансовом рынке. В настоящее время процедуры экспертного оценивания достаточно хорошо отработаны и известны, поэтому мы не будем на них останавливаться детально. Ниже будет приведено описание процедуры построения экспертных кривых, которые находят достаточно широкое применение при экспертном прогнозировании, в т.ч. при прогнозировании развития анализируемых ситуаций на финансовых рынках.

Нередко из-за отсутствия точных количественных данных возникает необходимость использования качественных оценок. В этом случае мы рекомендуем пользоваться таким проверенным инструментарием, как шкалы Харрингтона (см. раздел 2.6), а при сравнительных оценках –ранжированиями, парными сравнениями и т.д. В настоящее время существуют достаточно разработанные методы расчета результирующих экспертных оценок при коллективной экспертизе.

Для различных сценариев развития ситуации экспертные оценки ожидаемых значений факторов, как правило, различаются.

Если целью экспертизы является оценка ожидаемых значений того или иного фактора или показателя, характеризующего финансовый рынок, то целесообразно указывать не только наиболее вероятное их значение, но также минимально и максимально возможные значения.

Проблема 7. Формирование экспертных кривых

Динамику изменения отдельных факторов и комплексных показателей во времени и не только во времени, получаемую в результате экспертного оценивания, удобно представлять в виде экспертных кривых. При формировании экспертных кривых сначала определяются характерные точки, в которых возможны значительные изменения тенденций развития анализируемого фактора. Например, в качестве характерных точек, в зависимости от оцениваемой ситуации, могут использоваться годы, кварталы, месяцы. В частности, при оценке показателей, зависящих от политической обстановки, в качестве характерной точки на координатной оси времени могут рассматриваться дата событий, которые могут оказать существенное влияние на политический климат в стране, а, следовательно, и на оцениваемый показатель.

После того, как характерные точки определены, эксперты указывают ожидаемые значения оцениваемого фактора или показателя в каждой характерной точке. В некоторых случаях эксперты указывают также ожидаемый вид экспертной кривой в интервалах между характерными точками.

Если в экспертизе участвуют несколько экспертов, определяется результирующая экспертная кривая.

Результатом работы экспертной комиссии при анализе ситуации на финансовом рынке может стать определение динамики изменения того или иного показателя во времени, представленной в виде экспертной кривой.

Естественно для различных сценариев развития ситуации экспертные кривые, как правило, различны.

Для оценки тенденций развития комплексных показателей, характеризующих финансовый рынок, нередко целесообразным оказывается формирование экспертных кривых, определяющих динамику изменения таких факторов как инфляция, валютный курс, объем внешней торговли, налоговые платежи.

Проблема 8. Формирование комплексной экспертной оценки.

На основании полученных данных, характеризующих динамику изменения основных факторов, оказывающих влияние на динамику изменения анализируемого комплексного показателя, аналитической группой рассчитывается комплексная экспертная оценка.

Методы расчета результирующих экспертных оценок приведены в разделе 2.8, поэтому мы не будем останавливаться на них детально. В зависимости от целей экспертизы такой комплексной экспертной оценкой может быть рассчитанное результирующее значение комплексного показателя, результирующая экспертная кривая, характеризующая динамику изменения комплексного показателя, и т.д.

Если целесообразно рассмотрение нескольких наиболее вероятных альтернативных сценариев развития ситуации, то комплексная оценка должна определяться для каждого из них.

Нередко проведение сложных экспертных оценок при анализе ситуации на финансовом рынке приводит к необходимости оценки комплексных показателей, имеющих вспомогательное значение и необходимых лишь для расчета комплексных показателей более высокого иерархического уровня, ожидаемая динамика изменения которых и является целью экспертизы.

Примером комплексной экспертной оценки может стать определение рейтинга банков, оценка финансовой устойчивости объекта инвестирования, оценка динамики изменения того или иного продукта банковской деятельности и т.д.

Проблема 9. Анализ результатов экспертизы

С целью повышения надежности результатов экспертизы целесообразно проведение дополнительного анализа полученных результатов и, прежде всего, это относится к результатам комплексной экспертной оценки. Целесообразно проведение дополнительного содержательного анализа результатов расчета ожидаемых значений комплексного показателя. Такой анализ полученной в результате обработки экспертных данных информации о динамике развития ситуации может привести к выявлению неучтенных на предыдущих этапах экспертизы факторов, к уточнению сравнительной весомости факторов и т.д.

В ряде случаев используются методы организации и проведения экспертиз, позволяющие оценивать степень противоречивости экспертных оценок. Это также позволяет, при необходимости, своевременно уточнять результаты экспертизы.

Проведение коллективной экспертизы способствует объективизации получаемых экспертных оценок. В то же время проведение коллективной экспертизы требует использования соответствующей технологии экспертного оценивания. Эксперты должны одинаково понимать цели экспертизы и задачи, стоящие перед ними в процессе проведения экспертизы. Как показывает опыт, эксперты обладают различными объемами информации, на основании которой они дают свои оценки. Существуют специально разработанные методы, предусматривающие обмен информацией между экспертами (см. раздел 2.1). Они различны в зависимости от объекта экспертизы. Начиная от традиционных процедур обмена информацией, предусмотренных в методах Делфи и мозговой атаки, и кончая менее традиционными, предусматривающими более полный обмен информацией между экспертами и определяющими его последовательность.

Целесообразна оценка степени согласованности оценок, даваемых экспертами, которая позволяет с одной стороны уточнить оценки, а с другой стороны — дать интерпретацию устойчивым различиям в оценках экспертов, принадлежащих различным «коалициям».

Обсужденные выше проблемы, как правило, возникают при организации и проведении экспертиз, являющихся на сегодняшний день необходимым инструментарием анализа финансовых рынков. Понимание этих проблем и использование соответствующих технологий экспертного оценивания во многом определяет качество анализа, проводимого с их использованием.