<<
>>

8.3. Способы оценки компетентности экспертов

Оценка компетентности экспертов может быть осуществлена различными методами, например: ?

по частоте цитирования или количеству публикаций эксперта; ?

результатам оценки ранее выполненных прогнозов; ?

результатам самооценки; ?

результатам взаимооценки; ?

результатам контрольной экспертизы.

Оценка компетентности экспертов по частоте цитирования достаточно часто применяется за рубежом и значительно реже в отечественной практике.

Предпосылкой применения этого метода является доступность научных публикаций широкому кругу специалистов и соблюдение норм авторского права. Сравнивая количество ссылок на работы того или иного специалиста, можно сделать вывод о его популярности в среде коллег.

Рассмотрим последовательность работ по формированию экспертной группы и оценке компетентности экспертов методом взаимооценки.

В качестве первого этапа выступает формирование генеральной совокупности экспертов — банка данных обо всех признанных специалистах в данной области. С этой целью 10 экспертам рассылаются анкеты с просьбой назвать 10 наиболее компетентных специалистов в прогнозируемой области. Затем всем вновь названным рассылаются аналогичные анкеты. Процедура продолжается до тех пор, пока в анкетах будут появляться новые имена.

Следующий этап — оценка компетентности экспертов. Составляется рабочая таблица — «Матрица оценки компетентности экспертов первого порядка» (табл. 8.1), по результатам которой рассчитываются коэффициенты компетентности экспертов первого порядка:

п

;=1 /=1

* Таблица 8.1

Матрица оценки компетентности экспертов первого порядка Номер оценивающего эксперта (0 Номер оцениваемого эксперта (/) 1 2 N 1 2 *21 •^22 Х2п Номер оценивающего эксперта (г) Номер оцениваемого эксперта (j) 1 2 N 3 *31 Х'М Х-Лп N Х„> Хпп п

ЇХ-

ы //

2>„

м п /•=і п

/=1 К К\ К к По результатам этих расчетов строится матрица оценки коэффициентов компетентности экспертов второго порядка (табл.

8.2), оценки в которой взвешиваются с учетом компетентности эксперта, давшего оценку, и рассчитывается коэффициент компетентности экспертов второго порядка:

І±х,-КІ <8'2>

;=1 /=1

где Xij —

результат анкетирования, заключение данное г-м экспертом но поводу компетентности у-го эксперта; номер оценивающего эксперта; номер оцениваемого эксперта; 1, если і-й эксперт назвал j-го эксперта; О, если і-й эксперт не назвал 7-го эксперта;

коэффициент компетентности первого порядка у-го эксперта, показывает долю голосов, полученных 7-м экспертом, в общей сумме голосов.

Таблица 8.2

Матрица оценки компетентности экспертов второго порядка Номер оценивающего эксперта (г) Номер оцениваемого эксперта (j) 1 2 N 1 К\хи К1*и 2 К2Х2\ К\х1п 3 К1Х 31 К\х 32 Номер оценивающего эксперта (г) Номер оцениваемого эксперта (/) 1 2 N N К**, /=і ы /=1 /=і К] К2Х к\ ... К]

Оценка профессиональных качеств эксперта способом самооценки предполагает наличие тестов, анкет, на вопросы которых эксперту предстоит дать самостоятельный ответ. Содержание вопросов в подобных анкетах определяется характером предстоящей прогнозной работы. Вопросы в анкетах должны быть сформулированы таким образом, чтобы по результатам ответов на них можно было определить степень компетентности экспертов. Каждый ответ на вопрос получает определенное количество баллов, соответствующее, с одной стороны, значимости оцениваемого показателя, а с другой — варианту ответа эксперта на данный вопрос. Конкретные численные значения весовых коэффициентов определяются рабочей группой и не сообщаются потенциальным экспертам. Коэффициент компетентности конкретного,эксперта может быть получен как частное от деления количества баллов данного эксперта на количество баллов, которое может получить «эталонный» эксперт: (8.3)

2>,

К,

/=і

/ ' ІІПЛХ где Vy — количество баллов, полученное 7-м экспертом при ответе на і-й вопрос анкеты;

v/max ~ количество баллов, которое может получить «эталонный» эксперт при ответе па 1-й вопрос анкеты.

Пример анкеты приведен в табл. 8.3. Анкета оценки профессиональных качеств экспертов

Таблица 8.3

Наименование показателя (і)

Возможные альтернативы (/) и их весовые коэффициенты (vf>) 1.

Стаж работы по исследуемой проблеме, лет 2 3 4 5 6 7 8 9 10 и больше 0,27 0%,32 0,37 0,48 0,52 0,54 0,60 0,66 0,74 Наименование показателя (г)

Возможные альтернативы (/) и их весовые коэффициенты (v 2. Форма участия в научно-организационной работе по исследуемой проблеме Руководитель

комплекса

работ Руководитель

одной

работы Участник выполнения нескольких работ Участник выполнения одной работы 0,70 0,60 0,50 0,40 3. Наличие ученой степени по исследуемой проблеме Доктор наук Кандидат наук Отсутствие 0,65 0,52 0,49 4. Наличие печатных работ по исследуемой проблеме Монографии Статьи и авторские свидетельства Отчеты Отсутствие 0,65 0,56 0,47 0 5. Источники Теоретические Обобщение работ Собственные информации, и(или) эксперимен отечественных интуитивные используемые тальные или зарубежных представления при изучении исследования авторов проблемы 0,66 0,55 0,43 6. Уровень достоверности ранее сделанных прогнозов, % 100-90 89-60 59-30 29-10 10-0 0,89 0,65 0,40 0,27 0 Другой метод оценивания компетентности экспертов — проведение контрольной экспертизы. Если правильные ответы на поставленные вопросы заранее неизвестны, то используется подход, основанный на обработке нормированных балльных оценок. Самым компетентным признается эксперт, у которого оценки ближе к средне- групповым.

97

7. Бутакова М. М.

Получаемый в результате коэффициент компетентности может быть использован для окончательного вынесения решения при обработке экспертной информации. При принятии окончательного решения по тем или иным результатам обработки и анализа экспертных оценок следует учитывать, что любой из экспертов, который формально, например, в силу предложенного способа оценки компетентности, был квалифицирован как «самый некрмпетентный», может дать наиболее точную оценку. Правда, случаи, когда формально малокомпетентный эксперт предскажет (или угадает) ответ, который как раз и окажется на практике верным, бывают крайне редко. Скорее следует признать, что прда правильном подборе экспертной группы в нее редко попадает специалист, резко отличающийся своей компетентностью от остальных.

Вопросы и задания 1.

Представьте себе, что вам как аналитику торговой фирмы, необходимо построить прогноз спроса на продукцию вашей фирмы на среднесрочную перспективу. Опишите совокупность факторов, которые вам необходимо учесть, чтобы определить, какие методы прогнозирования, формализованные или интуитивные, следует применить для решения поставленной перед вами задачи. 2.

В чем заключаются преимущества интуитивных методов прогнозирования? 3.

Представьте себе, что вам поручено возглавить рабочую группу по разработке одного из названных ниже разделов прогноза социально- экономического развития субъекта Российской Федерации. Составьте план ваших действий и план действий вашей рабочей группы. 4.

Предположим, что вам необходимо отобрать экспертов для проведения экспертного опроса на одну из указанных ниже тем. Разработайте анкету для оценки компетентности экспертов методом самооценки в одной из названных областей.

Возможные темы экспертных опросов: —

прогноз конъюнктуры рынка конкретного товара или услуги; —

прогноз занятости населения города; —

прогноз курса валют; —

прогноз рынка образовательных услуг. 5.

Предположим, что 10 экспертов давали оценку компетентности себя и своих коллег. Результаты взаимооценки приведены в таблице. На основании табличных данных требуется оценить степень компетентности каждого эксперта и сформировать группу из шести экспертов.

Матрица оценки компетентности экспертов 1-го порядка Номер Номер оцениваемого эксперта (/) оценивающего эксперта (/) 11 22 33 4 5 66 7 8 9 110 1 1 0 1 1 1 0 0 1 0 1 2 1 1 1 1 . 0 0 1 0 1 1 3 1 0 1 0 1 1 0 1 0 1 4 0 0 0 1 0 0 1 1 0 1 5 1 0 0 1 И 0 1 1 1 0 6 0 1 0 0 0 1 1 0 1 0 7 0 0 0 0 1 0 1 0 1 1 8 1 1 0 0 0 1 0 1 0 1 9 1 0 1 0 1 0 1 0 1 0 10 1 1 0 0 1 0 1 0 0 1

<< | >>
Источник: Бутакова М.М.. Экономическое прогнозирование: методы и приемы практических расчетов : учебное пособие / М.М. Бутакова. — 2-е изд., испр. — М.: КНОРУС. - 168 с.. 2010

Еще по теме 8.3. Способы оценки компетентности экспертов:

  1. Использование работы эксперта при осуществлении аудиторской проверки, кто может быть экспертом и в каких случаях его нанимают, отчет эксперта.
  2. 42. Финансовые риски, их оценка и способы снижения.
  3. 42. Финансовые риски, их оценка и способы снижения.
  4. Глава 5 ЭКСПЕРТ И ВОСПРОИЗВОДСТВО НАУЧНОГО ЗНАНИЯ
  5. Вопрос 32. Кредитоспособность заемщика и способы ее оценки.
  6. Компетентность
  7. Привлечение экспертов
  8. Учет и оценка основного капитала. Способы переоценки
  9. 1.4. PR и компетентность современного менеджера
  10. § 3. Повышение компетентности менеджеров
- Информатика для экономистов - Антимонопольное право - Бухгалтерский учет и контроль - Бюджетна система України - Бюджетная система России - ВЭД РФ - Господарче право України - Государственное регулирование экономики в России - Державне регулювання економіки в Україні - ЗЕД України - Инновации - Институциональная экономика - История экономических учений - Коммерческая деятельность предприятия - Контроль и ревизия в России - Контроль і ревізія в Україні - Кризисная экономика - Лизинг - Логистика - Математические методы в экономике - Микроэкономика - Мировая экономика - Муніципальне та державне управління в Україні - Налоговое право - Организация производства - Основы экономики - Политическая экономия - Региональная и национальная экономика - Страховое дело - Теория управления экономическими системами - Управление инновациями - Философия экономики - Ценообразование - Экономика и управление народным хозяйством - Экономика отрасли - Экономика предприятия - Экономика природопользования - Экономика труда - Экономическая безопасность - Экономическая география - Экономическая демография - Экономическая статистика - Экономическая теория и история - Экономический анализ -