Методы обработки экспертной информации

"Метод экспертных оценок применяется для решения проблем прогнозирования, планирования и разработки программ деятельности, выбора перспективной техники, оценки качества продукции и др. сложных неформализуемых проблем.

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.

Основными видами опроса экспертов являются: анкетирование и интервьюирование, дискуссии, метод "мозгового штурма", метод Дельфы.

При обработке результатов опроса возникают следующие основные задачи:
- определение компетентности экспертов и обобщённой оценки объектов,
- построение обобщённой ранжировки объектов,
- определение согласованности мнений экспертов,
- определение зависимостей между ранжировками.

Компетентность экспертов оценивается по степени согласованности их оценок с групповой оценкой объектов.

Пример: Пусть ранжировка одним экспертом объектов следующая: О₁ > О₂ = О₃ > О₄ > О₅ .

Матрица y_ij 5Х5 из 0 (О_i < О_j) и 1 (О_i >= О_j) .

Определим обобщённую ранжировку как такую матрицу парных сравнений, которая наилучшим образом согласуется с матрицами парных сравнений каждого эксперта.

При построении обобщённой матрицы парных сравнений можно учесть компетентность экспертов путём введения коэффициентов компетентности.

Оценка согласованности мнений экспертов основывается на использовании понятия компактности. Оценка каждого эксперта представляется как точка в метрическом пространстве. Если оценки экспертов находятся на небольшом расстоянии друг от друга, то можно это интерпретировать как хорошую согласованность суждений экспертов.

При обработке результатов ранжирования нередко возникает необходимость определения зависимости между результатами ранжирования, полученными от двух экспертов. Принято меру взаимосвязи оценивать коэффициентом ранговой корреляции" [136].

Комментарий

Эксперты - тоже люди. Соответственно, возникает "человеческий фактор". Председатель экспертной комиссии "методом Дельфы" (рассмотрение результата, аргументация, генерация нового результата и т.д. вплоть до некого консенсуса) пытается получить "красивый", с его точки зрения, результат.

Несогласных с большинством можно смело классифицировать, как некомпетентных (с "наукой усреднения" не поспоришь). Но это верно для проблем, по которым есть опыт их решения. Для проблем с недостаточным информационным потенциалом необходима не количественная, а качественная обработка результатов, когда одно мнение может перевесить все остальные. Да и на известные проблемы порой полезно взглянуть "свежим" взглядом, несмотря на риск прослыть "некомпетентным".

"Если вы осознаете, что «грамотный менеджмент» является убийцей успеха, то остается не так уж много, верно? Я не знаю, что «правильно». (Я не настолько самоуверен.) Но я убежден, что знаю, что значит «неправильно». (Настолько я самоуверен.)" [135]

Литература

[135] Том Питерс "Представьте себе!"

[136] Методы обработки экспертной информации: учебно-метод. пособие/ А.Н.Павлов, Б.В.Соколов; ГУАП. СПб., 2005. 42 с.