Отрывок из учебника по теории систем и системному анализу
p> Сценарий является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию или разработке вариантов проекта. Таким образом, сценарий помогает составить представление о проблеме, а затем приступить к более формализованному представлению системы в виде графиков, таблиц для проведения других методов системного анализа.

2.4.3. МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

Группа методов экспертных оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне. Термин «эксперт» происходит от латинского слова expert - «опытный».

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных.
К числу таких требований относятся: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.
8—20
114
Глава 2
Основы оценки сложных систем
115

Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому классу относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т.е. эксперт источник достоверной информации; групповое мнение экспертов близко к истинному решению. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности и справедливости указанных гипотез недостаточно. В этом случае экспертов нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы.

Экспертные оценки несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективые, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

Этапы экспертизы формирование цели, разработка процедуры экспертизы, формирование группы экспертов, опрос, анализ и обработка информации.

При формулировке цели экспертизы разработчик должен выработать четкое представление о том, кем и для каких целей будут использованы результаты.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 < W < I, где W = 0 означает полную противоположность, a W = 1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если W = 0,7-0,8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием того, что в рассматриваемой совокупности экспертов действительно отсутствует общность мнений или внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.
Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции р, он принимает значения -1 < р < +1. Значение р = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а значение р = -1 -двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Тип используемых процедур экспертизы зависит от задачи оценивания.

К наиболее употребительным процедурам экспертных измерений относятся:
1. ранжирование;
2. парное сравнивание;
3. множественные сравнения;
4. непосредственная оценка;
5. Черчмена-Акоффа;
6. метод Терстоуна;
7. метод фон Неймана-Моргенштерна.

Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.

Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать какой-либо метод численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и фон Неймана-Моргенштерна.

При описании каждого из перечисленных методов будет предполагаться, что имеется конечное число измеряемых или оцениваемых альтернатив (объектов) А
= {а^ ... ,ап} и сформулированы один или несколько признаков сравнения, по которым осуществляется сравнение свойств объектов. Следовательно, методы измерения будут различаться лишь процедурой сравнения объектов. Эта процедура включает построение отношений между объектами эмпирической системы, выбор преобразования ф и определение типа шкал измерений. С учетом изложенных выше обстоятельств рассмотрим каждый метод измерения. 8*
116
Глава 2
Основы оценки сложных систем
117

Ранжирование. Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.

Рассмотрим эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность а{ > а2> ... > aN, где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чисел х, >... > xn, где х,—ф Ц.). Возможна и обратная последовательность х, ), «меньше» (), «менее предпочтительно» (- а-, либо а, > at, либо at ~ а . Выбор числового представления ф(й(.) можно произвести так: если ai X а» то ф (а(.) > ф (о
); если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. ф (а,) < ф (а,). Если объекты эквивалентны, то можно считать, что ф (я,-) = ф (а ).

В практике парного сравнения используются следующие числовые представления:
(2.1)
Хн = •
(

I, если а/ >- dj или at ~ Oj О, если а, ч о/, i,j = l,N;
(2.2)

2, если а,- >- ау-; 1, если а,- ~ uji О, если а; ч а .•, /,

J = 1, N.

Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, имеются пять объектов а,, а2, а3, а4, а5 и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения представлены в виде

Используя числовое представление (2.1), составим матрицу измерения результатов парных сравнений (табл. 2.6).

120
Глава 2
Основы оценки сложных систем
121


Таблица 2.7

Таблица 2.6
Результаты измерения пяти объектов
| |а|°2|аз|Й4|°5|
|а| |2 |2 |2 |0 |
|°2|0 |1 |2 |2 |0 |
|Й3|0 |0 |1 |1 |0 |
|«4|0 |0 |1 |1 |0 |
|°5|2 |2 |2 |2 |1 |

Матрица парных сравнений

| |«1|°2|аЗ|°4|а5|
|«1|1 |1 |1 |1 |0 |
|а2|0 |1 |1 |1 |0 |
|аз|0 |0 |1 |1 |0 |
|а4|0 |0 |1 |1 |0 |
|°5|1 |1 |1 |1 |1 |

В табл. 2.6 на диагонали всегда будут расположены единицы, поскольку объект эквивалентен себе. Представление (2.2) характерно для отображения результатов спортивных состязаний. За выигрыш даются два очка, за ничью одно и за проигрыш ноль очков (футбол, хоккей и т.п.). Предпочтительность одного объекта перед другим трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы). В качестве примера в табл. 2.7 приведены результаты измерения пяти объектов с использованием представления (2.2), соответствующие табл. 2.6.

Вместо представления (2.2) часто используют эквивалентное ему представление хн -1

+ 1, если cn>aj', О, если ai~dj', -1, если ai^aj-, i,j = l,N,

которое получается из (2.2) заменой 2 на +1, 1 на 0 и 0 на 1.

Если сравнение пар объектов производится отдельно по различным показателям или сравнение осуществляет группа экспертов, то по каждому показателю или эксперту составляется своя таблица результатов парных сравнений. Сравнение во всех воз- можных парах не дает полного упорядочения объектов, поэтому возникает задача ранжирования объектов по результатам их парного сравнения.

Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект а, предпочтительнее объекта а2, а2 предпочтительнее объекта а3 и в то же время а3 предпочтительнее объекта а,.

В случае разбиения объекта на классы эксперт может к одному классу отнести пары al и а2, а2 и а3, но в то же время объекты а, и а3 отнести к различным классам. Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы необязательно), недостаточной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритериальностью рассматриваемых объектов и т.д.

Непоследовательность эксперта приводит к тому, что в результате парных сравнений при определении сравнительной предпочтительности объектов мы не получаем ранжирования и даже отношений частичного порядка не выполнено свойство транзитивности.

Если целью экспертизы при определении сравнительной предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях имеет смысл в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11



Реклама
В соцсетях
рефераты скачать рефераты скачать рефераты скачать рефераты скачать рефераты скачать рефераты скачать рефераты скачать