X Международная студенческая научная конференция Студенческий научный форум - 2018

 

Системный анализ применяется, главным образом, к исследованию искусственных систем (социальных, экономических, организационных, технических, человеко-машинных и тому подобных), причём в таких системах важная роль принадлежит деятельности человека. Наиболее широкое распространение системный анализ получил в теории и практике управления — при выработке, принятии и обосновании решений, связанных с проектированием, созданием и управлением сложными, многоуровневыми и многокомпонентными искусственными системами. Одним из перспективных методов системного анализа является метод экспертных оценок.

Метод экспертных оценок – это метод организации работы со специалистами-экспертами и обработки мнений экспертов. Экспертное оценивание – процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора). Эксперты (от латинского "expertus" – опытный) – это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Сущность метода экспертной оценки заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте.

Различают индивидуальные и коллективные экспертные оценки [1].

Экспертные оценки часто используются при выборе, например:

– одного варианта технического устройства для запуска в серию из нескольких образцов;

– группы космонавтов из многих претендентов;

– набора проектов научно-исследовательских работ для финансирования из массы заявок;

– получателей экологических кредитов из многих желающих;

– при выборе инвестиционных проектов для реализации среди представленных, и т.д [1].

Можно выделить следующие этапы экспертного оценивания:

Постановка цели исследования. Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

Выбор лучшего варианта решения среди имеющихся.

Прогнозирование развития процесса.

Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

Четкое определение условий, времени, внешних и внутренних ограничений проблемы.

Возможность ответа на вопрос с доступной человеческому опыту точностью.

Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

Выбор формы исследования, определение бюджета проекта.

Существующие виды экспертных оценок можно классифицировать по признакам:

По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

По количеству итераций (повторов процедуры для повышения точности) – одношаговые и итерационные.

По решаемым задачам: генерирующие решения и оценивающие варианты.

По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

По способу обработки мнений экспертов: непосредственные и аналитические.

По количеству привлекаемых экспертов: без ограничения, ограниченные (обычно используется 5-12 человек экспертов).

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие – составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

После получения ответов экспертов необходимо провести их оценку (статистический анализ результатов). Это позволяет:

1) Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).

2) Оценить ошибку исследования.

3) Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов[2].

Методы экспертных оценок можно разделить на две группы:

методы коллективной работы экспертной группы

методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".

Метод комиссий – один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы:

- от каких простейших форм к более сложным должен пройти этот процесс;

- как он повлияет на национальное хозяйство и экономические связи стран;

- каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.

Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования, а сам сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период.

В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Метод суда является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса. В роли "подсудимых" выступают выбираемые варианты решения. В роли "судей" – лица, принимающие решение. В роли "прокуроров" и "защитников" – члены экспертной группы.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи». Цель – разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Особенности метода Дельфи:

а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);

б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических [4].

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос – ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода – возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний [5].

Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.

На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.

Чаще всего при обработке результатов опроса используются методы математической статистики [6].

В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:

формирование обобщенной оценки;

определение относительных весов объектов;

установление степени согласованности мнений экспертов и др.

Рассмотрим методы решения каждой из перечисленных задач.

Формирование обобщенной оценки. Итак, пусть группа экспертов оценила какой-либо объект, тогда x_j – оценка j-го эксперта

где m – число экспертов.

Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (M_E), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.

Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:

Определение относительных весов объектов. Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора [7].

Один из методов определения весов состоит в следующем. Пусть x_ij – оценка фактора i, данная j-ым экспертом, , , n – число сравниваемых объектов, m – число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (w_i), равен:

где w_ij – вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

,,

Установление степени согласованности мнений экспертов. В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса.

Вариационный размах (R):

R = x_max – x_min,

где x_{max –} максимальная оценка объекта;

x_min – минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной формуле:

где xj – оценка, данная j-ым экспертом;

m – количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x_1j, x_2j, …, x_nj [8].

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

где x_ij – ранг, присвоенный i-му объекту j-ым экспертом;

x_ik – ранг, присвоенный i-му объекту k-ым экспертом;

d_i – разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное – об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь [9].

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации – общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов[10].

Рассмотрим пример работы информационной системы, разработанной ЗАО НПО «Импульс» совместно с ДГТУ для сравнения по критериям, которая используется для оценки эффективности использования транспорта на предприятиях г.Волгодонска.

Для примера сравниваем автобусы ЛиАЗ, МАЗ, ПАЗ, ВМЗ и ЛАЗ одного из предприятий города Волгодонска методом экспертных оценок.

1. Система с помощью оператора выбирает параметры сравнения (таблица 1). Параметров желательно выбирать не менее 4 и не более 7, т.к. большее количество параметров влечет расфокусировку и отсутствие четкого понимания результата. То же самое и с количеством сравниваемых объектов - от 4 до 7.

Таблица 1- Параметры сравнения

№	Параметр	Вес	А (ЛиАЗ)	Б (МАЗ)	В (ПАЗ)	Г (ВМЗ)	Д (ЛАЗ)	Е
1	Дальность пути
2	Вместимость
3	Расход топлива V
4	Комфорт
5	Стоимость эксплуатации
Сумма		1

2. Далее программа распределяет "Вес" между параметрами таким образом, чтобы в сумме он был равен 1 (таблица 2). Наиболее приоритетным параметрам выделяется большее значение. Причем каждый параметр варьируется в диапазоне от 0,015 до 0.3.

Таблица 2- Распределение веса

№	Параметр	Вес	А (ЛиАЗ)	Б (МАЗ)	В (ПАЗ)	Г (ВМЗ)	Д (ЛАЗ)	Е
1	Дальность пути	0,2
2	Вместимость	0,15
3	Расход топлива V	0,25
4	Комфорт	0,15
5	Стоимость эксплуатации	0,25
Сумма		1

3. Оператор задает описательную сравнительную часть для автобусов (таблица 3):

Таблица 3- Сравнительная часть для автобусов

№	Параметр	Вес	А (ЛиАЗ)	Б (МАЗ)	В (ПАЗ)	Г (ВМЗ)	Д (ЛАЗ)	Е
1	Дальность пути	0,2	8	10	5	9	7
2	Вместимость	0,15	8	9	10	10	9
3	Расход топлива V	0,25	10	7	6	8	8
4	Максимальная скорость	0,15	6	9	8	8	10
5	Стоимость эксплуатации	0,25	7	8	5	9	8
Сумма		1

4. Далее полученные баллы умножаются на вес данного параметра и в последний столбец "Е" ставится максимальное значение получившихся чисел. В строке "Сумма" складываем сумму "весов" параметров для каждого автобуса (Таблица 4).

Таблица 4- Результаты работы системы

№	Параметр	Вес	А (ЛиАЗ)	Б (МАЗ)	В (ПАЗ)	Г (ВМЗ)	Д (ЛАЗ)	Е
1	Дальность пути	0,2	8*0,2 = 1,6	10 *0,2 = 2	5*0,2 = 1	9*0,2 = 1,8	7*0,2 = 1,4	1,8
2	Вместимость	0,15	8*0,15 = 1,2	9*0,15 = 1,35	10*0,15 = 1,5	10*0,15 = 1,5	9*0,15 = 1,35	1,5
3	Расход топлива V	0,25	10*0,25 = 2,5	7*0,25 = 1,75	6*0,25 = 1,5	8*0,25 = 2	8*0,25 = 2	2,5
4	Максимальная скорость	0,15	7*0,15 =1,02	8*0,15 = 1,2	5*0,15 = 0,75	9*0,15 = 1,35	8*0,15 = 1,2	1,35
5	Стоимость эксплуатации	0,25	6*0,25 = 1,5	8*0,25 = 2	9*0,25 = 2,25	10*0,25= 2,5	8*0,25 = 2	2,5
Сумма		1	7,82	8,3	7	9,15	7,95

5. Анализируя полученную таблицу можно сделать вывод , что автобус "Г" оказался самым эффективным. Далее мы уже анализируем, надо ли нам использовать Автобус Г, оказавшийся самым эффективным, либо , например, склониться в сторону автобуса А с самыми маленькими эксплуатационными расходами, так как именно этот параметр ключевой.

Программа анализирует полученную информацию и выделает цветом максимальный результат с выдачей рекомендаций оператору.

Таким образом, применение метода экспертных позволило ЗАО НПО «Импульс» совместно с ДГТУ реализовать информационную систему для автоматизации выбора наиболее походящего автотранспорта для предприятий г. Волгодонска.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

Орлов А.И. Экспертные оценки. // Заводская лаборатория. − 1996. − Т. 62. − №1. − С. 54-60.

Орлов А.И. Экспертные оценки. Учеб. пособие. – М.: 2002.

Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. – М.: Экономика, 1978. − 133 с.

Менеджмент. Учеб. пособие. / Под ред. Ж.В. Прокофьевой. – М.: Знание, 2000. – 288 с.

Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. – М.: Наука, 1973. – 79 с.

Статистические методы анализа экспертных оценок. – М.: Наука, 1977. – 384 с.

Моисеев Н.Н. Математические задачи системного анализа. – М.: Наука, 1981. – 487 с.

Литвак Б.Г. Экспертные оценки и принятие решений. – М.: Патент, 1996.

Характеристики методов экспертных оценок [Электронный ресурс]: http://examen.od.ua/upravlen/page116.html. (дата обращения 28 .04.2017)

Экспертное оценивание. / Википедия. [Электронный ресурс]: http://ru.wikipedia.org/wiki/Экспертное_оценивание. (дата обращения 28 .11.2017)

Код для цитирования: Скопировать