РАЗДЕЛ 2
МЕТОД ЭКСПЕРТНОГО ОЦЕНИВАНИЯ СВОЙСТВ ПОВТОРНО ИСПОЛЬЗУЕМЫХ КОМПОНЕНТОВ
2.1 Сущность метода экспертного оценивания
Экспертные оценки - это количественные или порядковые оценки процессов или явлений, не поддающихся непосредственному измерению [23]. Методы экспертных оценок - это методы научно-технического прогнозирования, базирующиеся на предположении, что на основе мнений эксперта можно построить адекватную модель будущего развития объекта прогнозирования [46]. В зависимости от типа эксперта (индивидуальный или коллективный) различают методы индивидуальных и коллективных оценок (рис.2.1) [46].
Рис. 2.1. Методы экспертных оценок
Метод экспертной оценки - "интервью" основывается на беседе прогнозиста с экспертом, в ходе которой прогнозист, в соответствии с заранее разработанной программой, ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта, а эксперт дает на них ответы.
Метод экспертной оценки - "аналитический" основывается на самостоятельной работе эксперта, направленной на анализ тенденций, оценку будущего состояния и путей развития прогнозируемого объекта.
Метод экспертной оценки - "комиссии" основывается на проведении группой экспертов дискуссии с целью выработки общей позиции по вопросам будущего развития прогнозируемых объектов. При использовании данного метода сказывается взаимное влияние экспертов, известная инерционность в отказе от однажды высказанного публично мнения и другие факторы, приводящие к нежелательным последствиям.
Метод экспертной оценки - "отнесенной оценки" ("мозговой штурм") основывается на разделении экспертов на две группы: свободно высказывающих мнения о решении заданной проблемы, и отбирающих оптимальное решение.
Метод экспертной оценки - "дельфийский" - основывается на отказе от прямых коллективных обсуждений, путем замены программой последовательных индивидуальных опросов, повторяющихся до достижения приемлемой сходимости высказанных мнений.
Применение методов индивидуальной экспертной оценки дает высокую степень зависимости результатов от субъективного мнения одного эксперта. Применение методов коллективной экспертной оценки позволяет снизить субъективность, повысить точность и степень конкретизации прогноза, но, требует больших затрат, вследствие привлечения нескольких экспертов [56].
В решаемой в диссертационной работе задаче отбора компонентов ПО - кандидатов в ПИК, объектом экспертного оценивания является компонент ПО, который представляется свойствами, отражающими его потенциальную повторную используемость. Поэтому реализация метода экспертного оценивания компонентов ПО требует выполнения двух следующих процессов (рис. 2.2):
- оценивание свойств, существенных в аспекте повторного использования;
- оценивание пригодности компонента ПО в кандидаты в ПИК и принятие соответствующего решения о создании ПИК или "отбрасывании" компонента.
Рис. 2.2. Процессы метода экспертного оценивания компонентов ПО
При выполнении указанных процессов может применяться один из описанных выше методов экспертного оценивания. Общая схема реализации метода показана на рис.2.3.
Рис. 2.3. Схема экспертного оценивания
Наиболее трудоемким при применении метода экспертного оценивания является первый процесс. Это связано с тем, что эксперту необходимо не только оценивать множество свойств, которые отражают повторную используемость, но и, принимая во внимание несистематическое повторное использование (white-box reuse), исследовать код компонента ПО, используя при этом достаточно сложные инструменты анализа исходного кода (анализаторы, диаграммеры, реструктуризаторы [53]), для того, чтобы делать достаточно обоснованные оценки.
Второй процесс применения метода экспертного оценивания является менее трудоемким, однако требует наличия у эксперта значительного опыта, чтобы избегать значительных погрешностей. Выполнение обоих процессов требует от эксперта кроме программистских еще и доменных знаний.
Принимая во внимание трудоемкость первого процесса и возможность выполнения измерений в ПО [67], представляется возможным оценки всех или некоторых свойств получать автоматически и тем самым исключить частично или полностью процесс оценки свойств компонента ПО (рис.2.2). С учетом автоматизации первого процесса функции эксперта в схеме показаны на рис.2.4.
Рис. 2.4 Процессы автоматизированного экспертного оценивания
При автоматизированном оценивании должно выполняться три процесса (рис. 2.4): измерение компонента, вычисление значений свойств компонента, принятие решения о создании ПИК. Процесс измерения компонента должен выполняться с помощью средства - измерителя исходных текстов программ, поставляющего значения прямых метрик компонента. Процесс вычисления значений свойств компонента должен выполняться с помощью средства - вычислителя значений свойств, обеспечивающего получение значений свойств на основе результатов измерения компонента, и моделей свойств, отражающих зависимости между прямыми метриками и неизмеряемыми свойствами компонентов ПО.
Так как вычисление значений свойств компонентов, и тем самым автоматизация экспертной оценки, должно производиться на основе моделей свойств, то необходимо обеспечить формализацию и адекватность этих моделей. В диссертации предлагается обеспечивать формализацию и адекватность таких моделей путем их уточнения с помощью опытных экспертов, обладающих знаниями в повторном использовании. Для этого необходимо последовательно выполнять три процесса: оценку свойств компонентов, измерение компонентов и уточнение моделей, с помощью средств, которые показаны на рис.2.5.
Процесс оценки свойств компонентов ПО должен выполняться опытным экспертом с помощью средства оценки, обеспечивающего просмотр текста компонента, ввод и сохранение результатов экспертной оценки. Эксперт должен обеспечивать значения оценок по результатам исследования кода компонен