Підходи до оцінки ефективності експертних методів
DOI:
https://doi.org/10.35681/1560-9189.2019.21.2.180456Ключові слова:
підтримка прийняття рішень, слабкоструктурована предметна область, експертна оцінка, попарні порівнянняАнотація
Показано, що визначення точності експертних методів становить суттєву проблему внаслідок відсутності еталонних значень оцінок об’єктів в умовах реальних експертиз. Натомість, запропоновано використовувати показник ефективності методів, заснований на їхній стійкості до збурень вихідних даних. На прикладі порівняння комбінаторного методу агрегації експертних оцінок з урахуванням і без урахування ваг покривних дерев досліджено два підходи до оцінки ефективності експертних методів. Один підхід ґрунтується на використанні даних реального експертного оцінювання заданих еталонних об’єктів; другий — на імітаційному моделюванні усього циклу експертизи, в тому числі, й самих експертних оцінок. У ході дослідження ефективності двох указаних методів агрегації експертних оцінок імітаційний підхід показав себе як більш коректний і репрезентативний. Отримано експериментальні результати, які емпірично підтверджують перевагу комбінаторного методу з урахуванням ваг покривних дерев над комбінаторним методом без урахування ваг (і, відповідно, над методами геометричного середнього по рядках і логарифмічним методом найменших квадратів).
Посилання
Taran T.A., Zubov D.A. Iskusstvennyj intellekt. Teorija i prilozhenija. Lugansk: VNU im. V. Dalja, 2006. 239 s.
Saaty T.L. The Analytic Hierarchy Process. McGraw-Hill, New York. 1980. 287 p.
Saaty T.L. Decision Making with Dependence and Feedback: The analytic Network Process. Pittsburgh. RWS Publicaitons, 1996. 370 p.
Hwang C.L., Yoon K. Multiple attribute decision making: methods and applications: a state-of-the-art survey. Berlin; New York: Springer-Verlag, 1981. 259 p.
Totsenko V.G. Metody i sistemy podderzhki prinjatija reshenij. Algoritmicheskij aspekt. IPRI NANU. Kyiv: Nauk. dumka, 2002. 382 s.
Tsyganok V.V. Kombinatornyy alhorytm parnykh porivnyan zi zvorotnym zvyazkom z ekspertom. Reyestratsiya, zberihannya i obrob. danykh. 2000. T. 2. No. 2. S. 92–102.
Bozoki S., Tsyganok V. The (logarithmic) least squares optimality of the arithmetic (geometric) mean of weight vectors calculated from all spanning trees for incomplete additive (multiplicative) pairwise comparison matrices. International Journal of General Systems. 2019.Vol. 48. Issue 4. P. 362–381.
Pankratova N.D., Nedashkovskaja N.I. Gibridnyj metod mnogokriterial'nogo ocenivanija al'ternativ prinjatija reshenij. Kibernetika i sistemnyj analiz. 2014. T. 50. No. 5. S. 58–70.
Elliott M.A. Selecting numerical scales for pair-wise comparisons. Reliability Engineering and System Safety. 2010. Vol. 95. Р. 750–763.
Tsyganok V.V., Kachanov P.T., Kadenko S.V., Andriichuk O.V., Homenyuk H.A. Eksperymental'nyy analiz tekhnolohiyi ekspertnoho otsinyuvannya. Reyestratsiya, zberihannya i obrob. danykh. 2012. T. 14. No. 1. S. 91–100.
Totsenko V.G., Tsyganok V.V., Kachanov P.T., Deev A.A., Kachanova E.V., Torba L.T. Jeksperimental'noe issledovanie metodov poluchenija kardinal'nyh jekspertnyh ocenok al'ternativ. Ch. 1. Metody bez obratnoj svjazi s jekspertom. Problemy upravlenija i informatiki. 2003. No. 1. S. 34–48.
Totsenko V.G., Tsyganok V.V., Kachanov P.T., Deev A.A., Kachanova E.V., Torba L.T. Jeksperimental'noe issledovanie metodov poluchenija kardinal'nyh jekspertnyh ocenok al'ternativ. Ch. 2. Metody c obratnoj svjaz'ju s ekspertom. Problemy upravlenija i іnformatiki. 2003. No. 2. S. 112–125.
Miller G.A. The Magical Number Seven, Plus or Minus Two. The Psychological Review. 1956. Vol. 63. Р. 81–97.
Tsyganok V., Kadenko S., Andriichuk O. Significance of expert competence consideration in group decision making using AHP. International Journal of Production Research. 2012. Vol. 50. Issue 17. Р. 4785–4792.
Cayley A.A Theorem on Trees. Quarterly Journal of Mathematics. 1889. Vol. 23. Р. 376–378.
Tsyganok V.V., Kadenko S.V., Andriichuk O.V., Kachanov P.T., Royik P.D. Instrumentariy pidtrymky pryynyattya rishen' yak zasib stratehichnoho planuvannya. Ozbroyennya ta viys'kova tekhnika. 2015. No. 3(7). S. 59–66.
Tsyganok V. Investigation of the aggregation effectiveness of expert estimates obtained by the pairwise comparison method. Mathematical and Computer Modeling. 2010. 52(3–4). Р. 538–544.
Siraj S., Mikhailov L., Keane J.A. Enumerating all spanning trees for pairwise comparisons. Computers & Operations Research. 2012. 39(2). Р. 191–199.
Siraj S., Mikhailov L., Keane J.A. Corrigendum to «Enumerating all spanning trees for pairwise comparisons [Comput. Oper. Res. 39 (2012) 191–199]». Computers & Operations Research. 2012. 39(9). Р. 2265.
Kadenko S.V., Tsyganok V.V. Vyznachennya vidnosnoyi kompetentnosti ekspertiv pid chas ahrehatsiyi parnykh porivnyan'. Reyestratsiya, zberihannya i obrob. danykh. 2017. T. 19. No. 2. C. 69–83.
Lundy M., Siraj S., and Greco S. The Mathematical Equivalence of the «Spanning Tree» and Row Geometric Mean Preference Vectors and its Implications for Preference Analysis. European Journal of Operational Research. 2017. 257(1). P. 197–208.
Hartley R.V.L. Transmission of information. Bell System Technical Journal. 1928. Vol. 7. Р. 535–563.
Kadenko S.V. Problemy predstavlennya ekspertnykh danykh u systemakh pidtrymky pryynyattya rishen'. Reyestratsiya, zberihannya i obrob. danykh. 2016. T. 18. No. 3. S. 67–74.
Holland J.H. Adaptation in Natural and Artificial Systems. University of Michigan Press. Ann Arbor, 1975. 183 p.
