Metody eksperckie w marketingu.

1. krótki opis metody eksperckie

Współczesna gospodarka stawia przed zarządzaniem nowe, wyższe wymagania. Kwestie doskonalenia metod zarządzania stają się obecnie bardzo istotne, gdyż to właśnie w tym obszarze istnieją jeszcze większe rezerwy na zwiększenie efektywności gospodarki narodowej. Istotnym czynnikiem podnoszącym poziom naukowy zarządzania jest wykorzystanie metody matematyczne i modele. Jednak pełna matematyczna formalizacja problemów technicznych i ekonomicznych jest często niemożliwa ze względu na ich jakościową nowość i złożoność.

Coraz częściej stosuje się w tym zakresie metody eksperckie, rozumiane jako zespół logicznych i matematyczno-statystycznych metod i procedur mających na celu uzyskanie od specjalistów informacji niezbędnych do przygotowania i wyboru racjonalnych decyzji. Metody eksperckie znajdują obecnie zastosowanie w sytuacjach, gdy wybór, uzasadnienie i ocena skutków decyzji nie może być dokonana na podstawie dokładnych obliczeń. Takie sytuacje często pojawiają się podczas rozwoju współczesne problemy zarządzaniu produkcją społeczną, a zwłaszcza w prognozowaniu i planowaniu długoterminowym.

Istota metod eksperckich, zarówno przy rozwiązywaniu problemów w badaniu systemów sterowania, jak i przy ich stosowaniu w praktyce decyzyjnej w innych dziedzinach nauki, techniki i zarządzania, polega na uśrednianiu na różne sposoby opinii (wyroków) ekspertów-ekspertów w rozpatrywanych kwestiach.

Metody ocen eksperckich to metody organizacji pracy z biegłymi specjalistami i przetwarzania opinii eksperckich. Opinie te są zwykle wyrażane częściowo w formie ilościowej, a częściowo w formie jakościowej. Metody oceny eksperckiej służą do przewidywania przyszłych zdarzeń w przypadku braku lub niewystarczającości danych statystycznych. Wykorzystuje się je również do ilościowego określenia zdarzeń, dla których nie istnieje żaden inny pomiar, na przykład przy ocenie ważności celów i preferencji określonych metod marketingu produktu. Innymi słowy, metody oceny eksperckiej służą zarówno do ilościowego pomiaru zdarzeń bieżących, jak i do celów prognostycznych.

Przez oceny eksperckie rozumie się zespół procedur logicznych i matematycznych, których celem jest uzyskanie informacji od specjalistów, ich analiza i podsumowanie w celu przygotowania i opracowania racjonalnych decyzji.

Funkcje ocen eksperckich w systemie zarządzania:

prognozowanie trendów rozwoju niektórych obiektów sterowania i możliwych uszkodzeń podsystemów sterowania, pojawianie się nowych podmiotów w tworzeniu systemów sterowania;

uzasadnienie budowy modelu obiektu prognozowanego. Eksperckie metody oceny stanowią jedną z grup naukowo-technicznych metod prognozowania, opierającą się na założeniu, że w oparciu o ekspertyzy można zbudować adekwatny model obiektu prognozy;

ocena stopnia wiarygodności danych uzyskanych w wyniku badania, gdy na proces badawczy w naturalny sposób wpływają czynniki subiektywne. Na przykład wnioski z dowolnego badania społeczno-ekonomicznego można wyciągnąć na podstawie faktów zniekształconych przez koncepcję społeczną badacza;

ocena stopnia kompletności i obiektywności informacji otrzymywanych przez system kontroli od obiektu kontroli, a także aktualności informacji (decyzji) wpływających do obiektu kontroli z systemu kontroli;

ocena konkretna alternatywne ścieżki opracowanie albo obiektu sterowania, albo systemu sterowania, albo obu systemów razem;

certyfikacja poszczególnych elementów układu sterowania i obiektu sterowania pod kątem ich zgodności z funkcjami, dla których są stworzone.

Do najczęściej stosowanych obecnie metod eksperckich przy podejmowaniu decyzji zarządczych należą:

metoda rangowa;

metoda oceny bezpośredniej;

metoda porównawcza.

Ta ostatnia metoda obejmuje dwie odmiany: porównanie parami i porównanie sekwencyjne.

W zasadzie każdy z nich ma wiele wspólnego, a jedyną różnicą jest to, że ocena (pomiar) badanych obiektów zarządzania systemem odbywa się w różny sposób. Ponadto każda metoda ma pewne zalety i wady.

Wspólność każdej metody polega na kolejności procedur ich stosowania. Obejmują one:

organizacja ekspertyz;

zbieranie opinii ekspertów;

przetwarzanie wyników ekspertyz.

Stosując metodę rang, ekspert dokonuje rankingu (uporządkowania) badanych obiektów systemu organizacyjnego w zależności od ich względnej ważności (preferencji). W tym przypadku obiektowi najbardziej preferowanemu przypisuje się zwykle rangę 1, a obiektowi najmniej preferowanemu ostatnią rangę, równą całkowita wartość ilość zamawianych obiektów. Porządek ten staje się dokładniejszy przy mniejszej liczbie obiektów badań i odwrotnie.

Metoda ta pozwala zatem określić miejsce badanego obiektu wśród innych obiektów układu sterowania. Zaletą metody rang jest jej prostota. Wady to:

niemożność uszeregowania z dostateczną dokładnością liczby obiektów, których liczba przekracza 15-20;

nie odpowiada na pytanie, jak istotne są od siebie badane obiekty.

Metoda ta, pomimo swojej prostoty, jest stosowana w praktyce badania układów sterowania, dość rzadko.

Metodą oceny bezpośredniej jest uporządkowanie badanych obiektów (np. przy doborze parametrów do kompilacji modelu parametrycznego) w zależności od ich ważności poprzez przypisanie każdemu z nich punktów. W tym przypadku najważniejszy obiekt jest przypisywany (oceniany) największa liczba punktów w przyjętej skali. Najpopularniejszy zakres skali ocen wynosi od 0 do 1, od 0 do 5, od 0 do 10, od 0 do 100. W najprostszym przypadku ocena może wynosić 0 lub 1. Czasami ocena dokonywana jest w formie werbalnej. Na przykład „bardzo ważne”, „ważne”, „nieważne” itp., co czasami przekłada się również na skalę punktową (odpowiednio 3, 2, 1) dla większej wygody w przetwarzaniu wyników ankiety.

Stosowanie tej metody stosuje się tylko wtedy, gdy biegli mają pewność, że są w pełni poinformowani o właściwościach badanego obiektu, co często się nie zdarza.

Metodę dopasowywania przeprowadza się poprzez porównanie parami i porównanie sekwencyjne.

W porównaniu parami ekspert porównuje badane obiekty według ich ważności parami, identyfikując ten najważniejszy w każdej parze obiektów. Ekspert przedstawia wszystkie możliwe pary obiektów w formie zapisu każdej kombinacji (obiekt I – obiekt 2, obiekt 2 – obiekt 3 itd.) lub w formie matrycy.

W wyniku porównania obiektów w każdej parze ekspert wyraża opinię na temat znaczenia tego lub innego obiektu, to znaczy preferuje jeden z nich. Czasami eksperci dochodzą do wniosku, że każdy z obiektów w parze jest równoważny. Uporządkowanie w każdej parze obiektów nie zapewnia oczywiście natychmiastowego uporządkowania wszystkich rozpatrywanych obiektów, dlatego konieczne jest późniejsze przetworzenie wyników porównania. Najwygodniej jest przeprowadzać porównania parami i ich przetwarzanie z wykorzystaniem macierzy jako narzędzia.

W niektórych przypadkach kiedy duże ilości badanych obiektów na wyniki porównania parami wpływają czynniki psychologiczne, to znaczy, że czasami preferencja nie dotyczy obiektu, który jest faktycznie preferowany od innych, ale tego, który jest wpisany jako pierwszy na liście par lub znajduje się w macierz znajdująca się powyżej porównywanej. Dlatego czasami jako wyjątek wpływ psychologiczny przeprowadza się podwójne porównanie parami, to znaczy ponownie przeprowadza się porównanie parami, ale tylko przy odwrotnym ułożeniu obiektów i odpowiednio obiektów w każdej parze.

Metoda porównań parami jest bardzo prosta i pozwala na badanie większej liczby obiektów (w porównaniu np. metodą rang) i z większą dokładnością.

Istota metody porównań sekwencyjnych jest następująca. Ekspert porządkuje wszystkie badane obiekty według ich ważności (np. metodą rang). Każdemu obiektowi przypisuje się wstępnie określoną liczbę punktów, np. w skali od 0 do I (jako sposób oceny). Ponadto najważniejszy obiekt otrzymuje ocenę równą I, a wszystkim pozostałym w kolejności malejącej ich ważności, czyli od I do 0. Następnie ekspert decyduje, czy ważność obiektu o randze I będzie miała być większa niż suma punktów wszystkich innych obiektów. Jeżeli tak, to wartość punktacji pierwszego obiektu rośnie aż do spełnienia tego warunku, a jeżeli nie, to biegły redukuje tę wartość do takiej wartości liczbowej, że staje się ona mniejsza od sumy ocen wszystkich pozostałych obiektów.

Wartości ocen drugiego, trzeciego i kolejnych ważnych obiektów ustala się sekwencyjnie w taki sam sposób, jak ocenę pierwszego najważniejszego obiektu.

Metoda porównań sekwencyjnych jest najbardziej pracochłonna dla ekspertów. Jest to szczególnie widoczne, gdy liczba badanych obiektów przekracza sześć lub siedem.

Wspólność metod eksperckich polega na kolejności procedur ich stosowania. Należą do nich organizowanie ekspertyz, zbieranie ekspertyz i przetwarzanie uzyskanych wyników.

Do ogólnego kierowania pracami eksperckimi powoływany jest przewodniczący komisji eksperckiej. Składa się z dwóch grup – grupy roboczej i grupy eksperckiej.

Kierownikowi grupy roboczej podlegają pracownicy techniczni odpowiedzialni za techniczną stronę przygotowania materiałów do pracy ekspertów, przetwarzanie uzyskanych wyników itp., a także specjaliści od rozstrzyganych zagadnień. Tworzenie grupy eksperckiej przeprowadza kierownik (organizator) grupy roboczej. W takim przypadku wykonywanych jest szereg sekwencyjnych działań:

przedstawienie problemu i określenie obszaru działania grupy;

sporządzenie wstępnej listy ekspertów - specjalistów w rozpatrywanej dziedzinie działalności;

analiza składu jakościowego wstępnej listy ekspertów i doprecyzowanie tej listy;

uzyskanie zgody eksperta na udział w pracach;

sporządzenie ostatecznej listy grupy ekspertów.

Liczba ekspertów w grupie zależy od wielu czynników i uwarunkowań, w szczególności od wagi rozwiązywanego problemu, dostępnych możliwości itp.

Wybór konkretnych ekspertów odbywa się na podstawie analizy jakości każdego z proponowanych ekspertów. W tym celu stosuje się różne metody:

ocena kandydatów na ekspertów na podstawie analizy statystycznej wyników dotychczasowej działalności jako ekspertów w zakresie problemów projektowania organizacyjnego;

zbiorcza ocena kandydata na eksperta jako specjalisty w tej dziedzinie;

samoocena kandydata na eksperta;

analityczne określenie kompetencji kandydatów na ekspertów.

Wśród wszystkich znanych form zbierania opinii można wyróżnić formy indywidualne, zbiorowe i mieszane. Każda z tych form ma swoje odmiany: przesłuchanie, wywiad, dyskusja, burza mózgów, spotkanie, gra biznesowa. W wielu przypadkach zarządzania jakością stosuje się je łącznie, co daje większy efekt i obiektywizm.

Metody ocen eksperckich można podzielić na dwie grupy: metody zbiorowej pracy grupy eksperckiej oraz metody uzyskiwania indywidualnych opinii członków grupy eksperckiej.

Metody kolektywnej pracy grupy eksperckiej polegają na uzyskaniu wspólnej opinii podczas wspólnej dyskusji nad rozwiązywanym problemem. Czasami metody te nazywane są metodami bezpośredniego uzyskania opinii zbiorowej. Główną zaletą tych metod jest możliwość wszechstronnej analizy problemów. Wadami tych metod są złożoność procedury uzyskiwania informacji, trudność w formułowaniu opinii grupowej na podstawie indywidualnych ocen ekspertów oraz możliwość wywierania presji ze strony władz w grupie.

Metody pracy zespołowej obejmują burzę mózgów, scenariusze, gry biznesowe, spotkania i sąd.

Metoda burzy mózgów. Metody tego typu są również znane jako kolektywne generowanie pomysłów, burza mózgów i metody dyskusji. Wszystkie te metody opierają się na swobodnym wyrażaniu pomysłów mających na celu rozwiązanie problemu. Spośród tych pomysłów wybierane są następnie te najcenniejsze.

Zaletą metody „burzy mózgów” jest wysoka skuteczność uzyskania wymaganego rozwiązania. Jego główną wadą jest złożoność organizacji egzaminu, ponieważ czasami nie można zgromadzić wymaganych specjalistów, stworzyć miłej atmosfery i wyeliminować wpływ oficjalnych relacji.

Metoda „scenariuszy” to zbiór zasad przedstawiania na piśmie propozycji specjalistów dotyczących rozwiązywanego problemu. Scenariusz to dokument zawierający analizę problemu i propozycje jego realizacji. Propozycje są najpierw pisane indywidualnie przez ekspertów, następnie są uzgadniane i przedstawiane w formie jednego dokumentu.

Główną zaletą skryptu jest kompleksowe ujęcie rozwiązywanego problemu w zrozumiałej formie. Do wad można zaliczyć możliwą niejednoznaczność, niejasność przedstawianych zagadnień oraz niewystarczającą ważność poszczególnych decyzji.

„Gry biznesowe” polegają na modelowaniu funkcjonowania systemu zarządzania społecznego podczas wykonywania działań zmierzających do osiągnięcia wyznaczonego celu. W przeciwieństwie do poprzednich metod, gry biznesowe polegają na aktywnym działaniu grupy eksperckiej, której każdemu członkowi przydzielono określoną odpowiedzialność zgodnie z wcześniej ustalonymi zasadami i programem.

Główną zaletą gier biznesowych jest możliwość dynamicznego opracowania rozwiązania, uwzględniającego wszystkie etapy badanego procesu z interakcją wszystkich elementów systemu zarządzania społecznego. Wadą jest trudność zorganizowania gry biznesowej w warunkach zbliżonych do rzeczywistej sytuacji problemowej.

Metoda „spotkań” („komisje”, „okrągłe stoły”) jest najprostsza i najbardziej tradycyjna. Polega na odbyciu spotkania lub dyskusji, której celem jest wypracowanie jednej zbiorowej opinii na temat rozwiązywanego problemu. W przeciwieństwie do metody burzy mózgów, każdy ekspert może nie tylko wyrazić swoją opinię, ale także skrytykować propozycje innych. W wyniku tak wnikliwej dyskusji zmniejsza się możliwość błędów w podjęciu decyzji.

Zaletą metody jest prostota jej wykonania. Jednakże na zebraniu można przyjąć błędną opinię jednego z uczestników ze względu na jego autorytet, oficjalne stanowisko, wytrwałość lub zdolności oratorskie.

Metoda „sądowa” jest odmianą metody „spotkań” i jest realizowana analogicznie do dyrygentury test. Metodę „sądową” warto stosować, gdy wyznaje ją kilka grup biegłych różne opcje rozwiązania.

Metody uzyskiwania indywidualnych opinii członków grupy eksperckiej polegają na wstępnym otrzymaniu informacji od ekspertów, z którymi przeprowadzono wywiady niezależnie od siebie, a następnie późniejszym przetworzeniu otrzymanych danych. Metody te obejmują metody kwestionariuszowe, wywiady i metody Delphi.

Głównymi zaletami metody indywidualnej oceny biegłego jest jej skuteczność, możliwość pełnego wykorzystania indywidualnych zdolności biegłego, brak nacisku ze strony władz oraz niski koszt badania. Ich główną wadą jest wysoki stopień subiektywizm uzyskanych ocen ze względu na ograniczoną wiedzę jednego eksperta.

Metoda Delphi jest iteracyjną procedurą kwestionariuszową. Jednocześnie wymóg braku osobistych kontaktów pomiędzy ekspertami i zapewnienia ich pełna informacja dla wszystkich wyników ocen po każdej turze badania, przy zachowaniu anonimowości ocen, argumentacji i krytyki.

Procedura metody obejmuje kilka kolejnych etapów wywiadu.

W pierwszym etapie przeprowadzana jest indywidualna ankieta wśród ekspertów, zwykle w formie ankiet. Eksperci udzielają odpowiedzi bez podawania powodów. Następnie wyniki ankiety są przetwarzane, formułowana jest zbiorowa opinia grupy ekspertów, identyfikowane i podsumowywane argumenty przemawiające za różnymi orzeczeniami.

W drugim etapie wszelkie informacje przekazywane są biegłym, którzy proszeni są o ponowne rozważenie swojej oceny i wyjaśnienie powodów, dla których nie zgadzają się z orzeczeniem zbiorowym. Nowe szacunki są przetwarzane ponownie i następuje przejście do kolejnego etapu. Praktyka pokazuje, że po trzech, czterech etapach odpowiedzi ekspertów stabilizują się i konieczne jest przerwanie procedury.

Zaletą metody Delphi jest wykorzystanie informacji zwrotnej w trakcie badania, co znacząco zwiększa obiektywność ocen eksperckich. Jednakże Ta metoda wymaga znacznej ilości czasu na realizację całej wieloetapowej procedury.

Można zatem stwierdzić, że metody eksperckie stale się rozwijają i udoskonalają. Główne kierunki tego rozwoju wyznacza szereg czynników, m.in. chęć poszerzania zakresu zastosowań, zwiększania stopnia wykorzystania metod matematycznych i elektronicznej techniki komputerowej, a także szukania sposobów eliminowania pojawiających się niedociągnięć. Pomimo sukcesów osiągniętych w ostatnie lata w rozwoju i praktyczne użycie metody ocen eksperckich istnieje szereg problemów i zadań wymagających dalszych badań metodologicznych i testów praktycznych. Należy udoskonalić system doboru ekspertów, zwiększyć wiarygodność cech opinii grupowych, opracować metody sprawdzania zasadności ocen, badań ukryte powody, zmniejszając wiarygodność ocen eksperckich. Jednak już dziś oceny eksperckie w połączeniu z innymi metodami matematycznymi i statystycznymi są ważnym narzędziem doskonalenia zarządzania na wszystkich poziomach.

zarządzanie metodą oceny eksperckiej

2. Przetwarzanie danych uzyskanych metodą ekspercką

Wyniki są przetwarzane po przeprowadzeniu badania wśród grupy ekspertów. Początkową informacją do przetwarzania są dane liczbowe wyrażające preferencje ekspertów oraz merytoryczne uzasadnienie tych preferencji. Celem przetwarzania jest uzyskanie danych uogólnionych oraz nowych informacji zawartych w formie ukrytej w ocenach eksperckich. Na podstawie wyników przetwarzania tworzone jest rozwiązanie problemu.

Leczenie zebrane opinie(dane) ekspertów przeprowadzane są zarówno w ujęciu ilościowym (dane liczbowe), jak i jakościowym (informacje merytoryczne). Używany podczas przetwarzania różne drogi. W obecności danych liczbowych stosuje się metody uśredniania ocen eksperckich w celu rozwiązania problemów zaopatrzonych w wystarczający materiał informacyjny. Jednak nawet przy dostępnych danych liczbowych, ale przy niewystarczającej informacji na dany temat, przy ilościowych metodach przetwarzania danych eksperckich, stosuje się metody analizy i syntezy jakościowej.

Obecność zarówno danych liczbowych, jak i znaczących wypowiedzi ekspertów powoduje konieczność zastosowania metod jakościowych i ilościowych do przetwarzania wyników grupowej oceny ekspertów. Środek ciężkości tych metod w istotny sposób zależy od klasy problemów rozwiązywanych w drodze oceny eksperckiej.

Cały zestaw problemów można podzielić na dwie klasy. Do pierwszej klasy zalicza się problemy, dla których istnieje wystarczający poziom wiedzy i doświadczenia, czyli niezbędny potencjał informacyjny. Przy rozwiązywaniu problemów należących do tej klasy eksperci są przeciętnie uważani za dobrych mierniczych. Termin „średnio dobry” odnosi się do możliwości uzyskania wyników pomiarów zbliżonych do rzeczywistych. Dla wielu ekspertów ich osądy są bliskie prawdziwe znaczenie. Wynika z tego, że do przetwarzania wyników grupowej oceny eksperckiej problemów pierwszej klasy można z powodzeniem zastosować metody statystyki matematycznej oparte na uśrednianiu danych.

Przy stosowaniu rozważanych metod eksperckich (stopnie itp.) opinie ekspertów często się nie pokrywają, dlatego konieczne jest ilościowe określenie stopnia zgodności opinii ekspertów i ustalenie przyczyn rozbieżności w ocenach. Miarę spójności ustala się oczywiście na podstawie danych statystycznych całej grupy ekspertów. Do oceny tego miernika stosuje się współczynniki zgodności, które oblicza się za pomocą wzoru

gdzie C jest sumą kwadratów odchyleń sum rang dla każdego obiektu od średniej sumy rang dla wszystkich obiektów i ekspertów, tj.

Gdzie - średnia suma rang;

Aij - ocena (w punktach) przyznana i-temu obiektowi j-ty ekspert.

K-eksperci, N-obiekty.

Współczynnik zgodności może mieścić się w przedziale 1>W>0. Przy W=0 nie ma zgodności wśród ekspertów, natomiast przy W=1 jest ona zupełna. Zwykle uważa się, że konsystencja jest wystarczająca dla W>0,5.

Obliczoną wartość współczynnika zgodności należy zważyć stosując kryterium Pearsona X^2 pewien poziom znaczenie B - Maksymalne prawdopodobieństwo błędnego wyniku pracy ekspertów. Zazwyczaj wystarczy ustawić istotność w przedziale 0,005 -0,05

Jeżeli otrzymana wartość X^2calc będzie większa od wartości tabelarycznej (przy wybranym poziomie istotności), opinie biegłych zostaną ostatecznie uznane za uzgodnione.

W przypadku stwierdzenia niezgodności linii eksperckich za pomocą współczynników zgodności i odpowiedniej weryfikacji jej wartości za pomocą kryterium Pearsona, badania eksperckie należy powtórzyć.

Druga klasa obejmuje problemy, dla których nie zgromadzono jeszcze wystarczającego potencjału informacyjnego. W tym względzie opinie ekspertów mogą się znacznie od siebie różnić. Co więcej, ocena jednego biegłego, która bardzo różni się od pozostałych opinii, może okazać się prawdziwa. Jest oczywiste, że stosowanie metod uśredniania wyników grupowej oceny eksperckiej przy rozwiązywaniu problemów drugiej klasy może prowadzić do dużych błędów. Dlatego przetwarzanie wyników ankiety eksperckiej w tym przypadku powinno opierać się na metodach nie wykorzystujących zasad uśredniania, ale na metodach analizy jakościowej.

Biorąc pod uwagę, że w praktyce oceny eksperckiej najczęściej spotykane są problemy pierwszej klasy, główną uwagę poświęcono sposobom przetwarzania wyników badań dla tej klasy problemów.

W zależności od celów oceny eksperckiej i wybranej metody pomiaru, podczas przetwarzania wyników ankiety pojawiają się następujące główne zadania:

) konstruowanie uogólnionej oceny obiektów na podstawie indywidualnych ocen eksperckich;

) konstrukcja uogólnionej oceny na podstawie porównania obiektów parami przez każdego eksperta;

) wyznaczanie względnych ciężarów obiektów;

) ustalanie zgodności opinii biegłych;

) określenie zależności pomiędzy rankingami;

) ocena wiarygodności wyników przetwarzania.

Zadanie konstruowania uogólnionej oceny obiektów w oparciu o indywidualne oceny eksperckie pojawia się podczas grupowej oceny eksperckiej. Rozwiązanie tego problemu zależy od metody pomiaru stosowanej przez ekspertów.

Przy rozwiązywaniu wielu problemów nie wystarczy uporządkować obiekty według jednego wskaźnika lub jakiegoś zestawu wskaźników. Pożądane jest posiadanie wartości liczbowych dla każdego obiektu, które określają jego względne znaczenie w porównaniu z innymi obiektami. Innymi słowy, w przypadku wielu zadań konieczne są oceny obiektów, które nie tylko je organizują, ale także pozwalają określić stopień preferencji jednego obiektu względem drugiego. Aby rozwiązać ten problem, można bezpośrednio zastosować metodę szacowania bezpośredniego. Jednakże pod pewnymi warunkami ten sam problem można rozwiązać, przetwarzając oceny ekspertów.

Zgodność opinii biegłych określa się poprzez obliczenie miary liczbowej charakteryzującej stopień podobieństwa poszczególnych opinii. Analiza wartości miary spójności przyczynia się do wyrobienia prawidłowego sądu o ogólnym poziomie wiedzy na temat rozwiązywanego problemu oraz identyfikacji grup opinii eksperckich. Jakościowa analiza przyczyn grupowania opinii pozwala ustalić istnienie różnych poglądów, koncepcji i zidentyfikować szkoły naukowe, określ charakter działalność zawodowa itp. Wszystkie te czynniki pozwalają na głębsze zrozumienie wyników badania eksperckiego.

Przetwarzając wyniki ocen ekspertów, można określić zależności pomiędzy rankingami różnych ekspertów, a tym samym ustalić jedność i różnicę w opiniach ekspertów. Ważną rolę odgrywa także ustalenie powiązań pomiędzy rankingami, które opierają się na różnych wskaźnikach porównywania obiektów. Identyfikacja takich zależności pozwala na ujawnienie powiązanych wskaźników porównawczych i ewentualnie pogrupowanie ich ze względu na stopień powiązania. Znaczenie zadania ustalenia zależności dla praktyki jest oczywiste. Przykładowo, jeśli wskaźnikami porównania są różne cele, a obiekty są środkami do osiągnięcia celów, to ustalenie relacji pomiędzy rankingami porządkującymi środki z punktu widzenia osiągnięcia celów pozwala rozsądnie odpowiedzieć na pytanie w jakim stopniu osiągnięcie jednego celu za pomocą danych środków przyczynia się do osiągnięcia innych celów.

Oszacowania uzyskane w wyniku przetwarzania są obiektami losowymi, dlatego jednym z ważnych zadań procedury przetwarzania jest określenie ich wiarygodności. Rozwiązaniem tego problemu należy poświęcić odpowiednią uwagę.

Zatem przetwarzanie wyników badania jest procesem pracochłonnym. Ręczne wykonywanie operacji obliczania szacunków i wskaźników ich wiarygodności wiąże się z dużymi kosztami pracy, nawet w przypadku rozwiązania proste zadania zamawianie. W związku z tym wskazane jest korzystanie z technologii komputerowej, a zwłaszcza komputerów. Zastosowanie komputerów rodzi problem opracowania programów komputerowych implementujących algorytmy przetwarzania wyników ocen eksperckich.

Bibliografia

1. Wasilewska I.V. Zarządzanie jakością: Podręcznik / I.V. Wasilewska. - M.: IC RIOR, 2011. - 112 s.

Vikhansky O.S., Naumov A.I. Zarządzanie: Podręcznik. - wyd. 3. - M.: Ekonomista, 2004. - 528 s.: il.

Ministerstwo Edukacji i Nauki Rosji

Stan Mari Uniwersytet Techniczny

Zakład Kontroli i Produkcji Sprzętu Radiowego

na temat: Metody oceny eksperckiej

Ukończono: Sztuka. gr. BZD-41

Kopylova I.V.

Sprawdził: prof. dział Cypr

Skulkin N.M.

Yoshkar-Ola 2012

Wstęp

Ocena ekspercka

Etapy oceny eksperckiej

Rodzaje ekspertyz

Przetwarzanie wyników ankiety eksperckiej

Wniosek

Bibliografia

Wstęp

Przykłady metod oceny eksperckiej. Jak otoczenie gospodarcze będzie się zmieniać w czasie? Co stanie się ze środowiskiem naturalnym za dziesięć lat? Jak to się zmieni sytuacja ekologiczna? Czy zapewnione zostanie bezpieczeństwo ekologiczne? produkcja przemysłowa czy też wokół zacznie się rozciągać sztuczna pustynia? Wystarczy pomyśleć o tych sformułowaniach naturalnych pytań, przeanalizować, jak dziesięć, a nawet dwadzieścia lat temu wyobrażaliśmy sobie dzisiaj, aby zrozumieć, że po prostu nie da się przewidzieć stuprocentowo wiarygodnych prognoz. Zamiast zestawień z konkretnymi liczbami można spodziewać się jedynie szacunków jakościowych. Jednak my, inżynierowie, musimy podejmować decyzje na przykład dotyczące projektów i inwestycji środowiskowych i innych, których konsekwencje będziemy odczuwać dziesięć, dwadzieścia itd. w przyszłości. lata. Co powinienem zrobić? Pozostaje zwrócić się do metod ocen eksperckich. Jakie są te metody?

1. Ocena ekspercka

Ocena ekspercka- procedura uzyskania oceny problemu na podstawie opinii specjalistów (ekspertów) w celu późniejszego podjęcia decyzji (wyboru).

Eksperci(od łacińskiego „expert” – doświadczony) – są to osoby posiadające wiedzę i potrafiące wyrazić uzasadnioną opinię na temat badanego zjawiska.

Metody oceny eksperckiej - są to sposoby organizacji pracy z biegłymi specjalistami i przetwarzania ekspertyz.

Istotą metod oceny eksperckiej jest to, że prognoza opiera się na opinii specjalisty lub zespołu specjalistów, opartej na doświadczeniu zawodowym, naukowym i praktycznym. Wyróżnia się indywidualne i zbiorowe oceny eksperckie.

Przy wyborze często wykorzystuje się opinie ekspertów, na przykład:

jedna opcja urządzenie techniczne wypuścić serię kilku próbek,

grupa astronautów z wielu kandydatów,

zestaw projektów badawczych do finansowania z masy wniosków,

odbiorcami pożyczek ekologicznych od wielu, którzy chcą,

przy wyborze projektów inwestycyjnych do realizacji spośród prezentowanych itp.

2. Etapy oceny eksperckiej

1. Ustalenie celu badania.

Ocena ekspercka polega na stworzeniu pewnego umysłu, który ma większe możliwości w porównaniu z możliwościami pojedynczej osoby. Źródłem możliwości wieloumysłowych jest poszukiwanie słabych skojarzeń i założeń w oparciu o doświadczenie indywidualnego specjalisty. Podejście eksperckie pozwala na rozwiązywanie problemów, których nie da się rozwiązać w konwencjonalny sposób analityczny, m.in.:

· Wybór najlepszego wariantu rozwiązania spośród dostępnych.

· Prognozowanie rozwoju procesu.

· Szukaj możliwe rozwiązanie złożone zadania.

Przed rozpoczęciem badania eksperckiego należy jasno określić jego cel (problem) i sformułować odpowiednie pytanie do ekspertów. Zaleca się przestrzeganie następujących zasad:

· Jasne określenie warunków, czasu, zewnętrznych i wewnętrznych ograniczeń problemu. * Możliwość udzielenia odpowiedzi na pytanie z dokładnością dostępną ludzkiemu doświadczeniu.

· Lepiej jest sformułować pytanie jako stwierdzenie jakościowe, a nie jako szacunkową liczbę. W przypadku szacunków numerycznych nie zaleca się podawania więcej niż pięciu gradacji.

· Eksperci oceniają możliwe opcje i nie należy oczekiwać od nich skonstruowania pełnego planu działania lub szczegółowego opisu możliwych rozwiązań.

2. Wybór formy badawczej, ustalenie budżetu projektu.

Istniejące typy oceny eksperckie można klasyfikować według następujących kryteriów:

· Według formy udziału ekspertów: pełen etat, korespondencyjna. Metoda bezpośrednia pozwala skupić uwagę ekspertów na rozwiązywanym problemie, co poprawia jakość wyniku, ale metoda korespondencyjna może być tańsza.

· Według liczby iteracji (powtórzeń procedury w celu zwiększenia dokładności) - jednoetapowe i iteracyjne.

· Do zadań do rozwiązania: generowanie rozwiązań i ocena opcji.

· Według rodzaju odpowiedzi: ideologiczna, rankingowa, oceniająca obiekt w skali względnej lub bezwzględnej (numerycznej).

· Według sposobu opracowywania ekspertyz: bezpośrednie i analityczne.

· Według liczby zaangażowanych ekspertów: bez ograniczeń, z ograniczeniami. Zazwyczaj korzysta się z pomocy 5–12 ekspertów.

Najbardziej znane metody ocen eksperckich to metoda Delphi, burza mózgów i metoda analizy hierarchicznej. Każda metoda ma swój własny czas i zapotrzebowanie na ekspertów. Po wybraniu metody oceny eksperckiej można określić koszty postępowania, które obejmują opłacenie ekspertów, wynajęcie lokalu, zakup materiałów biurowych oraz opłacenie specjalisty za przeprowadzenie i analizę wyników badania.

3. Przygotowanie materiałów informacyjnych, formularzy ankiet, moderator procedury.

Przed wydaniem wyroku eksperci muszą kompleksowo rozważyć przedstawiony problem. Aby przeprowadzić tę procedurę, musisz się przygotować materiały informacyjne z opisem problemu, dostępnymi danymi statystycznymi, materiałami referencyjnymi, formularzami ankiet, wyposażeniem. Należy unikać następujących błędów: wspominania o twórcach materiałów, podkreślania tej czy innej opcji rozwiązania, wyrażania stosunku kierownictwa do oczekiwanych rezultatów. Dane powinny być wszechstronne i neutralne. Konieczne jest wcześniejsze opracowanie formularzy kwestionariuszy dla ekspertów. W zależności od metody mogą mieć one charakter pytań otwartych i zamkniętych, odpowiedź może być udzielona w formie oceny, porównania parami, szeregu rankingowego, punktowo lub w formie oceny bezwzględnej.

Sama procedura przeprowadzana jest przez niezależnego moderatora procedury, który monitoruje przestrzeganie regulaminu, dystrybuuje materiały i ankiety, ale nie wyraża swojej opinii.

4. Wybór ekspertów.

Zagadnienie doboru ekspertów jest jednym z najtrudniejszych w teorii i praktyce badań eksperckich. Oczywiście konieczne jest wykorzystanie w charakterze ekspertów tych osób, których osądy najbardziej pomogą w podjęciu właściwej decyzji. Jak jednak zidentyfikować, znaleźć, wybrać takie osoby? Trzeba szczerze powiedzieć, że nie ma metod doboru ekspertów, które z pewnością zapewnią powodzenie egzaminu.

W problemie doboru ekspertów można wyróżnić dwa elementy – sporządzenie listy potencjalnych ekspertów i wyłonienie spośród nich komisji eksperckiej zgodnie z kompetencjami kandydatów.

Eksperci muszą posiadać doświadczenie w obszarach istotnych dla rozwiązywanych zadań. Przy wyborze ekspertów należy wziąć pod uwagę moment interesu osobistego, który może stać się istotną przeszkodą w uzyskaniu obiektywnej oceny. W tym celu stosuje się na przykład metody Schara, gdy jeden ekspert, najbardziej szanowany specjalista, poleca kilku innych i dalej w łańcuchu, aż do wybrania potrzebnego zespołu.

5. Przeprowadzenie badania.

Procedura różni się w zależności od zastosowanej metody. Ogólne zalecenia:

· Ustal i przestrzegaj przepisów. Wydłużenie czasu na podjęcie decyzji ponad optymalny nie zwiększa trafności odpowiedzi.

6. Analiza statystyczna wyników . Po otrzymaniu odpowiedzi ekspertów należy je ocenić. To pozwala:

1) Ocenić spójność opinii biegłych. W przypadku braku istotnej zgodności eksperckiej należy zidentyfikować przyczyny niespójności (obecność grup) i rozpoznać brak konsensusu (wyniki znikome).

)Oceń błąd badawczy.

)Zbuduj model właściwości obiektu na podstawie odpowiedzi ekspertów (do badań analitycznych). Wyniki ekspertyzy prezentowane są w formie raportu. W raporcie wskazano cel badania, skład ekspertów, uzyskaną ocenę i analizę statystyczną wyników.

7. Przygotowanie raportu z wynikami ekspertyzy.

. Rodzaje ekspertyz

Metody oceny eksperckiej można podzielić na dwie grupy:

§ metody zbiorowej pracy grupy eksperckiej

§ sposoby uzyskiwania indywidualnych opinii członków grupy eksperckiej.

Metody pracy zespołowej grupy eksperckiej polegają na uzyskaniu wspólnej opinii podczas wspólnej dyskusji nad rozwiązywanym problemem. Czasami metody te nazywane są metodami bezpośredniego uzyskania opinii zbiorowej. Główną zaletą tych metod jest możliwość wszechstronnej analizy problemów. Wadami tych metod są złożoność procedury uzyskiwania informacji, trudność w formułowaniu opinii grupowej na podstawie indywidualnych ocen ekspertów oraz możliwość wywierania presji ze strony władz w grupie.

Metody pracy zespołowej obejmują burzę mózgów, scenariusze, gry biznesowe, spotkania i sąd.

Atak mózgu.Organizowane jest w formie spotkania ekspertów, których wystąpienia podlegają jednemu, ale bardzo istotnemu ograniczeniu – nie można krytykować propozycji innych. Możesz je rozwijać, możesz wyrażać swoje pomysły, ale nie możesz ich krytykować! Podczas spotkania eksperci, „zarażając się” sobą, wyrażają coraz bardziej ekstrawaganckie pomysły. Po około dwóch godzinach spotkanie nagrane na magnetofon lub kamerę wideo dobiega końca i rozpoczyna się drugi etap burzy mózgów – analiza wyrażonych pomysłów. Zazwyczaj na 100 pomysłów 30 zasługuje na dalsze rozwinięcie, z 5-6 umożliwiają sformułowanie projektów aplikacyjnych, a 2-3 ostatecznie przynoszą użyteczny efekt - zysk, zwiększenie bezpieczeństwa ekologicznego, poprawę stanu środowiska środowisko naturalne i tak dalej. Co więcej, interpretacja pomysłów jest procesem twórczym. Przykładowo, omawiając możliwości ochrony statków przed atakiem torpedowym, wysunięto pomysł: „Ustawcie marynarzy wzdłuż burty i dmuchnijcie w torpedę, aby zmienić jej kurs”. Po opracowaniu pomysł ten doprowadził do stworzenia specjalnych urządzeń wytwarzających fale, które zbijają torpedę z kursu.

Metoda „635”- jedna z odmian ataku mózgu. Liczby 6, 3, 5 reprezentują sześciu uczestników, z których każdy musi zapisać trzy pomysły w ciągu pięciu minut. Liść krąży po okręgu. Zatem za pół godziny każdy napisze 18 pomysłów, a razem 108. Struktura pomysłów jest jasno określona. Możliwe są modyfikacje metody. Metoda ta jest szeroko stosowana w innych krajach (zwłaszcza w Japonii) w celu wybrania spośród różnorodnych pomysłów najbardziej oryginalnych i postępowych rozwiązań określonych problemów.

Gry biznesoweopierają się na modelowaniu funkcjonowania systemu zarządzania społecznego podczas wykonywania działań zmierzających do osiągnięcia wyznaczonego celu. W przeciwieństwie do poprzednich metod, w których podczas tworzenia ocen ekspertów dyskusja zbiorowa gry biznesowe polegają na aktywnym działaniu grupy eksperckiej, której każdemu członkowi przydzielono określoną odpowiedzialność zgodnie z ustalonymi zasadami i programem.

Główną zaletą gier biznesowych jest możliwość dynamicznego opracowania rozwiązania, uwzględniającego wszystkie etapy badanego procesu z interakcją wszystkich elementów systemu zarządzania społecznego. Wadą jest trudność zorganizowania gry biznesowej w warunkach zbliżonych do rzeczywistej sytuacji problemowej.

Metoda spotkania(„prowizje”, „okrągły stół”) - najprostszy i najbardziej tradycyjny. Polega na odbyciu spotkania lub dyskusji, której celem jest wypracowanie jednej zbiorowej opinii na temat rozwiązywanego problemu. W przeciwieństwie do metody burzy mózgów, każdy ekspert może nie tylko wyrazić swoją opinię, ale także skrytykować propozycje innych. W wyniku tak wnikliwej dyskusji zmniejsza się możliwość błędów w podjęciu decyzji.

Zaletą metody jest prostota jej wykonania. Jednakże na zebraniu można przyjąć błędną opinię jednego z uczestników ze względu na jego autorytet, oficjalne stanowisko, wytrwałość lub zdolności oratorskie.

Metoda prowizyjna- jedna z metod ocen eksperckich, oparta na pracach specjalnych komisji. Grupy ekspertów ds. „ okrągły stół„przedyskutuj ten czy inny problem, aby zharmonizować punkty widzenia i wypracować wspólną opinię. Wadą tej metody jest to, że grupa ekspertów w swoich osądach kieruje się głównie logiką kompromisu.

Metoda pisania skryptuopiera się na określeniu logiki procesu lub zjawiska w czasie w różnych warunkach. Polega na ustaleniu sekwencji zdarzeń, która rozwija się podczas przejścia od sytuacji istniejącej do przyszłego stanu obiektu. Unikalnym scenariuszem mógłby być opis sekwencji i warunków międzynarodowej integracji gospodarek krajów, obejmujący następujące pytania:

od jakich form najprostszych do form bardziej złożonych powinien przebiegać ten proces;

jak wpłynie to na gospodarkę narodową i powiązania gospodarcze krajów;

jakie problemy finansowe, organizacyjne, społeczne, prawne mogą pojawić się w trakcie internacjonalizacji gospodarki.

Scenariusz prognozy wyznacza strategię rozwoju prognozowanego obiektu. Powinien odzwierciedlać ogólny cel rozwoju obiektu, kryteria oceny górnych poziomów drzewa celów, priorytety problemów i zasoby do osiągnięcia głównych celów. Scenariusz przedstawia sekwencyjne rozwiązanie problemu i możliwych przeszkód. W tym przypadku są używane niezbędne materiały na rozwój obiektu prognostycznego.

Scenariusz powinien być napisany w taki sposób, aby po jego przeczytaniu jasny był ogólny cel prowadzonych prac w świetle celów społeczno-gospodarczych na okres prognozy.

Zwykle ma charakter wielowymiarowy i obejmuje trzy linie zachowań:

optymistyczny - rozwój systemu w najkorzystniejszej sytuacji;

pesymistyczny - rozwój systemu w najmniej korzystnej sytuacji;

działający - rozwój systemu z uwzględnieniem przeciwdziałania czynnikom negatywnym, których wystąpienie jest najbardziej prawdopodobne.

W ramach scenariusza prognostycznego wskazane jest opracowanie strategii awaryjnej na wypadek nieprzewidzianych sytuacji.

Gotowy scenariusz należy poddać analizie. Na podstawie analizy informacji uznanych za odpowiednie dla przyszłej prognozy formułuje się cele, ustala kryteria i alternatywne rozwiązania.

Metoda sądowajest odmianą metody „spotkań” i jest realizowana przez analogię z prowadzeniem rozprawy.

Wybrane opcje rozwiązania pełnią rolę „oskarżonych”;

w roli „sędziów” – decydentów;

w roli „prokuratorów” i „obrońców” – członków grupy eksperckiej.

Rolę „świadków” odgrywają różne warunki wybór i argumenty ekspertów. Podczas przeprowadzania takiego „procesu” pewne decyzje są odrzucane lub akceptowane.

Metodę „sądową” warto stosować w przypadku, gdy istnieje kilka grup ekspertów opowiadających się za różnymi wariantami decyzyjnymi.

Metody uzyskiwania indywidualnych opinii członków grupy eksperckiej opierają się na wstępnym otrzymaniu informacji od ekspertów, z którymi przeprowadzono niezależne od siebie wywiady, a następnie przetwarzaniu otrzymanych danych. Metody te obejmują metody kwestionariuszowe, wywiady i metody Delphi. Głównymi zaletami metody indywidualnej oceny biegłego jest jej skuteczność, możliwość pełnego wykorzystania indywidualnych zdolności biegłego, brak nacisku ze strony władz oraz niski koszt badania. Ich główną wadą jest wysoki stopień subiektywizmu uzyskanych ocen, wynikający z ograniczonej wiedzy jednego eksperta.

Metoda Delphi.Celem jest opracowanie programu sekwencyjnych, wielorundowych badań indywidualnych. Indywidualne badania ekspertów przeprowadzane są najczęściej w formie ankiet. Następnie są one przetwarzane statystycznie na komputerze i wyrabiana jest zbiorowa opinia grupy, identyfikowane i podsumowywane argumenty przemawiające za różnymi ocenami. Przetworzone komputerowo informacje przekazywane są ekspertom, którzy mogą korygować oceny, wyjaśniając jednocześnie powody swojego sprzeciwu wobec oceny zbiorowej. Procedurę tę można powtórzyć maksymalnie 3-4 razy. W efekcie zawęża się zakres ocen i wypracowywany jest spójny osąd co do perspektyw zagospodarowania obiektu. Cechy metody Delphi:

a) anonimowość ekspertów (członkowie grupy ekspertów są sobie nieznani, całkowicie wyklucza się interakcję pomiędzy członkami grupy podczas wypełniania ankiet);

b) możliwość wykorzystania wyników poprzedniej edycji badania;

c) charakterystyka statystyczna opinii grupowej.

Metoda ta pomaga z góry określić rozwój długotrwałych sytuacji problemowych. Nasi specjaliści zajmujący się prognozowaniem naukowo-technicznym opracowują także metody przetwarzania ocen eksperckich. Nazywa się je heurystykami.

Metoda wywiadupolega na rozmowie prognosty z ekspertem w układzie pytanie-odpowiedź, podczas której prognosta, zgodnie z opracowanym programem, zadaje ekspertowi pytania dotyczące perspektyw zagospodarowania prognozowanego obiektu. Powodzenie takiej oceny w dużej mierze zależy od umiejętności wydawania przez biegłego zaimprowizowanych opinii na różne tematy.

Metoda analitycznapolega na starannej, samodzielnej pracy eksperta mającej na celu analizę trendów, ocenę stanu i ścieżek rozwoju przewidywanego obiektu. Ekspert może wykorzystać wszystkie potrzebne mu informacje na temat prognozowanego obiektu. Swoje wnioski formułuje w formie memorandum. Główną zaletą tej metody jest możliwość maksymalnego wykorzystania indywidualne zdolności ekspert. Jest to jednak mało przydatne do prognozowania złożone systemy i opracowanie strategii ze względu na ograniczoną wiedzę jednego specjalisty-eksperta z pokrewnych dziedzin wiedzy.

. Przetwarzanie wyników ankiety eksperckiej

eksperckie zbiorcze badanie indywidualne

Przejdźmy do rozważenia procedur wykonywanych na etapie przetwarzania wyników ankiety.

Na podstawie ocen ekspertów uzyskuje się uogólnioną informację o badanym przedmiocie (zjawisku) i podejmuje się decyzję określoną ze względu na cel badania. Przy opracowywaniu indywidualnych ocen ekspertów stosuje się różne metody ilościowe i jakościowe. Wybór tej czy innej metody zależy od złożoności rozwiązywanego problemu, formy przedstawienia ekspertyz i celów badania.

Najczęściej przy przetwarzaniu wyników ankiet wykorzystuje się metody statystyki matematycznej.

W zależności od celów egzaminu, podczas przetwarzania ocen można rozwiązać następujące problemy:

· tworzenie uogólnionej oceny;

· wyznaczanie względnych ciężarów obiektów;

· ustalanie stopnia zgodności opinii biegłych itp.

1)Tworzenie uogólnionej oceny

Niech więc grupa ekspertów oceni jakiś obiekt, a następnie x J - ocena j-tego biegłego, , gdzie m jest liczbą ekspertów.

Aby sformułować uogólnioną ocenę grupy ekspertów, najczęściej stosuje się wartości średnie. Na przykład mediana (M mi ), przez co przyjmuje się takie oszacowanie, w stosunku do którego liczba dużych oszacowań jest równa liczbie mniejszych.

Można także zastosować oszacowanie punktowe dla grupy ekspertów, obliczone jako średnia arytmetyczna:

2)Wyznaczanie względnych ciężarów obiektów

Czasami konieczne jest określenie, jak ważny (istotny) jest dany czynnik (przedmiot) z punktu widzenia jakiegoś kryterium. W tym przypadku mówią, że konieczne jest określenie wagi każdego czynnika.

Jedna z metod określania masy jest następująca. Niech x ja - ocena czynnika i, dokonana przez j-tego eksperta, , , n to liczba porównywanych obiektów, m to liczba ekspertów. Następnie masa i-tego obiektu, obliczona według szacunków wszystkich ekspertów (tj ), jest równe:

gdzie w ja - masa i-tego obiektu, obliczona według szacunków j-tego eksperta, wynosi:

3)Ustalanie stopnia spójności opinii biegłych

Jeżeli w badaniu bierze udział kilku ekspertów, rozbieżności w ich ocenach są nieuniknione, istotna jest jednak skala tej rozbieżności. Ocenę grupową można uznać za wystarczająco wiarygodną jedynie wówczas, gdy istnieje duża zgodność między odpowiedziami poszczególnych ekspertów.

Do analizy rozrzutu i spójności szacunków wykorzystuje się charakterystyki statystyczne – miary rozrzutu.

Zakres zmian (R):

Xmaks - X min ,

gdzie x maks. - maksymalna ocena obiektu; min - minimalna ocena obiektu.

Odchylenie standardowe obliczane ze znanego wzoru:

gdzie xj to ocena wydana przez j-tego eksperta;

Współczynnik zmienności (V), który zwykle wyraża się w procentach:

Podejścia do sprawdzania spójności stosowane przy ocenie obiektów metodą rankingową są specyficzne.

W tym przypadku efektem pracy eksperta jest ranking, będący ciągiem rang (dla eksperta j): x 1j , X 2j, …, x nj .

Zgodność rankingów dwóch ekspertów można określić za pomocą współczynnika korelacji rang Spearmana:

gdzie xij to ranga przypisana i-temu obiektowi przez j-tego eksperta, ik to ranga przypisana i-temu obiektowi przez k-tego eksperta; i to różnica pomiędzy rangami nadanymi i-temu obiekt.

Wartość może zmieniać się od -1 do +1. Jeżeli szacunki są całkowicie identyczne, współczynnik wynosi jeden. Współczynnik jest równy minus jeden, gdy występuje największa rozbieżność w opiniach biegłych.

Ponadto obliczenie współczynnika korelacji rang można wykorzystać jako sposób oceny związku pomiędzy dowolnym czynnikiem a wynikową charakterystyką (reakcją) w przypadkach, gdy charakterystyk nie można dokładnie zmierzyć, ale można je uporządkować.

W tym przypadku wartość współczynnika Spearmana można interpretować podobnie jak wartość współczynnika korelacji parami. Wartość dodatnia wskazuje na bezpośredni związek między czynnikami, wartość ujemna wskazuje na odwrotną zależność, a im wartość bezwzględna współczynnika jest bliższa jedności, tym związek jest bliższy.

W przypadku konieczności określenia zgodności rankingów dużej (więcej niż dwóch) liczby ekspertów oblicza się tzw. współczynnik zgodności – ogólny współczynnik korelacji rang dla grupy składającej się z m ekspertów:

Zauważ, że odejmowanie w nawiasach to nic innego jak średnia suma rang (po zsumowaniu dla każdego obiektu) otrzymanych przez i obiekty od ekspertów.

Współczynnik W waha się w przedziale od 0 do 1. Jego wartość równa jeden oznacza, że ​​wszyscy eksperci przypisywali obiektom te same rangi. Im wartość współczynnika jest bliższa zeru, tym mniej spójne są szacunki ekspertów.

Wniosek

Doświadczenie, intuicja, poczucie perspektywy w połączeniu z informacją pomagają specjalistom trafniej wybierać najbardziej ważne cele i kierunki rozwoju, znajdź najlepsze opcje rozwiązywanie złożonych problemów naukowych, technicznych i społeczno-ekonomicznych w warunkach, w których nie ma informacji o rozwiązywaniu podobnych problemów w przeszłości.

Zastosowanie metody ocen eksperckich pozwala na sformalizowanie procedur gromadzenia, podsumowywania i analizowania opinii specjalistów w celu przekształcenia ich w formę najwygodniejszą dla podjęcia świadomej decyzji. Należy jednak zaznaczyć, że metoda ocen eksperckich nie może zastąpić decyzji administracyjnych ani planistycznych, pozwala jedynie na uzupełnienie informacji niezbędnych do przygotowania i podjęcia takich decyzji. Powszechne stosowanie ocen eksperckich jest uzasadnione tylko wtedy, gdy nie ma możliwości zastosowania dokładniejszych metod analizy przyszłości.

Metody eksperckie są stale rozwijane i udoskonalane. Główne kierunki tego rozwoju wyznacza szereg czynników, m.in. chęć poszerzania zakresu zastosowań, zwiększania stopnia wykorzystania metod matematycznych i elektronicznej techniki komputerowej, a także szukania sposobów eliminowania pojawiających się niedociągnięć. Pomimo sukcesów osiągniętych w ostatnich latach w rozwoju i praktycznym zastosowaniu metody oceny eksperckiej, istnieje szereg problemów i zadań wymagających dalszych badań metodologicznych i testów praktycznych. Należy udoskonalić system doboru ekspertów, zwiększyć wiarygodność cech opinii grupowych, opracować metody sprawdzania zasadności ocen i badania ukrytych przyczyn obniżających wiarygodność ocen eksperckich. Jednak już dziś oceny eksperckie w połączeniu z innymi metodami matematycznymi i statystycznymi są ważnym narzędziem doskonalenia zarządzania na wszystkich poziomach.

Bibliografia

1Orłow A.I. Oceny ekspertów. // Laboratorium fabryczne. ? 1996. ? T. 62. ? nr 1. ? s. 54-60.

2Orłow A.I. Oceny ekspertów. Podręcznik dodatek. - M.: 2002.

Beshelev S.D., Gurvich F.G. Eksperckie oceny w podejmowaniu decyzji planistycznych. Podręcznik dodatek. - M.: Ekonomia, 1976. ? 287 s.

Evlanov L.G., Kutuzov V.A. Eksperckie oceny w zarządzaniu. - M.: Ekonomia, 1978. ? 133 s.

Kierownictwo. Podręcznik dodatek. / wyd. Zh.V. Prokofiewa. - M.: Wiedza, 2000. - 288 s.

Beshelev S.D., Gurvich F.G. Oceny ekspertów. - M.: Nauka, 1973. - 79 s.

metody statystyczne analiza ocen ekspertów. - M.: Nauka, 1977. - 384 s.

Moiseev N.N. Matematyczne problemy analizy systemowej. - M.: Nauka, 1981. - 487 s.

Litvak B.G. Ekspertyzy i podejmowanie decyzji. - M.: Patent, 1996.

Charakterystyka metod oceny eksperckiej [Zasoby elektroniczne]: #"justify">Ocena ekspercka. /Wikipedia. [Zasoby elektroniczne]: #"justify">Oceny eksperckie. // StatSoft: Doradztwo SPC. [Zasoby elektroniczne]: http://www.spc-consulting.ru/app/expert.htm

Korepetycje

Potrzebujesz pomocy w studiowaniu jakiegoś tematu?

Nasi specjaliści doradzą lub zapewnią korepetycje z interesujących Cię tematów.
Prześlij swoją aplikację wskazując temat już teraz, aby dowiedzieć się o możliwości uzyskania konsultacji.

Ekspercka metoda badawcza

Metody badań eksperckich i analitycznych

Do najważniejszych zaliczanych do grupy eksperckich metod analitycznych zalicza się następujące metody (tabela 3.3):

· ekspert;

· egzaminy;

· diagnostyczny;

· graficzny.

Przyjrzyjmy się bliżej tym metodom.

Metoda ekspercka operuje na intuicyjnych informacjach przekształconych wyobraźnią i ta jest najodpowiedniejsza dla MIS, gdyż w tym obszarze wiedzy przeważają głównie jakościowe kryteria oceny efektywności. Tę metodę badawczą należy stosować do wszystkich typów zarządzania. Istnieje kilka modyfikacji metody, ale najczęściej stosowana jest metoda Delphi. Strukturę eksperckiej metody badawczej (podstawowe kategorie) pokazano na ryc. 4.2.

Ryż. 4.2. Strukturyzacja metody badań eksperckich (główne kategorie)

Najbardziej znaczącym obszarem zastosowań metody badań eksperckich wydaje się obszar poprawności delimitacji obszarów odpowiedzialności (sektorów odpowiedzialności lub funkcji) pomiędzy menedżerami i pionami w poziomie. Szczególnie ważna w tym zakresie jest znajomość zasad konstruowania kwestionariuszy, stosowania pytań ukrytych, pośrednich itp.

Predykcyjne oceny eksperckie odzwierciedlają indywidualny osąd specjalistów co do perspektyw rozwoju przedmiotu badań i opierają się na mobilizacji doświadczenia zawodowego i intuicji (Meskon, 1993).

Warunki użytkowania intuicyjna (ekspercka) metoda badawcza:

1) brak wystarczająco reprezentatywnych i wiarygodnych statystyk dotyczących charakterystyki obiektu;

2) niepewność stanu otoczenie zewnętrzne;

3) średnio- i długoterminowe prognozowanie nowych rynków, którym podlegają nowe obszary przemysłu silny wpływ odkrycia w naukach podstawowych (np. przemysł mikrobiologiczny, elektronika kwantowa itp.);

4) brak czasu lub środków przeznaczonych na badania i podejmowanie decyzji, brak możliwości wykorzystania innych odpowiednich metod w tym zakresie;

5) sytuacje siły wyższej.

Stopień rzetelności badania ustalana na podstawie bezwzględnej częstotliwości, z jaką ocena biegłego zostaje ostatecznie potwierdzona przez późniejsze zdarzenia.

Wymagania dla eksperta zawierać następujące postanowienia:

1) wysoki poziom ogólna erudycja;

2) oceny eksperta muszą być stabilne w czasie i przechodnie;

3) dostępność Dodatkowe informacje o przewidywanych znakach tylko poprawia ocenę biegłego;

4) ekspert musi posiadać określone doświadczenie praktyczne i (lub) badawcze oraz być uznanym specjalistą w tej dziedzinie wiedzy;

5) ekspert musi mieć orientację psychologiczną na przyszłość;

6) musi być w stanie właściwie odzwierciedlić kierunki rozwoju badanego obiektu;

7) eksperta nie powinien interesować konkretny wynik badania.

Charakteryzując ekspertów, należy mieć na uwadze, że w wyniku opracowywania ocen mogą zaistnieć dwa rodzaje błędów:

1) systematyczne,

2) losowe.

Aby skorygować błędy systematyczne, można zastosować współczynniki korygujące lub skorzystać ze specjalnie zaprojektowanych gier szkoleniowych. Losowe błędy różnią się w zależności od oceny eksperckiej i charakteryzują się wielkością rozproszenia. W praktyce badawczej bardzo trudno jest je ocenić.

Specjalne gry szkoleniowe są środkiem szkolenia ekspertów.

Organizacja form pracy eksperckiej muszą być zaprogramowane lub nieprogramowane, a czynności eksperta mogą odbywać się w formie ustnej (wywiad) lub pisemnej (odpowiedzi na pytania ze specjalnych tabel ocen eksperckich lub swobodna prezentacja na zadany temat) (Sarkisjan, 1977).

Organizacja i stymulacja pracy eksperta polega na opracowaniu technik i metod heurystycznych ułatwiających poszukiwanie oceny eksperckiej, norm prawnych gwarantujących ekspercką rejestrację pierwszeństwa autorstwa. Ważne jest, aby nie ujawniać wszystkich pomysłów naukowych i technicznych przedstawionych przez eksperta w procesie pracy, form moralnego, zawodowego i materialnego zainteresowania eksperta w ocenach eksperckich, form organizacyjnych pracy eksperta (uwzględnienie w planie pracy itp.) (Meskon, 1993).

Rozwiązując problem utworzenia grupy eksperckiej, niezwykle ważne jest zidentyfikowanie i ustabilizowanie działającej sieci ekspertów. Metoda stabilizacji sieci eksperckiej przedstawia się następująco (Dobrov, 1969). Na podstawie analizy literatury dotyczącej badanego problemu wybierany jest dowolny specjalista, który ma na swoim koncie kilka publikacji z tej dziedziny. Proszą go o wskazanie 10 jego zdaniem najbardziej kompetentnych specjalistów w tej dziedzinie. Następnie jednocześnie zwracają się do każdego z dziesięciu wymienionych specjalistów z prośbą o wskazanie 10 najważniejszych ich kolegów-naukowców. Z powstałej listy specjalistów skreśla się pierwszych 10, a pozostałym wysyła się pisma zawierające powyższą prośbę.

Procedurę tę powtarza się do momentu, aż żaden z nowo mianowanych specjalistów nie będzie mógł dodać nowych nazwisk do listy ekspertów, ᴛ.ᴇ. do czasu ustabilizowania się sieci ekspertów. Powstałą sieć ekspertów można uznać za ogólną populację specjalistów kompetentnych w zakresie badania problemu. Jednocześnie ze względu na szereg ograniczeń praktycznych niewłaściwe okazuje się angażowanie w badanie wszystkich specjalistów. Z tego powodu niezwykle ważne jest utworzenie reprezentatywnej próby z ogólnej populacji ekspertów (Bestuzhev-Lada, 1982). Problem ten rozwiązuje się w ramach każdej konkretnej metody.

Aby zminimalizować koszty badań, dążą do zaangażowania minimalnej liczby ekspertów N min, pod warunkiem, że błąd wyniku badania nie będzie większy niż b, gdzie 0

Nmin = 0,5(3/b + 5). (4.1)

W takim przypadku należy zaobserwować stabilizację średniej oceny przewidywanej cechy. O osiągnięciu tej stabilizacji świadczy fakt, że włączenie lub wyłączenie eksperta z grupy nie zmienia względnej oceny pożądanej wartości o więcej niż b.

Najważniejszym narzędziem prognozowania eksperckiego jest ankieta dla specjalistów geodezyjnych. Przygotowanie i przeprowadzenie egzaminu obejmuje opracowanie kwestionariuszy zawierających zestaw pytań dotyczących przedmiotu badań. Strukturalnie zestaw pytań kwestionariusza powinien być logicznie powiązany z głównym zadaniem egzaminu. Treść pytań zdeterminowana jest specyfiką przedmiotu badań i jego metodologią. Τᴀᴋᴎᴍ ᴏϬᴩᴀᴈᴏᴍ, system pytań w ankiecie muszą spełniać następujące wymagania (Głuszczenko, 1997).

1) sformułowanie w ogólnie przyjętych terminach;

2) wykluczenie jakiejkolwiek niepewności semantycznej;

3) koncentrować się na zapewnieniu osiągnięcia celów badawczych;

4) zgodność ze strukturą obiektu badań;

5) zapewnienie jednolitej i jednoznacznej interpretacji wyników badania.

Forma pytań ankiety jest następująca:

· otwarte i zamknięte;

· bezpośredni i pośredni.

Najczęściej stosowaną metodą są wywiady i analityczne oceny eksperckie.

Metoda wywiadu polega na rozmowie z ekspertem, podczas której badacz, zgodnie z opracowanym programem, zadaje ekspertowi pytania dotyczące perspektyw rozwoju badanego obiektu. Sukces takiej oceny w dużej mierze zależy od psychologicznej zdolności biegłego do wydawania zaimprowizowanych wniosków na różne tematy, m.in. kwestie fundamentalne (Sarkisjan, 1969). Dobrze znaną wadą tej metody jest znaczna presja psychologiczna wywierana na eksperta.

Metody zbiorowych ocen eksperckich opierają się na zasadach ustalania zbiorowej opinii ekspertów na temat perspektyw rozwoju prognozowanego obiektu.

U podstaw stosowania tych metod leży hipoteza, że ​​eksperci mają zdolność oceny z wystarczającym stopniem wiarygodności wagi i znaczenia badanego problemu. Istnieje wiele modyfikacji metod zbiorowej oceny eksperckiej, wśród których najpopularniejsze są następujące metody:

· okrągły stół;

· ``Delphi'';

· prognozowanie oprogramowania;

· prognozowanie heurystyczne;

· zbiorowe generowanie pomysłów.

Gromadzenie i przetwarzanie indywidualnych opinii biegłych odbywa się w oparciu o następujące zasady (Głuszczenko, 1997):

1) pytania w kwestionariuszach są zadawane w taki sposób, aby możliwe było ilościowe opisanie odpowiedzi ekspertów;

2) badanie ekspertów odbywa się w kilku rundach, podczas których pytania i odpowiedzi są coraz bardziej dopracowywane;

3) wszyscy eksperci, z którymi przeprowadzono wywiady, po każdej rundzie zapoznawali się z wynikami badania;

4) eksperci uzasadniają oceny i opinie odbiegające od opinii większości;

5) statystyczne przetwarzanie odpowiedzi odbywa się sekwencyjnie od pracy do pracy w celu uzyskania ogólnej charakterystyki.

Co więcej, dominujący osąd specjalistów w dowolnej kwestii ujawnia się w środowisku, które wyklucza ich bezpośrednią debatę między sobą, ale jednocześnie pozwala im okresowo ważyć swoje sądy, biorąc pod uwagę odpowiedzi i argumenty kolegów. Rewizja i możliwość zmiany dotychczasowych ocen w oparciu o doprecyzowanie rozważań każdego eksperta oraz późniejsza analiza przez każdego uczestnika ogółu racji przedstawionych przez ekspertów pobudza respondentów do uwzględnienia czynników, które początkowo pomijali jako nieistotne .

Metoda delficka ocen eksperckich został opracowany przez amerykańskiego badacza O. Helmera w celu rozwiązywania złożonych problemów strategicznych w celu uzyskania szerszych źródeł niezwykle skąpych informacji o przyszłości, całkowitego wyeliminowania czynnika subiektywnego w sądach i ocenach przyszłości, pobudzenia sposobów myślenia specjalistów poprzez stworzenie specjalnego systemu informacyjnego ze sprzężeniem zwrotnym, wyeliminowanie zakłóceń w wymianie informacji pomiędzy specjalistami, nacisków ze strony władzy i innych form nacisku, zapewnienie zwiększonej wiarygodności prognoz poprzez specjalne procedury ilościowej oceny ekspertyz i ich maszynowego przetwarzania.

W odróżnieniu od metody scenariuszowej metoda Delphi polega na wstępnym zapoznaniu zaangażowanych ekspertów z sytuacją za pomocą jakiegoś modelu: model taki powinien być zarówno ścisłym modelem matematycznym, np. ekonometrycznym modelem rozwoju gospodarczego, jak i nieformalnym opisem sytuacji. proces, na przykład scenariusz. W analizie systemowej główną formą modelu, która podlega doskonaleniu i nasycaniu informacjami za pomocą ocen eksperckich, jest z reguły drzewo celów.

Specjalista proszony jest o ocenę struktury modelu jako całości i przedstawienie propozycji uwzględnienia w nim nieuwzględnionych połączeń. Stosowana jest w tym przypadku metoda kwestionariuszowa z ujednoliconymi formami pytań, odpowiedzi i ocen. Wyniki każdego etapu badania i usystematyzowanie jego wyników są ponownie przedstawiane wszystkim ekspertom, co pozwala im na dalsze korygowanie swoich ocen w oparciu o nowo otrzymane informacje. Uzyskane informacje są dalej porównywane i analizowane w oparciu o wykorzystanie danych przez ekspertów ds. oceny ilościowej.

Istnieje szereg procedur uśredniania i obiektywizacji opinii ekspertów, a także szereg procedur oceny autorytetu i względnej wagi opinii samych ekspertów, np. wzajemnej oceny ich kompetencji w dowolnej dziedzinie. W przypadku braku obiektywnych danych, co dotyczy szczególnie informacji o przyszłości, metoda Delphi wydaje się najbardziej wiarygodną metodą uzyskania kompleksowych, a jednocześnie wystarczająco wiarygodnych danych. W MIS metodę Delphi wykorzystuje się na etapie VI (tabela 3.1) do oceny aktualnego stanu tych czynników, których nie da się bezpośrednio skwantyfikować (np. ocena współczesnych czynników społecznych wpływających na kształtowanie celów), na etapie VII do oceny jednego z najważniejszych metod pozyskiwania i przetwarzania informacji prognostycznych.

Analiza morfologiczna- sposób na badanie wszystkich możliwych kombinacji rozwiązań organizacyjnych, na przykład proponowanych do realizacji poszczególnych funkcji zarządczych. Jeśli zapiszemy wszystkie funkcje w kolumnie, a następnie obok każdej funkcji wskażemy wiersz po wierszu wszystkie możliwe opcje jej realizacji, otrzymamy macierz morfologiczną (tabela 4.1). Ideą tej metody jest zasadniczo podzielenie złożonego problemu na małe podzadania, które łatwiej jest rozwiązać indywidualnie. A funkcje to nic innego jak zbiór zadań, prac i procedur.

Tabela 4.1

Morfologiczna matryca sposobów realizacji funkcji zarządczych

Legenda:

F – funkcja;

n – numer seryjny funkcji;

P – sposób realizacji funkcji;

k – numer seryjny sposobu realizacji funkcji.

Najbardziej znane odmiany tej metody to:

metoda systematycznego pokrycia pola (MSPP);

metoda negacji i konstrukcji (DEC);

metoda pudełek morfologicznych (MBM) itp.

Badania socjologiczne są szeroko stosowane w praktyce do badania problemów w podsystemach informacyjno-behawioralnych i strukturalno-funkcjonalnych związanych ze specjalistami i menedżerami, przy wyborze kierunku działania, zwiększaniu zaangażowania w sprawy organizacji, zainteresowaniu realizacją planów itp. Możesz na przykład dowiedzieć się, czy istnieją jakieś funkcje, zadania, prace i procedury nierozdzielone pomiędzy działami, menedżerami lub specjalistami.

Badania socjologiczne realizowane są poprzez zbieranie i przetwarzanie informacji o potrzebach i zainteresowaniach specjalistów organizacji, charakterze relacji międzyludzkich i międzygrupowych, rodzaju kultury organizacyjnej, która wykształciła się pod wpływem nowoczesnego składu kadr w organizacji oraz inne czynniki. Do tych celów użyj:

· wywiad;

· kwestionariusze;

obserwacja i samoobserwacja;

· badanie dokumentów;

· badanie czynników zachowań grupowych itp.

Wyniki uzyskane w trakcie badania pozwalają na sformułowanie mierników i działań poprawiających efektywność funkcjonowania IPP, SFP i ich elementów.

Metoda skryptowa jest sposobem pierwotnego uporządkowania problemu oraz sposobem uzyskania i gromadzenia informacji o powiązaniach problemu z innymi problemami oraz o możliwych i prawdopodobnych kierunkach przyszłego rozwoju. Nazwa metody wzięła się od znanej i starannie opracowanej technologii pisania scenariuszy. Na podstawie iteracyjnej sekwencji konstruowania scenariuszy w celu wybrania odpowiedniego wariantu sterowania (rys. 4.3).

Zasady, leżący u podstaw metody skryptowej:

· konsekwentne rozwiązywanie niepewności (proces iteracyjny);

· badanie scenariuszy rozwoju.

Cel metody– uzyskanie naukowo uzasadnionej prognozy do podejmowania decyzji zarządczych.

Scenariusz- ϶ᴛᴏ hipotetyczny obraz sekwencyjnego rozwoju w czasie i przestrzeni zdarzeń składających się na ewolucję obiektów kontrolnych.

Ryż. 4.3. Logika metody skryptu

Konstruując scenariusze, stosuje się następujące pojęcia:

1) czynniki wewnętrzne i zewnętrzne:

· czynniki wewnętrzne – wewnętrzna struktura systemu, relacje pomiędzy jego elementami, wzorce jego rozwoju;

· czynniki zewnętrzne – interakcja systemu z systemem szerszej klasy (makro- i mikrootoczenie).

2) parametry scenariusza – nieprzewidywalne czynniki wpływające na system;

3) ograniczenie (każdy system mieści się w ramach ograniczających jego stan – ekwifinalność):

· naturalny (określony przez środowisko naturalne, w którym znajduje się system, np. warunki klimatyczne itp.);

· normatywny (odnoszący się do otoczenia prawnego i wszelkich możliwych norm postępowania – kultury, zwyczajów, tradycji, moralności, religii, etyki).

4) wskaźnik scenariusza – parametr krytyczny dla stanów granicznych obiektu regulacji.
Opublikowano na ref.rf
Jest to parametr ograniczający stan systemu w określonych kierunkach (którego progu nie można przekroczyć, aby nie spowodować zniszczenia systemu);

5) procedura metody scenariuszowej – określenie prognozy gwarantowanej, ᴛ.ᴇ. granic, poza które rozwój systemu nie może wyjść z przyczyn obiektywnych.

Scenariusze można stosować na różnych etapach systemu MIS, gdy konieczne jest zebranie i uporządkowanie bardzo heterogenicznych i nieustrukturyzowanych informacji. Jednak głównym obszarem zastosowania tego narzędzia jest etap 1 analizy systemu – analiza problemu oraz etap VII – prognozowanie i analiza przyszłych warunków (tabela 3.1).

Ekspercka metoda badań - koncepcja i rodzaje. Klasyfikacja i cechy kategorii „Metoda badań eksperckich” 2017, 2018.

Ocena ekspercka to nazwa całego systemu metod diagnostycznych, które są niezwykle szeroko stosowane w zarządzaniu, analizie ekonomicznej, psychologii, marketingu i innych dziedzinach. Metody te pozwalają scharakteryzować, sklasyfikować, przypisać określoną rangę lub ocenę wydarzeniom i pojęciom, których nie da się zmierzyć ilościowo.

W jakich przypadkach konieczna jest ekspertyza?

W trakcie każdego badania, na każdym jego etapie, metoda może być zastosowana w działaniach zarządczych, może być przydatna:

• Na etapie ustalania celów i założeń procesu badawczego.
• Podczas konstruowania lub testowania hipotezy.
• Aby wyjaśnić sytuację problemową. Aby zinterpretować zachodzące procesy i zdarzenia.
• Aby uzasadnić adekwatność zastosowanych narzędzi.
• Generowanie rekomendacji, a także realizacja wielu innych celów.

Przeprowadzenie ekspertyzy jest uzasadnione w przypadkach, gdy nie można podjąć decyzji na podstawie dokładnych obliczeń (w celu sporządzenia portretu psychologicznego, charakterystyki pracy, oceny niepewności ekonomicznej i ryzyka).

Najczęściej zastosowanie takich ocen staje się istotne w sytuacji wyboru jednej lub kilku opcji z proponowanego zestawu:

• Uruchomienie produkcji seryjnej jednego z opracowanych wariantów produktu.
• Wybór astronautów spośród licznych kandydatów.
• prace naukowe, które będą finansowane.
• Wybór przedsiębiorstwa, które otrzyma kredyt środowiskowy.
• Ustalenie projektu inwestycyjnego dla inwestowania środków.

Kim są eksperci i jak działają?

Jak sama nazwa metody wskazuje, ocena ekspercka polega na zaangażowaniu jednego lub kilku biegłych specjalistów, którzy są kompetentni do dokonywania ocen osób, a także przetwarzania ich opinii. Dobór ekspertów odbywa się z uwzględnieniem adekwatności ich osądu i doświadczenia w tej dziedzinie.

Ocena ekspercka może być wyrażona zarówno ilościowo, jak i jakościowo. Dane z badań eksperckich są potrzebne kadrze kierowniczej, menedżerom i pracownikom zarządzającym jako podstawa do podejmowania decyzji.

Opracowanie oceny eksperckiej najczęściej odbywa się poprzez utworzenie grupy roboczej, która organizuje działania eksperta (lub kilku ekspertów). Jeżeli w badaniu musi brać udział więcej niż jedna osoba, łączy się je w komisję ekspertów.

Ilu ekspertów będzie potrzebnych?

W zależności od specyfiki zadania i możliwości przedsiębiorstwa do przeprowadzenia oceny eksperckiej może zostać zaproszony jeden lub więcej ekspertów. W takim przypadku ocenę ekspercką nazywa się indywidualną lub zbiorową.

Ocena stosowana przez nauczyciela do scharakteryzowania poziomu wiedzy ucznia staje się indywidualna. Do tego typu zalicza się również diagnozę postawioną przez jednego lekarza. Natomiast w sytuacjach kontrowersyjnych lub trudnych (poważna choroba, poruszająca kwestię wydalenia studenta) uciekają się do zbiorowego rozwiązania problemu. Tutaj potrzebne są sympozja lekarzy i organizacja komisji pedagogicznej.

Ten sam algorytm działa w armii: najczęściej decyzję podejmuje sam dowódca, ale w razie potrzeby powołuje się radę wojskową.

Kolejność procedury oceny

Kolejność tworzenia odpowiedniej i obiektywnej oceny eksperckiej składa się z następujących etapów:

1. Aktywność, którą należy zbadać.
2. Wybór ekspertów do przeprowadzenia postępowania.
3. Badanie istniejących metod pomiaru ocen eksperckich.
4. Samo przeprowadzenie procedury oceny.
5. Kompilacja i analiza informacji uzyskanych podczas oceny.

W takim przypadku może zaistnieć konieczność sprawdzenia danych wejściowych, na których oparta zostanie ocena ekspercka. W niektórych przypadkach grupa robocza musi zmienić skład grupy eksperckiej lub dokonać ponownego pomiaru tych samych kwestii (w celu późniejszego porównania uzyskanej oceny z obiektywnymi danymi z innych źródeł).

Postęp oceny: charakterystyka etapów

Właściwe rozwiązanie kwestii organizacyjnych ma ogromne znaczenie dla pomyślnego wdrożenia procedury:

• Zaplanowanie kosztów wydarzenia (opłata za usługi ekspertów i specjalistów w zakresie analizy uzyskanych danych, wydatki na wynajem lokalu, zakup materiałów biurowych).
• Przygotowanie niezbędnych materiałów (opracowanie i wydruk formularzy, zapewnienie sprzętu).
• Wybór i instruowanie moderatora wydarzenia.

W procesie pracy eksperci muszą kierować się przydzielonymi przepisami, ponieważ dodatkowy czas na podjęcie decyzji nie wpływa na jej trafność.

Po otrzymaniu odpowiedzi od wszystkich specjalistów następuje ocena opinii biegłego. W takim przypadku brany jest pod uwagę stopień spójności wszystkich opinii. Jeżeli nie ma jednoznacznego porozumienia, grupa robocza musi znaleźć przyczynę nieporozumienia, odnotować powstanie kilku grup opinii i brak spójności w wyniku oceny eksperckiej. Następnie szacuje się błąd badawczy i na podstawie uzyskanych danych budowany jest model. Jest to konieczne, aby można było przeprowadzić późniejsze badanie analityczne.

Metody przeprowadzania indywidualnej oceny eksperckiej: czym jest wywiad

Do najskuteczniejszych i najczęściej stosowanych technik należą:

• Metoda analityczna.
• Metoda pisania skryptu.
• Wywiad.

Zgodnie z metodyką wywiadu prognostyk rozmawia z ekspertem, zadając mu pytania. Przedmiotem rozmowy są perspektywy rozwoju danego obiektu lub zjawiska. Program ankiety jest opracowywany z wyprzedzeniem.

Skuteczność i jakość oceny biegłego zależy bezpośrednio od tego, czy biegły może wydać opinię w ograniczonym czasie.

Przeprowadzenie badań metodą analityczną

Wybierając metodę analityczną do przeprowadzenia oceny, biegły specjalista musi przygotować się do starannego wykonania samodzielnej pracy. Będzie musiał dokonać analizy trendów, ocenić stan i możliwe ścieżki rozwoju obiektu, w stosunku do którego stosowane jest prognozowanie.

System ocen eksperckich polega na badaniu wszelkich informacji o przedmiocie, którymi dysponuje biegły. Wynik jest formatowany jako

Główną zaletą metody analitycznej jest to, że specjalista może wykazać wszystkie swoje indywidualne umiejętności.

To prawda, że ​​​​ta metoda nie nadaje się do analizy dużych i złożonych systemów, ponieważ ekspertowi może brakować wiedzy z pokrewnych dziedzin.

Wykonywanie ekspertyz poprzez pisanie scenariuszy

Ściśle rzecz ujmując, metody tej nie należy klasyfikować jedynie jako metody oceny indywidualnej, gdyż z powodzeniem stosowana jest w pracy grupowej.

Aby zastosować tę metodę, ekspert powinien określić logikę badanych procesów i zjawisk w zależności od czasu i różnych kombinacji warunków. Wtedy będzie w stanie ustalić hipotetyczną sekwencję zdarzeń (ich rozwój, przejście od sytuacji bieżącej do stanu przewidywanego). Scenariusz odzwierciedla wszystkie etapy rozwiązywania problemu, a także przewiduje pojawienie się możliwych przeszkód.

Ekspertyza zbiorowa: metoda burzy mózgów

Ocena złożonych, wielkoskalowych i wielopoziomowych systemów nie jest możliwa bez zaangażowania kilku ekspertów.

Mogą wykonać przydzielone zadanie, korzystając z jednego z poniższych sposobów:

• Wspólne generowanie pomysłów („burza mózgów”).
• Metoda „635”.
• Metoda Delphi.
• Szacunki Komisji.

Dzięki zbiorowym wysiłkom i specjalnej organizacji eksperci mogą skutecznie przeprowadzać najbardziej skomplikowane procedury, takie jak ekspercka ocena ryzyka projektu inwestycyjnego czy prognozowanie działania różnych systemów.

„Burza mózgów” pozwala w pełni ujawnić potencjał twórczy ekspertów. Na pierwszym etapie specjaliści aktywnie generują pomysły, następnie stosują destrukturyzację (krytykują je, niszczą), zgłaszają kontridee i wypracowują spójny punkt widzenia.

Głównym warunkiem jest brak krytyki na początku i ekspresja wszystkich spontanicznie powstających pomysłów.

Specyfika metody „635”.

Metoda otrzymała tę nazwę ze względu na technikę stosowaną przez ekspertów podczas jej stosowania: każdy z sześciu ekspertów zapisuje na kartce papieru trzy spontanicznie pojawiające się pomysły w ciągu pięciu minut.

Co jest specjalnego w metodzie Delphi?

Celem opracowania tej metody oceny eksperckiej była potrzeba bardziej rygorystycznej i uzasadnionej procedury, która mogłaby dać obiektywny i najbardziej użyteczny wynik.

Wykorzystują go eksperci zapraszani do instytutów naukowo-technicznych, towarzystw inwestycyjnych i ubezpieczeniowych, a także w szeregu innych przypadkach.

Istota metody polega na tym, że przeprowadza się wielorundowe badania indywidualne (często z wykorzystaniem kwestionariuszy). Następnie przeprowadzana jest komputerowa analiza ocen ekspertów w celu wyrobienia opinii zbiorczej. Jednocześnie identyfikowane i podsumowywane są argumenty na rzecz obrony każdego wyroku.

W kolejnym etapie uzyskane wyniki przekazywane są ekspertom w celu korekty. Swój sprzeciw wobec wyroku zbiorowego należy uzasadnić na piśmie. W wyniku wielokrotnego zwracania oceny do korekty, grupa robocza osiąga zawężenie zakresu i wypracowanie spójnego osądu co do perspektyw rozwoju badanego obiektu.

Co jest dobrego w tej metodzie:

1. Eksperci biorący udział w ocenie nie znają się i nie komunikują ze sobą. Zatem ich interakcja jest wykluczona.
2. Wyniki poprzednich rund są również interesujące i cenne dla grupy roboczej.
3. Możliwe jest uzyskanie statystycznych charakterystyk opinii grupowej.

Pomimo stosunkowo wysokich kosztów i czasu trwania, metoda ta staje się najlepszym sposobem na określenie rozwoju długotrwałych sytuacji problematycznych.

Często oceny dokonuje specjalnie zorganizowana komisja (metoda komisji), która przy okrągłym stole rozważa wszystkie aspekty problemu i podejmuje uzgodnioną decyzję. Wadą jest wzajemne oddziaływanie uczestników i zniekształcanie wyników. Przykładem może być wiedza fachowa nauczycieli i lekarzy.

Inne metody

Powyżej wymieniono najpopularniejsze metody wykonywania badań, ale w praktyce organizacji przemysłowych, naukowo-badawczych stosowane są również inne.

W zależności od specyfiki sytuacji, którą należy przewidzieć, a także od zasobów i możliwości przedsiębiorstwa, można zastosować:

• Gra biznesowa. Pozwala symulować wymaganą liczbę sytuacji w celu zbadania cech systemu sterowania lub innych procesów.
• „Proces” jest inscenizacją procesu, w którym jedni eksperci bronią rozwiązań, inni zaś starają się je obalić.
• Metoda raportu – po przeprowadzeniu analizy ekspert wyraża swoją opinię w formie notatki analitycznej lub raportu. Jest to istotne, gdy konieczne jest wykonanie stosunkowo prostych prac (na przykład ekspertyza samochodu pod kątem ubezpieczenia, opodatkowania lub odszkodowania za szkody).

W rezultacie można zauważyć, że istnienie dużej liczby metod i metod przeprowadzania ocen eksperckich pozwala kierownikowi przedsiębiorstwa i grupie roboczej wybrać najskuteczniejszą opcję rozwiązania konkretnego problemu.

Problemy prognostyczne rozwiązywane metodami oceny eksperckiej obejmują dwa formalnie niezwiązane ze sobą elementy: identyfikację możliwych wariantów zagospodarowania obiektu prognozy oraz ich ocenę. Analiza metod eksperckich wskazuje na możliwość wykorzystania burzy mózgów w celu określenia możliwych opcji rozwoju. Ich zastosowanie pozwala uzyskać produktywne rezultaty w krótkim czasie i zaangażować wszystkich ekspertów w aktywny proces twórczy.

Metody burzy mózgów można sklasyfikować na podstawie obecności lub braku informacji zwrotnej pomiędzy liderem a uczestnikami burzy mózgów w procesie rozwiązywania określonej sytuacji problemowej. Obecność informacji zwrotnej pozwala uczestnikom skoncentrować swoją uwagę wyłącznie na opcjach, które są przydatne według określonych kryteriów rozwiązania sytuacji problemowej. Jednak sztucznie wprowadzając ograniczenia, zostajemy pozbawieni możliwości dostrzeżenia całej różnorodności podejść, a tym samym istnieje możliwość przeoczenia oryginalnych myśli, które mają potencjał, ale nie mają obecnie uznanej wartości. Brak informacji zwrotnej, tj. Maksymalna stymulacja wypowiedzi polega na prowadzeniu skomplikowanych i zakrojonych na szeroką skalę prac już na etapie ich oceny. Obecna sytuacja wymagała opracowania metody „burzy mózgów”, która umożliwiłaby sprawną i odpowiednio szybką ocenę opcji, bez ograniczania ich liczby.

Istotą tej metody jest aktualizacja potencjału twórczego specjalistów podczas „burzy mózgów” dotyczącej sytuacji problemowej, która w pierwszej kolejności polega na generowaniu pomysłów, a następnie ich niszczeniu (niszczeniu, krytyce) poprzez formułowanie kontridei. Praca metodą „burzy mózgów” polega na realizacji kolejnych sześciu etapów.

Pierwszy etap- utworzenie grupy uczestników burzy mózgów (pod względem wielkości i składu). Optymalną wielkość grupy uczestników określa się empirycznie: za najbardziej produktywne uznawane są grupy 10-15 osób. Skład grupy uczestników polega na ich ukierunkowanym doborze: 1) spośród osób mniej więcej tej samej rangi, jeśli uczestnicy się znają; 2) od osób o różnej randze, jeżeli uczestnicy się nie znają (w tym przypadku należy zrównać każdego z uczestników poprzez przypisanie mu numeru, a następnie zwrócić się do uczestnika po numerze). Jeśli chodzi o potrzebę specjalizacji uczestnika w obszarze sytuacji problemowej, warunek ten nie jest obowiązkowy dla wszystkich członków grupy. Ponadto wysoce pożądane jest, aby w skład tej grupy wchodzili specjaliści z innych dziedzin wiedzy, posiadający wysoki poziom erudycji ogólnej i rozumiejący sens sytuacji problemowej.

Druga faza- sporządzenie notatki problemowej dla uczestnika burzy mózgów. Jest on opracowywany przez grupę ds. analizy sytuacji problemowych i zawiera opis tej metody oraz opis sytuacji problemowej. Opis ten zawiera: zasadę, na której opiera się metoda; warunki zapewniające największą skuteczność burzy mózgów, autorstwo wyników ataku; podstawowe zasady przeprowadzenia ataku. Opis sytuacji problemowej zawiera: przyczyny wystąpienia sytuacji problemowej; analiza przyczyn i możliwych konsekwencji zaistniałej sytuacji problemowej (wskazane jest wyolbrzymianie konsekwencji, aby mocniej odczuć potrzebę rozwiązania sprzeczności); analiza światowych doświadczeń w rozwiązywaniu takiej sytuacji problemowej (jeśli istnieje); klasyfikacja (usystematyzowanie) istniejących sposobów rozwiązania sytuacji problemowej, sformułowanie sytuacji problemowej w formie pytania centralnego z hierarchią pytań podrzędnych.

Trzeci etap- generowanie pomysłów. Rozpoczyna się od ujawnienia przez prezentera treści problematycznej notatki. Przewidując opis metody, prezenter skupia uwagę uczestników na zasadach prowadzenia burzy mózgów: 1) wypowiedzi uczestników powinny być jasne i zwięzłe; 2) niedopuszczalne są sceptyczne uwagi i krytyka wcześniejszych wystąpień; 3) każdy uczestnik ma prawo występować wielokrotnie, ale nie pod rząd; 4) niedopuszczalne jest odczytywanie z rzędu listy pomysłów, którą uczestnicy mogą wcześniej przygotować. Opowiadając na nowo treść sytuacji problemowej, prezenter koncentruje uwagę uczestników na głównym zagadnieniu. Prowadzący musi tak skonstruować swoje wystąpienie, aby obudzić w uczestnikach wrażliwość psychologiczną, aby poczuli potrzebę zrobienia tego, o co ich poprosi. Pożądaną reakcją uczestników jest chęć celowego myślenia, ukierunkowanego na rozwiązanie sytuacji problemowej.

Aktywną aktywność facylitatora zakłada się dopiero na początku sesji burzy mózgów. Gdy uczestnicy będą wystarczająco podekscytowani, proces zgłaszania nowych pomysłów następuje spontanicznie. Lider w tym procesie odgrywa rolę pasywną, regulując uczestników zgodnie z zasadami ataku. Należy pamiętać, że im bardziej zróżnicowane i im większa liczba wypowiedzi, tym szersze i głębsze jest rozpatrywane zagadnienie oraz tym większe prawdopodobieństwo pojawienia się wartościowych wypowiedzi. Biorąc pod uwagę powyższą okoliczność, przywódca przeprowadzając atak musi kierować się następującymi zasadami:

Skoncentruj uwagę uczestników na sytuacji problemowej, ustalając ramy z jej konkretnymi wymaganiami i rygorem terminologicznym wyrażanych pomysłów;

Nie uznawaj żadnego pomysłu za fałszywy, nie potępiaj ani nie przestawaj badać żadnego pomysłu, tj. rozważyć dowolny pomysł niezależnie od jego pozornego znaczenia i wykonalności;

Witamy ulepszenia lub kombinacje pomysłów, oddając głos w pierwszej kolejności tym, którzy chcą zabrać głos w związku z poprzednim wystąpieniem;

Zapewnij uczestnikom wsparcie i zachętę, których potrzebują, aby uwolnić ich od zahamowań;

Stwórz luźną atmosferę, przyczyniając się w ten sposób do aktywacji uczestników ataku.

Czwarty etap- systematyzacja pomysłów wyrażanych na etapie generacji. Grupa analizy sytuacji problemowych dokonuje systematyzacji pomysłów w następującej kolejności: sporządzana jest lista nomenklatury wszystkich wyrażonych pomysłów; każda z idei jest sformułowana w powszechnie używanych terminach; identyfikowane są powielone i uzupełniające się pomysły; zduplikowane i (lub) uzupełniające się pomysły są łączone i formułowane jako jeden złożony pomysł; identyfikowane są znaki, dzięki którym można łączyć pomysły; pomysły są łączone w grupy według wybranych cech; lista pomysłów jest zestawiana w grupy (w każdej grupie pomysły są zapisywane w kolejności ich ogólności: od bardziej ogólnych do szczegółowych, uzupełniających lub rozwijających bardziej ogólne pomysły).

Piąty etap- niszczenie (niszczenie, krytykowanie) usystematyzowanych pomysłów (specjalistyczna procedura oceny pomysłów pod kątem praktycznej wykonalności w procesie burzy mózgów, gdy każdy z nich jest poddawany wszechstronnej krytyce przez uczestników sesji burzy mózgów).

Podstawową zasadą etapu niszczenia jest rozpatrywanie każdej z usystematyzowanych idei jedynie z punktu widzenia przeszkód w jej realizacji, tj. uczestnicy ataku wysunęli argumenty obalające usystematyzowany pomysł. Szczególnie cenny jest fakt, że w procesie destrukcji może wygenerować się kontridea, która formułuje istniejące ograniczenia i wysuwa propozycję możliwości usunięcia tych ograniczeń.

Grupa uczestników burzy mózgów na tym etapie składa się z wysoko wykwalifikowanych specjalistów z omawianej dziedziny, jej liczebność sięga 20-25 osób, a czas jej trwania wynosi 1,5 godziny. Proces destrukcji trwa, dopóki każda z usystematyzowanych idei na liście nie zostanie poddana krytyce. Wyrażona krytyka i przeciwne pomysły są nagrywane na magnetofonie.

Szósty etap- ocena uwag krytycznych i sporządzenie listy pomysłów mających zastosowanie w praktyce. Realizacją tego etapu zajmuje się grupa analizy sytuacji problemowej:

1. Sporządza się listę wszystkich uwag krytycznych otrzymanych na etapie niszczenia. W razie potrzeby krytyczne uwagi są wyjaśniane, a duplikaty odrzucane.

2. Sporządza się tabelę podsumowującą etapy systematyzacji i niszczenia pomysłów, a także listę wskaźników praktycznego zastosowania pomysłów (wskaźniki te są specyficzne w każdym przypadku i zależą od konkretnej sytuacji problemowej). Pierwsza kolumna tabeli to wyniki etapu usystematyzowania pomysłów; drugi - uwagi krytyczne obalające idee; trzeci - wskaźniki praktycznego zastosowania pomysłów; czwarty - kontridee wyrażane na etapie niszczenia.

3. Każda uwaga krytyczna i kontrpomysł są oceniane:

a) zostaje skreślony z tabeli, jeżeli zostanie odrzucony przez co najmniej jeden wskaźnik praktycznego zastosowania;

b) nie jest przekreślony, jeżeli nie zaprzecza temu żaden wskaźnik.

4. Sporządza się ostateczną listę pomysłów; Na listę przenoszone są tylko te pomysły, które nie zostały obalone uwagami krytycznymi i pozostają w tabeli, a także kontrpomysły.

Metoda kolektywnego generowania pomysłów została sprawdzona w praktyce i pozwala znaleźć rozwiązanie grupowe przy ustalaniu możliwych wariantów rozwoju obiektu prognozy, z wyłączeniem ścieżki kompromisu, gdy pojedynczej opinii nie można uznać za wynik bezstronnego analiza problemu.

Metoda Delphi. W ciągu ostatnich dwóch dekad powstały odrębne metody, które w pewnym stopniu pozwalają uporządkować statystyczne przetwarzanie opinii ekspertów-ekspertów i uzyskać mniej lub bardziej zgodną opinię. Metoda Delphi jest jedną z najpowszechniejszych metod eksperckiej oceny przyszłości, czyli tzw. prognozowanie eksperckie. Metoda ta została opracowana przez amerykańską korporację badawczą RAND i służy do określania i oceny prawdopodobieństwa wystąpienia określonych zdarzeń.

Metoda Delficka opiera się na następującej zasadzie: w naukach niedokładnych opinie ekspertów i subiektywne sądy z konieczności muszą zastąpić dokładne prawa przyczynowości odzwierciedlone w naukach przyrodniczych.

Metoda Delphi pozwala podsumować opinie poszczególnych ekspertów w spójną opinię grupową. Ma wszystkie wady prognoz opartych na ocenach eksperckich. Jednakże prace przeprowadzone przez firmę RAND Corporation w celu udoskonalenia tego systemu znacznie zwiększyły elastyczność, szybkość i dokładność prognozowania.

Metodę Delphi charakteryzują trzy cechy, które odróżniają ją od konwencjonalnych metod grupowego oddziaływania ekspertów. Cechy te obejmują: a) anonimowość ekspertów; b) wykorzystanie wyników poprzedniej edycji badania; c) charakterystyka statystyczna odpowiedzi grupowej.

Anonimowość polega na tym, że w trakcie procedury eksperckiej oceny przewidywanego zjawiska lub obiektu uczestnicy grupy eksperckiej nie są sobie znani. W takim przypadku interakcja członków grupy podczas wypełniania kwestionariuszy jest całkowicie wyeliminowana. W wyniku takiego oświadczenia autor odpowiedzi może zmienić swoją opinię bez publicznego ogłaszania tego.

Wykorzystanie wyników poprzedniej rundy badania jest następujące: ponieważ interakcja grupowa odbywa się bezpośrednio poprzez odpowiedź na kwestionariusz, specjalista lub organizacja prowadząca badania Delphi wydobywa z kwestionariuszy tylko te informacje, które odnoszą się do tego problemu. Synoptyk uwzględnia opinie ekspertów „za” i „przeciw” dla każdego punktu widzenia. Głównym efektem tego systemu jest uniemożliwienie grupie przyjęcia własnych celów i założeń. System ten pozwala grupie specjalistów skoncentrować swoje wysiłki na początkowych zadaniach, zamiast zakładać za każdym razem coś nowego.

Cechą statystyczną odpowiedzi grupowej jest to, że grupa specjalistów sporządza prognozę zawierającą punkt widzenia jedynie większości ekspertów, tj. punktu widzenia, z którym większość grupy mogłaby się zgodzić. Niewiele jednak wskazuje na stopień różnicy zdań, jaki mógł istnieć pomiędzy członkami grupy. Zamiast tego metoda Delphi wykorzystuje statystyczną charakterystykę odpowiedzi, która uwzględnia opinię całej grupy. Każda odpowiedź w obrębie grupy jest brana pod uwagę przy konstruowaniu mediany, a rozrzut odpowiedzi charakteryzuje się wielkością odstępu między kwartylami. Innymi słowy, odpowiedź grupy można przedstawić jako medianę i dwa kwartyle, tj. w postaci liczby, której szacunki przez połowę członków grupy były większe od tej liczby, a przez drugą połowę mniejsze. Metoda Delphi pozwala członkom jury na efektywną interakcję, choć wyniki tej interakcji kontroluje lider grupy poprzez sumowanie argumentów. Członkowie jury zmieniają swoje oceny właśnie wtedy, gdy argumenty ich kolegów przekonują, a poza tym uparcie trzymają się przeciwstawnych punktów widzenia.

Metoda Delphi jest wykonalna i skuteczna w uzyskiwaniu korzyści z udziału grupy w przygotowaniu prognozy; jednocześnie metoda ta minimalizuje lub eliminuje większość trudności związanych z pracą komisji, choć może wymagać więcej czasu niż prowizja z osobistą komunikacją członków, zwłaszcza jeśli ankieta przeprowadzana jest drogą pocztową.

W rozwoju metody Delphi stosowana jest korekcja krzyżowa. Przyszłe wydarzenie jest przedstawiane jako ogromna liczba połączonych i przekształcających się ścieżek rozwoju.

Przedstawiając prognozę zmian naukowo-technicznych jako D 1, D 2, ..., D n i odpowiadające im prawdopodobieństwa jako P 1, P 2, ..., P n i zakładając P 1 = 100%, znajdujemy zmiany wartości P 2, ... , Р i , …, Р n .

Po wprowadzeniu korelacji krzyżowej wartości każdego zdarzenia, ze względu na wprowadzone pewne powiązania, zmienią się pozytywnie lub negatywnie, dostosowując w ten sposób prawdopodobieństwa danych zdarzeń. W celu przyszłej zgodności modelu z warunkami rzeczywistymi można do modelu wprowadzić elementy losowości.

Istotą metod oceny eksperckiej przy opracowywaniu prognoz jest określenie zgodności opinii eksperckich na temat obiecujących kierunków rozwoju obiektu prognozowanego, sformułowanych wcześniej przez poszczególnych specjalistów, a także ocena aspektów zagospodarowania obiektu, których nie można określone innymi metodami (na przykład obliczeniami analitycznymi, eksperymentem itp.).

I. Tworzenie grup. W celu organizacji ocen eksperckich tworzone są grupy robocze, których zadaniem jest prowadzenie ankiety, opracowywanie materiałów i analiza wyników zbiorczej oceny eksperckiej. Grupa robocza powołuje ekspertów, którzy udzielają odpowiedzi na zadawane pytania dotyczące perspektyw rozwoju tej branży. Liczba ekspertów zaangażowanych w opracowanie prognozy może wahać się od 10 do 150 osób, w zależności od złożoności obiektu.

II. Formułowanie celu globalnego systemu. Przed zorganizowaniem ankiety wśród ekspertów konieczne jest wyjaśnienie głównych kierunków rozwoju obiektu, a także sporządzenie matrycy odzwierciedlającej cel ogólny, cele cząstkowe i sposoby ich osiągnięcia. Jednocześnie podczas wstępnej analizy wraz z grupą specjalistów ustalane są najważniejsze cele i cele pośrednie rozwiązania zadania. Przez środki osiągnięcia celu rozumie się obszary badań naukowych i prac rozwojowych, których wyniki mogą zostać wykorzystane do osiągnięcia celu. Jednocześnie obszary badań naukowych i prac rozwojowych nie powinny się ze sobą przecinać.

III. Opracowanie ankiety. Polega na opracowaniu pytań, które zostaną zaproponowane ekspertom. Formę pytania można opracować w formie tabel, jednak ich treść powinna być zdeterminowana specyfiką projektowanego obiektu lub branży. W takim przypadku pytania należy zestawić według określonego schematu strukturalno-hierarchicznego, tj. od pytań szerokich do wąskich, od złożonych do prostych.

Przeprowadzając badanie ekspertów, należy zadbać o jednoznaczne zrozumienie poszczególnych zagadnień, a także niezależność ocen ekspertów.

IV. Obliczanie ocen eksperckich. Niezbędne jest opracowanie materiałów z ocen eksperckich, które charakteryzują uogólnioną opinię i stopień zgodności poszczególnych ocen eksperckich. Przetwarzanie danych pochodzących z ocen eksperckich służy jako materiał źródłowy do syntezy hipotez prognostycznych i opcji rozwoju branży.

Ostateczną ocenę ilościową ustala się za pomocą czterech głównych metod ocen eksperckich i wielu ich odmian:

1) prosta metoda rankingowa (lub metoda preferencji);

2) sposób ustalania współczynników wagowych;

3) metoda porównań parami;

4) metoda porównań sekwencyjnych.

Prosta metoda rankingowa polega na poproszeniu każdego eksperta o uszeregowanie cech w kolejności preferencji. Numer jeden wskazuje najważniejszą cechę, numer dwa wskazuje następną najważniejszą cechę itd. Uzyskane dane podsumowano w poniższej tabeli.

Tabela 2.1 Eksperckie oceny cech (kierunki badań)

Kolejność preferencji danej cechy względem innych.

Następnie, stosując metody statystyki matematycznej, uzyskuje się uogólnioną opinię ekspercką. Wyznacza się rangę średnią, średnią wartość statystyczną S j j-tej cechy:

gdzie m kj to liczba ekspertów oceniających j-ty atrybut (m k m);

i - numer eksperta; ja = 1,…,m;

j - numer atrybutu, j = 1,2,…,n.

Określana jest średnia ranga każdej cechy. Im mniejsza wartość Sj, tym większe znaczenie tej cechy.

Aby móc stwierdzić, czy rozkład rang jest losowy, czy też istnieje zgodność w opiniach ekspertów, oblicza się współczynnik zgodności wprowadzony przez M. Kendalla.

Określa się średnią rangę zbioru cech:

Odchylenie dj średniej rangi j-tej cechy od średniej rangi populacji oblicza się:

Określana jest liczba identycznych rang przypisanych przez ekspertów j-temu atrybutowi – t q.

Wyznacza się liczbę grup o identycznych rangach - Q. Współczynnik zgodności określa się według wzoru:

,(2.4)

,(2.5)

Współczynnik może przyjmować wartości z zakresu od 0 do 1. Przy całkowitej zgodności opinii ekspertów współczynnik zgodności wynosi jeden, przy całkowitej niezgodności - zero. Najbardziej realistyczny przypadek to częściowa zgodność opinii biegłych.

Wraz ze wzrostem spójności opinii ekspertów wzrasta współczynnik zgodności i w granicach dąży do jedności. Jednak nawet jeśli jest ona równa lub bliska zeru, nie zawsze występuje całkowita rozbieżność. Wśród ekspertów mogą istnieć grupy o zgodnych poglądach, jednak opinie te są przeciwstawne i na ogół się neutralizują. W takim przypadku należy przeprowadzić analizę skupień lub kombinacji w celu zidentyfikowania tych grup.

Zalety prostej metody rankingowej:

1) względna prostota procedury uzyskiwania ocen;

2) mniejsza liczba ekspertów w porównaniu z innymi metodami przy ocenie tego samego zestawu cech.

Jego wadą jest to, że:

1) w sposób oczywisty uważają rozkład ocen za równomierny;

2) przyjmuje się również, że spadek znaczenia cech jest jednolity, choć w praktyce tak się nie dzieje.

Metoda wyznaczania współczynników wagowych polega na przypisaniu współczynników ważenia wszystkim cechom. Współczynniki ważenia można przypisać na dwa sposoby:

1) wszystkim cechom przypisuje się współczynniki ważenia, tak aby suma współczynników była równa jakiejś ustalonej liczbie (na przykład jeden, dziesięć lub sto);

2) najważniejsza ze wszystkich cech ma współczynnik wagowy równy jakiejś ustalonej liczbie, a wszystkim pozostałym współczynniki równe ułamkom tej liczby.

Uogólnioną opinię ekspertów uzyskujemy również metodami statystyki matematycznej za pomocą wzorów (2.1 - 2.5).

Metoda porównań sekwencyjnych następująco:

1) biegły porządkuje wszystkie znaki w kolejności malejącej ich ważności: 1 >A 2 >…> Jakiś ;

2) pierwszej charakterystyce przypisuje wartość równą jedności: A 1 =1, a pozostałym cechom przypisuje współczynniki wagowe w ułamkach jedności;

3) porównuje wartość pierwszego atrybutu z sumą wszystkich kolejnych.

Istnieją trzy opcje:

ZA 1 >A 2 + ZA 3 + … + ZA n

ZA 1 = ZA 2 + ZA 3 + … + ZA n

1< A 2 + A 3 + …+ A n

Biegły wybiera najwłaściwszy, jego zdaniem, wariant i dostosowuje do niego ocenę pierwszego zdarzenia;

4) porównuje wartość pierwszego atrybutu z sumą wszystkich kolejnych minus ostatni atrybut.

Dostosowuje ocenę pierwszego atrybutu do nierówności wybranej z trzech opcji:

ZA 1 > ZA 2 + ZA 3 + … + ZA n-1

ZA 1 = ZA 2 + ZA 3 + … + ZA n-1

1< A 2 + A 3 + … + A n-1

5) procedurę powtarza się, aż A 1 zostanie porównane z A 2 + A 3.

Po wyjaśnieniu przez biegłego oceny pierwszego atrybutu zgodnie z nierównością, wybrał on spośród trzech możliwych:

ZA 1 > ZA 2 + ZA 3

1< A 2 + A 3

przystępuje do doprecyzowania oceny drugiego atrybutu A 2 według tego samego schematu, co w przypadku pierwszego, tj. Ocenę drugiej cechy porównuje się z sumą kolejnych.

Jego zaletą jest to, że ekspert sam analizuje swoje oceny w procesie oceny atrybutów. Zamiast przypisywać współczynniki, następuje twórczy proces tworzenia tych współczynników.

Wadami tej metody są:

1) jego złożoność; nieprzeszkolony ekspert będzie miał trudności z poradzeniem sobie z tą procedurą; zamiast wyjaśnić swoje początkowe oceny, będzie się co do nich mylić;

2) objętość; wymaga czterokrotnie większej liczby operacji, aby ocenić ten sam zestaw cech, niż prosta metoda rankingowa (innymi słowy, do tego samego zadania potrzebnych jest cztery razy więcej ekspertów).

Metoda porównania w parach

Zgodnie z nią wszystkie znaki porównuje się ze sobą parami. Na podstawie porównań parami w dalszym przetwarzaniu ustalane są wyniki dla każdego atrybutu.

Aby ułatwić ekspertowi dokonywanie porównań, charakterystyki (A, B, C,...N) wprowadza się do tabeli zarówno w poziomie, jak i w pionie.

Ekspert wypełnia komórki takiej tabeli. Porównanie atrybutu ze sobą daje jeden. W pierwszej komórce biegły zapisuje jeden, w drugiej wynik porównania pierwszego atrybutu z drugim, w trzeciej wynik porównania pierwszego atrybutu z trzecim itd. Przechodząc do drugiej linii, ekspert wpisuje w pierwszej komórce wynik porównania drugiego atrybutu z pierwszym, w drugim - jeden, w trzeciej - porównanie drugiego atrybutu z trzecim itd.

Połowa stołu znajdująca się powyżej przekątnej służy jako odbicie dolnej połowy. Aby nie powodować zamieszania, nie prowokować eksperta do obliczania jednej połowy tabeli od drugiej, w celu zmniejszenia liczby operacji wskazane jest wypełnienie tylko połowy tabeli (powyżej lub poniżej przekątnej) . Tym samym odpowiedzi ekspertów zostaną zaprezentowane w formie poniższej matrycy:

Po serii przekształceń matematycznych otrzymujemy oszacowania dla każdego atrybutu A 1, A 2, …, AN z punktu widzenia tego eksperta. Całkowite oceny cech uzyskuje się poprzez identyczne przetwarzanie macierzy podsumowującej, której każdy element jest sumą porównań cech podanych przez wszystkich ekspertów.

Macierz podsumowująca ma postać

m - liczba ekspertów oceniających ten zestaw oznaki;

- oceny odpowiednio 1, 2, …, j, …, m ekspertów;

Łączne oceny przyznane przez wszystkich ekspertów.

Wyznaczając wariancję macierzy sumarycznej i porównując ją z maksymalną możliwą wariancją macierzy o tej samej liczbie elementów, można określić zgodność opinii ekspertów. Im wariancja macierzy sumarycznej jest bliższa maksymalnej możliwej wariancji, tym większa jest spójność opinii. Tym samym metoda porównań parach pozwala na rygorystyczną, opartą na statystyce analizę zgodności opinii ekspertów i stwierdzenie, czy uzyskane szacunki mają charakter losowy, czy też nie. Niewątpliwie procedura metody porównania parami jest bardziej skomplikowana niż prosta metoda rankingu, ale prostsza metoda porównania sekwencyjne.

Liczba ekspertów potrzebnych do oceny określonego zbioru cech przy zastosowaniu metody porównań parami jest dwukrotnie większa niż przy zastosowaniu metody rankingu prostego i o połowę mniejsza niż przy zastosowaniu metody porównań sekwencyjnych.

Obecnie wiele metod przeprowadzania ocen eksperckich oferuje następujący współczynnik jako wskaźnik kompetencji eksperckich:

, (2.6)

gdzie jest współczynnikiem kompetencji eksperta;

Współczynnik znajomości omawianego problemu przez eksperta;

Współczynnik argumentacji.

Współczynnik znajomości obszaru badań wyznaczany jest poprzez samoocenę eksperta w dziesięciopunktowej skali. Wyniki samooceny przedstawiają się następująco:

0 – ekspert nie jest zaznajomiony z pytaniem;

1,2,3 – ekspert jest nowy w temacie, ale problematyka leży w obszarze jego zainteresowań;

4,5,6 – biegły jest dostatecznie zaznajomiony ze sprawą, nie bierze bezpośredniego udziału w praktycznym rozwiązaniu zagadnienia;

7,8,9 – ekspert jest dobrze zaznajomiony z zagadnieniem, uczestniczy w praktycznym rozwiązaniu problemu;

10 – pytanie mieści się w wąskiej specjalizacji eksperta.

Ekspert proszony jest o ocenę poziomu znajomości pytania i podkreślenie odpowiedniego wyniku. Wynik ten jest następnie mnożony przez 0,1 w celu uzyskania współczynnika.

Współczynnik argumentacji uwzględnia strukturę argumentacji, która stanowiła podstawę dokonania przez biegłego określonej oceny. Proponuje się określenie współczynnika argumentacji zgodnie z tabelą 2.2 poprzez zsumowanie wartości odnotowanych przez eksperta w komórkach tej tabeli.

Po ustaleniu współczynnika kompetencji mnoży się przez niego wartość ocen eksperckich.

Tabela 2.2 Wartości współczynnika argumentacji