Екілік жіктегіштің қабілетін диагностикалық түрде бағалау

Кіріспе

Бинарлық жіктегіштің қабілетін диагностикалау графигі

Қабылдағыштың жұмыс істеу сипаттамасы қисығы, немесе ROC қисығы – бинарлық жіктегіш модельдің (көп класты жіктеу үшін де қолданылуы мүмкін) әртүрлі шекті мәндердегі өнімділігін көрсететін графикалық кескін. ROC қисығы – әрбір шекті мәндегі нақты оң көрсеткіштің (TPR) және жалған оң көрсеткіштің (FPR) графигі. ROC қисығын шешім ережесінің I типтегі қатесіне байланысты статистикалық қуаттың графигі ретінде де қарастыруға болады (егер өнімділік популяцияның тек үлгісінен есептелсе, оны осы шамалардың бағалаушысы деп қарастыруға болады). Сондықтан ROC қисығы – жалған оң көрсеткіштің функциясы ретінде сезімталдық немесе еске алу. Нақты оң және жалған оң ықтималдықтарының таралулары белгілі болғанда, ROC қисығы y осьіндегі анықтау ықтималдығының жинақталған таралу функциясы (CDF, ықтималдық таралуының астындағы аудан) және x осьіндегі жалған оң ықтималдығының CDF ретінде алынады. ROC талдауы ықтимал оңтайлы модельдерді таңдау және құн контекстіне немесе кластық таралуға тәуелсіз (және нақтылаудан бұрын) нашар модельдерді жою үшін құралдар ұсынады. ROC талдауы диагностикалық шешім қабылдаудың шығын-пайда талдауымен тікелей және табиғи байланыста.

Терминология

Нақты оң көрсеткіш сезімталдық, қайтару немесе анықтау ықтималдығы деп те аталады. Жалған оң көрсеткіш жалған дабыл ықтималдығы деп те аталады.

Тарих

ROC қисығы алғаш рет 1941 жылы Екінші дүниежүзілік соғыс кезінде электр және радар инженерлері жау объектілерін анықтау үшін жасаған, содан оның аты ("ресивердің жұмыс сипаттамасы") аталған. Көп ұзамай ол психология ғылымына стимулдарды қабылдауды зерттеу үшін енгізілді. ROC-талдау содан бері медицина, радиология, биометрия, табиғи қауіптерді болжау, метеорология, модельдердің тиімділігін бағалау және басқа да салаларда ондаған жылдар бойы қолданылып келеді, сондай-ақ машиналық оқыту және деректерді талдау салаларындағы зерттеулерде оның қолданылуы артып келеді.

Негізгі түсінік

Классификациялық модель (классификатор немесе диагностика) – белгілі бір сыныптар/топтар арасындағы мысалдардың (инстанстардың) байланысы. Классификатор немесе диагностика нәтижесі кез келген нақты санмен (үздіксіз шығыс) берілуі мүмкін болғандықтан, сыныптар арасындағы классификатор шекарасы шекті мән арқылы анықталуы керек (мысалы, адамның қан қысымын өлшеуге негізделген гипертониясы бар-жоғын анықтау үшін). Әйтпесе, ол бір сыныпты көрсететін дискретті сынып белгісі болуы мүмкін. Екі сыныпты болжау мәселесін қарастырайық (бинарлық классификация), онда нәтижелер оң (p) немесе теріс (n) деп белгіленеді. Бинарлық классификатордың төрт мүмкін нәтижесі бар. Егер болжау нәтижесі p болса және нақты мәні де p болса, онда ол шынайы оң (TP) деп аталады; ал егер нақты мәні n болса, онда ол жалған оң (FP) деп аталады. Керісінше, болжау нәтижесі мен нақты мәні екеуі де n болғанда, шынайы теріс (TN) пайда болады, ал жалған теріс (FN) – болжау нәтижесі n болғанда, нақты мәні p болғанда. Нақты әлемдегі мәселенің тиісті мысалын алу үшін, адамның белгілі бір ауруы бар-жоғын анықтауға тырысатын диагностикалық тестті қарастырайық. Бұл жағдайда жалған оң нәтиже адам тестте оң нәтиже көрсеткенде, бірақ іс жүзінде ауруы жоқ кезде пайда болады. Ал жалған теріс нәтиже, адам тестте теріс нәтиже көрсеткенде, ол денсаулығы жақсы екенін көрсетеді, бірақ іс жүзінде ауруы бар болады. P оң және N теріс мысалдардан тұратын экспериментті қарастырайық. Төрт нәтижені 2×2 контингенциялық кестесі немесе шатастыру матрицасы арқылы келесідей көрсетуге болады:

ROC кеңістігіндегі қисықтар

Бинарлық сыныптауда әрбір мысалдың кластық болжамы көбінесе үздіксіз кездейсоқ айнымалыға негізделеді, бұл мысал үшін есептелген "балл" (мысалы, логистикалық регрессиядағы шамаланған ықтималдық). Белгілі бір шекті параметрді ескере отырып, мысал егер , онда "оң" деп жіктеледі, әйтпесе "теріс" деп жіктеледі. Егер мысал шындығында "оң" класына жатса, онда ықтималдық тығыздығына сәйкес келеді, ал әйтпесе . Сондықтан, нақты оң көрсеткішпен беріледі және жалған оң көрсеткішпен беріледі. ROC қисығы параметрлік түрде -тің өзгеретін параметрі ретінде -қа қарсы салыстырылады. Мысалы, ауру және сау адамдардың қандағы белок деңгейі тиісінше 2 г/дл және 1 г/дл орташа мәнмен қалыпты түрде бөлінген деп есептейік. Медициналық тест қандағы белгілі бір белоктың деңгейін өлшеп, белгілі бір шектен жоғары санды ауруды көрсететін ретінде жіктеуі мүмкін. Зерттеуші шекті (суреттегі жасыл тік сызық) реттей алады, бұл өз кезегінде жалған оң көрсеткішті өзгертеді. Шекті деңгейді жоғарылату жалған оң нәтижелердің азаюына (және жалған теріс нәтижелердің көбеюіне) әкеледі, бұл қисықта солға қарай жылжуға сәйкес келеді. Қисықтың нақты пішіні екі таралымның қаншалықты үстіне жабысқанын анықтайды.

Z-балқы

Егер ROC қисығына стандартты балл қолданылса, қисық тура сызыққа айналады. Бұл z-балл орташа мәні нөл және стандартты ауытқуы бірге тең болатын қалыпты үлестірілімге негізделген. Жад күші теориясында zROC сызықты ғана емес, сонымен қатар 1.0 еңістігіне ие деп қарастырылады. Мақсаттардың (зерттелген объектілер, оларды қатысушылар есте сақтауға тиіс) және алдаушылардың (зерттелмеген объектілер, оларды қатысушылар есте сақтауға тырысады) қалыпты үлестірілімі zROC-тің сызықты болуына себеп болатын фактор болып табылады. zROC қисығының сызықтығы мақсаттар мен алдаушылар күшінің таралу стандартты ауытқуларына байланысты. Егер стандартты ауытқулар тең болса, еңіс 1.0 болады. Егер мақсат күшінің таралу стандартты ауытқуы алдаушы күшінің таралу стандартты ауытқуынан артық болса, онда еңіс 1.0-дан кем болады. Көптеген зерттеулерде zROC қисығының еңісі тұрақты түрде 1-ден төмен, әдетте 0.5 пен 0.9 аралығында болады. Көптеген тәжірибелер zROC еңісінің 0.8 құрайтынын көрсетті. 0.8 еңісі мақсат күшінің таралуының өзгергіштігі алдаушы күшінің таралуының өзгергіштігінен 25%-ға жоғары екенін білдіреді. Тағы бір қолданылатын айнымалы – d' (d прайм) (жоғарыда «Басқа өлшемдер» бөлімінде талданған), оны z мәндері арқылы оңай көрсетуге болады. d' жиі қолданылатын параметр болғанымен, жоғарыда айтылған күш теориясының қатаң талаптарын толық орындағанда ғана маңызды екенін мойындау қажет. ROC қисығының z баллы, ерекше жағдайларды қоспағанда, әрқашан сызықты болады деп есептеледі. Йонелинаның таныс еске түсіру моделі – тану жадының екі өлшемді сипаттамасы. Қатысушы белгілі бір деректерге жай ғана «иә» немесе «жоқ» деп жауап берудің орнына, деректерге таныс сезім береді, бұл бастапқы ROC қисығы сияқты жұмыс істейді. Алайда, бұл жерде Еске түсіру (R) параметрі өзгереді. Еске түсіру толық немесе толық емес деп есептеледі және таныс сезімнен басым. Егер еске түсіру компоненті болмаса, zROC болжамды еңісі 1 болар еді. Бірақ, еске түсіру компонентін қоссақ, zROC қисығы жоғары қарай иіліп, еңісі төмендейді. Бұл пішін мен еңіс айырмашылығы кейбір элементтердің еске түсірілуіне байланысты қосымша өзгергіштік тудырады. Антероградтық амнезиясы бар пациенттер еске түсіре алмайды, сондықтан олардың Йонелина zROC қисығының еңісі 1.0-ға жақын болады.

If a standard score is applied to the ROC curve, the curve will be transformed into a straight line. This z score is based on a normal distribution with a mean of zero and a standard deviation of one. In memory strength theory, one must assume that the zROC is not only linear, but has a slope of 1.0. The normal distributions of targets (studied objects that the subjects need to recall) and lures (non studied objects that the subjects attempt to recall) is the factor causing the zROC to be linear. The linearity of the zROC curve depends on the standard deviations of the target and lure strength distributions. If the standard deviations are equal, the slope will be 1.0. If the standard deviation of the target strength distribution is larger than the standard deviation of the lure strength distribution, then the slope will be smaller than 1.0. In most studies, it has been found that the zROC curve slopes constantly fall below 1, usually between 0.5 and 0.9. Many experiments yielded a zROC slope of 0.8. A slope of 0.8 implies that the variability of the target strength distribution is 25% larger than the variability of the lure strength distribution. Another variable used is d' (d prime) (discussed above in "Other measures"), which can easily be expressed in terms of z values. Although d' is a commonly used parameter, it must be recognized that it is only relevant when strictly adhering to the very strong assumptions of strength theory made above. The z score of an ROC curve is always linear, as assumed, except in special situations. The Yonelinas familiarity recollection model is a two dimensional account of recognition memory. Instead of the subject simply answering yes or no to a specific input, the subject gives the input a feeling of familiarity, which operates like the original ROC curve. What changes, though, is a parameter for Recollection (R). Recollection is assumed to be all or none, and it trumps familiarity. If there were no recollection component, zROC would have a predicted slope of 1. However, when adding the recollection component, the zROC curve will be concave up, with a decreased slope. This difference in shape and slope result from an added element of variability due to some items being recollected. Patients with anterograde amnesia are unable to recollect, so their Yonelinas zROC curve would have a slope close to 1.0.

Тарих

ROC қисығы алғаш рет Екінші дүниежүзілік соғыс кезінде радар сигналдарын талдау үшін қолданылды, ал кейін сигналды анықтау теориясында пайдаланылды. 1941 жылы Перл-Харборға жасалған шабуылдан кейін АҚШ әскері радар сигналдарынан жапон ұшақтарын дұрыс анықтау мүмкіндігін арттыру мақсатында жаңа зерттеулер бастады. Осы мақсатта олар радар қабылдағыш операторының осы маңызды айырмашылықтарды ажырату қабілетін өлшеді, бұл қабылдағыштың жұмыс сипаттамасы деп аталды. 1950 жылдары ROC қисықтары психофизикада адамның (кейде жануарлардың) әлсіз сигналдарды анықтауын бағалау үшін қолданылды. ROC қисықтары эпидемиология және медициналық зерттеулерде кеңінен қолданылады және дәлелге негізделген медицинамен байланысты жиі айтылады. Радиологияда ROC талдауы – жаңа радиологиялық техникаларды бағалаудың әдеттегі тәсілі. Әлеуметтік ғылымдарда ROC талдауы көбінесе ROC дәлдік коэффициенті деп аталады, бұл әдеттегі модельдердің сенімділігін бағалаудың кең таралған тәсілі. ROC қисықтары зертханалық медицинада тесттің диагностикалық сенімділігін бағалау, тесттің оңтайлы шегін таңдау және бірнеше тесттің диагностикалық сенімділігін салыстыру үшін кеңінен қолданылады. ROC қисықтары машиналық оқыту техникаларын бағалау үшін де пайдалы болды. ROC қисығын машиналық оқытуда алғаш рет Spackman қолданды, ол әртүрлі жіктеу алгоритмдерін салыстыру және бағалауда ROC қисықтарының құндылығын көрсетті. ROC қисықтары метеорологиядағы болжамдарды тексеруде де қолданылады.

РЛС-тің егжей-тегжейі

ROC қисықтары радиолокациялық операция мен теория үшін маңызды. Нысанадан шағылысқан сигналдарды қабылдаушы станцияда алу кезінде, олардың энергиясы көбінесе шу деңгейімен салыстырғанда өте төмен болады. Сигнал мен шудың қатынасы нысананың анықталуын бағалау үшін маңызды көрсеткіш. Бұл сигнал-шу қатынасы радар жүйесінің қабылдау сипаттамаларымен тікелей байланысты, ол радар жүйесінің мүмкіндіктерін сандық тұрғыда бағалауға қолданылады. Радар жүйесін жасау процесін қарастырайық. Жүйенің қабілеттеріне қойылатын талаптар, жалған дабылдарға белгілі бір төзімділікпен, анықтау ықтималдығы арқылы берілуі мүмкін. Қабылдаушы станциядағы қажетті сигнал-шу қатынасын есептеу үшін, мына теңдеуді шешуге болады:

Сигнал-шу қатынасын табу үшін. Мұндағы децибелде емес, көптеген радиолокациялық қолдануларда қабылданғандай. Децибелге аудару үшін келесі формула қолданылады: Осы мәліметтерден радиолокациялық қашықтық теңдеуіндегі (шу факторларын ескере отырып) негізгі шарттарды шешуге болады, соның нәтижесінде қажетті тиімді сәулелену қуатын бағалауға болады.

ROC қисықтары екілік сыныптамадан тыс

ROC қисықтарын екі кластан артық кластарға жататын сыныптау мәселелеріне кеңейту қиынға соғады. Екі кластан көп болған кезде қолданылатын екі әдеттегі тәсіл: (1) барлық жұптық AUC мәндерінің орташасы және (2) бет астындағы көлемді (VUS) есептеу. Барлық жұптық кластар бойынша орташа есептеу үшін, әрбір кластық жұп үшін AUC есептеледі, тек осы екі кластың мысалдары қолданылады, егер басқа кластар болмаса, содан кейін осы AUC мәндері барлық мүмкін жұптар бойынша орташаланады. C класы болған жағдайда c(c − 1) / 2 мүмкін кластық жұптар болады. Бет астындағы көлем тәсілінде қисық емес, гипербет сызылады, содан кейін осы гипербет астындағы гиперкөлем өлшенді. С кластарға арналған жіктегіш үшін қолданылатын кез келген мүмкін шешім ережесі оның нақты оң көрсеткіштерімен сипатталуы мүмкін. Осы көрсеткіштер жиынтығы бір нүктені анықтайды, ал барлық мүмкін шешім ережелерінің жиынтығы гипербетті анықтайтын нүктелер бұлтын құрайды. Осы анықтама бойынша VUS – бұл классификатордың әрбір кластан кездейсоқ таңдалған бір мысалдан тұратын жиынтық берілгенде, барлық c мысалды дұрыс белгілей алу ықтималдығы. Кіріс жиынтығының әр кластан бір мысалдан тұратындығын білетін классификаторды іске асыру үшін, алдымен мысалдың кластың әрбір мүмкін жұптарына сәйкес келуінің жарамдылық балы есептеліп, содан кейін Венгр алгоритмі c таңдалған баллдардың қосындысын барынша арттыру үшін қолданылуы мүмкін, барлық c! әртүрлі жолдармен әр класқа дәл бір мысал тағайындау арқылы. ROC қисықтарының сыныптау модельдерін бағалаудағы жетістігін ескере отырып, ROC қисықтарының басқа да бақыланатын тапсырмаларға қолданылуы да зерттелді. Регрессиялық мәселелер үшін ұсынылған ең маңызды нұсқаулар – регрессиялық қателік сипаттамасы (REC) қисықтары және регрессиялық ROC (RROC) қисықтары. Соңғысында RROC қисықтары классификацияға арналған ROC қисықтарына өте ұқсас, асимметрия, үстемдік және дөңгелек қабық ұғымдарымен. Сонымен қатар, RROC қисықтары астындағы аудан регрессиялық модельдің қателік дисперсиясына пропорционалды.

The extension of ROC curves for classification problems with more than two classes is cumbersome. Two common approaches for when there are multiple classes are (1) average over all pairwise AUC values and (2) compute the volume under surface (VUS). To average over all pairwise classes, one computes the AUC for each pair of classes, using only the examples from those two classes as if there were no other classes, and then averages these AUC values over all possible pairs. When there are c classes there will be c(c − 1) / 2 possible pairs of classes. The volume under surface approach has one plot a hypersurface rather than a curve and then measure the hypervolume under that hypersurface. Every possible decision rule that one might use for a classifier for c classes can be described in terms of its true positive rates It is this set of rates that defines a point, and the set of all possible decision rules yields a cloud of points that define the hypersurface. With this definition, the VUS is the probability that the classifier will be able to correctly label all c examples when it is given a set that has one randomly selected example from each class. The implementation of a classifier that knows that its input set consists of one example from each class might first compute a goodness of fit score for each of the possible pairings of an example to a class, and then employ the Hungarian algorithm to maximize the sum of the c selected scores over all c! possible ways to assign exactly one example to each class. Given the success of ROC curves for the assessment of classification models, the extension of ROC curves for other supervised tasks has also been investigated. Notable proposals for regression problems are the so called regression error characteristic (REC) Curves and the Regression ROC (RROC) curves. In the latter, RROC curves become extremely similar to ROC curves for classification, with the notions of asymmetry, dominance and convex hull. Also, the area under RROC curves is proportional to the error variance of the regression model.