Бірлік салмақты регрессия: әдістер мен қолданылуы

Кіріспе

Статистикада бірлік салмақты регрессия – тек тұрақты мүшесі бағаланатын көптік регрессиялық талдаудың жеңілдетілген және сенімді нұсқасы (Wainer & Thissen, 1976). Яғни, ол мына модельге сәйкес келеді, онда әрқайсысы екілік айнымалылар, мүмкін кез келген салмақпен көбейтілген:

Әлеуметтік ғылымдарда бірлік салмақты регрессия кейде екілік жіктеу үшін қолданылады, яғни «жоқ» немесе «иә» жауабын болжау үшін, мұнда «жоқ» және «иә» білдіреді. Оны көптік сызықтық регрессияға қарағанда түсіндіру оңай (жіктеу жағдайында сызықтық дискриминантты талдау деп аталады).

Бірлік салмағы

Бірлікпен салмақталған регрессия – үш қадамнан тұратын берік регрессия әдісі. Біріншіден, зерттелетін нәтижеге әсер ететін факторлар таңдалады; мұндай таңдауға негізді эмпирикалық немесе теориялық себептер болуы тиіс. Екіншіден, бұл факторлар стандартталған түрге келтіріледі. Соңында, факторлар қосылып, алынған қосынды вариат деп аталады және ол нәтижені болжау үшін қолданылады.

Бёрджесс әдісі

Берджесс әдісін алғаш рет 1928 жылы социолог Эрнест В. Берджесс шартты түрде босатылған сотталғандардың табысқа немесе сәтсіздікке ұшырауын анықтау мақсатында жүргізген зерттеуінде ұсынды. Біріншіден, ол шартты түрде босатудың табысты болуымен байланысты деп есептелетін 21 айнымалыны таңдады. Содан кейін ол әрбір болжаушыны нөл немесе бірдің стандартты түріне түрлендірді (Берджесс, 1928). Егер болжаушыларда екі мән болса, мақсатты нәтижеге сәйкес келетін мән 1 ретінде кодталды. Берджесс шартты түрде босатудағы табысты мақсатты нәтиже ретінде таңдады, сондықтан ұрлық тарихы сияқты болжаушы "бар" = 0 және "жоқ" = 1 деп кодталды. Бұл кодталған мәндер кейіннен болжаушы балл жасау үшін қосылды, сондықтан жоғары балл табысқа жету мүмкіндігін арттырды. Балдар нөлден (табысқа жеткізетін болжаушылардың болмауы) 21-ге дейін (табысқа жеткізетін барлық 21 болжаушы) диапазонда болуы мүмкін. Екінен астам мәні бар болжаушылар үшін Берджесс әдісі субъективті бағалау негізінде шектік мәнді таңдайды. Мысалы, Берджесс әдісі қолданылған зерттеуде (Готфредсон және Снайдер, 2005) жасөсперімдердің бұзақы мінез-құлқына қатысты шағымдар саны бір болжаушы ретінде таңдалды. Шартты түрде босатудан бас тартуды мақсатты нәтиже ретінде қарастыра отырып, шағымдар саны келесідей кодталды: "нөлден екіге дейін шағым" = 0, ал "үш немесе одан көп шағым" = 1 (Gottfredson & Snyder, 2005. 18-бет).

Керби әдісі

Керби әдісі Берджесс әдісіне ұқсас, бірақ екі тұрғыдан ерекшеленеді. Біріншіден, Берджесс әдісі екі мәнді нәтижеге ие көп мәнді болжаушы үшін шектік ұпайды таңдау үшін субъективті бағалауды қолданса, Керби әдісі сыныптау және регрессия ағашы (CART) талдауын қолданады. Осылайша, шектік ұпайдың таңдалуы субъективті бағалауға емес, хи-квадрат мәні ең жоғары болатын нүкте сияқты статистикалық критерийға негізделеді. Екінші айырмашылық – Берджесс әдісі екі мәнді нәтижеге қолданылса, Керби әдісі көп мәнді нәтижеге де қолданылуы мүмкін, себебі CART талдауы осындай жағдайларда t мәні ең жоғары болатын нүкте сияқты критерийді пайдалана отырып, шектік ұпайларды анықтай алады. CART талдауы екі мәнді ғана емес, сонымен қатар рекурсивті болғандықтан, нәтижесінде болжаушы айнымалы қайта бөлініп, екі шектік ұпай пайда болуы мүмкін. Әрбір болжаушының стандартты түрі – CART талдауы бөлім жасағанда бір ұпай қосылады. Бір зерттеу (Керби, 2003) үлкен бес тұлғалық қасиеттің бес белгісін болжаушылар ретінде таңдап, өзіне-өзі зиян келтіру ойларының көп бағаланған өлшемін болжады. Содан кейін, тұлғалық бағалар CART талдауы арқылы стандартты түріне ауыстырылды. CART талдауы бір бөлімді бергенде, нәтиже Берджесс әдісіне ұқсас болды, себебі болжаушы 0 немесе 1 ретінде кодталды. Бірақ невротизм өлшемі үшін екі шектік ұпай алынды. Невротизмнің жоғары көрсеткіштері өзіне-өзі зиян келтіру ойларымен байланысты болғандықтан, екі шектік ұпай келесі кодтамаға әкелді: «төмен невротизм» = 0, «орташа невротизм» = 1, «жоғары невротизм» = 2 (Керби, 2003).

z-балл әдісі

Прогноздар үздіксіз масштабта өлшенгенде тағы бір әдіс қолданылуы мүмкін. Мұндай жағдайда әрбір болжаушыны стандарттық баллға немесе z-баллға түрлендіруге болады, осылайша барлық болжаушылардың орташа мәні нөлге, ал стандарттық қатеуі бірге тең болады. Бұл әдіс бойынша бірлік салмақты регрессияда, айнымалы z-баллдардың қосындысы болып табылады (мысалы, Dawes, 1979; Bobko, Roth, & Buster, 2007).

Әдебиеттерді шолу

Бірлік салмағымен регрессияны қолданатын алғашқы эмпирикалық зерттеу 1928 жылы социолог Эрнест В. Берджесс жүргізген зерттеу деп есептеледі. Ол 21 айнымалыны пайдаланып, мерзімінен бұрын босатылудың сәттілігін немесе сәтсіздігін болжады, ал нәтижелер бірлік салмағы тұтқындарды мерзімінен бұрын босату туралы шешім қабылдауда пайдалы құрал екенін көрсетті. Ең жақсы ұпай жинаған тұтқындардың 98%-ы мерзімінен бұрын босатылды, ал ең нашар ұпай жинағандардың тек 24%-ы ғана сәтті болды (Берджесс, 1928). Бірлік салмағымен регрессияға қатысты математикалық мәселелерді 1938 жылы көп өлшемді талдауға ерекше қызығушылық танытқан жетекші статистик Сэмюэл Стэнли Уилкс талқылады. Уилкс бета салмағын бағалау үшін деректер болмаған жағдайда бірлік салмағын практикалық жағдайларда қалай қолдануға болатынын сипаттады. Мысалы, шағын колледж жақсы студенттерді іріктеуі мүмкін. Бірақ мектептің деректерді жинап, стандартты регрессиялық талдау жүргізуге қаражаты жоқ болуы мүмкін. Бұл жағдайда мектеп бірнеше болжамды факторларды пайдалана алады: орта мектептегі бағалары, SAT ұпайлары, мұғалімдердің бағалары. Уилкс (1938) бірлік салмағының практикада жақсы жұмыс істеуінің себептерін математикалық тұрғыдан көрсетті. Фрэнк Шмидт (1971) бірлік салмақтарын модельдеу арқылы зерттеді. Оның нәтижелері Уилкс дұрыс екенін және бірлік салмағы практикалық зерттеулерді модельдеуде жақсы жұмыс істейтінін көрсетті. Робин Доуес (1979) қолданбалы зерттеулерде бірлік салмағын пайдалануды талқылады, бірлік салмақты модельдердің беріктігіне сілтеме жасады. Джейкоб Коэн да бірлік салмағының құндылығын талқылады және олардың практикалық пайдалылығын атап өтті. Ол: «Практикалық тұрғыдан алғанда, көбінесе біз бірлік салмағын пайдалануымыз тиімді» (Коэн, 1990, 1306 б.) деп жазды. Дейв Керби (2003) бірлік салмағы стандартты регрессиямен салыстырғанда жақсы нәтижелер беретінін көрсетті, оны кросс-валидация зерттеуі арқылы жүзеге асырды, яғни ол бета салмақтарын бір үлгіде шығарып, оларды екінші үлгіге қолданды. Қызығушылықтың нәтижесі – өзіне зиян келтіру ойлары, ал болжамды айнымалылар – кең ауқымды жеке тұлғалық қасиеттер. Кросс-валидация үлгісінде жеке тұлға мен өзіне зиян келтіру ойлары арасындағы байланыс бірлік салмағымен регрессияда (r = 0,48) стандартты көп регрессиямен (r = 0,47) салыстырғанда сәл күштірек болды. Готфредсон мен Снайдер (2005) Берджесс әдісін басқа әдістермен салыстырды, N = 1924 құрастыру үлгісі және N = 7552 кросс-валидация үлгісі қолданылды. Пирсон нүктелік бисериалды пайдалану арқылы бірлік салмақтары моделі үшін кросс-валидация үлгісіндегі әсердің мөлшері r = 0,392 болды, бұл логистикалық регрессиядан (r = 0,368) және болжамды атрибут талдауынан (r = 0,387) сәл үлкен, ал көп регрессиядан тек үшінші ондық таңбада ғана аз болды (r = 0,397). Бірлік салмақтары туралы әдебиетті шолу барысында Бобко, Рот және Бастер (2007) «бірлік салмақтары мен регрессия салмақтары кросс-валидацияланған көптік корреляцияның шамасы тұрғысынан ұқсас жұмыс істейді және эмпирикалық зерттеулер бұл нәтижені бірнеше онжылдықтар бойы растады» (693 б.) деп атап өтті. Андреас Грейф АҚШ президенттік сайлауын болжау үшін тоғыз белгілі көп регрессиялық модельдерге тең салмақты әдісті қолданды. 1976 жылдан 2012 жылға дейінгі он сайлауда тең салмақты болжамды факторлар бастапқы регрессиялық модельдердің болжау қателігін орташа есеппен төрт пайызға төмендетті. Барлық айнымалыларды қамтитын тең салмақты модель ең дәл регрессиялық модельдің қателігін 29% пайызға төмендететін калибрленген болжамды қамтамасыз етті.

The first empirical study using unit weighted regression is widely considered to be a 1928 study by sociologist Ernest W. Burgess. He used 21 variables to predict parole success or failure, and the results suggest that unit weights are a useful tool in making decisions about which inmates to parole. Of those inmates with the best scores, 98% did in fact succeed on parole; and of those with the worst scores, only 24% did in fact succeed (Burgess, 1928). The mathematical issues involved in unit weighted regression were first discussed in 1938 by Samuel Stanley Wilks, a leading statistician who had a special interest in multivariate analysis. Wilks described how unit weights could be used in practical settings, when data were not available to estimate beta weights. For example, a small college may want to select good students for admission. But the school may have no money to gather data and conduct a standard multiple regression analysis. In this case, the school could use several predictors—high school grades, SAT scores, teacher ratings. Wilks (1938) showed mathematically why unit weights should work well in practice. Frank Schmidt (1971) conducted a simulation study of unit weights. His results showed that Wilks was indeed correct and that unit weights tend to perform well in simulations of practical studies. Robyn Dawes (1979) discussed the use of unit weights in applied studies, referring to the robust beauty of unit weighted models. Jacob Cohen also discussed the value of unit weights and noted their practical utility. Indeed, he wrote, "As a practical matter, most of the time, we are better off using unit weights" (Cohen, 1990, p. 1306). Dave Kerby (2003) showed that unit weights compare well with standard regression, doing so with a cross validation study—that is, he derived beta weights in one sample and applied them to a second sample. The outcome of interest was suicidal thinking, and the predictor variables were broad personality traits. In the cross validation sample, the correlation between personality and suicidal thinking was slightly stronger with unit weighted regression (r = .48) than with standard multiple regression (r = .47). Gottfredson and Snyder (2005) compared the Burgess method of unit weighted regression to other methods, with a construction sample of N = 1,924 and a cross validation sample of N = 7,552. Using the Pearson point biserial, the effect size in the cross validation sample for the unit weights model was r = .392, which was somewhat larger than for logistic regression (r = .368) and predictive attribute analysis (r = .387), and less than multiple regression only in the third decimal place (r = .397). In a review of the literature on unit weights, Bobko, Roth, and Buster (2007) noted that "unit weights and regression weights perform similarly in terms of the magnitude of cross validated multiple correlation, and empirical studies have confirmed this result across several decades" (p. 693). Andreas Graefe applied an equal weighting approach to nine established multiple regression models for forecasting U. S. presidential elections. Across the ten elections from 1976 to 2012, equally weighted predictors reduced the forecast error of the original regression models on average by four percent. An equal weights model that includes all variables provided calibrated forecasts that reduced the error of the most accurate regression model by 29% percent.

Мысал

Бірлік салмақтардың практикада қалай пайдалы болатынын мысалмен түсіндіруге болады. Бренна Брай және әріптестері (1982) жасөспірімдерде есірткі қолданудың себептерін зерттеді. Алдыңғы зерттеулер көп регрессияны пайдаланған; осы әдіспен ең жақсы болжаушыны, яғни ең жоғары бета салмағына ие болжаушыны табу әдеттегідей. Брай және әріптестері бұрынғы бір зерттеуде алкогольді ерте пайдаланудың ең жақсы болжаушы екені анықталғанын атап өтті. Тағы бір зерттеуде ата-анадан шеттеудің ең жақсы болжаушы екені анықталды. Ал үшінші зерттеуде мектептегі нашар оқу үлгерімінің ең жақсы болжаушы екені анықталды. Нәтижелердің қайталамауы айқын мәселе болды, бұл мәселе бета салмақтарының ауысуынан туындауы мүмкін. Брай және әріптестері басқа тәсіл ұсынды: ең жақсы болжаушыны іздеудің орнына, олар болжаушылардың санын қарастырды. Яғни, әрбір болжаушыға бірлік салмақ берді. Олардың зерттеуінде алты фактор анықталды: 1) мектепте нашар оқу үлгерімі, 2) дінге жақын болмау, 3) алкогольді ерте пайдалану, 4) психологиялық стресс, 5) өзіне сенімсіздік, 6) ата-анадан шеттеу. Болжаушыларды стандарттық формаға келтіру үшін әрбір тәуекел факторы жоқ (0) немесе бар (1) деп бағаланды. Мысалы, мектептегі нашар оқу үлгерімі келесідей кодталды: "C немесе жоғары" = 0, "D немесе F" = 1. Нәтижелер көрсетті, тәуекел факторларының саны есірткі қолданудың жақсы болжаушысы болды: тәуекел факторлары көп жасөспірімдердің есірткі қолдану ықтималдығы жоғары болды. Брай және әріптестері қолданған модельде есірткі қолданушылар есірткі қолданбайтындардан ешқандай ерекшелікпен ерекшеленбейді. Керісінше, олар шешуі керек проблемалардың саны бойынша ерекшеленеді. "Адамның қандай факторлармен күресуі маңыздырақ, солардың қандай екенінен гөрі" (277-бет). Осы модельді ескере отырып, бірлік салмақты регрессия талдау үшін қолайлы әдіс болып табылады.

Бета салмақтары

Стандартты бірнеше регрессияда әрбір болжаушы бета салмағы, регрессия салмағы немесе салмақталған регрессия коэффициенттері (βW немесе BW деп белгіленеді) деп аталатын санға көбейтіледі. Болжам осы көбейтінділерді тұрақты санмен қосу арқылы алынады. Егер салмақтар белгілі бір критерий бойынша ең жақсы болжам беру үшін таңдалса, онда бұл модельді дұрыс сызықтық модель деп атайды. Сондықтан, бірнеше регрессия – дұрыс сызықтық модель болып табылады. Керісінше, бірлік салмақталған регрессия дұрыс емес сызықтық модель деп аталады.

Үлгі спецификациясы

Стандартты көптік регрессия нәтижеге әсер ететін барлық маңызды факторлар регрессиялық модельге енгізілген деген қағидатқа негізделген. Бұл қағидат модельді дұрыс құру деп аталады. Модельде барлық қажетті факторлар қосылғанда және қажетсіз факторлар алынып тасталғанда, модель дұрыс құрылған деп есептеледі. Іс жүзінде, зерттеу алдын ала барлық маңызды факторларды анықтай алмайды. Ондай жағдайда модельдер дұрыс құрылмайды және бета-коэффициенттердің бағалаулары жіберілген айнымалыдан туындаған қателікке ұшырайды. Яғни, бета-салмақтары бір сынамадан екіншісіне өзгеруі мүмкін, мұндай жағдай кейде "бета-салмақтардың секіруі" проблемасы деп аталады. Осы бета-салмақтардың тұрақсыздығы бірлік салмақты регрессияны пайдалы әдіс етеді.