Кіріспе
Гаусс кездейсоқ векторлары үшін бұрыс бағалаушы, қарапайым ең кіші квадратты қателерді азайтудан жақсы.
Джеймс-Стейн бағалаушысы – (мүмкін) байланысты Гаусс таратылған кездейсоқ шамалардың орташа мәнінің , бұрыс бағалаушысы. Ол белгісіз орташа мәндермен қатар екі маңызды жарияланған мақалада пайда болды. Бағалаушының алғашқы нұсқасы 1956 жылы жасалды, сол кезде Чарльз Стейн орташа мәннің сол кездегі әдеттегі бағасы – үлгілік орташа мән, жағдайында қабылданатынын, ал жағдайында қабылданалмайтыны туралы салыстырмалы түрде таңқаларлық қорытындыға келді. Стейн үлгілік орташа мәнді орталық орташа векторға қарай қысқартатын бағалаушыға мүмкін жақсарту ұсынды (оны алдын ала немесе барлық үлгілердің бірдей көлемі болған жағдайда үлгілік орташа мәндердің «орташасының орташасы» ретінде таңдауға болады). Бұл байқауды көбінесе Стейннің мысалы немесе парадоксы деп атайды. 1961 жылы Уиллард Джеймс және Чарльз Стейн бастапқы процесті жеңілдетті. Джеймс-Стейн бағалаушысы «әдеттегі» ең кіші квадраттар әдісінен жоғары екенін көрсетуге болады, яғни Джеймс-Стейн бағалаушысы «әдеттегі» ең кіші квадратты бағалаушыға қарағанда төмен немесе тең орташа квадраттық қатеге ие. Ходжес бағалаушысы сияқты, Джеймс-Стейн бағалаушысы да өте тиімді және тұрақсыз.
The James–Stein estimator is a biased estimator of the mean, , of (possibly) correlated Gaussian distributed random variables with unknown means
It arose sequentially in two main published papers. The earlier version of the estimator was developed in 1956, when Charles Stein reached a relatively shocking conclusion that while the then usual estimate of the mean, the sample mean, is admissible when , it is inadmissible when Stein proposed a possible improvement to the estimator that shrinks the sample means towards a more central mean vector (which can be chosen a priori or commonly as the "average of averages" of the sample means, given all samples share the same size). This observation is commonly referred to as Stein's example or paradox. In 1961, Willard James and Charles Stein simplified the original process. It can be shown that the James–Stein estimator dominates the "ordinary" least squares approach, meaning the James–Stein estimator has a lower or equal mean squared error than the "ordinary" least square estimator. Similar to the Hodges' estimator, the James Stein estimator is superefficient and non regular at .
Орнату
Вектордың орташа мәні белгісіз болсын, ол , және ковариациялық матрицасы белгілі болсын. Біздің мақсатымыз – бір өлшемді байқау , негізінде , үшін бағалау, яғни табу. Нақты қолданыстарда, бұл жағдай жиі кездеседі, онда параметрлер жиынтығы алынып, нәтижелер тәуелсіз Гаусс шуымен бұрмаланады. Бұл шудың орташа мәні нөлге тең болғандықтан, параметрлерді бағалау үшін үлгілерді пайдалану орынды болуы мүмкін. Бұл әдіс – ең кіші квадраттар бағалаушысы, және Штейн көрсеткендей, орташа квадраттық қателік тұрғысынан, ең кіші квадраттар бағалаушысы, , Джеймс-Штейн бағалаушысы сияқты ықшамдауға негізделген бағалаушылардан нашар. Анықтама бойынша, бұл ең кіші квадраттар бағалаушысын жарамсыз етеді, егер . Егер онда бұл бағалаушы жай ғана табиғи бағалаушыны алып, оны нөлге қарай ықшамдайды. Шындығында, бұл жұмыс істейтін ықшамдаудың жалғыз бағыты емес. ν кез келген өлшемді тұрақты вектор болсын. Онда Джеймс-Штейн типіндегі бағалаушы бар, ол ν-ге қарай ықшамдайды, атап айтқанда. Джеймс-Штейн бағалаушысы кез келген ν үшін әдеттегі бағалаушыдан үстемдік етеді. Табиғи сұрақ туындайды: әдеттегі бағалаушыға қарағанда жақсарту ν таңдауына тәуелді ме? Жауап: жоқ. Егер , үлкен болса, жақсарту шағын болады. Осылайша, үлкен жетістіктерге жету үшін θ-ның орналасуы туралы біраз білім қажет. Әрине, бұл біз бағалайтын шама, сондықтан бұл туралы алдын ала білмейміз. Бірақ орташа вектордың қандай екені туралы болжамдарымыз болуы мүмкін. Бұл бағалаушының кемшілігі деп қарастыруға болады: таңдау объективті емес, өйткені ол зерттеушінің сенімдеріне байланысты болуы мүмкін. Дегенмен, Джеймс пен Штейннің нәтижесі – кез келген шекті болжам ν күтілетін MSE-ді ең жоғары ықтималдық бағалаушысынан жақсартады, бұл шексіз ν қолданумен тең, әрине, нашар болжам.
We are interested in obtaining an estimate, , of , based on a single observation, , of
In real world application, this is a common situation in which a set of parameters is sampled, and the samples are corrupted by independent Gaussian noise. Since this noise has mean of zero, it may be reasonable to use the samples themselves as an estimate of the parameters. This approach is the least squares estimator, which is
Stein demonstrated that in terms of mean squared error , the least squares estimator, , is sub optimal to a shrinkage based estimators, such as the James–Stein estimator, By definition, this makes the least squares estimator inadmissible when
Notice that if then this estimator simply takes the natural estimator and shrinks it towards the origin 0. In fact this is not the only direction of shrinkage that works. Let ν be an arbitrary fixed vector of dimension Then there exists an estimator of the James–Stein type that shrinks toward ν, namely
The James–Stein estimator dominates the usual estimator for any ν. A natural question to ask is whether the improvement over the usual estimator is independent of the choice of ν. The answer is no. The improvement is small if is large. Thus to get a very great improvement some knowledge of the location of θ is necessary. Of course this is the quantity we are trying to estimate so we don't have this knowledge a priori. But we may have some guess as to what the mean vector is. This can be considered a disadvantage of the estimator: the choice is not objective as it may depend on the beliefs of the researcher. Nonetheless, James and Stein's result is that any finite guess ν improves the expected MSE over the maximum likelihood estimator, which is tantamount to using an infinite ν, surely a poor guess.
Интерпретация
Джеймс-Штейн бағалаушысын эмпирикалық Бейес әдісі ретінде қарастыру осы нәтижеге түсінік береді: θ өзі алдын ала таралыммен кездейсоқ айнымалы деп есептеледі, мұнда A деректерден бағаланады. A-ны бағалау, өлшем жеткілікті үлкен болған жағдайда ғана, ең жоғары ықтималдық бағалаушыға қарағанда артықшылық береді; сондықтан ол Джеймс-Штейн бағалаушысы ең жоғары ықтималдық бағалаушысына үстемдік ететін Байес бағалаушыларының класына жатады. Жоғарыдағы талқылаудың салдары ретінде, мынадай күтпеген нәтиже туындайды: үш немесе одан көп байланыссыз параметрлер өлшенгенде, олардың жалпы орташа квадратты қатесін (ОҚҚ) Джеймс-Штейн бағалаушысы сияқты біріктірілген бағалаушыны қолдану арқылы азайтуға болады; ал әрбір параметр жеке-жеке бағаланғанда, ең кішкентай квадраттар (ЕКҚ) бағалаушысы қолданылуға тиімді. Мысалы, жарық жылдамдығын, Тайваньдағы шай ішуді және Монтанадағы шошқа салмағын бірге бағалау. Джеймс-Штейн бағалаушысы әрқашан жалпы ОҚҚ-ны жақсартады, яғни әр компоненттің күтілетін квадратты қателерінің қосындысын. Сондықтан, жарық жылдамдығын, шай ішуді және шошқа салмағын өлшеудегі жалпы ОҚҚ, Джеймс-Штейн бағалаушысын пайдалану арқылы жақсары болады. Дегенмен, кез келген нақты компонент (мысалы, жарық жылдамдығы) кейбір параметрлер үшін жақсары нәтиже береді, ал басқалары үшін нашарлайды. Осылайша, Джеймс-Штейн бағалаушысы үш немесе одан көп параметрлер бағаланғанда ЕКҚ бағалаушысына басым болса да, жеке компонент ЕКҚ бағалаушысының тиісті компонентіне басым болмайды. Бұл гипотетикалық мысалдан мынадай қорытынды жасауға болады: егер жалпы ОҚҚ-ны азайту мақсаты болса, өлшемдерді біріктіру керек. Мысалы, телекоммуникация саласында, арнаны бағалау кезінде арналық параметрлерді өлшеуді біріктіру орынды, себебі мақсат – арнаны бағалау қатесін азайту. Джеймс-Штейн бағалаушысы фундаментальды кванттық теорияда да қолданыс тапқан, онда бағалаушы энтропиялық белгісіздік принципіне қатысты теориялық шекараларды үштен астам өлшемдер үшін жақсартуға мүмкіндік берді. Гальтондық көзқарас интуитивті түсіндіру мен интерпретация береді. Осы көзқарас бойынша, біз популяцияның орташа мәнін, кемшілікпен өлшенген үлгілік орташа мән арқылы болжауға тырысамыз. Популяциялық орташа мәндердің үлгілік орташа мәндерге қатысты гипотетикалық регрессиясындағы ЕКҚ бағалаушының теңдеуі, Джеймс-Штейн бағалаушысының (ЕКҚ кесіндісін 0-ге теңлеген кезде) немесе Эфрон-Моррис бағалаушысының (кесіндінің өзгеруіне рұқсат берген кезде) түріндегі бағалаушыны береді.
Жағдайдың жақсаруы
Джеймс-Стейн бағалаушысы ең жоғары ықтималдықты шамалауды нөлге жақындатуға ұмтылса да, көбейтуші теріс болғандықтан, шамалау кіші мәндер үшін нөлден алыстайды. Бұл көбейтуші теріс болған жағдайда оны нөлге алмастыру арқылы оңай түзетуге болады. Соның нәтижесінде пайда болған бағалаушы – оң бөлігі Джеймс-Стейн бағалаушысы деп аталады және ол негізгі Джеймс-Стейн бағалаушысынан тәуекелдің аз деңгейіне ие. Осыған байланысты, негізгі Джеймс-Стейн бағалаушысының өзі қабылданбайды. Дегенмен, оң бөлігінің бағалаушысы да қабылданбайды. Штайннің нәтижесі таралымдар мен шығындар функцияларының кең класына қолданылды. Бірақ, бұл теория тек қана қанағаттанарлық нәтиже береді, яғни нақты басым бағалаушылар іс жүзінде көрсетілген жоқ. Негізгі таралымдарға қатысты нақты шектеулерсіз, әдеттегі бағалаушыдан жақсырақ нақты бағалаушыларды алу өте қиын.
This estimator has a smaller risk than the basic James–Stein estimator. It follows that the basic James–Stein estimator is itself inadmissible. It turns out, however, that the positive part estimator is also inadmissible. Stein's result has been extended to a wide class of distributions and loss functions. However, this theory provides only an existence result, in that explicit dominating estimators were not actually exhibited. It is quite difficult to obtain explicit estimators improving upon the usual estimator without specific restrictions on the underlying distributions.