Статистикалық деректер негізінде шамалау ережесі

Кіріспе

Байқалған деректерге негізделген белгілі бір шаманың бағалауын есептеу ережесі. Статистикада бағалаушы – байқалған деректерге негізделген белгілі бір шаманың бағалауын есептеу ережесі. Осылайша, ереже (бағалаушы), қызығушылық тудыратын шама (бағаланатын шама) және оның нәтижесі (бағалау) ерекшеленеді. Мысалы, үлгідегі орташа шама – жалпы популяцияның орташа шамасын бағалау үшін жиі қолданылатын бағалаушы. Нүктелік және интервалдық бағалаушылар болады. Нүктелік бағалаушылар бір ғана мәнді нәтиже береді. Бұл интервалдық бағалаушыдан өзгеше, онда нәтиже мүмкін болатын мәндердің диапазоны болады. "Бір мән" міндетті түрде "бір сан" дегенді білдірмейді, сонымен қатар векторлық немесе функциялық бағалаушыларды да қамтиды. Бағалау теориясы бағалаушылардың қасиеттерін зерттейді, яғни, бірдей деректерге негізделген бірдей шама үшін әртүрлі бағалаушыларды (бағалау жасаудың әртүрлі ережелері) салыстыруға болатын қасиеттерді анықтаумен айналысады. Мұндай қасиеттер белгілі жағдайларда ең тиімді ережелерді анықтау үшін қолданылады. Дегенмен, берік статистикада статистикалық теория, қатаң анықталған болжамдар орындалғанда жақсы қасиеттерге ие болу мен, кеңірек жағдайларда сақталатын нашар қасиеттер арасындағы тепе-теңдікті қарастырады.

Өмірбаян

"Бағалаушы" немесе "нүктелік бағалау" – бұл статистикалық модельдегі белгісіз параметрдің мәнін шығаруға қолданылатын статистикалық шама (яғни, деректердің функциясы). Көп кездесетін түсіндіру тәсілі: "Бағалаушы – белгісіз параметрдің бағасын алуға таңдалған әдіс". Бағаланатын параметр кейде "бағаланатын шама" деп аталады. Ол шекті өлшемді (параметриялық және жартылай параметриялық модельдерде) немесе шексіз өлшемді (жартылай параметриялық және параметриялық емес модельдерде) болуы мүмкін. Егер параметр белгіленген болса, онда бағалаушы дәстүрлі түрде символдың үстіне циркумфлекс қою арқылы жазылады: Деректердің функциясы болғандықтан, бағалаушы өзі кездейсоқ шама болып табылады; осы кездейсоқ шаманың нақты мәні "бағалау" деп аталады. Кейде "бағалаушы" және "бағалау" сөздері бір-бірін алмастырып қолданылады. Анықтама деректердің қандай функцияларын "бағалаушылар" деп атауға ешқандай шектеулер қоймайды. Әртүрлі бағалаушылардың тиімділігі олардың қасиеттеріне қарай бағаланады, мысалы, бөгделіксіздік, орташа квадраттық қателік, тұрақтылық, асимптотикалық таралу және т.б. Бағалаушыларды құру және салыстыру – бағалау теориясының пәні. Шешім қабылдау теориясы контекстінде бағалаушы – шешім қабылдау ережесінің бір түрі болып табылады және оның тиімділігі шығын функцияларын қолдану арқылы бағалануы мүмкін. "Бағалаушы" сөзі ешқандай толықтырусыз қолданылғанда, әдетте нүктелік бағалауды білдіреді. Бұл жағдайда бағалау параметр кеңістігіндегі бір ғана нүкте болып табылады. Бағалаушылардың тағы бір түрі бар: интервалдық бағалаушылар, онда бағалаулар параметр кеңістігінің ішкі жиындары болып табылады. Тығыздық бағалау мәселесі екі жағдайда туындайды. Біріншіден, кездейсоқ шамалардың ықтималдық тығыздық функцияларын бағалауда, екіншіден, уақыт қатарларының спектрлік тығыздық функцияларын бағалауда. Бұл мәселелерде бағалаулар – шексіз өлшемді кеңістіктегі нүктелік бағалаулар ретінде қарастырылатын функциялар болып табылады және сәйкес интервалдық бағалау мәселелері де бар.

An "estimator" or "point estimate" is a statistic (that is, a function of the data) that is used to infer the value of an unknown parameter in a statistical model. A common way of phrasing it is "the estimator is the method selected to obtain an estimate of an unknown parameter". The parameter being estimated is sometimes called the estimand. It can be either finite dimensional (in parametric and semi parametric models), or infinite dimensional (semi parametric and non parametric models). If the parameter is denoted then the estimator is traditionally written by adding a circumflex over the symbol: Being a function of the data, the estimator is itself a random variable; a particular realization of this random variable is called the "estimate". Sometimes the words "estimator" and "estimate" are used interchangeably. The definition places virtually no restrictions on which functions of the data can be called the "estimators". The attractiveness of different estimators can be judged by looking at their properties, such as unbiasedness, mean square error, consistency, asymptotic distribution, etc. The construction and comparison of estimators are the subjects of the estimation theory. In the context of decision theory, an estimator is a type of decision rule, and its performance may be evaluated through the use of loss functions. When the word "estimator" is used without a qualifier, it usually refers to point estimation. The estimate in this case is a single point in the parameter space. There also exists another type of estimator: interval estimators, where the estimates are subsets of the parameter space. The problem of density estimation arises in two applications. Firstly, in estimating the probability density functions of random variables and secondly in estimating the spectral density function of a time series. In these problems the estimates are functions that can be thought of as point estimates in an infinite dimensional space, and there are corresponding interval estimation problems.

Анықтама

Белгілі бір параметрді бағалау қажет болсын. "Бағалаушы" – бұл үлгі кеңістігін үлгілік бағалаулар жиынына бейнелейтін функция. Параметрдің бағалаушысы әдетте символымен белгіленеді. Теорияны көбінесе кездейсоқ шамалардың алгебрасын қолдану арқылы қолайлырақ түсіндіруге болады: егер X байқалған деректерге сәйкес кездейсоқ шаманы білдірсе, онда бағалаушы (өзі де кездейсоқ шама ретінде қарастырылады) осы кездейсоқ шаманың функциясы ретінде жазылады. Нақты байқалған деректер мәні үшін (яғни үшін) бағалау , бұл тұрақты мән. Көбінесе қысқартылған жазу қолданылады, онда кездейсоқ шама ретінде түсіндіріледі, бірақ бұл шатасуға алып келуі мүмкін.

Сандық сипаттамалары

Келесі анықтамалар мен сипаттамалар қатысты.

Ауыспалылық

Дисперсия – бұл үлгілік ауытқулардың квадратының күтілетін мәні; яғни, ол бағалаулар жинағының күтілетін мәннен орташа алғанда қаншалықты алшақтыққа ие екенін көрсетеді. (Орташа квадратты қателік пен дисперсия арасындағы айырмашылыққа назар аударыңыз.) Егер параметр – нысананың ортасы болса, ал жебелер – бағалаулар болса, онда жоғары дисперсия жебелердің шашыраңқы екенін, ал төмен дисперсия жебелердің жиынтықтасқан екенін білдіреді. Дисперсия төмен болса да, жебелердің жиынтығы нысанадан қашық болуы мүмкін, ал дисперсия жоғары болса да, жебелердің тараңды жиынтығы бұрмаланбаған болуы мүмкін. Соңында, егер барлық жебелер нысананы мүлдем өткізіп алса да, олардың бәрі бір нүктеге тисе, дисперсия нөлге тең болады.

Бәсекелестік

Бейтараптық – бұл бағалаулар жиынтығының орташасы мен бағалау жүргізіліп жатқан бір параметр арасындағы қашықтық. Бейтараптық параметрдің нақты мәніне байланысты функция болып табылады, сондықтан бағалаушының бейтараптығы – дегеніміз, кез келген мәні үшін бағалаушының бейтараптығы болады.

The bias of is defined as It is the distance between the average of the collection of estimates, and the single parameter being estimated. The bias of is a function of the true value of so saying that the bias of is means that for every the bias of is
There are two kinds of estimators: biased estimators and unbiased estimators. Whether an estimator is biased or not can be identified by the relationship between and 0:
If , is biased. If , is unbiased. The bias is also the expected value of the error, since If the parameter is the bull's eye of a target and the arrows are estimates, then a relatively high absolute value for the bias means the average position of the arrows is off target, and a relatively low absolute bias means the average position of the arrows is on target. They may be dispersed, or may be clustered. The relationship between bias and variance is analogous to the relationship between accuracy and precision. The estimator is an unbiased estimator of if and only if Bias is a property of the estimator, not of the estimate. Often, people refer to a "biased estimate" or an "unbiased estimate", but they really are talking about an "estimate from a biased estimator", or an "estimate from an unbiased estimator". Also, people often confuse the "error" of a single estimate with the "bias" of an estimator. That the error for one estimate is large, does not mean the estimator is biased. In fact, even if all estimates have astronomical absolute values for their errors, if the expected value of the error is zero, the estimator is unbiased. Also, an estimator's being biased does not preclude the error of an estimate from being zero in a particular instance. The ideal situation is to have an unbiased estimator with low variance, and also try to limit the number of samples where the error is extreme (that is, have few outliers). Yet unbiasedness is not essential. Often, if just a little bias is permitted, then an estimator can be found with lower mean squared error and/or fewer outlier sample estimates. An alternative to the version of "unbiased" above, is "median unbiased", where the median of the distribution of estimates agrees with the true value; thus, in the long run half the estimates will be too low and half too high. While this applies immediately only to scalar valued estimators, it can be extended to any measure of central tendency of a distribution: see median unbiased estimators. In a practical problem, can always have functional relationship with For example, A genetic theory states there is a type of leave, starchy green, occur with probability , with For leaves, the random variable , the number of starchy green leaves, can be modeled with a distribution. The number can be used to express the following estimator for : One can show that is an unbiased estimator for :

Бағалаушылардың екі түрі бар: жағымсыз бағалаушылар және бейтарап бағалаушылар. Бағалаушының жағымсыздығын немесе бейтараптығын анықтау үшін оның арасындағы қатынас қарастырылады:
Егер , бағалаушы жағымсыз. Егер , бағалаушы бейтарап. Бейтараптық – бұл қателіктің күтілетін мәні, себебі егер параметр нысананың ортасы болса және жебелер бағалаулар болса, онда бейтараптықтың жоғары абсолюттік мәні жебелердің орташа орны нысанадан алшақ екенін білдіреді, ал төмен абсолюттік бейтараптық жебелердің орташа орны нысанаға жақын екенін білдіреді. Олар шашыраңқы немесе жиынтық болуы мүмкін. Бейтараптық пен дисперсия арасындағы байланыс дәлдік пен нақтылық арасындағы байланысқа ұқсас. Бағалаушы тек қана егер бейтарап болса, онда бейтарап бағалаушы болып табылады. Бейтараптық – бұл бағалаушының, емес бағалаудың қасиеті. Көп жағдайда адамдар «жағымсыз бағалау» немесе «бейтарап бағалау» деп айтады, бірақ олар шын мәнінде «жағымсыз бағалаушыдан алынған бағалау» немесе «бейтарап бағалаушыдан алынған бағалау» туралы айтады. Сондай-ақ, адамдар бір бағалаудың «қателігін» бағалаушының «жағымсыздығымен» жиі шатастырады. Бір бағалаудың қателігі үлкен болса, онда бағалаушы жағымсыз дегеніміз емес. Шын мәнінде, тіпті барлық бағалауларда қателіктердің абсолюттік мәндері жоғары болса да, егер қателіктің күтілетін мәні нөл болса, онда бағалаушы бейтарап болады. Бағалаушының жағымсыз болуы белгілі бір жағдайда бағалаудың қателігін нөлге тең етуге кедерілмейді. Идеалды жағдай – төмен дисперсиясы бар бейтарап бағалаушыға ие болу және қателік шектен шығатын үлгілер санын шектеуге тырысу (яғни, азайған сыртқы мәндерге ие болу). Дегенмен, бейтараптық міндетті емес. Көбінесе, егер аздап жағымсыздыққа рұқсат етілсе, онда төменгі орташа квадраттық қатесі және/немесе азырақ сыртқы үлгі бағалаулары бар бағалаушыны табуға болады. Жоғарыдағы «бейтарап» анықтамасына балама ретінде «медианалық бейтараптық» бар, онда бағалаулар үлестірілімінің медианасы нақты мәнмен сәйкес келеді; осылайша, ұзақ мерзімді перспективада бағалаулардың жартысы тым төмен, жартысы тым жоғары болады. Бұл тек скалярлық бағалаушыларға ғана тікелей қатысты болса да, оны үлестірудің орталық тенденциясының кез келген өлшемдеріне қолдануға болады: медианалық бейтарап бағалаушыларды қараңыз. Нақты проблемада әрқашан функционалдық қатынасқа ие болуы мүмкін. Мысалы, генетикалық теорияда жапырақтардың бір түрі бар, крахмал жасыл, ықтималдықпен пайда болады, жапырақтар үшін кездейсоқ айнымалы, крахмал жасыл жапырақтардың саны, таралумен модельдеуге болады. Бұл санды мынадай бағалаушыны көрсетуге болады: Бұл бағалаушының бейтарап екенін көрсетуге болады: .

Фишердің консистенциясы

Бағалаушы, эмпирикалық үлестіру функциясы мен нақты үлестіру функциясы бірдей функциялық болғанда Фишер сәйкестігіне ие деп есептелуі мүмкін. Формула бойынша:

мұнда және – сәйкесінше эмпирикалық және теориялық үлестіру функциялары. Фишер сәйкестігін тексерудің қарапайым жолы – орташа сәйкестік және дисперсияны қарастыру. Мысалы, орташа мәннің сәйкестігін тексеру үшін және дисперсияның сәйкестігін тексеру үшін .

Асимптотикалық қалыптылық

Асимптотикалық қалыпты бағалаушы – бұл дәйекті бағалаушы, оның нақты параметр θ-ға қатысты үлестірімі үлгі мөлшері n өскен сайын стандартты қатесі n-ге пропорционалды түрде азаятын қалыпты үлестіріміне жақындайды. Тарaлудағы жақындасуды білдіру үшін, tn асимптотикалық қалыпты болады, егер

кейбір V үшін.

Бұл формула бойынша V/n бағалаушының асимптотикалық дисперсиясы деп аталуы мүмкін. Дегенмен, кейбір авторлар V-ді де асимптотикалық дисперсия деп атайды. Жақындасу кез келген шекті "n" үшін міндетті түрде орын алмауы мүмкін екенін ескеріңіз, сондықтан бұл мән бағалаушының нақты дисперсиясына жуықтама ғана болып табылады, ал шекте асимптотикалық дисперсия (V/n) жай ғана нөлге тең. Нақтырақ айтқанда, tn бағалаушының үлестірілімі ортасы θ-да орналасқан Дирак дельта-функциясына әлсіз жақындайды. Орталық шек теоремасы нақты орташаның бағалаушысы ретінде үлгі орташасының асимптотикалық қалыптылығын көрсетеді. Көбінесе, максималды ықтималдық бағалаушылар жеткілікті түрде әлсіз реттелу шарттарында асимптотикалық қалыпты болады – қараңыз максималды ықтималдық туралы мақаланың асимптотикалық бөлімі. Алайда, барлық бағалаушылар асимптотикалық қалыпты емес; ең қарапайым мысалдар параметрдің нақты мәні рұқсат етілген параметр аймағының шекарасында жатқан жағдайларда кездеседі.

Тиімділік

Бағалаушының тиімділігі қызығушылық тудыратын шаманы "ең аз қателікпен" бағалау үшін қолданылады. Іс жүзінде, ең жақсы бағалаушы болмайды; тек жақсырақ бағалаушы болуы мүмкін. Бағалаушының тиімділігінің жақсылығы немесе жамандығы белгілі бір шығын функциясын таңдауға байланысты және ол бағалаушылардың екі қасиетімен көрініс береді: бөгде болу және ең төменгі орташа квадраттық қателікке (ОҚҚ) ие болу. Бұл қасиеттер әдетте бірдей уақытта орындалмайды: бөгде бағалаушының орташа квадраттық қателігі, кез келген бөгде бағалаушыдан төмен болуы мүмкін (бағалаушының бөгделігін қараңыз). Функция орташа квадраттық қателік пен бағалаушының бөгделігі арасындағы байланысты көрсетеді. Бірінші мүше – орташа квадраттық қателік; екінші мүше – бағалаушының бөгделігінің квадраты; ал үшінші мүше – сынаманың дисперсиясы. Бағалаушының сапасы дисперсияны, бағалаушының бөгделігінің квадратын немесе ОҚҚ-ны салыстыру арқылы анықталады. Жақсы бағалаушының (жоғары тиімділік) дисперсиясы, жаман бағалаушының (төмен тиімділік) дисперсиясынан кіші болады. Жақсы бағалаушының бөгделігінің квадраты, жаман бағалаушының бөгделігінің квадратынан кіші болады. Жақсы бағалаушының ОҚҚ-сы, жаман бағалаушының ОҚҚ-сынан кіші болады. Екі бағалаушы бар делік, жақсы бағалаушы және жаман бағалаушы. Жоғарыдағы байланысты келесі формулалармен көрсетуге болады. Формуладан басқа, бағалаушының тиімділігін анықтау үшін графиктерді де пайдалануға болады. Егер бағалаушы тиімді болса, жиілік пен мән графигінде ортасында жоғары жиілік және екі жағында төмен жиілік болатын қисық пайда болады. Мысалы: егер бағалаушы тиімді болмаса, жиілік пен мән графигінде салыстырмалы түрде көлбеу қисық пайда болады. Қысқасы, жақсы бағалаушының қисығы тар, ал жаман бағалаушының қисығы кең болады. Осы екі қисықты бірдей y осьі бар графикке салыстырсақ, айырмашылық анық көрінеді. Бөгде бағалаушылар арасында ең төменгі дисперсияға ие, ең төменгі дисперсиялы бөгде бағалаушы (ТДББ) деп аталатын бағалаушы жиі кездеседі. Кейбір жағдайларда бөгде және тиімді бағалаушы бар, ол бөгде бағалаушылар арасында ең төменгі дисперсияға ие болудан басқа, Крамер-Рао шегін де қанағаттандырады, бұл айнымалының статистикасы үшін дисперсияның абсолюттік төменгі шегі болып табылады. Мұндай "ең жақсы бөгде бағалаушылар" туралы ақпарат алу үшін Крамер-Рао шегі, Гаусс-Марков теоремасы, Леманн-Шефф теоремасы, Рао-Блэквелл теоремасын қараңыз.

The efficiency of an estimator is used to estimate the quantity of interest in a "minimum error" manner. In reality, there is not an explicit best estimator; there can only be a better estimator. The good or not of the efficiency of an estimator is based on the choice of a particular loss function, and it is reflected by two naturally desirable properties of estimators: to be unbiased and have minimal mean squared error (MSE) These cannot in general both be satisfied simultaneously: an unbiased estimator may have a lower mean squared error than any biased estimator (see estimator bias). A function relates the mean squared error with the estimator bias. The first term represents the mean squared error; the second term represents the square of the estimator bias; and the third term represents the variance of the sample. The quality of the estimator can be identified from the comparison between the variance, the square of the estimator bias, or the MSE. The variance of the good estimator (good efficiency) would be smaller than the variance of the bad estimator (bad efficiency). The square of an estimator bias with a good estimator would be smaller than the estimator bias with a bad estimator. The MSE of a good estimator would be smaller than the MSE of the bad estimator. Suppose there are two estimator, is the good estimator and is the bad estimator. The above relationship can be expressed by the following formulas. Besides using formula to identify the efficiency of the estimator, it can also be identified through the graph. If an estimator is efficient, in the frequency vs. value graph, there will be a curve with high frequency at the center and low frequency on the two sides. For example:

If an estimator is not efficient, the frequency vs. value graph, there will be a relatively more gentle curve. To put it simply, the good estimator has a narrow curve, while the bad estimator has a large curve. Plotting these two curves on one graph with a shared y axis, the difference becomes more obvious. Among unbiased estimators, there often exists one with the lowest variance, called the minimum variance unbiased estimator (MVUE). In some cases an unbiased efficient estimator exists, which, in addition to having the lowest variance among unbiased estimators, satisfies the Cramér–Rao bound, which is an absolute lower bound on variance for statistics of a variable. Concerning such "best unbiased estimators", see also Cramér–Rao bound, Gauss–Markov theorem, Lehmann–Scheffé theorem, Rao–Blackwell theorem.