Zipf-Mandelbrot заңы: Дискретті ықтималдық таралу, сандық мәліметтерді талдау үшін қолданылады. Zipf заңының жалпылануы, реттелген деректерге арналған.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Кіріспе
Дискреттік ықтималдық үлестірімі
Discrete probability distribution
Ықтималдық теориясы мен статистикада Зипф–Мандельброт заңы – дискреттік ықтималдық үлестірімі. Парето–Зипф заңы деп те аталатын бұл заң, реттелген деректердегі қуаттық заң бойынша таралады. Оны тіл біліміндегі Джордж Кингсли Зипф, Zipf заңы деп аталатын қарапайым таралымды ұсынған, ал математик Бенуа Мандельброт оны кейіннен жалпылады. Ықтималдық массалық функциясы былай беріледі:
In probability theory and statistics, the Zipf–Mandelbrot law is a discrete probability distribution. Also known as the Pareto–Zipf law, it is a power law distribution on ranked data, named after the linguist George Kingsley Zipf who suggested a simpler distribution called Zipf's law, and the mathematician Benoit Mandelbrot, who subsequently generalized it. The probability mass function is given by:
мұнда былай беріледі:
where is given by:
Бұл гармоникалық санның жалпыланған түрі ретінде қарастырылуы мүмкін. Формулада, – деректердің рангі, ал және – үлестірудің параметрлері. шегі шексізге жақындағанда, бұл Хурвиц зетта функциясына айналады. және шексіз болғанда, Зипф–Мандельброт заңы Зипф заңына, ал шексіз болса – Зета үлестіріміне айналады.
which may be thought of as a generalization of a harmonic number. In the formula, is the rank of the data, and and are parameters of the distribution. In the limit as approaches infinity, this becomes the Hurwitz zeta function For finite and the Zipf–Mandelbrot law becomes Zipf's law. For infinite and it becomes a Zeta distribution.
Қолданбалар
Кездейсоқ мәтін корпусындағы жиілігі бойынша реттелген сөздердің таралуы Зипф заңы деп аталатын қуат заңы таралуымен жуықталады. Егер орташа көлемдегі мәтіндік деректер корпусындағы сөздердің жиілік ретін орын алу санымен немесе нақты жиіліктерімен салыстырсақ, бірге жуық мәні 1-ге жақын болатын экспонентасы бар қуат заңы таралуын аламыз (бірақ Powers, 1998 және Gelbukh & Sidorov, 2001 жұмыстарын қараңыз). Зипф заңы сөздіктің мөлшері тұрақты деп есептейді, бірақ s=1 мәніндегі гармоникалық қатарлар жинақталмайды, ал s>1 мәніндегі Zipf-Mandelbrot жалпыламасы жинақталады. Бұдан әрі, тілді анықтайтын функционалдық сөздердің жабық класы, тақырыпқа, салаға және стильге байланысты өзгеретін мазмұндық сөздердің ашық кластарынан өзгеше параметрлерге ие Zipf-Mandelbrot таралуына бағынады деген дәлелдер бар. Экологиялық зерттеулердегі салыстырмалы молшықтық таралуы (яғни, түрлердің байқалған санының олардың молшықтығына байланысты графигі) көбінесе Zipf-Mandelbrot заңына сәйкес келеді. Музыкада, «ұнамды» музыканы өлшеуге арналған көптеген өлшемдер Zipf-Mandelbrot таралуына сәйкес келеді.
The distribution of words ranked by their frequency in a random text corpus is approximated by a power law distribution, known as Zipf's law. If one plots the frequency rank of words contained in a moderately sized corpus of text data versus the number of occurrences or actual frequencies, one obtains a power law distribution, with exponent close to one (but see Powers, 1998 and Gelbukh & Sidorov, 2001). Zipf's law implicitly assumes a fixed vocabulary size, but the Harmonic series with s=1 does not converge, while the Zipf–Mandelbrot generalization with s>1 does. Furthermore, there is evidence that the closed class of functional words that define a language obeys a Zipf–Mandelbrot distribution with different parameters from the open classes of contentive words that vary by topic, field and register. In ecological field studies, the relative abundance distribution (i. e. the graph of the number of species observed as a function of their abundance) is often found to conform to a Zipf–Mandelbrot law. Within music, many metrics of measuring "pleasing" music conform to Zipf–Mandelbrot distributions.