Ақпараттағы артықтық: анықтама, өлшемдер және қолданылуы
Redundancy (information theory)
Ақпарат теориясындағы артықтық – бұл деректерді жеткізуде пайдасыз "орын". Деректерді қысу артықтықты азайтады, ал қателерді түзету үшін артықтық қосылады.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Ақпарат теориясында артықшылық – Х жиынының H(X) энтропиясы мен оның ең жоғары мүмкін мәні арасындағы қатынастық айырмашылықты өлшейді. Жай тілмен айтқанда, бұл белгілі бір деректерді беруге жұмсалатын пайдасыз "орын" мөлшері. Деректерді сығыстыру – қажетсіз артықшылықты азайту немесе жою жолы, ал алдын ала қателерді түзету – шектеулі сыйымдылығы бар шулы арна арқылы хабар алмасу кезінде қателерді анықтау және түзету үшін қажетті артықшылықты қосу тәсілі.
In information theory, redundancy measures the fractional difference between the entropy H(X) of an ensemble X, and its maximum possible value Informally, it is the amount of wasted "space" used to transmit certain data. Data compression is a way to reduce or eliminate unwanted redundancy, while forward error correction is a way of adding desired redundancy for purposes of error detection and correction when communicating over a noisy channel of limited capacity.
Басқа ұғымдар
Екі айнымалы арасындағы артықшылықты өлшеу үшін өзара ақпарат немесе нормаланған түрі қолданылады. Көптеген айнымалылар арасындағы артықшылықты жалпы корреляция арқылы анықтауға болады. Қысылған деректердің артықшылығы – хабарламалардың күтілетін қысылған деректер ұзындығы (немесе күтілетін деректер жылдамдығы) мен энтропияның (немесе энтропия жылдамдығы) арасындағы айырмашылықты көрсетеді. (Бұл жерде деректер эргодикалық және стационарлық деп есептейміз, мысалы, жады жоқ дерек көзі.) Айырмашылықтың мөлшері көбейген сайын кез келгендей кішкентай бола алады, бірақ нақты айырмашылық шексіз үлкендемейді, бірақ шекті энтропиясы бар жады жоқ дерек көздері үшін теориялық тұрғыдан 1-ге дейін жоғары шектеледі. Ақпараттық теориялық контексте артықшылық екі өзара ақпарат арасындағы қайталама ақпаратты да білдіре алады. Мысалы, үш айнымалы берілген жағдайда – , , және , ортақ өзара ақпараттың жиынтық өзара ақпараттың қосындысынан кем болуы мүмкін: Бұл жағдайда, кем дегенде, немесе туралы ашылған ақпараттың бір бөлігі бірдей болады. Осы артықшылықтың түсінігі синергия ұғымына толықтырады, ол ортақ өзара ақпарат жиынтық өзара ақпараттың қосындысынан көп болған кезде пайда болады, бұл ақпараттың тек ортақ күйде ғана ашылатынын, ал қарапайым деректер жинағында емес екенін көрсетеді.
A measure of redundancy between two variables is the mutual information or a normalized variant. A measure of redundancy among many variables is given by the total correlation. Redundancy of compressed data refers to the difference between the expected compressed data length of messages (or expected data rate ) and the entropy (or entropy rate ). (Here we assume the data is ergodic and stationary, e. g., a memoryless source.) Although the rate difference can be arbitrarily small as increased, the actual difference , cannot, although it can be theoretically upper bounded by 1 in the case of finite entropy memoryless sources. Redundancy in an information theoretic contexts can also refer to the information that is redundant between two mutual informations. For example, given three variables , , and , it is known that the joint mutual information can be less than the sum of the marginal mutual informations: In this case, at least some of the information about disclosed by or is the same. This formulation of redundancy is complementary to the notion of synergy, which occurs when the joint mutual information is greater than the sum of the marginals, indicating the presence of information that is only disclosed by the joint state and not any simpler collection of sources.
Топтық жұмыстан босату
Жоғарыда келтірілген жұптық артықшылық өлшемін n айнымалылар жиынтығына кеңейтуге болады. Жоғарыдағы жұптық өлшем сияқты, егер бұл мән теріс болса, айнымалылар жиыны артық деп есептеледі.
The above pairwise redundancy measure can be generalized to a set of n variables. As the pair wise measure above, if this value is negative, one says the set of variables is redundant.