Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Цифрлық бейне сапасын болжау
Prediction of digital video quality
Құрылымдық ұқсастық индексі (SSIM) – цифрлық теледидар және кинематографиялық суреттердің, сондай-ақ басқа да цифрлық суреттер мен бейнелердің қабылданатын сапасын болжау әдісі. Ол екі суреттің ұқсастығын өлшеу үшін де қолданылады. SSIM индексі – толық эталондық метрика; яғни, сурет сапасын өлшеу немесе болжау бастапқы сығылмаған немесе бұрмаланбаған суретке негізделеді. SSIM – бұл сурет нашарлауын құрылымдық ақпараттың өзгеруі ретінде қарастыратын, сонымен қатар маңызды қабылдау құбылыстарын, оның ішінде жарықтық және контрасттық маскалау сияқты факторларды қамтитын қабылдауға негізделген модель. MSE немесе PSNR сияқты басқа әдістерден айырмашылығы – бұл тәсілдер абсолютті қателерді бағалайды. Құрылымдық ақпарат – пиксельдердің өзара байланыстылығы, әсіресе олар кеңістікте жақын болғанда. Бұл тәуелділіктер визуалды көріністегі нысандардың құрылымы туралы маңызды ақпаратты қамтиды. Жарықтық маскалау – бұл суреттегі бұрмаланулар (осы жағдайда) жарық аймақтарда аз байқалатын құбылыс, ал контрасттық маскалау – суретте маңызды белсенділік немесе «текстура» болған кезде бұрмаланулардың көрінбейтіндей болу құбылысы.
The structural similarity index measure (SSIM) is a method for predicting the perceived quality of digital television and cinematic pictures, as well as other kinds of digital images and videos. It is also used for measuring the similarity between two images. The SSIM index is a full reference metric; in other words, the measurement or prediction of image quality is based on an initial uncompressed or distortion free image as reference. SSIM is a perception based model that considers image degradation as perceived change in structural information, while also incorporating important perceptual phenomena, including both luminance masking and contrast masking terms. The difference with other techniques such as MSE or PSNR is that these approaches estimate absolute errors. Structural information is the idea that the pixels have strong inter dependencies especially when they are spatially close. These dependencies carry important information about the structure of the objects in the visual scene. Luminance masking is a phenomenon whereby image distortions (in this context) tend to be less visible in bright regions, while contrast masking is a phenomenon whereby distortions become less visible where there is significant activity or "texture" in the image.
Тарих
SSIM-нің алдыңғы нұсқасы 2001 жылы Чжоу Ванг және Алан Бовик әзірлеген Universal Quality Index (UQI) немесе Ванг–Бовик индексі деп аталды. Олар Хамид Шейх және Ээро Симончеллимен бірлесіп жұмыс істеу арқылы оны SSIM-нің қазіргі нұсқасына жетілдірді, ол 2004 жылдың сәуірінде IEEE Transactions on Image Processing журналында жарияланды. Бұл мақала SSIM сапа индексін анықтаудан бөлек, қабылдау сапасын бағалау және дамыту үшін жалпы контекст ұсынады, соның ішінде адамның визуалды нейробиологиясы мен қабылдауына қатысты мәліметтерді, сондай-ақ индексті адамдардың бағалауларымен тікелей салыстыруды қамтиды. Негізгі модель Техас университетінің Остин қаласындағы Бейне және бейне инженериясы зертханасында (LIVE) жасалды және Нью-Йорк университетінің Есептеу көрісі зертханасымен (LCV) бірлесіп одан әрі дамытылды. Модельдің басқа да түрлері Ватерлоо университетінің Бейне және визуалды есептеу зертханасында жасалды және коммерциялық мақсатта қолданысқа енгізілді. SSIM кейіннен бейне өңдеу қауымдастығында, сондай-ақ теледидар және әлеуметтік желі индустрияларында кеңінен танылды. Google Scholar деректері бойынша, 2004 жылғы SSIM мақаласына 50 000-нан астам сілтеме жасалған, бұл оны бейне өңдеу және бейне инженериясы саласындағы ең көп сілтеме жасалған мақалалардың біріне айналдырды. Ол 2009 жылы IEEE Signal Processing Society Best Paper Award сыйлығымен марапатталды. Сонымен қатар, 2016 жылы IEEE Signal Processing Society Sustained Impact Award сыйлығын алды, бұл жарияланғаннан кейін кем дегенде 10 жыл бойы үлкен әсер еткен мақаланың белгісі. Теледидар индустриясының жоғары деңгейде қабылдауына байланысты, SSIM-нің бастапқы мақаласының авторлары 2015 жылы Телевизия академиясының Primetime Engineering Emmy Award сыйлығымен құрметтелді.
The predecessor of SSIM was called Universal Quality Index (UQI), or Wang–Bovik Index, which was developed by Zhou Wang and Alan Bovik in 2001. This evolved, through their collaboration with Hamid Sheikh and Eero Simoncelli, into the current version of SSIM, which was published in April 2004 in the IEEE Transactions on Image Processing. In addition to defining the SSIM quality index, the paper provides a general context for developing and evaluating perceptual quality measures, including connections to human visual neurobiology and perception, and direct validation of the index against human subject ratings. The basic model was developed in the Laboratory for Image and Video Engineering (LIVE) at The University of Texas at Austin and further developed jointly with the Laboratory for Computational Vision (LCV) at New York University. Further variants of the model have been developed in the Image and Visual Computing Laboratory at University of Waterloo and have been commercially marketed. SSIM subsequently found strong adoption in the image processing community and in the television and social media industries. The 2004 SSIM paper has been cited over 50,000 times according to Google Scholar, making it one of the highest cited papers in the image processing and video engineering fields. It was recognized with the IEEE Signal Processing Society Best Paper Award for 2009. It also received the IEEE Signal Processing Society Sustained Impact Award for 2016, indicative of a paper having an unusually high impact for at least 10 years following its publication. Because of its high adoption by the television industry, the authors of the original SSIM paper were each accorded a Primetime Engineering Emmy Award in 2015 by the Television Academy.
Алгоритм
SSIM индексі кескіннің әртүрлі аймақтарында есептеледі. Екі аймақ пен арасындағы, ортақ өлшемдегі өлшем: Мұндай функцияның квадраты дөңес емес, бірақ жергілікті дөңес және квазидөңес болып табылады, бұл SSIM-ді оңтайландыруға қолайлы етеді.
The SSIM index is calculated on various windows of an image. The measure between two windows and of common size is: The square of such a function is not convex, but is locally convex and quasiconvex, making SSIM a feasible target for optimization.
Формуланы қолдану
Сурет сапасын бағалау үшін бұл формула көбінесе тек luma-ға қолданылады, бірақ оны түс (мысалы, RGB) немесе хроматикалық (мысалы, YCbCr) мәндеріне де қолдануға болады. Нәтижедегі SSIM индексі – 1 мен 1 аралығындағы ондық сан, мұнда 1 толыққанды ұқсастықты, 0 – ұқсастықтың жоқтығын, ал 1 – толық антикорреляцияны көрсетеді. Сурет үшін ол әдетте 11x11 өлшемді жылжымалы Гаусс терезесі немесе 8x8 өлшемді блок терезесі арқылы есептеледі. Суретте терезені пиксель бойынша жылжыту арқылы суреттің SSIM сапа картасын жасауға болады. Видео сапасын бағалау кезінде авторлар есептеудің күрделігін азайту мақсатында қолданылатын терезелердің тек бір бөлігін пайдалануды ұсынады.
In order to evaluate the image quality, this formula is usually applied only on luma, although it may also be applied on color (e. g., RGB) values or chromatic (e. g. YCbCr) values. The resultant SSIM index is a decimal value between 1 and 1, where 1 indicates perfect similarity, 0 indicates no similarity, and 1 indicates perfect anti correlation. For an image, it is typically calculated using a sliding Gaussian window of size 11x11 or a block window of size 8×8. The window can be displaced pixel by pixel on the image to create an SSIM quality map of the image. In the case of video quality assessment, the authors propose to use only a subgroup of the possible windows to reduce the complexity of the calculation.
Көп масштабты SSIM
SSIM-нің тағы да жетілдірілген түрі, Көп масштабты SSIM (MS SSIM) деп аталады, ол бастапқы көру жүйесіндегі көп масштабты өңдеуді еске түсіретін, бірнеше суб-үлгі алу сатылары арқылы бірнеше масштабта жүргізіледі. Бұл метрика әртүрлі субъективті бейне және бейне дерекқоры бойынша SSIM-нен кем түспейді немесе одан да жақсы нәтижелер көрсетеді. Есептелген метрика үш аймақ санаты бойынша салмақталған SSIM орташасы ретінде шығарылады: шеттер, текстуралар және тегіс аймақтар. Ұсынылған салмақтар: шеттер үшін 0.5, текстуралы және тегіс аймақтар үшін 0.25. Авторлар 1/0/0 салмақты (тек шеттік бұрмалауларды ескере отырып) қолданғанда, нәтижелер субъективті бағалауларға жақын болатынын атап көрсетеді. Бұл бейне сапасын қабылдауда шеттік аймақтардың үлкен рөл атқаратынын көрсетеді. 3 SSIM авторлары модельді 4 SSIM-ге дейін кеңейтті. Шеттік түрлер бұрмалану деңгейіне қарай сақталған және өзгерген шеттерге бөлінеді. Ұсынылған салмақ барлық төрт компонент үшін 0.25 құрайды.
A more advanced form of SSIM, called Multiscale SSIM (MS SSIM) is conducted over multiple scales through a process of multiple stages of sub sampling, reminiscent of multiscale processing in the early vision system. It has been shown to perform equally well or better than SSIM on different subjective image and video databases. The resulting metric is calculated as a weighted average of SSIM for three categories of regions: edges, textures, and smooth regions. The proposed weighting is 0.5 for edges, 0.25 for the textured and smooth regions. The authors mention that a 1/0/0 weighting (ignoring anything but edge distortions) leads to results that are closer to subjective ratings. This suggests that edge regions play a dominant role in image quality perception. The authors of 3 SSIM have also extended the model into (4 SSIM). The edge types are further subdivided into preserved and changed edges by their distortion status. The proposed weighting is 0.25 for all four components.
Құрылымдық ұқсастық
Құрылымдық ерекшелік (DSSIM) SSIM-нен туындауы мүмкін, бірақ үшбұрыш теңсіздігі міндетті түрде орындалмағандықтан, ол қашықтық функциясы болып табылмайды.
Structural dissimilarity (DSSIM) may be derived from SSIM, though it does not constitute a distance function as the triangle inequality is not necessarily satisfied.
Видео сапасы мен уақыт нұсқалары
SSIM бастапқы нұсқасы тұрақты суреттердің сапасын бағау үшін жасалған. Ол адамның уақыт бойынша қабылдауы мен бағалауының әсеріне тікелей қатысты параметрлерді қамтымайды.
It is worth noting that the original version SSIM was designed to measure the quality of still images. It does not contain any parameters directly related to temporal effects of human perception and human judgment.
Күрделі толқынды SSIM
SSIM (CW SSIM) күрделі толқындық трансформация нұсқасы кескінді масштабтау, жылжу және бұру мәселелерін шешуге арналған. Мұндай жағдайлардағы кескіндерге төмен баға берудің орнына, CW SSIM күрделі толқындық трансформацияны пайдаланады және осылайша осы кескіндерге жоғары баға береді. CW SSIM былай анықталады:
The complex wavelet transform variant of the SSIM (CW SSIM) is designed to deal with issues of image scaling, translation and rotation. Instead of giving low scores to images with such conditions, the CW SSIM takes advantage of the complex wavelet transform and therefore yields higher scores to said images. The CW SSIM is defined as follows:
Мұнда – сигналдың күрделі толқындық трансформациясы, ал – сигналдың күрделі толқындық трансформациясы. Сонымен қатар, – функцияның тұрақтылығын қамтамасыз ету үшін қолданылатын кішкентай оң сан. Идеал жағдайда, ол нөлге тең болуы керек. SSIM сияқты, CW SSIM-нің максималды мәні 1-ге тең. 1-ге тең максималды мән екі сигналдың құрылымдық жағынан толық сәйкес екенін, ал 0 мәні құрылымдық ұқсастықтың жоқтығын көрсетеді.
Where is the complex wavelet transform of the signal and is the complex wavelet transform for the signal Additionally, is a small positive number used for the purposes of function stability. Ideally, it should be zero. Like the SSIM, the CW SSIM has a maximum value of 1. The maximum value of 1 indicates that the two signals are perfectly structurally similar while a value of 0 indicates no structural similarity.
SSIMPLUS
SSIMPLUS индексі SSIM-ге негізделген және коммерциялық түрде қолжетімді құрал болып табылады. Ол SSIM мүмкіндіктерін кеңейтеді, әсіресе бейне қолданбаларына бағытталған. Ол 0–100 диапазонында баға береді, бұл бағалар адамның субъективті бағалауларымен сызықтық түрде сәйкес келеді. Сонымен қатар, ол әр түрлі ажыратымдылықтағы және мазмұндағы бейнелерді салыстыру кезінде, қарау құрылғысына сәйкес баллдарды реттеуге мүмкіндік береді. Авторлардың пікірінше, SSIMPLUS басқа бейне және кескін сапасын бағалау өлшемдеріне қарағанда жоғары дәлдік пен жылдамдыққа ие. Дегенмен, алгоритмнің өзі жарияланбағандықтан, SSIMPLUS-тің тәуелсіз бағасы жүргізілген жоқ.
The SSIMPLUS index is based on SSIM and is a commercially available tool. It extends SSIM's capabilities, mainly to target video applications. It provides scores in the range of 0–100, linearly matched to human subjective ratings. It also allows adapting the scores to the intended viewing device, comparing video across different resolutions and contents. According to its authors, SSIMPLUS achieves higher accuracy and higher speed than other image and video quality metrics. However, no independent evaluation of SSIMPLUS has been performed, as the algorithm itself is not publicly available.
cSSIM
Стандартты дискретті SSIM-ді теориялық тұрғыдан толығырақ зерттеу мақсатында, үздіксіз SSIM (cSSIM) енгізіліп, радиалды негіз функциясының интерполяциясы контекстінде зерттелді.
In order to further investigate the standard discrete SSIM from a theoretical perspective, the continuous SSIM (cSSIM) has been introduced and studied in the context of Radial basis function interpolation.
ССИМУЛАКРА
SSIMULACRA және SSIMULACRA2 – Cloudinary компаниясымен әзірленген SSIM-нің нұсқалары, олардың мақсаты – субъективті қабылдау деректерімен сәйкес келу. Бұл нұсқалар XYB түстік кеңістігінде жұмыс істейді және MS SSIM-ді блоктар мен шеттердің бұлыңдауы/қоңырдануы және тегістеу/шабылғырлау сияқты, жиі кездесетін сығылу артефакттарына арналған екі түрлі асимметриялық қателік картасымен үйлестіреді. SSIMULACRA2 – JPEG XL-дің эталондық іске асырылымы болып табылатын libjxl кітапханасының бір бөлігі.
SSIMULACRA and SSIMULACRA2 are variants of SSIM developed by Cloudinary with the goal of fitted to subjective opinion data. The variants operate in XYB color space and combine MS SSIM with two types of asymmetric error maps for blockiness/ringing and smoothing/blur, common compression artifacts. SSIMULACRA2 is part of libjxl, the reference implementation of JPEG XL.
Басқа да қарапайым өзгерістер
r* қиылыспалы корреляция метрикасы SSIM-нің дисперсиялық метрикаларына негізделген. Ол σxσy ≠ 0 болғанда анықталады, екі стандартты ауытқу да нөл болса 1=1, ал тек біреуі нөл болса 1=0 болады. Бұл метрика адамның контрасттық детальді фантомдарға реакциясын талдау үшін қолданылады. SSIM суреттердің градиентіне де қолданылып, "G SSIM" деп аталады. G SSIM ерекше түрде бұлыңғыр суреттерде тиімді. Жоғарыдағы өзгерістерді біріктіруге болады. Мысалы, 4 G r* – 4 SSIM, G SSIM және r* комбинациясы. Бұл, басқа SSIM түрлерімен салыстырғанда, радиологтардың суреттерге қатысты пікірлерін жақсырақ көрсетеді.
The r* cross correlation metric is based on the variance metrics of SSIM. It's defined as when σxσy ≠ 0, 1=1 when both standard deviations are zero, and 1=0 when only one is zero. It has found use in analyzing human response to contrast detail phantoms. SSIM has also been used on the gradient of images, making it "G SSIM". G SSIM is especially useful on blurred images. The modifications above can be combined. For example, 4 G r* is a combination of 4 SSIM, G SSIM, and r*. It is able to reflect radiologist preference for images much better than other SSIM variants tested.
Қолдану
SSIM-нің әр түрлі мәселелерде қолданылуы бар. Мысалдардың кейбіреулері:
SSIM has applications in a variety of different problems. Some examples are:
Суреттерді сығыстыру: Жоғалтулы суреттерді сығыстауда, суреттер мен бейнелерді сақтау көлемін азайту үшін ақпарат әдейі түрде жойылады. Мұндай сығыстыру схемаларында әдетте MSE қолданылады. Авторлардың пікірінше, SSIM-ді MSE орнына қолдану, сығылған суреттер үшін жақсы нәтижелерге қол жеткізуге мүмкіндік береді. Бұл көрсеткіш өзгерістерге сезімтал емес және жаттығу үлгілерін пайдаланбастан, үлгілерді салыстыру арқылы тікелей қолданылуы мүмкін. Деректерге негізделген үлгіні тану әдістері, оқыту үшін көп көлемде деректер болған жағдайда жақсы нәтижелер бере алады, сондықтан авторлар деректерге негізделген тәсілдерде CW SSIM қолдануды ұсынады. Доссельманн мен Янгтың мақаласында SSIM-нің өнімділігі "әдеттегідей қарастырылғаннан гөрі MSE-ге жақын" екені айтылған. Олар SSIM-нің MSE-ден артықшылығын жоққа шығармай, екі өлшемнің арасындағы талдамалық және функционалдық байланысты көрсетеді. Олардың зерттеулеріне сәйкес, SSIM SSIM-ді жасаушылардан басқа субъективті деректер базаларында MSE-ге негізделген әдістермен де сәйкес келеді. Мысалы, Reibman және Poole деректер пакеттері жоғалған немесе зақымдалған бейнелерді қамтитын деректер базасында MSE-нің SSIM-нен озып кеткенін анықтады. Тағы бір мақалада PSNR мен SSIM арасындағы талдамалық байланыс анықталды.
Image Compression: In lossy image compression, information is deliberately discarded to decrease the storage space of images and video. The MSE is typically used in such compression schemes. According to its authors, using SSIM instead of MSE is suggested to produce better results for the decompressed images. which is insensitive to these variations and may be directly applied by template matching without using any training sample. Since data driven pattern recognition approaches may produce better performance when a large amount of data is available for training, the authors suggest using CW SSIM in data driven approaches. A paper by Dosselmann and Yang claims that the performance of SSIM is "much closer to that of the MSE" than usually assumed. While they do not dispute the advantage of SSIM over MSE, they state an analytical and functional dependency between the two metrics. According to their research, SSIM has been found to correlate as well as MSE based methods on subjective databases other than the databases from SSIM's creators. As an example, they cite Reibman and Poole, who found that MSE outperformed SSIM on a database containing packet loss–impaired video. In another paper, an analytical link between PSNR and SSIM was identified.