Кіріспе
Атыс ауысуын анықтау (немесе жай ғана атыс анықтау), сондай-ақ кесуді анықтау деп те аталады, – бұл бейне өңдеу зерттеу саласы. Оның мақсаты – бейнелерді уақыт бойынша бөліп өңдеу үшін цифрлық бейнедегі атыстар арасындағы өтулерді автоматты түрде анықтау.
Қолдану
Кадр алмасуын анықтау фильмді кадр деп аталатын негізгі уақыт бірліктеріне бөлу үшін қолданылады; кадр – бір камерамен үздіксіз түсірілген, бір-бірімен байланысты суреттер тізбегі және уақыт пен кеңістіктегі үздіксіз оқиғаны көрсетеді. Бұл операция бейнелерді пост-өндіріске арналған бағдарламалық құралдарда өте пайдалы. Сонымен қатар, бұл автоматтандырылған индекстеу және мазмұнға негізделген бейнелерді іздеу немесе қорытындылау қолданбаларының маңызды қадамы болып табылады, олар үлкен бейне архивтеріне тиімді қол жеткізуді қамтамасыз етеді. Мысалы, қолданба фильмнің толық көрінісін жасау үшін әрбір сахнадан өкілдік суретті таңдауы мүмкін, ал мұндай индекстерді өңдеу арқылы іздеу жүйесі "арстан бар фильмдерді көрсет" сияқты іздеу сұрақтарын өңдей алады. Кадр алмасуын анықтау адам редакторы қолмен жасай алмайтын ештеңе жасай алмайды, бірақ ол уақытты үнемдеуге мүмкіндік береді, сондықтан тиімді. Сонымен қатар, цифрлық бейнелерді пайдаланудың артуына және осыған байланысты аталған индекстеу қолданбаларының маңыздылығына байланысты, қазіргі уақытта автоматты кадр алмасуын анықтау өте маңызды.
Негізгі техникалық терминдер
Қарапайым тілмен айтқанда, кесуді анықтау – видеодағы бір көріністің басқа көрініспен, әртүрлі визуалды мазмұнмен ауыстырылған жерін табу. Техникалық тұрғыдан алғанда, келесі терминдер қолданылады:
A digital video consists of frames that are presented to the viewer's eye in rapid succession to create the impression of movement. "Digital" in this context means both that a single frame consists of pixels and the data is present as binary data, such that it can be processed with a computer. Each frame within a digital video can be uniquely identified by its frame index, a serial number. A shot is a sequence of frames shot uninterruptedly by one camera. There are several film transitions usually used in film editing to juxtapose adjacent shots; In the context of shot transition detection they are usually group into two types:
Abrupt Transitions This is a sudden transition from one shot to another, i. e. one frame belongs to the first shot, the next frame belongs to the second shot. They are also known as hard cuts or simply cuts. Gradual Transitions In this kind of transitions the two shots are combined using chromatic, spatial or spatial chromatic effects which gradually replace one shot by another. These are also often known as soft transitions and can be of various types, e. g., wipes, dissolves, fades
"Detecting a cut" means that the position of a cut is gained; more precisely a hard cut is gained as "hard cut between frame i and frame i+1", a soft cut as "soft cut from frame i to frame j". A transition that is detected correctly is called a hit, a cut that is there but was not detected is called a missed hit and a position in that the software assumes a cut, but where actually no cut is present, is called a false hit. An introduction to film editing and an exhaustive list of shot transition techniques can be found at film editing.
Цифрлық видео – кадрлардың тізбегінен тұрады, олар көрерменге қозғалыс әсерін тудыру үшін жылдам ауысады. Осы контексте "цифрлық" дегеніміз – бір кадр пиксельдерден тұрады және деректер екілік форматта сақталады, оларды компьютермен өңдеуге болады. Цифрлық видеодағы әрбір кадрды оның кадр индексі, яғни реттік нөмірі арқылы бірегей анықтауға болады. Кадр – бір камерамен үздіксіз түсірілген кадрлар тізбегі. Фильмді монтаждауда, көршілес кадрларды біріктіру үшін әртүрлі фильмдік ауысулар қолданылады; кадрлық ауысуларды анықтау кезінде олар әдетте екі түрге бөлінеді:
A digital video consists of frames that are presented to the viewer's eye in rapid succession to create the impression of movement. "Digital" in this context means both that a single frame consists of pixels and the data is present as binary data, such that it can be processed with a computer. Each frame within a digital video can be uniquely identified by its frame index, a serial number. A shot is a sequence of frames shot uninterruptedly by one camera. There are several film transitions usually used in film editing to juxtapose adjacent shots; In the context of shot transition detection they are usually group into two types:
Abrupt Transitions This is a sudden transition from one shot to another, i. e. one frame belongs to the first shot, the next frame belongs to the second shot. They are also known as hard cuts or simply cuts. Gradual Transitions In this kind of transitions the two shots are combined using chromatic, spatial or spatial chromatic effects which gradually replace one shot by another. These are also often known as soft transitions and can be of various types, e. g., wipes, dissolves, fades
"Detecting a cut" means that the position of a cut is gained; more precisely a hard cut is gained as "hard cut between frame i and frame i+1", a soft cut as "soft cut from frame i to frame j". A transition that is detected correctly is called a hit, a cut that is there but was not detected is called a missed hit and a position in that the software assumes a cut, but where actually no cut is present, is called a false hit. An introduction to film editing and an exhaustive list of shot transition techniques can be found at film editing.
Кенетті ауысулар – бұл бір кадрдан екіншісіне күрт өту, яғни бір кадр алдыңғы кадрға, келесі кадр келесіге жатады. Олар сондай-ақ қатты кесулер немесе жай ғана кесулер деп те аталады. Жұмсақ ауысулар – осы типтегі ауысуларда екі кадр хроматикалық, кеңістіктік немесе кеңістіктік-хроматикалық эффекттер арқылы біріктіріледі, біртіндеп бір кадрды екіншісімен алмастырады. Бұлар көбінесе жұмсақ ауысулар деп аталады және түрлі болуы мүмкін, мысалы, сүртіп өту, араластыру, көмектесу.
A digital video consists of frames that are presented to the viewer's eye in rapid succession to create the impression of movement. "Digital" in this context means both that a single frame consists of pixels and the data is present as binary data, such that it can be processed with a computer. Each frame within a digital video can be uniquely identified by its frame index, a serial number. A shot is a sequence of frames shot uninterruptedly by one camera. There are several film transitions usually used in film editing to juxtapose adjacent shots; In the context of shot transition detection they are usually group into two types:
Abrupt Transitions This is a sudden transition from one shot to another, i. e. one frame belongs to the first shot, the next frame belongs to the second shot. They are also known as hard cuts or simply cuts. Gradual Transitions In this kind of transitions the two shots are combined using chromatic, spatial or spatial chromatic effects which gradually replace one shot by another. These are also often known as soft transitions and can be of various types, e. g., wipes, dissolves, fades
"Detecting a cut" means that the position of a cut is gained; more precisely a hard cut is gained as "hard cut between frame i and frame i+1", a soft cut as "soft cut from frame i to frame j". A transition that is detected correctly is called a hit, a cut that is there but was not detected is called a missed hit and a position in that the software assumes a cut, but where actually no cut is present, is called a false hit. An introduction to film editing and an exhaustive list of shot transition techniques can be found at film editing.
"Кесуді анықтау" дегеніміз – кесудің орналасқан жерін табу, дәлірек айтқанда, қатты кесуді "i және i+1 кадрлары арасындағы қатты кесу" түрінде, ал жұмсақ кесуді "i кадрынан j кадрына жұмсақ кесу" түрінде анықтау. Дұрыс анықталған ауысу "табыс" деп аталады, табылмаған кесу "жетіспеген табыс" деп аталады, ал бағдарламалық құрал кесу бар деп қате анықтаған жағдай "жалған табыс" деп аталады. Фильмді монтаждауға кіріспе және кадрлық ауысу техникаларының толық тізімін фильмді монтаждау бөлімінен табуға болады.
A digital video consists of frames that are presented to the viewer's eye in rapid succession to create the impression of movement. "Digital" in this context means both that a single frame consists of pixels and the data is present as binary data, such that it can be processed with a computer. Each frame within a digital video can be uniquely identified by its frame index, a serial number. A shot is a sequence of frames shot uninterruptedly by one camera. There are several film transitions usually used in film editing to juxtapose adjacent shots; In the context of shot transition detection they are usually group into two types:
Abrupt Transitions This is a sudden transition from one shot to another, i. e. one frame belongs to the first shot, the next frame belongs to the second shot. They are also known as hard cuts or simply cuts. Gradual Transitions In this kind of transitions the two shots are combined using chromatic, spatial or spatial chromatic effects which gradually replace one shot by another. These are also often known as soft transitions and can be of various types, e. g., wipes, dissolves, fades
"Detecting a cut" means that the position of a cut is gained; more precisely a hard cut is gained as "hard cut between frame i and frame i+1", a soft cut as "soft cut from frame i to frame j". A transition that is detected correctly is called a hit, a cut that is there but was not detected is called a missed hit and a position in that the software assumes a cut, but where actually no cut is present, is called a false hit. An introduction to film editing and an exhaustive list of shot transition techniques can be found at film editing.
Проблеманың ауқымы
Адам үшін кесіндіні анықтау оңай шаруа болғанымен, компьютер үшін бұл оңай емес мәселе. Видеоның әрбір кадры қашан және қандай камерамен түсірілгені туралы қосымша ақпаратпен толықтырылса, кесіндіні анықтау мәселесі қарапайым болар еді. Күшті жасанды интеллектпен қамтамасыз етілмесе, ешбір кесіндіні анықтау алгоритмі барлық кесінділерді сенімді түрде анықтай алмайды. Көптеген алгоритмдер қатты кесінділермен жақсы нәтижелерге қол жеткізсе, көптегені жұмсақ кесінділерді тануда қиналады. Қатты кесінділер көбінесе визуалды контенттегі кенеттен және күрт өзгерістермен бірге жүреді, ал жұмсақ кесінділер баяу және біртіндеп өзгерістерге ұшырайды. Адам бір көріністің мағынасын түсіну арқылы осы визуалды әртүрліліктің жетіспеушілігін толықтыра алады. Компьютер түсірілімді жоятын қара сызықты "ағымдағы көріністе баяу қозғалатын кез келген нысан" деп қабылдаса, адам көрініс аяқталғанын және оның орнына қара экран пайда болғанын түсінеді.
Құны
Жоғарыда аталған алгоритмдердің бәрі O(n) уақытта аяқталады, яғни олар сызықтық уақытта жұмыс істейді, мұнда n – кіріс видеодағы кадрлар саны. Алгоритмдердің айырмашылығы көбінесе бейнелердің ажыратымдылығымен анықталатын тұрақты коэффициентте болады.
Салыстырмалы көрсеткіштер
+ Бағалау көрсеткіштерінің салыстыруы Бағалау бейнелері Сағат Фреймдер Түсірілім ауысулары Қатысушылар Жылдар TRECVid 12 42 4.8 7.5 545,068 744,604 2090 4806 57 2001–2007 MSU SBD 31 21.45 1,900,000+ 10883 7 2020–2021
TRECVid SBD 2001-2007 жылдардағы эталондық көрсеткіші
Автоматты түрде кадрлардың ауысуын анықтау 2001-2007 жылдар аралығындағы TRECVid жылдық бағалау шарасының бір бөлігі болды. Әртүрлі зерттеу топтарынан 57 алгоритм қатысты. F-бал есептеулері әр алгоритм үшін жыл сайын жаңарып отыратын деректер жиынтығында жүргізілді. + Ең озық зерттеу топтары Топтың F-балы Өңдеу жылдамдығы (нақты уақытқа қатысты) Ашық кодты бағдарлама Қолданылған өлшемдер мен технологиялар Цинхуа университеті 0.897 ×0.23 Пикселдік интенсивтіліктің орташасы Жоқ Пикселдік интенсивтіліктің стандартты ауытқуы Түс гистограммасы Пиксел бойынша айырмашылық Қозғалыс векторы NICTA 0.892 ×2.30 Машиналық оқыту Жоқ IBM Research 0.876 ×0.30 Түс гистограммасы Жергілікті жиектер бағыты гистограммасы Сұр деңгейлердің салыстырылуы Кішірейтілген суреттердің салыстырылуы Кадрдың жарықтығы
MSU SBD 2020-2021 жылғы өлшемшарты
Бұл өлшемде RAI және MSU CC дерекқорындағы 120-дан астам видеода, түрлі көрініс ауысулары бар 6 әдіс салыстырылды, олардың кейбіреулері қолмен қосылған. Авторлар осы өлшемнің ерекшелігі – дерек жиынтығындағы кадрлар арасындағы ауысулардың күрделілігі екенін айтады. Мұны дәлелдеу үшін олар SI/TI метрикасын есептеп, оны басқа қолжетімді дерек жиынтықтарымен салыстырады. + Ең жақсы алгоритмдер
Алгоритм | F ұпайы | Өңдеу жылдамдығы (FPS) | Ашық кодты | Қолданылған метрикалар мен технологиялар
---|---|---|---
Сәид Дадха | 0.797 | 86 | Иә | Түс гистограммасы, адаптивті шек
Макс Райман | 0.787 | 76 | Иә | SVM (кесулер үшін), нейрондық желілер (кезеңдік ауысулар үшін), түс гистограммасы
VQMT | 0.777 | 308 | Жоқ | Шеттер гистограммасы, қозғалыс компенсациясы, түс гистограммалары
PySceneDetect | 0.776 | 321 | Иә | Кадр қарқындылығы
FFmpeg | 0.772 | 165 | Иә | Түс гистограммасы