Кіріспе
Статистикалық алгоритм. Ең кіші орташа квадраттар (LMS) алгоритмдері – қажетті сүзгіні имитациялау үшін қолданылатын адаптивті сүзгілер класы. Олар қате сигналының ең кіші орташа квадратын (күтілетін және нақты сигнал арасындағы айырмашылық) тудыратын сүзгі коэффициенттерін анықтау арқылы жұмыс істейді. Бұл – стохастикалық градиенттік төмендеу әдісі, себебі сүзгі тек ағымдағы уақыттағы қатеге сүйене отырып бейімделеді. Оны 1960 жылы Стэнфорд университетінің профессоры Бернард Видроу және оның алғашқы докторанты Тед Хофф бір қабатты нейрондық желілер (ADALINE) саласындағы зерттеулері негізінде ойлап тапқан. Атап айтқанда, олар ADALINE-ді үлгілерді тануға оқыту үшін градиенттік төмендеуді қолданды және бұл алгоритмді «дельта ережесі» деп атады. Кейін олар осы ережені сүзгілерге қолданды, нәтижесінде LMS алгоритмі пайда болды.
Least mean squares (LMS) algorithms are a class of adaptive filter used to mimic a desired filter by finding the filter coefficients that relate to producing the least mean square of the error signal (difference between the desired and the actual signal). It is a stochastic gradient descent method in that the filter is only adapted based on the error at the current time. It was invented in 1960 by Stanford University professor Bernard Widrow and his first Ph. D. student, Ted Hoff, based on their research in single layer neural networks (ADALINE). Specifically, they used gradient descent to train ADALINE to recognize patterns, and called the algorithm "delta rule". They then applied the rule to filters, resulting in the LMS algorithm.
Мәселелерді қалыптастыру
Суретте сүзгінің әртүрлі бөліктері көрсетілген. Бұл кіріс сигналы, ол белгісіз сүзгі арқылы өңделеді, оны біз сәйкестіруге тырысамыз. Белгісіз сүзгіден шығатын сигнал – , ол шу сигналымен араласады, нәтижесінде пайда болады. Содан кейін қате сигналы есептеледі және ол адаптивті сүзгіге кері байланыс ретінде жіберіледі, қате сигналының орташа квадратын ең төменге түсіру үшін оның параметрлерін реттеу мақсатында.
Идея
LMS сүзгісінің негізгі идеясы – сүзгі салмақтарын оңтайлы салмаққа жақындату, оларды оңтайлы салмаққа конвергенциялайтындай жаңарту арқылы. Бұл градиенттік төмендеу алгоритміне негізделген. Алгоритм кішкентай салмақтарды (көбінесе нөлдік) қабылдаудан басталады және әр қадамда орташа квадраттық қателік градиентін есептеп, салмақтарды жаңартады. Яғни, егер MSE градиенті оң болса, бұл бірдей салмақпен келесі итерацияларда қате одан әрі оңға қарай өсе беретінін білдіреді, демек салмақтарды азайту қажет. Сол сияқты, егер градиент теріс болса, салмақтарды арттыру керек. Салмақты жаңарту теңдеуі:
мұндағы – орташа квадраттық қателік, ал – конвергенция коэффициенті. Теріс белгі қателікті азайту үшін қателік беткейімен төмен қарай жылжуды көрсетеді, соның нәтижесінде қателікті ең аз қылатын сүзгі салмақтары табылады. Орташа квадраттық қателік сүзгі салмақтарының функциясы ретінде квадраттық функция болып табылады, яғни оның тек бір экстремумы бар, ол орташа квадраттық қателікті азайтады – бұл оңтайлы салмақ. Осылайша, LMS орташа квадраттық қателікке қарсы сүзгі салмағы қисығы бойынша көтерілу/төмендеу арқылы осы оңтайлы салмаққа жақындайды.