Кіріспе

Машиналық оқытудағы әдіс. Машиналық оқытуда ерте тоқтату – итеративтік әдіспен, мысалы, градиенттік түсумен оқушыны оқыту кезінде артық үйлесімділіктен (overfitting) сақтау үшін қолданылатын реттеудің бір түрі. Мұндай әдістер әрбір итерацияда оқушыны оқу деректеріне жақсырақ бейімдеу үшін жаңартады. Белгілі бір деңгейге дейін бұл оқушының оқу жиынтығынан тыс деректердегі өнімділігін жақсартады. Алайда, осы деңгейден кейін оқушының оқу деректеріне бейімделуін жақсарту жалпылама қателіктің (generalization error) артуымен шартталған. Ерте тоқтату ережелері оқушы артық үйлесімділікке ұшырамас бұрын қанша итерация орындау керектігін көрсетеді. Ерте тоқтату ережелері түрлі машиналық оқыту әдістерінде, әртүрлі теориялық негіздермен қолданылған.

Өмірбаян

Бұл бөлім ерте тоқтату әдістерін түсіндіру үшін қажетті машиналық оқытудың негізгі ұғымдарын көрсетеді.

Артық орнату

Машиналық оқыту алгоритмдері шектеулі оқыту деректері жинағының негізінде модельді оқытады. Осы оқыту барысында модель оқыту жинағындағы деректерді қаншалықты дәл болжайтыны бойынша бағаланады. Бірақ, көбінесе машиналық оқытудың мақсаты – жаңа, бұрын көрмеген деректерді де дұрыс болжай алатын, яғни жалпылайтын модельді жасау болып табылады. Егер модель оқыту жинағындағы деректерге тым жақсы сәйкес келсе, бірақ жаңа деректерді болжауда қателіктері көбейсе, онда артық оқыту (үлгінің артық сәйкес келуі) орын алады.

Қалыптастыру

Регуляризация, машиналық оқыту контекстінде, артық үйлесімді (overfitting) болдырмау үшін оқыту алгоритмін өзгерту процесін білдіреді. Бұл, әдетте, оқытылған модельге белгілі бір тегіс шектеу қоюды қамтиды. Бұл тегістеу модельдегі параметрлер санын бекіту арқылы немесе, мысалы, Тихонов регуляризациясындағыдай, шығын функциясын толықтыру арқылы тікелей жүзеге асырылуы мүмкін. Тихонов регуляризациясы, негізгі компоненттік регрессия және көптеген басқа регуляризация схемалары фильтр қолдану арқылы сипатталатын спектрлік регуляризация санатына жатады. Бұл әдістердің бірі – ерте тоқтату.

Градиентті төмендеу әдістері

Градиенттік төмендеу әдістері – бірінші реттік, итеративтік оңтайландыру әдістері. Әрбір итерацияда мақсатты функцияның градиентінің теріс бағытында қадам жасау арқылы оңтайландыру мәселесінің жуық шешімі жаңартылады. Қадам өлшемін тиісті түрде таңдау арқылы, мұндай әдіс мақсатты функцияның жергілікті минимумға жақындауына қол жеткізуге болады. Градиенттік төмендеу машиналық оқытуда оқу жиынтығындағы оқушының қатесін көрсететін жоғалту функциясын анықтау және содан кейін осы функцияны азайту арқылы қолданылады.

Статистикалық оқыту теориясының ерте тоқтатылуы

Ерте тоқтату машиналық оқытуда кездесетін параметрлік емес регрессия мәселелерін реттеу үшін қолданылуы мүмкін. Берілген кіріс кеңістігі , шығыс кеңістігі , және белгісіз ықтималдық шарасынан алынған үлгілер үшін , мұндай мәселелердің мақсаты регрессиялық функцияны жуықтау болып табылады, , мына формуламен берілген:

мұнда - шартты таралымды туындататын . Регрессиялық функцияны жуықтаудың бір әдеттегі таңдауы – ядролық Гильберт кеңістігінен функцияларды пайдалану.

L-көшейткіш

Көтермелеу әдістері жоғарыда сипатталған градиенттік төмендеу әдістерімен тығыз байланысты және оларды жоғалтуға негізделген күшейту әдісі ретінде қарастыруға болады: LBoost. Кросс-валидация уақыт қатары емес сценарийлерге қолданылатын балама болып табылады. Кросс-валидация деректердің бірнеше бөлімдерін оқу жиынтығы мен тексеру жиынтығына бөлуді қамтиды – бір бөлімді оқу жиынтығы мен тексеру жиынтығына бөлудің орнына. Тіпті осы қарапайым процедура практикада қиындатылады, себебі тексеру қатесі оқыту барысында өзгеруі мүмкін, соның салдарынан бірнеше жергілікті минимумдар пайда болады. Бұл қиындық, орындылықтан тыс жарамдылықтың нақты қашан басталғанын анықтау үшін көптеген арнайы ережелерді құруға әкелді.