石山种下“长寿果”“点石成金”拔穷根

百度 截至3月21日，租赁平台累计展示租赁房源万套，访问量万次。

Керо?ване навча?ння, контрольо?ване навча?ння, навча?ння п?д на?глядом, або навча?ння з учи?телем (англ. supervised learning, SL) — це парадигма машинного навчання, в як?й модель тренують об'?кти входу (наприклад, вектор зм?нних-передбачувач?в) та бажане значення виходу (також в?доме як м?чений людиною кер?вний сигнал, англ. supervisory signal). Ц? тренувальн? дан? обробляються, будуючи функц?ю, яка в?дображу? нов? дан? на оч?куван? значення виходу. Оптимальний сценар?й дозволятиме алгоритмов? правильно визначати значення виходу для небачених прим?рник?в. Це вимага?, щоб алгоритм навчання узагальнювався з тренувальних даних на небачен? ситуац?? ?розумним? чином (див. ?ндуктивне упередження). Цю статистичну як?сть алгоритму вим?рюють через так звану похибку узагальнення.

Схильн?сть завдань використовувати керован? та некерован? методи. Перетин к?л назвами завдань навмисний. В?н показу?, що класичне в?докремлення творчих завдань (л?воруч) ?з застосуванням некерованих метод?в у сучасних схемах навчання розмите.

Кроки для виконання

Щоби розв'язати задану задачу керованого навчання, сл?д виконати наступн? кроки:

1. Визначити тип тренувальних приклад?в. Перш н?ж робити щось ?нше, користувач повинен вир?шити, який тип даних використовувати як тренувальний наб?р. У випадку анал?зу рукописного тексту, наприклад, це може бути один рукописний символ, ц?ле рукописне слово, ц?ле речення рукописного тексту або, можливо, повний абзац рукописного тексту.
2. З?брати тренувальний наб?р (англ. training set). В?н повинен бути репрезентативним для реального використання функц??. Таким чином, збирають наб?р об'?кт?в входу, а також збирають в?дпов?дн? дан? виходу, або в?д людей-експерт?в, або з вим?рювань.
3. Визначити подання ознак (англ. features) входу навчано? функц??. Точн?сть навчено? функц?? сильно залежить в?д того, як подано об'?кт входу. Як правило, вх?дний об'?кт перетворюють на вектор ознак, що м?стить низку ознак, як? описують об'?кт. К?льк?сть ознак не повинна бути занадто великою через прокляття розм?рност?; але повинна м?стити достатньо ?нформац?? для точного передбачування виходу.
4. Визначити структуру навчано? функц?? та в?дпов?дний алгоритм навчання. Наприклад, ?нженер може обрати використання опорновекторних машин чи дерев р?шень.
5. Завершити розробку. Виконати алгоритм навчання на з?браному тренувальному набор?. Деяк? алгоритми керованого навчання вимагають в?д користувача визначення певних кер?вних параметр?в. Ц? параметри можна налаштувати, оптим?зуючи продуктивн?сть на п?дмножин? тренувального набору (зван?й затверджувальним набором, англ. validation set), або за допомогою перехресного затверджування (англ. cross-validation).
6. Оц?нити точн?сть навчено? функц??. П?сля налаштування параметр?в та навчання продуктивн?сть отримано? в результат? функц?? повинно бути вим?ряно на випробувальному набор? (англ. test set), окремому в?д тренувального.

Виб?р алгоритму

Доступний широкий спектр алгоритм?в керованого навчання, кожен ?з яких ма? сво? сильн? та слабк? сторони. ?диного алгоритму навчання, який працю? найкраще з ус?ма задачами керованого навчання, не ?сну? (див. теорему про не?снування безкоштовних об?д?в).

У керован?м навчанн? сл?д враховувати чотири основн? питання:

Компром?с зм?щення та дисперс??

Перше питання це компром?с м?ж зм?щенням (англ. bias) та дисперс??ю (англ. variance). Уяв?мо, що ми ма?мо к?лька р?зних, але однаково добрих тренувальних набор?в даних. Алгоритм навчання зм?щений для певного входу $x$, якщо при тренуванн? на кожному з цих набор?в в?н систематично неправильний у передбачуванн? правильного виходу для $x$. Алгоритм навчання ма? велику дисперс?ю для певного входу $x$, якщо при тренуванн? на р?зних тренувальних наборах в?н передбачу? р?зн? виходи. Похибка передбачення навченого класиф?катора пов'язана ?з сумою зм?щення та дисперс?? навченого алгоритму. Як правило, ?сну? компром?с м?ж зм?щенням ? дисперс??ю. Алгоритм навчання з малим зм?щенням повинен бути ?гнучким?, щоби могти добре допасовуватися до даних. Але якщо алгоритм навчання занадто гнучкий, в?н допасу?ться до кожного тренувального набору даних по-р?зному, й в?дтак матиме велику дисперс?ю. Ключовим аспектом багатьох метод?в керованого навчання ? те, що вони здатн? п?длаштовувати цей компром?с м?ж зм?щенням ? дисперс??ю (автоматично, або шляхом надання параметра зм?щення/дисперс??, який може налаштовувати користувач).

Складн?сть функц?? та обсяг тренувальних даних

Друге питання поляга? в к?лькост? доступних тренувальних даних в?дносно складност? ?справжньо?? функц?? (класиф?катора чи функц?? регрес??). Якщо справжня функц?я проста, то ?негнучкий? алгоритм навчання з великим зм?щенням ? малою дисперс??ю зможе навчитися ?? з невелико? к?лькост? даних. Але якщо справжня функц?я дуже складна (наприклад, тому, що вона передбача? складну вза?мод?ю м?ж багатьма р?зними ознаками входу, та поводиться по-р?зному в р?зних частинах простору входу), то функц?? можливо навчитися лише за допомогою велико? к?лькост? тренувальних даних у пар? з ?гнучким? алгоритмом навчання з малим зм?щенням ? великою дисперс??ю.

Розм?рн?сть простору входу

Трет?м питанням ? розм?рн?сть простору входу. Якщо вектори ознак входу мають велик? розм?ри, навчання функц?? може бути складним, нав?ть якщо справжня функц?я залежить лише в?д невелико? к?лькост? цих ознак. Це поясню?ться тим, що багато ?додаткових? вим?р?в можуть заплутати алгоритм навчання й спричинити йому велику дисперс?ю. Отже, дан? входу велико? розм?рност? зазвичай вимагають налаштовування класиф?катора на малу дисперс?ю та велике зм?щення. На практиц?, якщо ?нженер може вручну вилучити нерелевантн? ознаки з даних входу, це, швидше за все, покращить точн?сть навчено? функц??. Кр?м того, ?сну? багато алгоритм?в для обирання ознак, як? намагаються визначати релевантн? ознаки, та в?дкидати нерелевантн?. Це приклад загальн?шо? стратег?? зниження розм?рност?, спрямовано? на в?дображення даних входу до простору нижчо? розм?рност? перед запуском алгоритму керованого навчання.

Шум у значеннях виходу

Четвертим питанням ? м?ра шуму в бажаних значеннях виходу (кер?вних ц?льових зм?нних, англ. target variables). Якщо бажан? значення виходу часто неправильн? (через людський чинник чи похибки давача), то алгоритм навчання не повинен намагатися знайти функц?ю, яка в?дпов?да? тренувальним прикладам точно. Спроба занадто ретельно допасуватися до даних призводить до перенавчання. Якщо функц?я, яко? ви намага?теся навчитися, занадто складна для вашо? модел? навчання, ви можете перенавчитися ??, нав?ть якщо похибки вим?рювання (стохастичний шум) в?дсутн?. У так?й ситуац?? частина ц?льово? функц??, яку неможливо змоделювати, ?псу?? ваш? навчальн? дан? — це явище назвали детерм?нованим шумом. Якщо присутн?й будь-який тип шуму, краще використовувати оц?нювач з б?льшим зм?щенням ? меншою дисперс??ю.

На практиц? ?сну? к?лька п?дход?в для полегшення шуму в значеннях виходу, таких як рання зупинка, щоби запоб?гати перенавчанню, а також виявляння та усування шумових тренувальних приклад?в перед тренуванням алгоритму керованого навчання. ?сну? к?лька алгоритм?в, як? встановлюють шумов? тренувальн? приклади, а усунення ймов?рних шумових тренувальних приклад?в перед тренуванням знижу? похибку узагальнення з? статистичною значущ?стю.

?нш? чинники, як? сл?д враховувати

До ?нших чинник?в, як? сл?д враховувати при вибор? та застосуванн? алгоритму навчання, належать наступн?:

• Р?знор?дн?сть даних. Якщо вектори ознак м?стять ознаки багатьох р?зних тип?в (дискретн?, дискретн? впорядкован?, к?лькост?, безперервн? значення), деяк? алгоритми застосовувати легше, н?ж ?нш?. Багато алгоритм?в, включно з опорновекторними машинами, л?н?йною регрес??ю, лог?стичною регрес??ю, нейронними мережами та методами найближчих сус?д?в, вимагають, щоб ознаки входу були числовими та масштабованими до под?бних д?апазон?в (наприклад, до пром?жку [-1,1]). Особливо чутлив? до цього методи, як? використовують функц?ю в?дстан?, так? як методи найближчих сус?д?в та опорновекторн? машини з гауссовими ядрами. Перевагою дерев р?шень ? те, що вони легко обробляють р?знор?дн? дан?.
• Надм?рн?сть даних. Якщо ознаки входу м?стять надлишкову ?нформац?ю (наприклад, висококорельован? ознаки), деяк? алгоритми навчання (наприклад, л?н?йна регрес?я, лог?стична регрес?я та методи на основ? в?дстан?) працюватимуть погано через числову нестаб?льн?сть. Ц? проблеми часто можливо розв'язувати за допомогою певного виду регуляр?зац??.
• Наявн?сть вза?мод?й та нел?н?йностей. Якщо кожна з ознак робить незалежний внесок до виходу, то алгоритми, що ?рунтуються на л?н?йних функц?ях (наприклад, л?н?йна регрес?я, лог?стична регрес?я, опорновекторн? машини, на?вний ба?с?в класиф?катор) та функц?ях в?дстан? (наприклад, методи найближчих сус?д?в, опорновекторн? машини з гауссовими ядрами) загалом працюють добре. Проте якщо ?снують складн? вза?мод?? м?ж ознаками, то так? алгоритми як дерева р?шень та нейронн? мереж? працюють краще, оск?льки ?х спец?ально розробили для виявляння цих вза?мод?й. Також можливо застосовувати л?н?йн? методи, але ?нженер повинен вручну вказати вза?мод?? п?д час ?х використання.

Розглядаючи нове застосування, ?нженер може пор?вняти к?лька алгоритм?в навчання та експериментально визначити, який ?з них працю? з наявною задачею найкраще (див. перехресне затверджування). Настроювання продуктивност? алгоритму навчання може займати дуже багато часу. Враховуючи ф?ксован? ресурси, часто краще витрачати б?льше часу на збирання додаткових тренувальних даних та ?нформативн?ших ознак, н?ж витрачати додатковий час на настроювання алгоритм?в навчання.

Алгоритми

Найширше використовуван? алгоритми навчання:

• Опорновекторн? машини
• Л?н?йна регрес?я
• Лог?стична регрес?я
• На?вний ба?с?в класиф?катор
• Л?н?йний розд?лювальний анал?з
• Дерева р?шень
• Алгоритм k-найближчих сус?д?в
• Нейронн? мереж? (багатошаровий перцептрон)
• Навчання под?бностей

Як працюють алгоритми керованого навчання

Для заданого набору з $N$ тренувальних приклад?в, вигляду $\{(x_{1},y_{1}),...,(x_{N},\;y_{N})\}$, такого, що $x_{i}$ — вектор ознак $i$-го прикладу, а $y_{i}$ — його м?тка (англ. label, тобто, клас), алгоритм навчання шука? функц?ю $g:X\to Y$, де $X$ — прост?р входу, а $Y$ — прост?р виходу. Функц?я $g$ це елемент деякого простору можливих функц?й $G$, зазвичай званого простором г?потез (англ. hypothesis space). ?нод? зручно подавати $g$ за допомогою оц?нково? функц?? $f:X\times Y\to \mathbb {R}$, тако?, що $g$ визначають як таку, що поверта? значення $y$, яке да? найвищу оц?нку: $g(x)={\underset {y}{\arg \max }}\;f(x,y)$. Нехай $F$ позначу? прост?р оц?нкових функц?й.

Хоча $G$ та $F$ можуть бути будь-якими просторами функц?й, багато алгоритм?в навчання це ймов?рн?сн? модел?, де $g$ набува? вигляду модел? умовно? ймов?рност? $g(x)=P(y|x)$, або $f$ набува? вигляду модел? сп?льно? ймов?рност? $f(x,y)=P(x,y)$. Наприклад, на?вний ба?с?в класиф?катор та л?н?йний розд?лювальний анал?з це модел? сп?льно? ймов?рност?, тод? як лог?стична регрес?я це модель умовно? ймов?рност?.

? два основн? п?дходи до вибору $f$ або $g$: м?н?м?зац?я емп?ричного ризику та м?н?м?зац?я структурного ризику. М?н?м?зац?я емп?ричного ризику шука? функц?ю, яка найкраще допасову?ться до тренувальних даних. М?н?м?зац?я структурного ризику включа? штрафну функц?ю (англ. penalty function), яка контролю? компром?с зм?щення/дисперс??.

В обох випадках вважають, що тренувальний наб?р склада?ться з виб?рки незалежних однаково розпод?лених пар, $(x_{i},\;y_{i})$. Щоби вим?рювати, наск?льки добре функц?я допасову?ться до тренувальних даних, визначають функц?ю втрат $L:Y\times Y\to \mathbb {R} ^{\geq 0}$. Для тренувального прикладу $(x_{i},\;y_{i})$ втрата передбачення значення ${\hat {y}}$ становить $L(y_{i},{\hat {y}})$.

Ризик (англ. risk) $R(g)$ функц?? $g$ визначають як оч?куван? втрати $g$. ?х можливо оц?нювати з тренувальних даних через

$R_{emp}(g)={\frac {1}{N}}\sum _{i}L(y_{i},g(x_{i}))$.

М?н?м?зац?я емп?ричного ризику

При м?н?м?зац?? емп?ричного ризику алгоритм керованого навчання шука? таку функц?ю $g$, яка м?н?м?зу? $R(g)$. Тож алгоритм керованого навчання можливо сконструювати, застосувавши алгоритм оптим?зац?? для пошуку $g$.

Коли $g$ — умовний розпод?л ?мов?рност? $P(y|x)$, а функц?я втрат — в?д'?мна логарифм?чна правдопод?бн?сть: $L(y,{\hat {y}})=-\log P(y|x)$, то м?н?м?зац?я емп?ричного ризику р?внозначна оц?нц? максимально? правдопод?бност?.

Коли $G$ м?стить багато функц?й-кандидат?в або тренувальний наб?р недостатньо великий, м?н?м?зац?я емп?ричного ризику призводить до велико? дисперс?? та поганого узагальнення. Алгоритм навчання здатний запам'ятовувати тренувальн? приклади без доброго узагальнення. Це називають перенавчанням.

М?н?м?зац?я структурного ризику

М?н?м?зац?я структурного ризику ма? на мет? запоб?гати перенавчанню включенням до оптим?зац?? регуляризац?йного штрафу. Регуляризац?йний штраф можливо розглядати як вт?лення певного вигляду леза Оккама, яке в?дда? перевагу прост?шим функц?ям перед складн?шими.

Застосовували широкий спектр штраф?в, як? в?дпов?дають р?зним визначенням складност?. Для прикладу розгляньмо випадок, коли функц?я $g$ ? л?н?йною функц??ю вигляду

$g(x)=\sum _{j=1}^{d}\beta _{j}x_{j}$ .

Популярним регуляризац?йним штрафом ? $\sum _{j}\beta _{j}^{2}$, що ? квадратом евкл?дово? норми ваг, також в?домим як норма $L_{2}$. До ?нших норм належать норма $L_{1}$, $\sum _{j}|\beta _{j}|$, та ?норма? $L_{0}$, яка ? числом ненульових $\beta _{j}$. Штраф буде позначувано через $C(g)$ .

Задача оптим?зац?? керованого навчання поляга? в тому, щоби знайти функц?ю $g$, яка м?н?м?зу?

$J(g)=R_{emp}(g)+\lambda C(g).$

Параметр $\lambda$ керу? компром?сом зм?щення та дисперс??. Коли $\lambda =0$, це забезпечу? м?н?м?зац?ю емп?ричного ризику з малим зм?щенням та великою дисперс??ю. Коли $\lambda$ великий, алгоритм навчання матиме велике зм?щення й малу дисперс?ю. Значення $\lambda$ можливо обирати емп?рично за допомогою перехресного затверджування.

Штраф за складн?сть ма? ба?сову ?нтерпретац?ю як в?д'?мна логарифм?чна апр?орна ймов?рн?сть $g$, $-\log P(g)$, у випадку чого $J(g)$ ? апостер?орною ймов?рн?стю $g$.

Породжувальне тренування

Описан? вище методи тренування ? методами розр?знювального тренування (англ. discriminative training), оск?льки вони прагнуть знайти функц?ю $g$, яка добре розр?зню? в?дм?нн? значення виходу (див. розр?знювальну модель). Для особливого випадку, коли $f(x,y)=P(x,y)$ ? сп?льним розпод?лом ?мов?рност?, а функц?я втрат ? негативною логарифм?чною правдопод?бн?стю $-\sum _{i}\log P(x_{i},y_{i}),$ кажуть, що алгоритм м?н?м?зац?? ризику викону? породжувальне тренування (англ. generative training), оск?льки $f$ можливо розглядати як породжувальну модель, яка поясню?, як було породжено дан?. Алгоритми породжувального тренування часто прост?ш? та обчислювально ефективн?ш? за алгоритми розр?знювального тренування. У деяких випадках розв'язок може бути обчислено у замкненому вигляд?, як у на?вному ба?совому класиф?катор? та л?н?йному розд?лювальному анал?з?.

Узагальнення

?сну? к?лька способ?в узагальнення стандартно? задач? керованого навчання:

• Нап?вкероване навчання, або слабке керування: бажан? значення виходу надаються лише для п?дмножини тренувальних даних. Решта даних нем?чен? або м?чен? неточно.
• Активне навчання: зам?сть виходити з того, що вс? тренувальн? приклади наведено в?д початку, алгоритми активного навчання ?нтерактивно збирають нов? приклади, як правило, надсилаючи запити людин?-користувачу. Часто запити ?рунтуються на нем?чених даних, що ? сценар??м, який по?дну? нап?вкероване навчання з активним.
• Структурове передбачування: якщо бажане значення виходу це складний об'?кт, такий як синтаксичне дерево або м?чений граф, стандартн? методи потребують розширення.
• Навчання ранжуванню: коли вх?д це наб?р об'?кт?в, а бажаний вих?д це ранжування цих об'?кт?в, стандартн? методи теж потребують розширення.

П?дходи та алгоритми

• Анал?тичне навчання
• Штучна нейронна мережа
• Зворотне поширення
• П?дсилювання (метаалгоритм)
• Ба?сова статистика
• М?ркування на основ? прецедент?в
• Навчання дерев р?шень
• ?ндуктивне лог?чне програмування
• Криг?нг
• Генетичне програмування
• Метод групового урахування аргумент?в
• Ядров? оц?нювач?
• Автомати з самонавчанням
• Системи навчання класиф?катор?в
• Навчане векторне квантування
• М?н?мальна довжина пов?домлення (дерева р?шень, графи р?шень тощо)
• Навчання пол?л?н?йних п?дпростор?в
• На?вний ба?с?в класиф?катор
• Максимальноентроп?йний класиф?катор
• Умовне випадкове поле
• Алгоритм найближчих сус?д?в
• ?мов?рно приблизно коректне навчання (англ. PAC learning).
• Ripple-down rules^{[уточнити терм?н]}, методолог?я набування знань
• Символьн? алгоритми машинного навчання
• Субсимвольн? алгоритми машинного навчання
• Опорновекторн? машини
• Машини м?н?мально? складност? (англ. MCM)
• Випадков? л?си
• Ансамбл? класиф?катор?в
• Порядкове класиф?кування
• Попередня обробка даних
• Обробка незбалансованих набор?в даних
• Статистичне навчання в?дношень
• Proaftn, алгоритм багатокритер?йного класиф?кування

Застосування

• Б?о?нформатика
• Хемо?нформатика
  • К?льк?сне сп?вв?дношення структура-властив?сть
• Маркетинг на основ? баз даних
• Розп?знавання рукописного тексту
• ?нформац?йний пошук
  • Навчання ранжуванню
• Витягування ?нформац??
• Розп?знавання об'?кт?в у комп'ютерн?м баченн?
• Оптичне розп?знавання символ?в
• Виявляння спаму
• Розп?знавання образ?в
• Розп?знавання мовлення
• Кероване навчання ? окремим випадком низх?дно? причинност? в б?олог?чних системах
• Класиф?кування рель?фу за допомогою супутникових зн?мк?в
• Класиф?кування витрат у процесах постачання

Загальн? питання

• Теор?я обчислювального навчання
• ?ндуктивне упередження
• Перенавчання
• (Некал?брован?) ймов?рност? приналежност? до клас?в
• Некероване навчання
• Простори верс?й

Див. також

• Перел?к набор?в даних для досл?джень машинного навчання

Посилання

• В?дкрите програмне забезпечення машинного навчання (англ. Machine Learning Open Source Software, MLOSS) (англ.)