Без заголовка

Ха-ха, а когда я говорю, что нужно много данных, говорят я привираю -- см., например, дискуссию к http://lex-kravetski.livejournal.com/528115.html (получается, что Бенжио тоже привирает! ;) ). Там две разные линии рассуждений: 1. Объяснение того, почему нейронная сетка действительно выразительная штука и почему при обучении есть шанс её обучить. Собственно, это значительная часть дела. 2. Объяснение того, почему данных нужно ну очень много (показателен тут пост http://habrahabr.ru/company/meanotek/blog/266961/ -- там объясняется, что таки "много"). Это объяснение в других местах. Обычно оно сводится к тому, что ввиду чрезвычайной выразительности нейронной сетки, она на малых данных просто overfit -- и дальше либо нужно реально много данных, либо нужно сознательно привносить в данные шум (dithering), что по факту означает увеличение количества данных. Есть довольно много групп, которые пытаются заниматься уменьшением количества данных (например, Вапник пытается выйти на "умного учителя"), поэтому теоретические обоснования нужно искать там. Я встречал эти обоснования, но быстро ссылку сейчас не вспомню.