ailev.ru

20 ноября 2014 · Комментарий

Без заголовка

Мне знакомый говорил что его знакомый математик вроде начал какую-то спец математику для нейросеток делать - они вроде как занимаются ими и затрахались уже считать :). Посмотрим что получится, может интересное что. Я раньше тоже относился к нейросеткам пренебрежительно. Но сейчас я сменил немного парадигму. Нейросетка - это по сути удачный нейминг, который сделал тему популярной. Плюс конечно недавние успехи в deep learning. Но просто я в начале года поподробнее разобрался с convex optimization, machine/statistical learning, ANN, econometrics, а также image processing и asset pricing. И получилась интересная картина, что современные нейросетки - это просто статистические эстиматоры определенного вида, с большим кол-вом параметров, для которых нашли достаточно эффективные методики регуляризации. Т.е. за счет мощи современных GPU и эффективных методик регуляризации/установки начальных параметров, можно сделать относительно большое кол-во нейронов/весов, и это как-то все оптимизировать не боясь, что подстроишься под кривую. При этом народ экспериментрирует еще и с архитектурами, там с мультипликативными связями. Ну типа просто можно выработать относительно унифицированный подход к построению сложных статистических моделей. Который много где применим. Ну т.е. asset pricing можно тоже рассматривать как специфическую нейросетку к примеру. Ну простые статистики понятно что можно рассматривать как простой случай нейросетки. Т.е. сами нейросетки - фигня. А вот всякие сложно-структурированные статистики и machine/statistical learning - это интересно. В частности за счет того, что некоторые, например, пороговые функции можно апроксимировать с помощью нейросеток. И типа пытаться делать кастомизированный бэкпропагейшен, там где раньше был перебор вариантов. Ну т.е. подход родил во мне новую парадигму, я пока не опробовал подробно, но интересно :). Тем боеле что есть западный народ, с которым можно посотрудничать.

К записи · К обсуждению