Без заголовка
Мне знакомый говорил что его знакомый математик вроде начал какую-то спец математику для нейросеток делать - они вроде как занимаются ими и затрахались уже считать :). Посмотрим что получится, может интересное что.
Я раньше тоже относился к нейросеткам пренебрежительно.
Но сейчас я сменил немного парадигму. Нейросетка - это по сути удачный нейминг, который сделал тему популярной. Плюс конечно недавние успехи в deep learning.
Но просто я в начале года поподробнее разобрался с convex optimization, machine/statistical learning, ANN, econometrics, а также image processing и asset pricing.
И получилась интересная картина, что современные нейросетки - это просто статистические эстиматоры определенного вида, с большим кол-вом параметров, для которых нашли достаточно эффективные методики регуляризации. Т.е. за счет мощи современных GPU и эффективных методик регуляризации/установки начальных параметров, можно сделать относительно большое кол-во нейронов/весов, и это как-то все оптимизировать не боясь, что подстроишься под кривую.
При этом народ экспериментрирует еще и с архитектурами, там с мультипликативными связями. Ну типа просто можно выработать относительно унифицированный подход к построению сложных статистических моделей. Который много где применим.
Ну т.е. asset pricing можно тоже рассматривать как специфическую нейросетку к примеру.
Ну простые статистики понятно что можно рассматривать как простой случай нейросетки.
Т.е. сами нейросетки - фигня. А вот всякие сложно-структурированные статистики и machine/statistical learning - это интересно. В частности за счет того, что некоторые, например, пороговые функции можно апроксимировать с помощью нейросеток. И типа пытаться делать кастомизированный бэкпропагейшен, там где раньше был перебор вариантов.
Ну т.е. подход родил во мне новую парадигму, я пока не опробовал подробно, но интересно :). Тем боеле что есть западный народ, с которым можно посотрудничать.