Обсуждение

Спасибо за ссылку на книгу, не знал что этим вопросом занимаются. > там не статистика, там другое -- эволюция Разве эволюция — это не следствие работы статистических процессов?

Ну протеины, во-первых, не последовательно все возможные конформации принимают в процессе фолдинга, а вполне себе одновременно. Во-вторых, далеко не все протеины сами способны свернуться в нужную форму, зачастую им помогают другие протеины. А в-третьих, функциональность протеинов обеспечивается не только одной какой-то конформацией, а в общем случае даже динамикой промежуточных конформаций. Ну и всякие сигнальные молекулы влияют на конформацию протеинов. Это все я к тому, что влияние окружения на конечный результат не первичен, конечно, но крайне важен. Имхо, в нейронных сетях аналогией могут служить разве что те priors, которые мы закладываем в архитектуру сети.

" Нейроны могут находиться в двух различных состояниях -- в активном состоянии и в состоянии покоя" Вот это вот совершенно неверное заключение.Нейрон так же сложен как и мозг."Simple brains-simple minds?" M. O'Shea. Мозг не компьютер.Всё лишь теории или мат.модели, верные лишь в своих допущениях.

Сейчас слово "нейрон" используется для чего ни попадя, вовсе необязательно это нейрон в мозге. В нейронных сетках нейроны бывают самой разной архитектуры. Что же касается заключений немецких авторов 1990 года, пересказывающих достижения ещё более древних лет, то немного уже поздно их комментировать. Комментировать имеет смысл современные представления.

Да, все эти внешние влияния вполне себе рассматриваются в соответствующих теориях -- там начинается с того, что в клетке белок себя складывает совсем не так, как в пробирке. А аналогии с глубокими архитектурами, так они сейчас самые разные нащупываются, самый пик взаимоцитирования работ из разных областей. Начнём с того, что сначала нужно бы слово "архитектура" применить к сворачиванию белков и уж затем делать сравнения (уже архитектурные сравнения). Но пока вообще довольствуются тем, что "математика похожая", а рассуждения про энергии пытаются применить к нейронным сеткам. Дело же не в энергии, IMHO. Флогистон или энергия хорошая метафора, но лучше бы договориться об эволюции не как о поиске энергетического минимума. Хотя именно в этом и может оказаться самая существенная физика: какие-нибудь "эволюционные нейроморфные чипы, находящие свой энергетический минимум, но не сводящиеся к квантовым компьютерам". Фантазий сейчас в этом направлении хватает, математика срочно вспоминается и изучается не-физиками, со всеми возможными искажениями в моделировании и игнорированиями физичности в изначальном мышлении про белки и стёкла.

Чем современные ПРЕДСТАВЛЕНИЯ отличаются от представлений "ещё более древних лет". Кроме того нейроны в любом правильном понимании не только самой разной архитектуры, но и одного и того же древнейшего ПРИНЦИПА РАБОТЫ. Так вот любой принцип есть ТЕОРИЯ ну как положим ЭВОЛЮЦИЯ....и все они работают лишь в кругу тех задач,которым более менее удовлетворяют их изначальные аксиомы,явно или не явно заданные. Поэтому я комментирую неверную аксиоматику ПОНЯТИЯ "нейрон" а также "нейронная сеть". Потому и приложил ссылку на соответствующую книгу.

Спасибо, интереснейший пост.

>они не ведут себя чисто статистически, там не статистика, там другое -- эволюция, причём на каком-то более-менее однородном материале (на котором возникают разномасштабные явления). Прошу прощения, может о разных эволюциях речь, но традиционная является именно статистическим процессом. Сам процесс фолдинга эволюционно обусловлен, но внутри него её вряд ли найдёшь. А вот в нейросетях эволюция вполне себе идёт и между поколениями, и внутри. Естественных, по крайней мере, по виртуальным не спец.

Вы еще квантовые компьютеры не помянули :) по крайней мере, одна модель квантовых вычислениях имеет отношения к спиновым стеклам https://en.wikipedia.org/wiki/Quantum_annealing

То же самое относится к спиновым стёклам, к нейронным сетям: они не ведут себя чисто статистически, там не статистика, там другое -- эволюция, причём на каком-то более-менее однородном материале (на котором возникают разномасштабные явления). вообще там все статистически-стохастически-вероятностно :) Гамильтониан есть функция энергии, ну и система стремиться к минимизации энергии грубо говоря, вероятность спина перевернуться пропорциональна (экспоненте) энергии соответствующей спиновой переменной ну и зависит от температуры т.е. если температура низкая, то система будет пребывать в локальном минимуме - т.е. спиновая переменная будет пребывать в состоянии с более низкой энергией с большей вероятностью (т.е. в минимуме у нее меньше вероятность перевернуться) при этом спиновые переменные влияют на другие спиновые переменные (задается матрицей Гамильтониана) при выскокой температуре, вероятность флипнуться выше, ну и система имеет больше шансов перескочить в более низкий локальный минимум т.е. постепенное понижение температуры (annealing) приводит всю систему к минимуму (достаточно близкому к глобальному, а может даже и к глобальному, если повезет :)) соответсвенно, quantum annealing пытается заюзать физический эффект в вычислительных целях, решая соответствующую задачу оптимизации а в случае нейросеток, то эта модель есть сеть Хоппфилда, при этом если взять вероятность отедльного спина перевернуться, то получится как раз сигмоидный нейрон :), только стохастический

Ну да, только стохастически и статистически -- это разница ))) Вообще, сейчас странные вещи обнаруживают. Вот, например, из новостей: величины обратного прохода не важны, важна только обратность знака! Тут: http://arxiv.org/abs/1510.03009 и http://arxiv.org/abs/1510.05067 (там прямо какая-то гонка! Результаты каждую неделю вылезают новые). То есть стохастика начинает задействоваться по полной, вычисления минимизируются -- и, главное, на качестве это слабо сказывается!

дауж, сейчас много интересных вещей в нейросетках взять тот же ReLU который внезапно оказался проще, быстрее, быстрее в трене, лучше обобщается, ближе к биологическим нейронам, и который почему-то "объявился" только несколько лет назад :) очень странно :) еще есть интересная вещь batch normalization - пока не разбирался ну и orthogonal normalization т.е. сейчас как-то народ стал значительно лучше понимать процесс gradient flow между слоями, хотя там нет ничего такого, что нельзя было бы сделать лет двадцать назад (и судя по всему, L.Bottou был давно в курсе многих прихватов :)) плюс потихоньку подключаются оптимизаторы - им стало интересно делать алго для глубоких нейросеток вобщем, есть подозрение, что подход к лёрнингу будет коренным образом меняться, ну и ссылки, что Вы привели, сие подозрение подтверждают :) я вобщем и сам бы с удовольствием затестировал SVRG и orthogonal инициализацию, но сейчас пока небольшие траблы с компьютерами :)