Обсуждение

You mention arxiv.org but missed gitxiv.com, the next evolution of the "really really fast" development cycles in machine learning. Gitxiv is where you can find implementations of some of the papers on arxiv.org. It's the source code you wish came with the papers. Most implementations are done by third parties, but an increasing number are of high quality. Из комментариев по ссылке -- http://highscalability.com/blog/2016/3/16/jeff-dean-on-large-scale-deep-learning-at-google.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+HighScalability+%28High+Scalability%29

А есть ли какие-то успехи у генетических и эволюционных алгоритмов? Реанимированы ли попытки находить с их помощью структуры сеток (или что-то еще кроме структур)?

Гугль уже начал сочинять посредством нейросеток черновички ответов на письма Ура! Киберписьмовник! У бабушки в гимназии на уроках эпистолярного жанра ими категорически запрещали пользоваться...

Сейчас весьма популярно построение ансамблей из (относительно) простых алгоритмов обучения. А также ансамблей из ансамблей (и порой ансамблей из ансамблей из ансамблей). А для генерации кандидатов в базовые лёрнеры, как раз и используется что-то типа эволюционного подхода. Ибо стоит задача получить прежде всего разнообразные (некоррелированные) модели, которые имеют хорошую, но не самую лучшую производительность. Ну и эволюционный подход и дает разнообразие. Т.е. берем набор базовых компонентов, типа несколько вариантов как заполнять пропуски в данных, несколько feature extractors, те или иные способы feature selection/filtering, несколько мощных базовых алгоритмов обучения (типа SVM, Random Forest, GBM, нейросетки, etc). Все это комбинируем в разных сочетаниях, с разными гипер-параметрами, отбираем комбинации которые хорошо работают, ну и объединяем их в ансамбли. А полученные ансамбли - в другие ансамбли, ну и т.д. Вобщем, я бы сказал, что в мета-обучении, эволюционный подход так или иначе используется на верхнем уровне, для генерации набора моделей-кандидатов, которые потом тренируются, отбираются и комбинируются другими методами.

Есть и более сложные подходы, например http://alchemy.cs.washington.edu/ Т.е. структура модели задается с помощью логических формул, ну и ведется поиск в пространстве этих формул. А потом параметры этих формул учатся с помощью градиентных методов или MCMC. Вобщем, я бы сказал, эволюционный подход в целом не пропал, и даже является необходимым компонентом сложной системы машинного обучения, пусть в упрощенном виде.

плотно, спасибо-:)

Никогда не нужно забывать, что взлёт глубокого обучения стал возможен именно из-за повышения вычислительной мощности -- алгоритмы-то были уже известны Не совсем так. Бэкпроп и SGD были известны, да. А вот эффективные методы инициализации многослойных нейросеток - нет. А у нейросеток не все оптимумы одинаково полезны, т.е. абы как инициализированная нейросетка может и дотренится при большой выч мощи, но толку с этого может и не быть. Т.е. еще нужно заинициализроваться около хорошего локального минимума. Т.е. я так понял, что проблема была не в том, что не удавалось затренить сетку с более чем двумя скрытыми слоями, а что толку с этого не было. При этом SVM работали лучше вроде как. Ну и потом Хинтон, Бенджио с сотоварищами придумали как инициализировать многослойные сетки, так чтобы результат был лучше чем у сеток с одним-двумя скрытыми слоями. Т.е. выч мощь конечно не помешала и наверное даже весьма и весьма, но все же ключевая проблема была в методах инициализации глубоких нейросеток.

Предполагалось при запуске gitxiv, что всё туда и уйдёт. Ан нет, там по сравнению с бурным потоком отдельных выкладкок в arxiv и github (и иногда даже записей в блоге у автора, или прямо записей в github) -- тоненький ручеёк. Оказалось, что это не так уж и удобно.

Извините, а разве проблема ИИ уже решена? Разве не доказал Х.Дрейфус, что поиск в семантической сети будет всегда приводить к взрывному росту числа возможных контекстов, большинстов из которых даже не присутствует явно в сознании? Может быть я что-то пропустил? Понятно что мощность компьютеров за 40 лет выросла невероятно, и тем не менее, компьютерная шахматная программа побеждает людей на основе быстрого перебора ситуаций в жестко ограниченной правилами среде, и на базе жестко заданных эвристических критериев оценки ситуаций. Для полноценного ИИ тут никакой перспективы не видать.

"Полноценный AI" это я даже не знаю, что такое, и зачем это сегодня обсуждать, включая "взрывной рост контекстов". Что же касается "что-то пропустил", так в посте в основном deep learning -- это совсем другие технологии, нежели "переборы", а также "эвристические критерии". Вот: https://en.wikipedia.org/wiki/Deep_learning