Обсуждение

Поразительная работа, на мой взгляд, -- http://arxiv.org/pdf/1511.06361v6.pdf . Эмбеддинг с явно выучиваемым частичным порядком, выучили общее-частное для понятий, например. Не то что ранее, когда вдруг почему-то оказались выученными отношения типа (король-мужчина)+женщина=королева, а сознательно - решили, и выучили. Таксономические деревья в репрезентации можно учить. Можно думать о том, как другие онтологические отношения учить, увеличивая размерность пространства.

На семинаре было не слишком много про intelligence в части reasoning. Я попробовал пару раз задать на эту тему стыка нейросетей и reasoning вопросы -- увы, ответом было "ничего не знаем". Ну, напомню, что я нарыл полгода назад (http://ailev.livejournal.com/1236426.html) про связь символического и коннекционистского подходов : А чего это Вы Домингоса не помянули? :) У него же как раз работа по скрещиванию логик и лёрнинга. Ну типа вероятностное доказательство теорем и все такое. Учитывая что онтологии часто моделируют подможествами первопорядковых логик, то скрещивать онтологии с лёрнингом в этом направлении должно быть крайне перспективно.

Виктор Лемпицкий на этом семинаре настаивал на "глубинности", ибо "раньше глубокие сети были, но обучение было поверхностным, а сейчас научились обучать глубинно". различать глубину и глубинность обучения важно. ибо глубокую сетку и правда можно представить как стэк из поверхностных, обучаемых послойно В моем понимании это два разных подхода: учим все слои одновременно, или по очереди/итеративно. Точнее, конечно никто не мешает совмещать оба подхода :). Но я к тому что учить все слои одновременно и по очереди - разные методологии, фактически.

Ну, если вы пройдёте по ссылке, вы увидите и работы даже самого Dov Gabbay по обратному ходу: использования логического исчисления в коннекционизме. Но это всё-таки не то, что меня бы интересовало в первую голову.

Да, это важно понимать -- "сетка" как исходный набор архитектурных модулей, или "наложенная сетка", которая оказывается выученная. На очень глубокой сетке, как на холсте, могут нарисоваться куча причудливо связанных между собой очень мелких сеток, плюс хитрый метод их ансаблирования. Если это знать, можно и обучение делать по другому. И это ровно то, о чём был мой пост (и куча в нём ссылок на оригинальные работы) про уровни и клочки абстрации -- http://ailev.livejournal.com/1266411.html

Тут интересно, что это работа выдаёт сравнимые результаты с работами по вниманию. И тут мне подумалось, что основной онтологический вопрос "что есть в мире" -- это в том числе и вопрос ко вниманию: как внимание вынимает из мира какие-то объекты. Внимание ведь выделяет фигуру из фона (классическое определение). Какие фигуры есть в мире? И дальше разные способы ответа на этот вопрос: "какие скажем, такие и будут"; "удобные для последующего действия"; "унаследованные от ранее выделявших эти фигуры -- взятые из культуры"; и т.д.

>> Виктор Лемпицкий на этом семинаре настаивал на "глубинности", ибо "раньше глубокие сети были, но обучение было поверхностным, а сейчас научились обучать глубинно". Я остаюсь при своём: обучение, как и сети -- глубокое, на всю глубину чтоб не путаться в трех соснах "в глубинах" можно принять терминологию специалистов-по-глубинам - океанографов etc... тогда, например: "литоральное обучение" = "приповерхностное", оно же "приземленное" ; "пелагическое" или "батиальное" - в толщах фактов вне контактов с границами (или сфероконное-в-вакууме); "абиссальное" - экстра-глубокое, приближенное к предельным границам технологии. абиссаль - вообще сам по себе термин вкусный и красивый...

> Автопилоты начали работать хорошо именно тогда, когда перестали восстанавливать сцену, чтобы по итогам её анализа принимать решения об управлении -- а когда просто на входе нейросетки появилась информация с датчиков, а на выходе -- информация для актуаторов. Нужно понимать, где нужна осознанность и строгость, а где лучше всё делать в нейросетевом беспамятстве, не выходя из управляющего транса. Нужно понимать, очень нужно, но понимания пока нет. А можно с этого места поподробней? Вроде бы автопилоты и по сей день исопльзуют SALM-based алгоритмы для навигации...разве нет? А решения на основе сеток вроде бы разве что в Марио автопилотят...

SLAM - simultaneous localization and mapping ))) Подробнее про этот сдвиг я говорил в http://incose-ru.livejournal.com/53902.html (и там слайды 13-14, но и дальше везде). Вот ссылка, разворачивающая тезис: https://www.linkedin.com/pulse/driverless-car-two-deep-learning-models-bassel-safwat Сейчас действует порядка 18 автомобильных компаний, заявивших о создании автопилота. Увы, мы вряд ли получим подробные сведения, какие именно алгоритмы и подходы там используют (тем более что поколения этих подходов меняются стремительно, алгоритмы-то становятся лучше с каждым днём, равно как растёт количество данных для их тренинга).

При всем при этом, из всех причастных к ADAS или полноценным беспилотникам компаний, только Mobileye заявляют, что у них уже имеются наработки продуктового качества на основе глубокого обучения (они говорят про то, что запилили семантическую сегментацию на основе DL, но верить им или нет - вопрос открытый). Ну а те, что уже ездят, как правило, ставят на автомобиль лидар и создают автопилот на основе обработки облаков точек, вообще без сеток. А решения чисто на сетках, при некоторой доле везения, в машинах мы увидим хорошо если через 3-5 лет, когда и алгоритмы до продуктового качества докрутить получится, и железо подтянется. Ну и там надо еще решить массу вопросов на тему сертификации таких автомобилей для дорог общего пользования.

У меня почему-то другие ощущения от происходящего. Конечно, была некоторая проблема в железе и алгоритмах, но работы последних месяцев существенно эту проблему сняли. Так что ваша оценка верна IMHO на примерно полгода назад (учитывая и то, что железо крупным игрокам обычно чуток раньше доступно, да и команды алгоритмистов часто у них свои).

Просто я некоторым образом связан с этой индустрией и такие оптимистичные прогнозы для меня являются сюрпризом. Даже если прямо сегодня появится продуктовое решение для задачи автопилотирования на основе сеток(а его пока, увы, нету), то еще потребуется минимум пару лет на то, чтобы эта система прошла сертификацию, а на конвейер оно пойдет не раньше, чем через 3-5 лет...автомобили - слишком консервативный рынок для таких революционных решений.