Обсуждение

самый интересный момент - можно ли результат копировать? Если да, то даже 10000 часов тренировки ерунда.

У дрессировки есть для многих неожиданные последствия, одна из моих любимых статей: http://old.computerra.ru/offline/1999/289/2524/

Пример неожиданного поведения: Лет десять или двенадцать назад написал пример (еще на Delphi) MLP управляющего моделью реверсивного маятника. Это такая тележка, которая может двигаться влево или вправо. Цель - удержаться около нуля и удержать вертикально стержень закрепленный на тележке. Т.е. если стержень падает влево, нужно уехать с ускорением влево, выправив маятник и аккуратно вернуться в ноль. Обучали управляющий MLP учителем, т.е. сперва человек пытался уравновесить маятник, формировал набор управляющий воздействий в фазовом пространстве модели. MLP аппроксимировал эту таблицу и ему передавали управление. MLP нашел неожиданное решение. Когда маятник уходил далеко влево и тележке не хватало ускорения чтобы его поднять (или получался очень большой уход от нуля X), маятник резко дергался в право, т.е. ускорял падение маятника. Модель отрабатывала отскок маятника и дальнейший переход его кинетической энергии в потенциальную приводил к переходу маятника в вертикальное положение. Получалось очень экономичное решение. Ни один оператор-человек так не делал. В чем баг: Штрафа за падения маятника не было. Были штрафы за dX и dFi.

Модульность (нарезка распределённых знаний на взаимозаменяемые куски, поставляемые для подключения по известному интерфейсу) сейчас ахиллесова пята технологии глубокого обучения. Но тема transfer learning (так это наиболее часто называется) очень быстро развивается, так что скоро проблема будет "плохо, но решена", а потом и "решена". Для роботов "таблетку знаний" всё-таки проще изготовить, чем для людей! ))) С другой стороны, если речь идёт о точно таких же роботах, то результат можно копировать уже прямо сейчас. Трудности только с передачей этого знания роботам другой конструкции.

представил как: нельзя поменять поколение роботов, потому как уже для них накоплено много табличек :)

Эта проблема хорошо отражена в рассказе Karpathy -- http://ailev.livejournal.com/1228496.html

Интересно вот, что люди (простые пользователи) обычно ожидают от машины (условно говоря), чтобы она предвосхищала их пожелания. Чтобы удивляла . А если робот, со своим "искусственным интеллектом" не оправдывает ожиданий - значит плохо сделан, брак значит. Т.е. изначально пользователь настроен на общение с машиной так, как если бы она была уже сформировавшейся "личностью" с характером или "вещью" с характерными свойствами. К машине нет такого отношения, что ее нужно научить, вырастить, воспитать, как "ребенка". И на это нужно время, силы. И еще неизвестно, кто "вырастет". Потребительское такое отношение к машине. Дескать, я деньги заплатил - пусть работает. Здравствуйте!