Без заголовка

"если бы президент был программистом, он большинство министров заменил скриптом" (с) не знаю кто с развитием ИИ все только хуже есессно министры (если говорить шире, то менеджеры вообще, и даже можно еще шире - люди в целом) не хотят, чтобы их скриптом заменяли тем не менее, есть такое направление которое прорвет рано или поздно, что повлечет смену технологий управления и сопутствующего вот это будет в моем понимании прорыв - социальная и/или политическая революция (оно вероятно будет крайне неприятно для подавляющего большинства участников) Я бы еще отметил прогресс в области алгоритмов - он наверное в популярную литературу вообще никак не попадает. Да и те кто МЛ занимается "на земле" об этом не всегда в курсе. Но последнее время идет какой-то прогресс в том чтобы чисто на алгоритмическом уровне все работало в разы или в десятки раз быстрее. Впрочем, какой-нить ReLU сюда тоже можно отнести - сети с ReLU в разы быстрее тренируются. Но также можно отметить Randomized Linear Algebra, какой-нить randomized svd в сотни (или даже тысячи) раз быстрее работает. Алгоритмы типа SAG/SVRG. Какие-нить (accelerated) ADMM которые может сами по себе не шибко быстрые, но хорошо распределяются, т.е. можно несложно задействовать кластера. Недавно (в мае) появилась статья про "accelerated: SAG/SVRG - ну типа вроде еще быстрее работает, я не изучал подробно. Second order optimization к нейросеткам вроде более-менее научились применять - K-FAC алгоритм. Может это еще исследовательнская стадия, по большей части, но ускорение в сотни и даже тысячи раз. И еще можно параллелить все это дело (second order оптимизация интересна тем что там больше возможностей для параллелизма, нежели в SGD). Это только то что я знаю, остальное для меня пока сложновато, точнее подробно не смотрел :).