Обсуждение

8.8 TFLOPS... это же практически ASCI White, TOP-1 суперкомпьютер до ноября 2001го.... 6MW мощности, 110 млн $ памяти у него правда было 6ТБ, это пока дороговато в массовом сегменте. 15 лет прошло всего и уже доступно всем. время сжимается, сингулярность все ближе :)

А насколько перспективны распределённые вычисления в нейронных сетях?

присоединяюсь к вопросу, подумал об этом на 2-м абзаце буквально

Очень перспективны. Через spark итп. Гугловые TPU (tensor processor units) те же в помощь.

спасибо. очень интересно.

Вангую что ternary weight научатся обучать напрямую, и это будет очень хорошо. Есть идейка что это можно делать.

Так я дал ссылку на статью, где такие сетки учат напрямую, нет? Компрессия полных сеток для работы на всяком встроенном стандартном железе -- это другое направление работы, там я дал другие ссылки.

Ну вот, всё открыли до нас ))))

Да!!! чудеса творятся прямо на глазах, фантастика совсем рядом! Но, все таки, это лишь огромные успехи в автоматизации отдельных человеческих навыков, причем построенных на совсем других принципах, не имеющих ничего общего с естественным интеллектом. Видя результат работы такого ИИ, мы преждевременно делаем вывод, о том что он так и устроен. Что-то базовое, наверняка простое и доступное к повторению в устройстве живого мышления пока скрыто от нас, и никто этого еще не нашел.

я пробую проверить развитие неокартезианства http://new-cartesius.livejournal.com/2050.html на учебниках по философии и комплексной автоматизации предприятия вроде, простота вырисовывается, но - слишком непривычная :)

А есть подход, который нормально делит память среди нейронов \ слоёв (так чтобы минимизировать обращения к чужой памяти с каждого процессора)? Ведь вам-то без разницы где узкое место в ALU или MMU. На современных процессорах они настолько близки, что на простой Core на 1м процессоре можно упереться в DDR-4 если постараться (без использования SSE в вообще SIMD-инструкций).

Есть сильное подозрение, что "вкладыш-в-ухо-переводчик" - это просто блютус гарнитурка, а перевод работает где-то на облаках гугл-транслейта.

.... но пока 4G работает — разница неочевидна :)

Сингулярность откладывается - суперкомпы сошли с дистанции закона Мура.

Ещё один перспективный вариант компресии — http://sites.skoltech.ru/app/data/uploads/sites/34/2015/07/tensorNet_nips2015_arXiv.pdf Матрица полносвязного слоя заменяется на тензорный поезд (авторы tensor train действительно имели в виду поезд), матричные операции заменяются на операции над тензорным разложением, позволяя не только получать низкоранговый результат на выходе, но и все промежуточные вычисления тоже требуют мало памяти (при сопоставимом времени). В результате можем иметь компрессию полносвязного слоя по памяти в 10'000 при незначительном падении качества.

Очень интересно, спасибо за ссылку. На схеме координату «сложность» хорошо бы раскрыть, определить ее. Тогда будет ближе к простоте.

Периодическую таблицу усложнения попробовал раскрыть в сообщении https://habrahabr.ru/post/259291/ Но совсем элементарно не получится - фрактальное взаимодействие деталей разного уровня порождает "гиперпирамиды Паскаля" ( в смысле чисел Фибоначчи :). Остается надеяться на возможность описания мира, догоняющую современные существующие конструкты.

Интересно сообщение об операционной системе ROS https://habrahabr.ru/company/intel/blog/300884/ Если я правильно понял, как раз строится сеть объектов, соединенных каналами, плюс системный канал, как индикатор "данный кусок пространства сейчас занят!".

А не могли бы вы обосновать хоть как-то это: "причем построенных на совсем других принципах, не имеющих ничего общего с естественным интеллектом", или это просто ваше мнение?

Спасибо за конкретную постановку вопроса. Попробую пояснить, но обосновать и доказать вряд ли получится, т.к. истина об устройстве интеллекта скрыта от нас, и пока мы можем только предполагать и выдвигать гипотезы. Говоря "не имеет ничего общего", соглашусь, погорячился, конечно же можно найти что-то общее, некие подобные элементы, аналогию. Но вот само функциональное устройство, структура моделей, уверен, принципиально отличается. Каким оно точно должно быть конечно же не знаю. Моя логика следующая: до тех пор пока не будет создана цельная модель, способная в рамках единой, целостной структуры повторить все навыки и когнитивные способности хотя бы собаки или вороны, такую модель нельзя будет назвать адекватной, она не будет иметь много общего с устройством естественного интеллекта. Создание такой модели будет достаточно для возможности дальнейшего ее развития до способности к орудийной деятельности, далее к возникновению психики и освоению языка. Т.е. моделирование снизу вверх, но не наоборот. Сейчас же существует много разных моделей имитирующих, автоматизирующих различные человеческие навыки. Причем все они построены на разных принципах и не могут выполнять иные действия. Например, система распознавания образов не сможет играть в шахматы, а экспертная система, база знаний не сможет управлять робомобилем. Все эти модели разные и, следовательно, не могут быть похожи, имеет схожесть с единым естественным интеллектом, в котором все навыки тесно переплетены друг с другом, являются одним целым, и опыт, навыки из одного часто переносится на другой. Не думаю, что в своих рассуждениях я оригинален и одинок. Если я заблуждаюсь, и такие системы, принципы моделирования уже есть, то очень хотелось бы о них узнать.