Обсуждение

Вот тут обсуждение NVidia Digits DevBox: https://news.ycombinator.com/item?id=10030796, и в комментах упоминается стартап http://rexcomputing.com/ который обещает 128GFLOPS/Watt на single precision вычислениях..

О, очень правильный подход! С другой стороны, там 512 GFLOPs SP -- то есть это небольшие чипы для телефончиков, похоже. Ибо "серверный" чип -- это сегодня до 10ТFLOPS, да и 128GFLOPS/Watt в NEO вполне сравнимо с 80GFLOPS/Watt для Stratix. И в семействе Stratix тоже есть SoC и маленькие варианты. Битва подходов идёт, лёд тронулся!

А потом выйдет IBM Truenorth и тут такое начнется...

Не начнётся. Ибо https://www.facebook.com/yann.lecun/posts/10152184295832143

Спасибо,придется ждать СОК-процессоры с табличными вычислителями.

>Я много раз писал тут про FPGA для машинного обучения (последний раз в http://ailev.livejournal.com/1207520.html), меня много раз не понимали и говорили, что GPU проще и дешевле. - Особенно доставляет факт (про который вы скромно умолчали:)), что первым таким непонимающим, не далее, чем еще 13-го июля 2015-го года (в разговоре с аналогичным устройством, но иным распределением по ролям) были как раз вы: http://ailev.livejournal.com/1202238.html?thread=12810814#t12810814 :)) (в разговоре со мной, но это уже детали).

И опять же, если у вас не масштаб датацентра или нет в запасе финансирования от Макартуров каких-нибудь, то стоимость входа будет запредельной: так что пойдёте на сегодняшний день в магазин, и купите Titan X. А вот через полгода-год уже не знаю, что там на кикстартере будут предлагать.

я-то думал что мы как раз про тенденции говорим, "куда все идет, и в некоем обозримом будущем придет"))

Забавно. Основываясь на http://www.theplatform.net/2015/08/27/microsoft-extends-fpga-reach-from-bing-to-deep-learning/ , получаем всего лишь 2х "неэффективность" видюшки по ваттам, а не 5х-10х, как я думал до этого. Крайне неплохой показатель, интересно будет посмотреть на NVidia Pascal, где техпроцесс 16нм обещают (сейчас 28нм, не менялся уже 3 года).

Там один из аргументов, что у Intel (и тем самым Altera) техпроцесс всегда будет на полгода-год лучше, чем у конкурентов: когда NVIDIA перейдёт на 16нм, у Intel будет уже 10нм. Тут в софте интересные оптимизации пошли: https://github.com/soumith/convnet-benchmarks/issues/56#issue-103818583 Чисто софтверно получили x3 за 9 месяцев и упёрлись )))

Да-да, там внизу у вас по ссылочке как раз моя ссылочка тоже лежит. "на полгода-год" -- весьма размытый аргумент. Видюшки три года не обновляли техпроцесс, и даже удивительно, как они выжали увеличение производительности порядка двых раз на ватт за последние 2 года. Но (28/16)^2 = 3.0625 -- т.е. рост скорости на ватт ещё в три раза, а вот (14/10)^2 = 2 -- всего в 1.96 раза. Разрыв ещё сократится + лёгкость написания софта для видюшек.