ailev.ru

25 ноября 2015 · Комментарий

Без заголовка

>Чисто на стыке софта и железа там уже несколько раз с цепочкой cuDNN библиотек получили даже не за год, а за 9 месяцев. Вы знаете, это называется "низколежащие фрукты". На видюшке всё те же 7 тфлопс. Просто год назад средний софт умел её утилизировать в определённых сценариях только на 2 ТФлопс, а теперь умеет на все 7. (Alexnet уже в 2012 умел утилизировать по полной) Вот я сейчас использую neon, у меня при разных настройках для задачи утилизация меняется от 30 до 60% -- на моих GTX 970 это 1.2-2.5 ТФлопс вместо максимальных 4 ТФлопс. Ну и переход на 16 бит вместо 32 можно сделать только один раз -- тогда в принципе можно удвоить скорость на следующем поколении видюшек, должны такие в 2016м выпустить. Но у нейросетей если следующая особенность: при увеличении скорости в 2 раза количество ошибок уменьшается на 5-10%. Т.е. если была точность 95%, станет 95.5%. А если в распознавании объектов было 80% -- то станет 82%. Как только вы удвоите свою базу данных. Так что, как говорится, мечтать не вредно. Вот посмотрите сами, что происходит от года к году, колоночка "Single Precision": https://en.wikipedia.org/wiki/List_of_Nvidia_graphics_processing_units#GeForce_900_Series Большая часть прогресса DeepLearning -- это хайп. Верхняя планка достижимого почти не меняется, просто возможность такого использования приходит "в каждый дом".

К записи · К обсуждению