Обсуждение

Я конечно не специалист, но насколько я помню, победила все таки risc архитектура, а интеловская cisc сейчас внутри содержит risc, а сверху cisc для совместимости. Что касается nvidia - отрадно, что компания поддерживает хайп, это хорошо, но вопросов остается много. Что делают конкуренты, одних новых процессоров дл AI делают десятки (graphcore и тп). Уход nvidia вверх по пищевой цепочке в сторону софта очень тревожен - у каждой компании должна быть своя специализация. Microsoft не лезла в железо и слава богу. Что касается огромного рынка искусственного интеллекта, пока там еще нет никаких killer app (если не считать голосовых помощников siri -alexa), денег тратят десятки миллиардов долларов, а выхлоп мизерный.

Подскажите пожалуйста, где можно бесплатно потренировать свою маленькую сеточку?

Отобрать у ребёнка игровой комп с видеокарточкой NVIDIA. Все эти современные видеокарты последний десяток лет поддерживают CUDA. И тренируйте, абсолютно бесплатно.

Интересно, что в плане deep learning здесь многое перекликается с тем что делает Google. На днях вышел выпуск подскаста TWIMLAI с Jeff Dean. https://twimlai.com/twiml-talk-124-systems-software-machine-learning-scale-jeff-dean/ Jeff тоже говорит что интересный (хотя и сложнопредсказуемый) прогресс переходит в область архитектуры компьютеров. Там много возможностей, потому что непонятно какие архитектуры выиграют. Они начали с TPU для inference, потому что это проще, легко масштабировать. Но TPU v2 - он для тренировки, и масштабирование там существенно сложнее т.к. одного чипа мало. В итоге они сделали что-то по уровню похожее на DGX-2: 64 TPU объединенные в один pod, с высокоскоростной сетью передачи данных между ними. "A 64-TPU pod can apply up to 11.5 petaflops of computation to a single ML training task." При этом, они не торопятся делать рискованные эксперименты с кардинальным изменением чипов (например, попробовать quantied 4-bit operations вместо 8-bit), т.к. цена ошибки высока: если чип проектируется сейчас, то он выйдет из фаба через 2 года и должен поработать в датацентре еще года три. Соответственно, чип должен быть способен поддержать алгоритмы которые будут использоваться через 2-5 лет. Еще интересно, что Jeff видит преимущество в том что у них вертикальная интеграция: TPU, TensorFlow и рисёрчеры которые этот софт пользуют. Это позволяет быстрее итерировать.

Мой пойнт тут в том, что deep learning важный класс приложений, но если хочется поддержать какое-то имитационное моделирование для domain, то тут всё, каюк (если только симулятор не сам нейронный -- могут быть ведь и такие решения, от безысходности). То есть инфраструктура моделирования вообще должна быть более универсальна, чем инфраструктура нейронного моделирования. Мозг плохо выполняет логические операции, но хорошо крутит картинки -- и всякие TPU могут нарваться ровно на такие эффекты, я вот об этом.