GPU пожалуй это новый CPU, который универсален, но если нужна супер-производительность, низкое энергопотребление и дешевизна, то надо делать кастомный чип типа TPU или вот Tesla сделали для своих сеток свой чип, который работает в 10 раз быстрее чипа от NVidia