Без заголовка

>технологический стек, где сидят программисты и математики, важен: он может дать (возвращаясь к теме поста) тот порядок или даже пару порядков (а иногда и три порядка) запаса вычислительной мощности Увы, не может. Можно накосячить в реализации и недобрать несколько порядков мощности, но если не косячить, то резервов роста на одной видюшке нет. Нейросетям действительно важны все соединения, это вам не Decision Tree. Единственное улучшение -- давно знакомый нам FFT, позволяет O(n^2) свести к O(n log n) (с большей константой), что на практике при n порядка 1000 даёт выигрыш скорости всего в 2-5 раз. Поизучайте https://github.com/soumith/convnet-benchmarks . Как видите, конкуренты довольно близки.