Без заголовка

Сводить все настройки нейросети к изменению количества элементов в слоях -- это как сводить все арифметические операции к умножению. Куда у вас делась функция потерь, краеугольный камень нейросетей? Вы принципиально не хотите признавать элементы научного мышления в нейросетях, поэтому не можете осилить мысль, что подбор гиперпараметров -- это тривиальная задача, дело одного дня такое запрограммировать, и дело-то не в этом (и ваше "конечно, когда-нибудь ему в этом помогут средства автоматизации и оптимизации, но пока они не слишком развиты" -- ересь полнейшая). Объясняю: Так же, как и с FPGA, высокая скорость работы означает фиксацию на определённой архитектуре. А по задаче редко когда понятно, какой метод и насколько хорошо сработает. Это не инженерия, это научный метод в чистом виде: мы проверяем гипотезы, анализируем результаты, строим новые гипотезы, и снова их проверяем. Именно поэтому процесс не такой, как вы описываете, все проекты одноразовые, и поэтому вместо SaaS в большинстве случаев на самом деле продаётся консалтинг, и поэтому используется метод "full stack" -- когда вместо специалистов на стороне мы используем своих специалистов. Так же, как с Битриксом: продаётся не коробка, а коробку продаёт дизайнерская контора вместе с проектом. Ну и почитайте http://neon.nervanasys.com/docs/latest/hyperparameter_tuning.html , например, про подбор гиперпараметров -- давно уже всё придумано, но не всё так просто. Да, облако удобно, но только потому что требуется однократно сделать много вычислений -- для того же подбора гиперпараметров. Ну даст вам оно 2% точности дополнительных, затратив 10-кратное количество ваших денег. Но даже если у вас есть столько денег, облако не панацея -- потому что облако не осуществляет консалтинг.