Без заголовка
>так что вполне мог быть знаком с идеями глубоких сетей лично.
Да, тогда что-то в этом есть.
>Тем не менее, при создании архитектуры нейронной сетки нет ответов на вопросы -- сколько будет оптимально слоёв, сколько в них нейронов, какого типа должны быть слои и т.д..
В большинстве ответы известны, выводятся научными методами, и их вполне просто понять даже для гуманитария: Чем больше слоёв и нейронов, тем выше качество обучения, но медленнее скорость обучения (в DNN -- экспоненциальная зависимость от числа слоёв), больше склонность компьютера находить "совпадения" вместо "закономерностей", и тем более мощный компьютер нужен.
Я бы вам так и рекомендовал ответить товарищу на quora.
В других вопросах, наоборот, проблема в фундаментально невычислимом характере мира.
"Какого типа должны быть слои" -- сродни вопросу, каким распределением лучше аппроксимировать данные? Гауссовым, нормальным, или каким-либо ещё неизученным? Или вопрос, каким способом лучше всего считать пи приближённо?
Настоящая проблема в том, что в большинстве практически важных задач, точное решение текущими техническими средствами не получить (скажем, для маленьких нейросетей можно точно построить обратную матрицу, но для матриц миллион на миллион это уже на практике не сделать). Но, отдавая все такие задачи на откуп инженерии, вы игнорируете прикладную науку, отрасль математики, под названием "вычислительные методы".
Почему вы считаете, что она является частью инженерии?
Вам не кажется странным, что, согласно вашему определению, задача нахождения корней квадратного уравнения будет частью инженерии или науки в зависимости от того, считаем мы с помощью компьютера или на листочке?
>Я указал на эволюционную физику: там пытаются ответить на вопрос, почему вообще глубокая нейронная сетка работает
Вы опять же по непонятным мне причинам ищете очевидную эзотерику и игнорируете очевидный научный ответ на этот вопрос: нейросеть -- это метод последовательных приближений (аналог метода ньютона), который ищет приближённо матрицу заданного вида, минимизирующую функцию потерь на данном классе объектов.
Вот возьмите метод ньютона, который находит решение квадратного уравнения. Его устройство, по вашему, это тоже инженерия?
https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0
Или вас интересует вопрос, почему одни модели обладают предсказательной (решательной) силой большей, чем другие модели, и как автоматически находить методы, обладающие большей предсказательной силой, чем другие?
Увы, в общем виде задача нахождения оптимальной функции на пространстве всех функций невычислима. И наука давно это доказала (см. теорему Поста об останове), хотя и есть до сих пор люди, которые верят в то, что "просто наука для этого ещё не появилась".