Без заголовка

Если про метамоделирование -- это наука, если моделирование в рамках известной модели -- это вполне может быть частью инженерии (после чего, если это инженерия, модель используется для получения целевой системы). Про "статистику" и "решение уравнений" -- там не всё так просто. Я вот уже писал, что есть довольно много физиков, которые жалеют о том, что математики перестали изучать физику (например, вот тут -- http://modeling.asu.edu/R&E/Notes_on_Modeling_Theory.pdf). Ну, и физику эзотерикой называть нехорошо! То, что эвристики разного уровня применяются повсеместно, я уже писал, и исследователей именно этого вопроса (например, Billy Koen, да и тот же Lenat с его Eurisco) тоже поминал. Эвристики как-то не принято называть "наукой", большой теории в них нет. А вы говорите о каких-то очень общих идеях типа градиентного спуска (почему-то игнорируя современные аспекты проблемы, например обсуждения типа https://charlesmartin14.wordpress.com/2015/03/25/why-does-deep-learning-work/), а далее чисто эвристическую работу с попытками подобрать параметры и подкрутить как-то алгоритмы почему-то обзываете "прикладной наукой". Никакой особой науки в этом нет, чистая инженерия и изобретательство. Ибо не порождается новых компактных способов описания мира. У меня, кстати, в учебничке перед разъяснением чем предметная наука отличается от инженерной науки есть ещё некоторый раздел про науковедение. Там тоже много чего интересного происходило последние годы. И, конечно, все эти тонкие онтологические различения и ярлыки очень условны. Но когда вам нужно на хакатоне модифицировать архитектуру нейронной сетки, вы для этой модификации немного можете предложить идей "из теории" -- точнее, вы можете предложить слишком много идей, но на сегодняшний момент совершенно непонятно, какие из них сработают на практике (т.е. это всё эвристические идеи, а не теории).