Без заголовка
Я вот подумал, пожалуй, вот какая граница науки и инженерии: если процесс работы включает в себя экспериментирование с потенциально непредсказуемым результатом, то здесь и начинается наука. Будь то практический анализ скорости алгоритмов -- который относится к computer science, или тестирование качества работы нейросетей -- наука о нейросетях, или даже сталкивание частиц на ускорителе -- ядерная физика.
Так что как раз подбор весов и добавление регуляризации -- это уже и есть наука, а вовсе не инженерия.