Без заголовка
Мне лично компонентный подход крайне близок — думаю в контексте инженерии это на 146% понятное стремление.
И тут как раз имхо весьма важно понимание реальных причин трудностей обучения нейросетей. Ибо если просто компоненты тяп-ляпать то с большой вероятностью будут проблемы с обучаемостью сетки и/или генерализацией полученных моделей. Что по сцылке и отмечалось. Ну и кагбэ да, надо много перебирать. Что может и не плохо, но затратно.
Насколько я понимаю, в прошлом году как раз что-то типа очередного "прорыва" в понимании произошло - https://arxiv.org/pdf/2110.01765.pdf, но читать это очень сложно. Ибо James Martens, 30 разделов, 172 страницы. В работах Martens'а прохождение чуть менее чем каждый раздела является почти что подвигом :).
Их Deep Kernel Shaping возможно позволит склеивать компоненты с меньшими затратами и/или более осмысленно.