15 января 2022 · Комментарий

Без заголовка

Мне лично компонентный подход крайне близок — думаю в контексте инженерии это на 146% понятное стремление. И тут как раз имхо весьма важно понимание реальных причин трудностей обучения нейросетей. Ибо если просто компоненты тяп-ляпать то с большой вероятностью будут проблемы с обучаемостью сетки и/или генерализацией полученных моделей. Что по сцылке и отмечалось. Ну и кагбэ да, надо много перебирать. Что может и не плохо, но затратно. Насколько я понимаю, в прошлом году как раз что-то типа очередного "прорыва" в понимании произошло - https://arxiv.org/pdf/2110.01765.pdf, но читать это очень сложно. Ибо James Martens, 30 разделов, 172 страницы. В работах Martens'а прохождение чуть менее чем каждый раздела является почти что подвигом :). Их Deep Kernel Shaping возможно позволит склеивать компоненты с меньшими затратами и/или более осмысленно.

К записи · К обсуждению