Без заголовка
Мне кажется, что этим сильно должны озаботиться в IBM Watson: сам тамошний подход подразумевает комплексирование разных солверов -- и буквально месяц назад они объявили, что берут солверы на нейронных сетках в свой оборот.
В принципе, сами нейронные сетки вполне себе архитектурно гибки:
-- обучение ведётся в них вполне послойно или покомпонентно (в этом и был прорыв: учить по слою за раз, а не все сразу), это даже не вопрос про комбинирование сеток
-- активно используются концепции претренинга, подбора начального состояния и т.д. Это в том же направлении
Вообще, каждый из типовых пакетов для нейронных сеток имеет какой-то язык их описания, в котором можно выражать желаемые архитектурные конструкции. С этим сейчас и играются, но эффективность очень часто предлагаемых решений низка. Типа "давайте добавим сюда слой вот такого типа и научим его так-то" -- в одной архитектуре и на одних данных это вдруг срабатывает и у всех счастье, а в другом очень похожем случае -- оказывается даже вредным.