Комментарий
У меня в начале года зародилась гипотеза, что многослойный shallow примерно соответствует эволюционными методами, а многослойный deep - градиентным.
Тут надо пояснить, что я лично различаю многослойность архитектуры и глубину обучения. Ну т.е. на основе того что считается shallow, вполне можно сделать многослойную архитекутру, просто она обучается не одновременно, а по частям.
А истинный deep все же подразумевает одновременность обучения разных слоев (ну там credit assignment problem и все-такое).
Ну и многослойные shallow архитектуры по сути обучаются эволюционным способом - пробуются разные варианты того и сего, комбинируются, варьируются и проч.