Без заголовка
Проблема обучения очень глубоких сеток уже во многом решена. Вот, например, обучение сеток глубиной 150 и даже 1000 слоёв -- http://arxiv.org/abs/1512.03385, такие глубокие сетки уменьшают чуть ли не на треть ошибку распознавания объектов на картинках, при этом вычислительная сложность не растёт.
Год назад была запощена работа (первая версия) где описывалась в частности 1000 слойная сетка http://arxiv.org/abs/1412.6558v1