Без заголовка

дауж, сейчас много интересных вещей в нейросетках взять тот же ReLU который внезапно оказался проще, быстрее, быстрее в трене, лучше обобщается, ближе к биологическим нейронам, и который почему-то "объявился" только несколько лет назад :) очень странно :) еще есть интересная вещь batch normalization - пока не разбирался ну и orthogonal normalization т.е. сейчас как-то народ стал значительно лучше понимать процесс gradient flow между слоями, хотя там нет ничего такого, что нельзя было бы сделать лет двадцать назад (и судя по всему, L.Bottou был давно в курсе многих прихватов :)) плюс потихоньку подключаются оптимизаторы - им стало интересно делать алго для глубоких нейросеток вобщем, есть подозрение, что подход к лёрнингу будет коренным образом меняться, ну и ссылки, что Вы привели, сие подозрение подтверждают :) я вобщем и сам бы с удовольствием затестировал SVRG и orthogonal инициализацию, но сейчас пока небольшие траблы с компьютерами :)