Без заголовка

>Я потихоньку разбираюсь с темой, но "те же самые ошибки" вполне относятся не только к моим слайдам, но и к вашему этих слайдов прочтению. Увы, звука лекции у меня нет, так что только слайды... >Попытался обогатить свой лексикон понятием net surgery -- нашёл только >http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/net_surgery.ipynb (и все остальные упоминания ведут сюда). Да, кто-то пишет "network surgery", кто-то даже использует для обозначения того же самого "transfer learning" -- почему-то любят учёные изобретать свою терминологию для того же самого действия, наверное, чтобы выделяться. Так вот, http://cs231n.github.io/transfer-learning/ -- "Take a ConvNet pretrained on ImageNet, remove the last fully-connected layer (this layer's outputs are the 1000 class scores for a different task like ImageNet), then treat the rest of the ConvNet as a fixed feature extractor for the new dataset" -- вообще говоря, это уже "net surgery". Т.е. суть в том, чтобы оставить от обученной сети кусок, и его потом переиспользовать. А второй вариант -- fine-tuning: "Fine-tuning the ConvNet. The second strategy is to not only replace and retrain the classifier on top of the ConvNet on the new dataset, but to also fine-tune the weights of the pretrained network by continuing the backpropagation. It is possible to fine-tune all the layers of the ConvNet, or it's possible to keep some of the earlier layers fixed (due to overfitting concerns) and only fine-tune some higher-level portion of the network. " -- т.е., идея в донастройке имеющейся сети под другие данные. Кроме этого, transfer learning -- это ещё и перенос данных обученной сети в другую сеть. Ещё это называется "knowledge transfer in neural networks". Но всё это относится к работе с единичными модулями. Никуда не девается проблема с тем, что нейросетевые модули "крупные" -- но это вполне объяснимо тем, что задачи пока что решаются такие, что "один нейросетевой модуль в системе -- уже много". Вот когда нейросетей будут использоваться десятки, вот тогда можно будет поговорить про модульность. Поэтому я и говорю, что сейчас противопоставлять системы с тысячами модулей и системы с нейросетью и обвязкой вокруг неё -- это противопоставлять разные системы именно по количеству модулей, но делать из этого выводы про "слабые контракты". //разбил коммент на два//