ailev.ru

22 декабря 2017 · Комментарий

Без заголовка

Ну видишь ли, тут есть две возможности. Если для той же задачи и тех же данных добавить еще m измерений, то да, есть вероятность, что локальный минимум исчезнет. Однако существенное увеличение размерности приведет к двум неприятным эффектам: 1) потребуется значительно больше данных для обучения, 2) ухудшится генерализация, т.е. увеличится риск того, что нейросеть просто запоминает примеры, и не дает правильного ответа на их суперпозицию, например. Вторая возможность - увеличилась вся размерность задачи, и данных, и обучаемой системы. В этом случае, очевидно, локальных минимумов должно стать больше. В качестве первой реакции я просто решил, что первый вариант заведомо не имеет смысла и говорил про второй.

К записи · К обсуждению