ailev.ru

10 февраля 2019 · Комментарий

Без заголовка

Мне очень нравится как упражнение, попытаться сконструировать мастер алгоритм из предложенных Педро кусочков. В контексте этого топика, можно еще вспомнить что лямбда-исчисление возникло как попытка обоснования математики. И есть прямая связь между интуиционисткой логикой и лямбда-исчислением. А чистое функ программирование (основанное на лямбда исчислении) есть удобный компонент как для некоторых генетических алгоритмов (граф комбинаторов удобно мутировать), так и как форма, поверх которой можно прикручивать веса, чтобы апдейтить их бэкпропагейшеном и градиентным спуском. По сему мне думается тут не так и сложно будет сделать мутацию, которая будет "осмысленно" ре-юзать веса от предыдущих поколений. Тут в качестве аналогии можно вспомнить residual блоки, которые можно включать выключать (stochastic depth) или учиться пропускать (highway networks). Ну и дропаут с дропконнектами - как способ получить устойчивые к мутациям компоненты.

К записи · К обсуждению