Обсуждение

и даже философской логике с науковедением. Меня именно Leon Bottou навел на философствования на тему разницы оптимизационной и лёрнинговой парадигмы (как я их называю). Как раз на выходных встретил в статье очередную ссылку на него "As pointed out by Bottou and Bousquet (2008), however, one is usually not interested in the minimization of the empirical cost with high precision, but instead in the minimization of the expected cost". И кагбэ у меня тут серьезные мировоззренческие подвижки пошли :). Ну типа за рамки чисто машинлёрнинга, а в восприятии мира вообще. но для начала в восприятии экономики.

оптимизационная парадигма -- это когда не хватает данных, а лёрнинговая -- это когда не хватает времени? Вообще, 2008 год (http://leon.bottou.org/publications/pdf/mloptbook-2011.pdf) и до многих сообществ (даже экономистов) это всё ещё не дошло. Но мозг взрывает, да.

я пока не програботал глубоко сии понятия :) но оптимизационная парадигма состоит в том, чтобы сводить задачи в какой-то предметной области к задачам оптимизации - максимизировать/минимизировать ту или иную целевую функцию при тех или иных ограничениях на практике, прямолинейное применение такого подхода может привести к проблемам, ибо оптимизация имеет тенденцию усиливать шум, ошибки модели и проч грубо говоря, если бы формулируемые модели были бы верными, то разницы может быть и не было - хотя бы в теории можно было сформулировать expected cost. Но, на практике, все модели неверны, но некоторые из них полезны. Ну типа нам не известны точные распределения вероятностей. посему и возникают всякие способы как-то с этим бороться и как-то это компенсировать. и поскольку точные распределения нам неизвестны, рано или поздно мы с этим сталкиваемся, ну и нужно адаптировать модели :) вот это уже и есть что-то типа лёрнинговой парадигме. грубо говоря, мы если и ставим оптимизационные задачи, то понимаем что они вообще говоря кривые, ну и надо как-то с этим бороться и все такое :) Один из типичных примеров - оптимизация портфеля по марковицу. Типа в теории и in sample все хорошо, но out of sample все ужасно :). Одна из проблем состоит в том, что из-за "шума", два актива (или две комбинации активов) могут выглядеть очень похожими с точки зрения корреляции, но обладать чуть разными доходностями, ну и прямолинейный оптимизатор портфеля продаст один актив, купит другой, считая что нетто-позиция кагбэ не шибко рискованная и все такое. Вобщем, много всяких случаев когда "оптимальные" решения при каких-то допущениях на практике выходят боком из-за того что эти допущения не выполняются. Ну и тут начинается всякая robustness и проч :)

"Я ведь сторонник гибридной модели, в которой одновременно используется много разных представлений объекта и много разных обработок для этих представлений. Я продолжаю утверждать, что в мозгу есть (а в компьютере это будет повторено так или иначе) два разных когнитивных механизма: статистический (контент-анализ, ассоциации и аналогии, обучение представлениям, марковские цепи и т.д.) и формально-логический (с HOL). Оба важны". - но ведь этот формально логический механизм работает на тех же нейронах, так же статистически! Это конечно не столь эффективно, как в классических ЭВМ, но хоть как-то. А ещё мозг умеет пользоваться внешними вычислителями и прочими инструментами, что даёт надежду на удачную интеграцию нейронок с классическими CPU.