ailev.ru

1 ноября 2017 · Комментарий

Без заголовка

Современный ИИ сильно больше нежели регрессионный анализ и апроксимация гладких поверхностей. Самая популярная активационная функция в нейросеткостроении - ReLU (== max(x,0)) - не гладкая. Поверхность которая получается после кучи слоев с ReLU тоже не гладкая. Апроксимация в ML стохастическая - это не совсем то же самое, что просто апроксимация. Оно может и близко, но все же не то же самое. Прогресс в ML во многом сводится к эффективным алгоритмов стохастической оптимизации негладких функций. Там теоретические результаты по сходимости получаются сильно хуже гладких выпуклых функций. И на практике это тоже представляет собой кучу проблем. Ну и логика там тоже вполне присутствует. Во-первых Байесовская как упомянул ailev, а во вторых, есть целое направление в ML основанное на логиках. Ну там типа там всякие вероятностные доказательства теорем и тому подобное. Что-нить типа того что есть набор First Order Logic утверждений, которые выполняются вероятностно. В более простом случае, это всякие решающие деревья и правила - весьма и весьма популярные в ML, data mining и проч. Неглаладкие и даже с кучей разрывов - из-за этого их в обработке изображений особо не применяют - картинка со ступеньками на выходе будет ниочень. Я так понимаю в Яндексе ML чуть ли не целиком основан на Boosted Decision Trees - просто тут выработаны быстрые масштабируемые и некритичные к качеству входных данных алгоритмы ML.

К записи · К обсуждению