7 августа 2016 · Комментарий

Без заголовка

>Действительно, если что-то не так с grounding, то исправить это будет дальше трудно -- тем не менее, именно эрудиция+логика (всякие FreeBase, тут нужно думать про тесты Винограда) и синтаксис могут помочь Не могут они помочь, их самих нужно настраивать. Представьте, что у вас афазия. Много ваших логических утверждений ваши друзья своей эрудицией исправят, если у вас в речи правильные только слова связки? Чтобы развить интеллект, нужно обучиться. Чтобы обучиться, нужно большой объём текстов осознать. Чтобы у компьютера был большой объём текстов, его нужно или вручную ввести (увы, это очень долго, нормальных корпусов нет), или сделать качественный синтаксический и семантический анализ. "Самообучение" через цикл обратной связи не работает, т.к. уровень имеющихся знаний и уровень "стройности мира" для этого недостаточно высокий. Грубо говоря, компьютер-"школьник" не может осознать свои ошибки, ему обязательно нужны учителя. Или другая аналогия -- древний человек всё равно верит в духов, как его не корми трудами французских скептиков 17 века. Проблема глубже: чем хуже качество обработки поступающей информации, тем у'же спектр задач, которым можно надёжно обучить компьютер. >Так что достижения классики не во всех задачах применимы, даже если они есть. Лучший парсер уже давно с нейросетями внутри. Я же говорю -- 94.5% на синт. анализе. И grounding / reference resolution на нейросетях тоже. Это лучше, чем machine learning и годы ручного feature engineering-а до этого. И этого всё равно мало для запуска петли самообучения и самокорректировки. >А ещё интересно, что распределённые представления работают с языком, аудио, видео -- а не только текстами. Это да, но везде нейросетевые представления работают с той же низкой степенью точности, и их нельзя применять почти ни в одной задаче. И самостоятельный вывод по этой же причине доверять компьютеру нельзя. Про fizzbuzz на tensorflow вы читали. Напомню: http://joelgrus.com/2016/05/23/fizz-buzz-in-tensorflow/ Устраивает такая точность кого-нибудь, когда 10 из 100 ответов в элементарной задаче неверные? В теории цифры высоки (ах, целых 90% точности!), в работах часто красивые примеры. Но вы попробуйте эти работы хотя бы просто воспроизвести с такой точностью! (А потом посмотреть на средние их результаты, а не на лучшие). Это выглядит так же удручающе плохо, как заставить годовалого ребёнка, едва вставшего на ноги, танцевать самбу. >Конечно, сегодня всё плохо, серебряной пули не найдено Ну, я бы сказал по-другому: серебряная пуля, это универсальное средство решения задач, найдено -- и это нейросети. В теории. В том смысле, что в теории она все задачи уже отлично решает. Но пока что всё, что у нас есть на практике -- это "бета-версия" этой пули. Будь у нас на 3-4 порядка больше вычислительной мощности -- наверное, теория и практика бы совпадали. Но пока что мы снова, как и в прошлую AI-оттепель, стоим у порога рая, и никто не знает, что дальше делать. "Вот-вот" да "вот-вот", и тянется это уже 55 лет. Так вот, я это текущее подвешенное состояние вещей не считаю большим достижением. Именно потому что практические задачи не решаются как надо! Но ещё больше я не считаю, что треш типа отсылок на теорию категорий и очередной link grammar с новым названием что-то изменит. Я понимаю, что вам нравится находить во всём глубокие корни и теоретически совмещать в уме сложные вещи. Но иногда, как говорится, сигара это просто сигара. Нейросеть -- это нейросеть, как с абстрактной логикой и абстрактной эрудицией её не совмещай, всё равно никакого роста качества нет. И ни в одной достаточной сложной задаче качество решений не превышает 95%. И выглядит это как стенка для текущего уровня технологий. Кто-то в своей задаче к ней долго подбирается, кто-то с размаху на неё натыкается, кто-то даже немного в неё погружается. Но перешагнувших -- нет. (И единственная технология, которая пока что уверенно перешагнула 95% и вплоть до 100% для более простых задач -- это мемоизация. Таблицы/базы данных, и if-ы, которые составили люди. То же алгоритмическое решение для fizzbuzz или таблица ответов.) Так что лучше давайте ждать, когда будет хоть один существенный результат. Или, ещё лучше, делать что-то для этого, конечно. Но стараться без этого "вот-вот" (и "а один мой знакомый фрик в своей работе утверждает...").

К записи · К обсуждению