Обсуждение

В сгенеренном и даже пропущенном через reasoner виде там только 13 :) Изображение — открыть источник

У concept там 14, исключая собственно creativity -- хотя там вообще всё очень сомнительно в целом. Но сама идея хороша: для определения креативности использовать искусственный интеллект, который выучит, что это такое из текстов самых разных людей )))

Ощущение, что все уже быстро...

вообще-то, 6.3% и 11.9% у компьютера на SWB (более простом) и CH (более шумном) а у человека колеблется от 1.5 до 4 в зависимости от шумности (хотя конечно ещё вопрос как мерить).

То, что распознавание речи существенно зависит от шумности и при шумах люди пока выигрывают -- это я понимаю. Но разрыв потихоньку уменьшается, неуклонно. Эти самые 6.3% года три назад казались несбыточной мечтой -- и вот они, уже. Сейчас новая аппаратура подоспеет, новые данные, чуть добавится анализа семантики (в разных вариантах end-to-end learning) -- и всё ещё сдвинется.

>и при шумах люди пока выигрывают -- это я понимаю С разговорной речью люди тоже существенно выигрывают на большом словаре -- может, даже ещё больше, если смотреть отношение числа ошибок. >Но разрыв потихоньку уменьшается, неуклонно. А черепаха неуклонно догоняет ахиллеса... Но догонит ли? Ограничен ли прогресс? Вы верите в то, что ошибка будет линейно падать и дальше, и прогресс не будет ослабевать с каждым годом? А я верю в логарифмическое замедление уменьшения ошибки вплоть до следующего технологического рывка, а когда будет следующий рывок -- непонятно, может, и через 10 лет. Вот "таблица рекордов" для звука: https://github.com/syhw/wer_are_we Вот для других датасетов: http://rodrigob.github.io/are_we_there_yet/build/ Прогресс за последний год вроде бы большой. Но всё ещё ответ "нет": мы ещё не там, и совершенно непонятно, когда туда придём. Всякие сири косячат примерно через раз на русском, и один раз из трёх на английском. Это лучше, чем до этого, но всё ещё дофига.