Обсуждение

Вот когда я level 5 куплю?..

Вот родственница, трудящаяся за Прудом в ИИ, говорила в начале зимы, что 2020 будет годом внедрения ИскИнов в бизнес готового платья. Не уточняла. Вот вроде пока ничего не видел...

Очень много в этой сфере. От показа для сфотографированного на улице изделия, что это за модель какого бренда и где купить, до точного изготовления по замерам тела через камеру телефона, от проектирования модной линии одежды до подбора моделей по стилю (рекомендательные сервисы). Где-то это только эксперименты, где-то уже встроено в продажу. Лень даже искать, это становится обыденным. Гуглить нужно на AI fashion industru -- и вылетают типа https://medium.com/syncedreview/ai-creates-fashion-models-with-custom-outfits-and-poses-a27d5784651f (это первое под руку попалось, годичной давности ещё).

Ну вот аккумуляторы на одной зарядке больше 800км уже объявили, и автомобильный компьютер на Ampere на 800 ватт для level 5 объявили (на 2021 год, как и было по плану). Проблема в лицензировании, как я понимаю. Непонятно, как показывать сверхчеловеческую безопасность. Оценки на level 5 сегодня очень разые называют, самые консервативные -- "через 10 лет".

Да, вот лицензирование наверное держать будет...

Да, фрагментарного много вижу...

Ну вот из совсем свежего: https://venturebeat.com/2020/05/19/facebook-details-the-ai-behind-its-shopping-experiences/ -- и там тоже мода, мода, мода и одежда, одежда, одежда.

Распознавание на основе статистики развивается семимильными шагами. А как с интеллектом, есть успехи?

А вы третий абзац комментируемого текста читали?!

Конечно. Чем статистическая обработка текстов отличается от обработки изображений, ведь то и другое - поток байтов? Ну, будет еще один deep fake, в котором вместо замены голов в кадре ролика будет имитация текстов "в стиле писателя Х".

Вообще-то речь давно не идёт о "статистической обработке" (это лет пять назад было модно сравнивать методы deep learning и статистику. При этом даже deep learning это про репрезентации, а не про нейросетки, так что и на нейросетки даже уже не сослаться). И отвечающие в колл-центрах боты, доученные какой-то предметной области на основе языковых моделей это не deepfake ни разу. Мы ж тут не фразами из глянцевых журналов пятилетней давности обмениваемся, тамошней расхожей мифологией? Можно ещё SkyNet вспомнить, тоже модная тема у журналистов была. Давайте ближе к тексту поста: что не так? В посте много ссылок, можно сходить по ним, и уточнить говоримое. По ссылкам много материала, я их не случайно привёл.

Эээ... а разве deep learning - это уже не архитектура нейросетей? И как быть с интересным графичком резкого падения стартапов с темой ИИ? AI hype slowdown Изображение — открыть источник

Вообще-то да, deep learning уже давно (никогда) не архитектура многослойных персептронов/нейросетей. Это была тема дебатов Markus и Bengio (я свою позицию высказал давно, Bengio прав, и эти ходы давно записаны -- https://ailev.livejournal.com/1501395.html). Насчёт графика падения числа стартапов, так статистика тут ничего не показывает. AI тут как программирование: большинство программистов мира работают не в "программистских фирмах", а в каких-нибудь бухгалтериях и инженерных службах. AI тут не исключение. Ну, и графики таки показывают другое: https://venturebeat.com/2020/01/22/cb-insights-ai-startup-funding-hit-new-high-of-26-6-billion-in-2019/ -- это по итогам прошлого года, текущий год ещё не обработан.

И снова эээ... По вашей первой ссылке говорится, что deep learning - все еще архитектура (точнее, класс архитектур) нейросетей. Слава богам. Соответственно, изначальный вопрос о принципиальных отличиях изображений и текстов для создания ИИ повис в воздухе. Вы не встречали интеллектуальных людей, не умеющих писать/читать, но хорошо рисующих? По второй речь идет о суммах, выделяемых для создания стартапов, а не об их количестве, резко просевшем в 2018 году. Это говорит всего навсего о том, что поляна пустеет, инвесторы стали создавать "единорогов" (про которые все остальные картинки в статье), чтобы собрать то, что не под силу мелким стартапам: для миллиардного оборота увеличение эффективности даже на 1% - это 10М прибыли.

Deep learning это архитектуры не нейросетей/персептронов, это глубокие архитектуры для representation learning. В этот класс архитектур входят и персептроны, но не только они. Насчёт того, что увеличиваются суммы, так это есть мой пойнт: оказалось, что малые инвестиции в AI не работают (пост об этом помянут в комментируемом посте -- https://ailev.livejournal.com/1518532.html), ибо на малые деньги можно купить малый интеллект, а его к делу трудно приспособить. На большие деньги можно купить большой интеллект, который приспособить к делу легче. При этом я боюсь, что суммы, выделяемые тем же фейсбуком на проекты типа https://venturebeat.com/2020/05/19/facebook-details-the-ai-behind-its-shopping-experiences/ в эту статистику инвестиций не попадают.

Несколько странная дискуссия, не находите? Я задаю вопросы, которые интересны мне, а вы отвечаете на другие вопросы, на которые, по видимому, есть заготовленный ответ. Я понимаю, что огурцы - не овощи, а тыквоцветные эукариоты, и что малым и средним стартапам ловить на ниве "ИИ" уже нечего, в отличие от 2012--16 гг, но вопрос о принципиальном отличии обучения на картинках и на текстах остается открытым.

Вообще-то я считаю, что в этом треде обсуждается текст, который у меня опубликован. В тексте прямо сказано, что акцент сегодняшнего этапа -- обучение на текстах, а не обучение на картинках. Дальше можно интересоваться, какие там есть варианты этого обучения на текстах (их много разных, ведущая тема этих работ -- NLU, понимание естественного языка). А у вас по-видимому, заготовленные вопросы, к которым ответы не читаются. В моём тексте есть ссылочка на страницу с текстом про тот же Turing NLG: The Microsoft Turing model has established new benchmarks for a variety of practical language modeling tasks, such as summarization, contextual prediction and question answering. Its deep foundational grasp of human language enables it to derive the intended meaning and accurately respond to questions from a document or as real-time conversational agent. С текстом всё нормально идёт, вот последние результаты на SuperGLUE -- https://super.gluebenchmark.com/leaderboard (в этих тестах и логический вывод тестируется, там ведь батарея самых разных тестов). Победитель тут -- сетка T5 (text-to-text transfer transformer -- где, где картинки в этом названии?!). Вообще, на страничке https://innovation.microsoft.com/en-us/ai-at-scale интересный таймлайн приводится. А по другим ссылкам говорится, что для языковых моделей оказался существенным фактор размера. Больше языковая модель -- лучше поведение на тестах, лучше отражение модели мира. Где в этом всём картинки, я не понимаю. То есть у вас предубеждение к SoTA в части текстов, а материалы по моим ссылкам в тексте вы не читаете. Поэтому нет никакой возможности это ваше предубеждение развеять.

Спасибо за ответ, и я совершенно согласен, что в области обработки текстов есть заметный прогресс. Мой вопрос был, почему вы считаете, что теперь-то уже это "настоящий ИИ", ведь до этого был большой прогресс в обработке изображений (в основном из-за снижения порога доступа больших наборов данных и людей-тренеров, усердно вводящих графическую капчу). Почему экстенсивное наращивание нейросети должно привести к качественному скачку? Не является ли такой подход редукционизмом?

Я не пользуюсь понятием "настоящий ИИ". Есть интеллект, у него есть определение (я пользуюсь вот этим подходом: https://ailev.livejournal.com/1498481.html, по Chollet). По этому определению просто потихоньку растёт сила интеллекта, определяемая как возможность научения самым разным классам задач. Вот научились классифицировать изображения, вот научились их генерировать, вот научились понимать текст, вот научились рассуждать по тексту, вот научились отвечать на текстовые вопросы по изображениям -- сила/общность интеллекта в решении задач растёт, слово "настоящий" не используется ни в один из моментов. Экстенсивное наращивание размера нейросети ведёт к улучшению её качества. Ни о каких качественных скачках речи не идёт. Я не пользуюсь понятием качественного скачка и пересечения каких-то границ. У меня непрерывные шкалы. Опять же, если взять когнитивную архитектуру из нескольких нейросеток, то будет эмерджентность: свойства этой архитектуры не будут сводимы к свойствам составляющих, но будут сильно зависеть от качества этих составляющих (свойства автомобиля не сводимы к свойствам его деталей, но сильно зависят от качества этих деталей). Редукционизмом называется сведение многоуровневых рассмотрений к одноуровневому. У меня нет одноуровневости рассмотрения, я вполне системно мыслю, без редукционизма. В первом тексте из серии как раз рассматривается множество системных уровней подхода NVIDIA к масштабированию вычислений (от проектных норм полупроводникового производства до конструирования датацентра из модулей-подов). Какой уж тут редукционизм! Те же рассуждения про когнитивные архитектуры, плюс современные рассмотрения того, как внутри огромной нейронной сети возникают подструктуры-подсистемы и появляется эмерджентность их взаимодействия, жизнь немедленно прекращает быть редукционистской.

С удовольствием читаю ваши заметки касательно AI - большое спасибо вам за такой прекрасный материал. Сам занимаюсь в основном «современным» data science, но было интересно копнуть в области классического искусственного интеллекта. Есть ли у вас на примете книги в этой области, которые вы могли бы посоветовать?