29 марта 2023 · Запись

lytdybr

Наш бот уже опубликован для студентов. Вы тоже можете поговорить с ним "за системное мышление, методологию, системную инженерию и менеджмент", он изучил эти четыре курса, уж как смог -- https://chat.aisystant.com/. Промпт сегодня перевели на русский, качество ответов вдруг увеличилось. И не надо пока ожидать от бота многого, используйте больше как умный поиск. Скажем, если вы спросите у бота, чем отличаются роль и практика -- может и не ответить, да и я бы затруднился ответить, это ж как спросить "чем отличается забивало и забивание", и это не придуманный вопрос, а реальный https://t.me/systemsthinking_course/22648 -- у студентов могут быть ошибки в вопросах, которые ставят и преподов, и бот в тупик. А ещё в ответах бот часто опирается не на наши учебники, а неожиданно на знания системных инженеров прошлого поколения, уж больно хорошо его этому научили. И в ответах часто даёт какой-то онтологический винегрет (пример: https://t.me/systemsthinking_course/22656, я там через пару реплик комментирую), поэтому к самим ответам пока будьте осторожны. Поэтому разбираться с таким будет следующая версия бота, есть много идей на эту тему. Но хорошо, когда есть что улучшать! Release early, release often. Постепенно с этим всем справимся, а пока бот своим интеллектом уже наносит непоправимую пользу нашим студентам как умный поиск. Наш бот Aisystant работает на базе решения https://www.youtube.com/watch?v=Ix9WIZpArm0 и код вот тут https://github.com/mayooear/gpt4-pdf-chatbot-langchain. И ещё у нас опубликован код форка, https://github.com/aisystant, можете лайкать! У кого есть понимание, что и как там можно улучшить, you are welcome! Обсуждение -- в чате экзокортекса, с https://t.me/exocortexssm/2854. Ещё новость -- готов новый интерфейс загрузки курсов преподами. На скриншоте момент загрузки нового курса по рациональности и исследованиям от Пион Медведевой (по нему уже идёт пробная группа, и он уже доступен в Aisystant): Вот содержание курса "Создание объяснений" (пререлиз, материал курса войдёт в программу второго года обучения):
1. Введение в исследования -- Практика исследований -- Зачем создавать объяснения? -- Эпистемический статус агентов 2. Мета-модель исследований -- Высказывание и убеждение -- Объяснение и предсказание -- Создание объяснений -- Как оценить объяснение 3. Нарративы без объясняющей силы -- Нарративы и объяснения -- Свойства нарратива 4. причинно-следственный анализ -- Объяснение и причинно-следственные связи -- Лестница причинности -- Причинность в новых терминах
А пока беседуем об эпистемологии в самых неожиданных местах, например, в обсуждении причин обильного потения на танцевальных вечеринках, https://vk.com/wall-179019873_1681. Разговор о причинах потения быстро превратился в "дискуссию о методах", и мне пока приходится с сожалением констатировать, что более-менее глубоко ответ на вопрос "а как вы это узнали?" (это и есть вопрос эпистемологии) появился только-только. Мои текущие планы по этому новому интерфейсу -- загрузить на следующей неделе фрагмент курса "Интеллект-стек". Из курса "Образование для образованных" мы уже вытащили разделы по стратегированию -- и переписали их, отдав курсу менеджмента. Точно так же переписывается раздел интеллект-стека -- и вытаскивается в отдельный курс. У меня уже есть 160 книжных страниц переписанного материала, если дописать до конца в том же примерно стиле, то будет как раз большой курс на несколько сот книжных страниц. А с остатком "Образования для образованных" и что там внтури останется (смею заверить, там много чего ещё осталось) будем разбираться потом. Сегодня на лаборатории AI я предложил перестать думать о любой ручной работе по разметке хоть чего-нибудь (разметка нейросетями всё равно лучше, https://arxiv.org/abs/2303.16854). Общий принцип тут -- bootstraping, то есть использование нейросеток для "раскрутки" чего-то тупого до более-менее умного. Важно не пытаться вычислить что-то за один проход, а выгружать в память и делать дальше над этим очередные шаги. Вот примеры таких ходов (заметим, что и для студентов, и даже для коллективов мы предлагаем такие же варианты, все эти "мышления письмом/моделированием" как раз реализуют подобные стратегии улучшения качества результата!): -- сочетание генетических алгоритмов и оценок для smart mutations, Joel Lehman, Jonathan Gordon, Shawn Jain, Kamal Ndousse, Cathy Yeh, Kenneth O. Stanley, Evolution through Large Models, 2022, https://arxiv.org/abs/2206.08896 (результаты лучше, чем в один шаг) -- методы chain of thought, https://arxiv.org/abs/2201.11903, https://arxiv.org/abs/2302.00923 и это сейчас огромное направление -- саморефлексия, это вообще классика жанра: Reflexion: an autonomous agent with dynamic memory and self-reflection, https://arxiv.org/abs/2303.11366 -- в какой-то мере сюда можно отнести разные варианты toolformer (обращения за результатом к специализированным интеллектам), https://arxiv.org/abs/2302.04761 и текущие эксперименты с плагинами GPT-4 идут по этой линии, https://twitter.com/CrisGiardina/status/1639681620264337415?s=20, https://twitter.com/vaibhavk97/status/1640626881404755970?s=20 -- AGI намётки "на шагах", https://yoheinakajima.com/task-driven-autonomous-agent-utilizing-gpt-4-pinecone-and-langchain-for-diverse-applications/ Наступил тот одновременно радостный и жуткий момент, когда на передний план выходят проблемы масштабирования: выпускники начинают приводить на нашу годовую программу свои огромные коллективы, и надо понимать, как нам быстро подготовить преподов (из наших же выпускников). Умный Aisystant прямо сейчас не сильно спасает, поэтому некоторое время придётся поработать в режиме "наши сервера подтормаживают, наверное, мы на верном пути". Завтра (четверг) вечером убываю в подмосковье на мультиданс-фестиваль, в воскресенье весь день веду пятый день СМС26, в понедельник с новыми силами за работу! Так что три дня буду плохо доступен, не шалите там в чатах.

Читать обсуждение →