2. Методы инженерии личности
Как мы обходимся без понятия "сознание" в наших курсах
DISCLAIMER. Я понимаю, что тема холиварная -- все тут поп-психологи и гуру медитаций, каждый читал десять книжек на эти темы, все тут в этом разбираются. Я тоже читал, практиковал, разбирался, общался -- много даже не лет, а десятков лет. Если чего в этом тексте не сказал, не упомянул, не привёл аргументов, опустил, то это не от того, что я "не знаю", "не знаком", "не понимаю", или даже просто "не вспомнил", но оттого, что объём текста маленький, в него всего не всунешь -- даже ссылок на мои прошлые многочисленные тексты и видео, где я касаюсь темы сознания.
Виталий Ванчурин интересуется физикой сознания и телепатии -- зачем?
Виталий Ванчурин у себя в чате под новый год активно обсуждает идеи сознания и телепатии. Как я понимаю, этим он хочет привлечь внимание широкого круга исследователей к его идеям о том, что есть три сорта нейронных систем -- естественные (биологические, в которых весьма плохо с памятью, но хорошо с мутациями), искусственные (в которых весьма хорошо с памятью, но плохо с мутациями), а также скрытые (о которых мы ничего не знаем, но это ж "нейроны", поэтому могут быть самые разные неожиданные связи между чем угодно). Дальше вводится идея нескалярного интеллекта, который может быть гибридный био-нежить-скрытый и оптимизироваться на разное -- какие-то системы оптимизируются на определённую теорию, какие-то для прикладных задач, какие-то на обучение с учителем, а какие-то на самостоятельное познание. Страница проекта -- https://artificialneuralcomputing.com/neurah, в чате все эти идеи обнаружения телепатии как доказательства существования скрытых нейронов вот с этого места (https://t.me/theworldasaneuralnetworkchat/850). Это всё появилось после предложения подходов к математической теории социальных явлений (в начале декабря, вот тут: https://t.me/theworldasaneuralnetworkchat/815, сугубо математический текст). Все эти "сознания" и "телепатии" -- поиск языка, на котором можно поговорить о математике и физике с простыми людьми. Надо просто пересказать математику простыми словами, тогда математическое описание hidden neural systems можно свести к телепатии, а сознание -- это будет мерой динамики эффективности обучения/познания. Грубо говоря, сделать словарик перевода математики и физики на бытовой язык. Hidden space и телепатия при этом не особо пугают, ибо множество вселенных в мультиверсе не менее провокативно для солидной публики. Опять же the more, the merrier -- привлекает широкую публику для обсуждений, будет не скучно, вдруг кто что умное скажет.
Моё мнение тут -- никто умного не скажет, эксперимента не предложит, идей не подхватит. Но эти темы привлекут фриков и прочих людей с плохой рациональностью, обсуждения не получится. Станет только хуже, отношение "сигнал-шум" упадёт ниже плинтуса. Я лично считаю, что проблема сознания (в том числе hard problem of consciousness, но и в любой другой постановке) не существует, она не важна. И от слова "сознание" надо избавляться в том числе по социальным причинам.
Мы тестировали много догадок о том, влияет ли на скорость обучения наших студентов выбор термина. Выяснилось, что влияет -- и очень влияет. Термин не должен порождать вредные ассоциации или фантазии -- иначе научить студента не получается много месяцев. Например, мы отказались от термина "предприниматель": никто из наших студентов не был в состоянии воспринимать это как роль по Шумпетеру, со строгим ограничением предметной области экономикой. Путалось с примерно пятью другими значениями, причём эти значения менялись прямо по ходу разговора (начинали с "предприниматель это роль", продолжали "предприниматель -- это склад характера со склонностью к риску", подмешивали "предприниматель -- это инвестор", "предприниматель -- это исполнитель вообще всех ролей, начальник фирмы"). Мы вставили в курс фрагмент, который эту многозначность объясняет, а само слово "предприниматель" табуировали -- и просто описывали более узкие роли, которые обычно ассоциируются с самыми разными значениями омонима "предприниматель". Так, предпринимателя по Шумпетеру назвали по основной функции: визионером. Много "предпринимателей" говорили нам потом спасибо, ибо это позволило им разобраться со своими проектами и своими ролями в этих проектах. Ибо "особый склад характера, который выполняет в стартапе самые разные роли" -- это никак не продвигает в понимании.
То же пришлось делать с термином стейкхолдер -- то ли это роль, то ли исполнитель роли. Путаница у всех была страшная: то ли Вася Пупкин стейкхолдер, то ли Принц Гамлет, играемый Васей Пупкиным. И что означает слово (держатель хорошо прожаренного стейка -- самая была расхожая шутка) никто не понимал. Мы заменили "стейкхолдера" на "проектную/организационную роль" -- путаница исчезла. Но студенты зато фантазировали роли. Ввели метод как поведение роли, указали на примат метода -- и дали отсылку к методу как культуре (метод, исполняемый многими агентами). Фантазии в ролях исчезли. Табуировали слово "танец", ибо там тоже -- то ли это перформанс (скажем, танда в танго), то ли стиль/паттерн перформанса (танго), то ли общий тип любых ритмических движений под музыку (танец -- и танго, и сальса, и балет). Заменили "практику"/"рабочий процесс" (термины инженерных и менеджерских стандартов) на "метод" как основной синоним -- в разы ускорилось понимание объяснений про рабочие процессы (которые синонимы для метода/практики/культуры работы). Ведь "по какой практике работаешь?" и "каким методом работаешь?" -- любой студент не сможет ответить на первый вопрос без особого тренинга, а на второй вопрос сможет сразу ответить, даже без тренинга. Термин "метод работы" -- самодокументируемый.
Физика: это поиск для физических объектов таких математических объектов, которые в мышлении ведут себя похожим образом
В принципе, идея математическим объектам поставить в соответствие какие-то физические объекты в реальном мире -- это правильная идея. Это и есть то, что делают физики: берут математические/ментальные объекты с хорошо известным поведением и подбирают их так, чтобы их поведение было максимально похоже на измеримое поведение объектов в физическом мире. Весь вопрос в том, какие брать физические объекты -- вводить новое разбиение мира на объекты, или брать бытовые какие-то понятия. Скажем, можно ввести объект "флогистон", объект "эфир", описывать их поведение формулами с математическими объектами и привязывать как-то к измерениям для бытовых объектов -- делая эксперименты на предмет невязки измерений и предсказанных расчётами величин. Математические объекты всё-таки не равны физическим. Одно дело померять энергию, другое дело -- оценить значение оператора Гамильтона. Тут и надо обсуждать разницу физического (про мир) и математического (про ментальные/математические понятия) языка.
Это хорошо обсуждает Андрей Хренников, когда рассказывает про появление идей квантовой механики -- как появлялась математика, которая хорошо вроде всё описывает, но до сих пор есть трудности в физической (что это в мире) интерпретации. Если поменять математику энергии на что-то, не связанное с оператором Гамильтона, то энергия останется, а математика будет другой. Объекты мира (табуретка, квазар) те же, описание их физики через математику -- время от времени меняется. Но иногда меняется не только математика, но и онтология -- те объекты, которые есть в мире. Силы тяготения не было у древних, потом у Ньютона -- была, у Эйнштейна -- не было. Флогистон был, а затем его не было. Вот и сознание -- необязательно, что оно в какой-то математике обязательно будет, сама картина мира (онтология) этой математики будет другой, без сознания. Мы это (связь физики и математики, а также роль семантики) весьма подробно обсуждаем в курсе "Интеллект-стек" -- https://aisystant.system-school.ru/lk/#/course/intelligence-stack/.
Поэтому тут два варианта:
-- ввести нужные нам математические объекты, которые потом как-то проинтерпретировать в привязке к физическим объектам. Скажем, ввести математические объекты квантовой теории поля. И дальше мучиться "интерпретациями квантовой механики": расчёты работают, причём дают очень точные предсказания (до десятого знака!) но понять их -- не получается, этих "интерпретаций" предложено множество, по поводу них идут споры. "Заткнись и считай" тут (то есть "без интерпретаций", "у нас тут просто хороший аппроксиматор замеченных в природе паттернов") вроде как тоже не проходит, ибо тогда нельзя делать причинно-следственных утверждений.
-- подбирать формулы для фолк-интерпретаций (народных, уже имеющихся). Скажем, брать понятия из каких-нибудь народных космологий (сказок народов Индонезии, даосских мифов, индуистских святых текстов) и пытаться их проинтерпретировать математически. Трудности в том, что непонятно будет, что именно измерять.
Разбираемся с эффективностью обучения (dynamics of learning efficiency) -- стоит ли связывать её с "сознанием"?
Вот берём математику машинного обучения, обучения представлениям, глубокого обучения -- и пытаемся сказать, что весь мир является нейросетью. Это как раз научная программа Виталия Ванчурина. Дальше берём в рамках этой научной программы какое-то понятие (не путаем понятия и термины, в разговоре нужны оба типа объектов), например, эффективности динамики обучения (dynamics of learning efficiency) и проходим развилку:
-- найти объекты в мире, которые будут выражаться через это понятие. Онтологически считаем, что это и есть в мире. Остальное -- морок, суеверия древних времён. Как сила тяготения, суеверие времён Ньютона или флогистон -- суеверие времён до термодинамики. Иногда работает, но в общем случае -- нет. А что работает? Теория относительности с искривлением пространства-времени (и никакой силы тяготения нет!), термодинамика, где флогистона нет. Как нет? А вот так -- нет! Тут проще всего считать, что это понятие в мире -- есть, прямо говорить, например, "эффективность обучения" и рассматривать его изменения.
-- пытаемся найти понятие из текущих мифов, суеверий, каких-то других научных теорий -- и сделать словарик. Так сказать, словарик между ньютоновской силой тяготения и понятиями теории относительности, где этой силы нет. Ну, или берём сознание, объявляем его свойством -- и считаем что это эквивалент эффективности динамики обучения. Иногда может сработать, если мы заняты концептуальным синтезом (скажем, набираем разные кусочки теории эволюции -- получая сначала теорию Дарвина, затем эволюционный синтез, потом новый эволюционный синтез, затем расширенный эволюционный синтез, я неоднократно уже об этом писал. В какой-то мере мета-мета-модель из курсов ШСМ представляет собой продукт аналогичной работы). Но чаще всего это не срабатывает, если вместо концептуального синтеза нескольких теорий, основанных на эксперименте, делается просто попытка "выразить сложное понятие простыми словами, знакомыми людям". Всё это в общем виде обсуждалось в моём коротком программном тексте "Преподавание химии на алхимическом языке: и не пытайтесь!", https://ailev.livejournal.com/1509956.html (2020). Пытаться рассказывать про мир как нейросеть, задействуя богов, телепатию и сознание -- не надо. Проще найти что-то более измеримое, воспроизводимое, однозначно понимаемое, просто заземляемое/grounding.
Если уж и стоит задача выбрать термин (не понятие) для эффективности динамики обучения (dynamics of learning efficiency), то нельзя брать слова, которые вызывают у людей у каждого собственное прошлое понимание его значения (например, "сознание"). Научить собственному пониманию сознания не удастся: всякого приходящего придётся долго и нудно переучивать. Моё предложение: если уж заниматься физикой, то надо онтологию "класть" -- предлагать физические понятия, за которыми стоят математические объекты и которые можно как-то измерить (то есть отследить изменения в физическом мире у каких-то объектов). Не надо дальше тащить какие-то старые понятия, будет плохо. Не надо привязывать понятие эволюции, например, к понятию бога -- абстрактного, или даже конкретного (скажем, к Зевсу). Понятие эволюции вводим, понятие бога забываем.
Термин/слово "learning" в машинном обучении, обучении представлениям, глубоком обучении имеет совсем не бытовое значение (в быту это -- "учитель учит ученика"). Если взять как "самодокументируемый термин", то будет дикая путаница в понимании термина, тем более что тип "обучения" -- процесс/функция. Люди очень плохо понимают процессы и говорят о них мутно. Тем более, что там два модификатора: свойство процесса (эффективность), и свойство свойства (динамика эффективности).
Если брать русский язык и пытаться передать "обучение" из глубокого обучения "по смыслу", а не "по словарю", то там имеется в виду что-то, близкое к получению знания в науке (а не в школе или вузе) -- познание. Это означает, что в английском лучше бы говорить не learning, а cognition. Вот и оставить "познание", при этом так и говорить -- "изменения эффективности познания" (ибо "динамика" -- термин, который понимают только люди, понимающие про Гамильтониан. Вот и заменить "динамику" на "изменения").
Мне это представляется хорошим, но недостаточным: познание в быту представляется как чисто исследовательская работа, "изучение вселенной". Нет прагматического императива, выхода на изменение мира к лучшему. Это потребуется объяснять дополнительно, как "познание" прикрутить к "выживанию" -- все эти рассуждения про оптимизм, просвещение и т.д.
Второй вариант -- познание/learning заменить на эволюцию, опираясь на то, что процесс/функция алгоритмов нейросетей описывается как эволюционный алгоритм. Это замечено уже многими исследователями, например, https://arxiv.org/abs/2410.0254 (диффузионные алгоритмы в нейросетях эквивалентны эволюционным алгоритмам). Тогда будем говорить об изменении эффективности эволюции. У команды Ванчурина есть тексты про эволюцию и там таблицы соответствия терминов термодинамики, deep learning и эволюционной биологии. Вот и добавить ещё один столбец -- "смысловое понимание из обыденного языка", чисто для учебных целей. Хитрость в том, что "обучение" по-русски и "learning" по-английски имеют чуть разные смыслы, поэтому таблица на разных языках будет иметь разные термины и разные ассоциации. Мышление по-русски и мышление по-английски тем самым будет давать разные результаты в силу разных ассоциаций, но это давно известный факт, можем этим пренебречь.
Поэтому тут два соображения:
-- эпистемологическое: не надо тащить в новую теорию все старые понятия из народного деления мира на объекты. Не надо брать понятие "душа" и трактовать его в терминах какой-то физической теории. То же самое не надо делать со словом "сознание".
-- социальное: слово "сознание" притягивает как магнитом людей, которые чужды логическим и физическим рассуждениям. Например, психологов (у меня много друзей-психологов с университетским образованием, которые фанаты астрологии и нумерологии). Даже если поменять "сознание" как процесс на познание как процесс или сознание как свойство системы на интеллектуальность системы (интеллект -- это как раз мастерство решать проблемы, в целом интеллектуальность вполне похожа на эффективность познания/обучения), то могут прийти когнитивные психологи -- но это ж совсем другие люди, у них более точное мышление, с ними можно и о математике поговорить.
Даже если считать, что это "промежуточный этап, упражнение для разъяснения непосвящённым, потом перейдём от алхимического языка к химическому", то это не получится -- упражнение и "промежуточность этапа" будут не видны, до химического языка никто не дойдёт, так и останутся на алхимическом, но будут говорить, что это "научно подтверждено, там где-то была строгая математика". Не надо так.
Можем ли мы уйти от обсуждения сознания? Да, конечно можем! Примерно так же, как ушли от обсуждения флогистона, обсуждая нагревы и охлаждения -- оставили термодинамику. Не объясняем химию на алхимическом образном языке, "проверенными столетиями алхимических практик понятиями". Какие тут можно сделать ходы?
Описывать феномены субъективного восприятия без использования понятия "сознание"
Первый ход -- описывать феномены субъективного восприятия (большинство аргументов нужны для этого: сознание как переход к восприятию восприятия изнутри агента) и что с этими феноменами делать. Скажем, та же соматика -- как вести себя с телом, данным тебе в ощущениях "изнутри" ("тело, воспринимаемое изнутри" -- это и есть "сома"). А субъективное восприятие ("неназываемое") формировать, помещая агента в контролируемую ситуацию, "воспроизводимый эксперимент". Скажем, чтобы получить субъективное восприятие горячего, надо агента сунуть в горячую воду и сказать "вот это субъективное восприятие горячего". Ken Wilber так предлагал реплицировать эксперименты по достижению просветления, ему как раз приходилось отвечать на вопрос "как продемонстрировать принципиально недемонстрируемое". Просветление годится только для цирка, но мы это не обсуждаем, просто говорим, что "почувствовать себя просветлённым, что неописуемо никакими словами", то есть "продемонстрировать недемонстрируемое" довольно просто: надо заставить агента выполнить инструкции, достаточные для репликации эксперимента. В предлагаемом к репликации эксперименте надо любопытствующему человеку удерживать внимание год-другой, иногда и лет пять-шесть в бодрствовании, затем в быстром сне, затем в медленном сне. Можно контролировать бодрствование и быстрый-медленный сон по замерам на энцефалографе, всё вполне рационально. После этого любопытствующий в том, "каково оно, просветление" оказывается просветлённым -- он имеет соответствующий опыт/впечатление/experience работы его собственного мозга в таком режиме (это цирк, хобби, спорт, повторить в домашних условиях легко -- но требует времени, усилий, довольно опасно, но полезно не больше, чем освоение каких-то других цирковых режимов: ходьба по канату, йогическая гибкость тела и т.д., только тут это с мозгом. В жизни приложимо так же, как ходьба по канату и йогическая гибкость: можно выступать в цирке, иногда воевать в рукопашной схватке без шансов применить технику, больше нигде). Тем не менее, это вроде как хрестоматийный пример того, как работать с рационализацией субъективного восприятия.
Этот ход мы сделали в курсе "Системный фитнес", там ведь соматика, "первая позиция восприятия" -- предлагали эксперимент, в котором мышца обмякала, говорили студентам -- "то, что вы чувствуете, назовём обмяканием". Всё отлично сработало, дальше можно обсуждать субъективный опыт -- заземление на "прочувствование в контролируемой ситуации" отлично решает вопросы "называния неназываемого". Нюансы, конечно, есть. Но есть и методы решения проблем с этими нюансами.
Про "позицию восприятия"/"референтный индекс" (от первого лица, от второго лица, от третьего лица, или per se, per re) мы уже поминаем -- в "Интеллект-стеке" в подразделе "теория сознания". Конечно, надо этот материал расширить:
-- дать подробней соображения Chris Partridge, и кроме его примеров бухучёта больше пояснить про stakeholder eXperience (там как раз ход на описание впечатления агента-в-роли из его первой позиции, а не из второй или третьей позиции)
-- развернуть в "Системном мышлении" и "Методологии" материалы, которые давал в AQUAL Ken Wilber. Конечно, у него там сразу дальше ход на духовность, а также стадийные теории развития (которые не подтверждаются экспериментально), но если это убрать, то остаются позиции восприятия и даже какие-то примеры теорий/дисциплин, работающих с этими позициями. Ken Wilber вполне себе системный мыслитель, это всё вполне себе материал по системному мышлению, если вас интересует мышление агента про себя, любимого (из первой позиции, а также приёмы перехода между позициями -- скажем, рефлексия).
-- более чётко прописать этот материал в программе "Личное развитие", ибо там как раз ставится задача "саморазвития", то есть развития из первой позиции восприятия, так что надо давать инструменты для работы с этой позицией.
Вся эта психология и парапсихология (в том числе все эти "осознанности" с выходом на "просветления") интересна людям прежде всего тем, что неявно обещает повышенный уровень счастья (плохой термин, очень многозначный), повышенный уровень well-being (чуть получше). Наш опыт показывает, что это тупиковое направление. Если у тебя нет витамина D, что выясняется простым анализом крови, то можно иметь огромные проблемы со слабостью и утомляемостью, относить это к лени, ругать работу -- но психолог тут не поможет, а поможет приём витамина D. Если проблемы с надпочечниками, то тоже никакие психологи не уберут "выгорание по жизни", даже если ходить к ним два раза в день каждый день (за умеренную плату, конечно). Даже если вместо психологов обращаться к LLM, которая работает уже во многом не хуже психотерапевтов. Если ты сидишь в убогом дохлом проекте, то психологи тут не помогут -- поможет понимание того, что дохлого в проекте, а также умение или исправить проект, или умение быстро перейти в другой проект. Что же касается чисто практической стороны вопроса, то мы давно заметили, что наша программа обучения методам внешней работы отличненько продвигает студентов в части их wellbeing в первой позиции. Например, в https://systemsworld.club/t/samosmii-2024-ak-8-aya-vstrecha-sistemnyj-menedzhment-6-10-glava-zametki/20234 наш студент замечает:
— уровень тревожности снизился: понимаю что могу, а что не могу и спокойно про это думаю. Меньше страха
— без ШСМ не получилось бы вывезти нагрузку
Никакой психологии, никаких приёмов работы с "сознанием", а эффекты вроде бы вполне психотерапевтические. Главное, что это массовый поток таких замечаний от студентов, это не единичное свидетельство. Оказывается, фундаментальное образование уменьшает тревожность, что твой фенибут или ещё какой выписываемый строго по рецепту психотроп.
Берём теории сознания -- и тамошнюю концептуализацию, но без слова "сознание"
Второй приём -- взять какую-то механистическую (с рациональными объяснениями, без отсылок к "скрытым слоям" или "космическому разуму") теорию сознания и изложить нужные нам её моменты в терминах мета-мета-модели, но игнорировать само слово "сознание". Работать с отдельными сущностями, но не собирать их в какое-то целое. Ровно как сделали с "предпринимателем" (разобрали отдельные роли). Мы очень много времени потеряли на разбирательство с "сознанием" при создании курса "Рациональная работа". Мы в итоге взяли теорию схем внимания, attention schema theory (AST) — https://en.wikipedia.org/wiki/Attention_schema_theory. Вот ответ AST на критику других теорий сознания: https://grazianolab.princeton.edu/sites/g/files/toruqf3411/files/graziano/files/graziano_2020_review.pdf. Есть и конецптуальный синтез нескольких механистических теорий сознания, "стандартная теория сознания" -- https://disk.yandex.ru/i/jNrkSyc-9ohRIA, туда входит в части объяснения субъективного опыта и AST. При этом мы выкинули само гипермногозначное слово "сознание", стали говорить в терминах нужных нам объектов из теории.
Ввели многокамерное внимание с зуммированием (концентрация на точке -- деконцентрация как 360-градусное мультимодальное внимание), добавили память паттернов/типов какой-то мета-модели (схемы!), которые направляют это внимание. Внимание также имеет много определений (например, внимание в архитектуре трансформеров не то же самое, что человеческое внимание), но его легче обсуждать и воспроизводить в жизни.
Ввели понятие "собранности" как удержание внимания на разных периодах времени, в том числе удержание внимания на внимании к разным моделям. Добавили часть курса по моделированию, без которой обсуждение внимания было непродуктивным: если не знаешь, что искать -- будет блуждание бессмысленного внимания, непродуктивная собранность по поводу пустяков (вот как у просветлённых: не так много из них известны своими делами, при этом они собранны как в цирке -- без технических средств, чисто животная собранность, и результаты поэтому малы, цивилизацию не просветлённые продвигают). Описали собранность в "Интеллект-стеке" (https://aisystant.system-school.ru/lk/#/course/intelligence-stack/2023-07-27/11513), развернули методы собранности в "Рациональной работе" (например, раздел "Концентрироваться на важном": https://aisystant.system-school.ru/lk/#/course/ontologics-sobr/2024-12-20T1629/54857). Это помогло, вместо непонятного и плохо заземляемого "осознанность" используем "собранность". Все рациональные люди остались наши, методы работают, все любители поп-психологии, духовные гуру, тренеры медитаций -- за бортом, как и хотели.
А сам термин «сознание» оказался лишним и путающим для всех практических целей описания субъективного опыта (восприятия от первого лица), полезным оказалось обращение к описанию происходящего с агентами в другом наборе терминов, легко заземляемых (grounding). То же самое касается многих духовных школ: они обучают цирковым трюкам с умом, но дают легко заземляемые инструкции, связанные с вниманием (например, внимание к коанам), а не инструкции в терминах "сознания". Но в описаниях они художественно и не заземляемо говорят о сознании или дао, в реальных инструкциях — только о характеристиках внимания (многокамерное внимание с онтологически определенными типами объектов во внимании).
Так что внимание, собранность -- это много лучше, чем "сознание". Умение выделить заранее известный тип фигуры (этот тип задаётся какой-то мета-моделью) из фона -- это внимание, удержать его в мышлении -- собранность, и даже киберсобранность, ибо удерживать будем чем-то небиологическим -- чаще всего компьютером (отсюда и "кибер"). Так что не используем слово «сознание», работаем только с концепциями внимания и моделей. Все фрики и любители психологи и любители философы исчезли, это очень сэкономило время, сберегло репутацию, помогло в быстром обучении культуре киберсобранности.
Toolformer
Моя любимая идея Toolformer двухлетней давности ("Toolformer: Language Models Can Teach Themselves to Use Tools", https://arxiv.org/abs/2302.04761) получила развитие для reasoning -- "Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models", https://arxiv.org/abs/2503.16779. Результаты плохи ("better than the baseline", читай -- "чуть-чуть лучше, чисто для статьи"), но сама постановка задачи интересна -- "уметь выбрать из 999 инструментов, часть из которых сетка вообще никогда не видела -- без доучивания". Смотрим на текст не столько как на "результаты, надо пользоваться", сколько на "продолжаем развивать идею". Для меня эти "инструменты" -- это ответ на теорему о бесплатном обеде, что нет универсальных алгоритмов, которые решают одинаково быстро все классы задач. Вот инструменты -- это как раз палитра алгоритмов для "особых случаев". Примеры тут должны быть алгоритмы оптимизации, алгоритмы решений систем дифуров и прочее такое, где универсальный алгоритм работает настолько медленно, что его выкидывают по тайм-ауту, ибо он всегда заканчивается "подвисанием в бесконечном переборе". Описано это подробно в https://arxiv.org/abs/2308.04445, "Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc" (читать там не про trustworthy AI, а про опыт CYC). Думать, как и копать, надо всегда не голым мозгом или голыми руками, а с каким-нибудь солвером, хотя бы калькулятором, или в случае копания если не каким-нибудь экскаватором, то хотя бы палкой-копалкой.
Напомним картинку Toolformer, которую уже многие забыли, https://arxiv.org/abs/2302.04761. Всего пару лет назад, седая древность. Смысл в том, что палкой-копалкой копать результативнее, чем голыми руками -- и этому можно выучиться. Думать внешними мозгами результативнее, чем собственными голыми мозгами -- и этому тоже можно выучиться.
Терминология: мантра, дрессировка и язык позитивной психологии
У нас в методсовете развернулась дискуссия по использованному мной слову "мантра" (вот тут давал мантры оргразвития -- системного мышления, операционную, распожаризации/lean, стратегирования: https://ailev.livejournal.com/1756760.html). Похоже, что "эксперты разделились на два лагеря" -- одни горячо "за", другие горячо "против". Это означает, что "эксперты попали на неизведанную территорию". Там буквальный перевод с санскрита "инструмент для собранности/focusing ума" и коннотация "непрерывного повторения". И отсылку к эзотерике обращаем в шутку "доступности только посвящённым" (это ж формальное определение эзотерики!). Поэтому по смыслу хорошо подходит, как ни странно. "Повторяй мантру, она удерживает собранность". Лучше, чем "повторяй шпаргалку, она удерживает собранность", или "повторяй алгоритм, он удерживает собранность" (да ещё и разъяснения, что это не "пошаговый алгоритм", а именно что "средство удержания собранности в длинных рассуждениях"). В литературе при этом полно употреблений термина "мантра" безо всяких эзотерических коннотаций. Будем строить тренировки по отдельным пунктам этих мантр.
Объяснения при просвещении: надо упрощать правильное объяснение, а не общаться на неправильном языке
Как работать с misconceptions
Михаил Гусаров навёл меня на статью "Identifying and Correcting Programming Language Behavior Misconceptions" (https://cs.brown.edu/~sk/Publications/Papers/Published/lk-smol-tutor/paper.pdf). Фантастически интересная работа! Она содержит:
-- онтику трудных понятий (curated list of misconceptions) в общей онтике (semanic basis) современных языков программирования. И даже лиспоподобный язык программирования, который выражает ровно эти понятия.
-- предложение по обнаружению "слепых пятен" в понимании трудностей обучения, из-за метанойи экспертов. Эксперты банально не замечают трудностей в понимании студентов, поэтому не дают ни разъяснений, ни необходимой тренировки для этих трудностей. Так что "надо поставить датчик на заблуждения". Термин misconception/заблуждение там намеренный, это не студенческие ошибки/errors. Грубо говоря, проверяемые в conceptual inventory заблуждения должны быть наработаны отдельно, для этого должен быть инструментарий (https://ailev.livejournal.com/1197467.html, пункт 6 ровно про это).
-- система обучения "сержантским методом", которая ловит студента на заблуждениях и позволяет ему потихоньку пройти метанойю (генератор задач и проверка исполнения). Отличается от традиционных систем обучения программированию тем, что специфическим образом направлена на обнаружение искоренение заблуждений, а не просто на обучение концепциям программирования.
Во всём этом одна проблема: речь идёт о проекте, где возможен высокий уровень формализации (вводится даже свой язык программирования и его интерпретатор) и тем самым возможны формальные проверки ответов студентов -- по ответу понятно, какого типа у студента непонимание. Скажем, если студент отвечает на "Сколько будет 1+6*2" -- 13, то это одно понимание семантики, а если отвечает 14, то другое понимание. Тут ещё важно, что сам пример по факту -- ловушка, и кто учил математике, тот сразу это понимает. Последний раз я встретил этот пример с "ловушкой" при регистрации на форуме у Ratiborus. Ловушка была в виде пробела: "1+6 *2". Я уверен, что у довольно многих "продвинутых пользователей", а не программистов, в этом месте "дрогнут мозги". Вот пример из статьи, там ещё и проценты неверных ответов считаются (в классе 50-70 студентов каждый год):
Когда же речь идёт о псевдокоде и тем более "просто тексте" (верхние онтологические уровни — это "просто текст", в наших курсах это поясняется), то всё много хуже, формальных проверок нет. Хотя общие принципы сохраняются, только значительная часть работы проводится преподавателем "вручную":
-- при создании курса все подозрительные на непонимание места обсуждаются не в одном месте курса, а в разных, и добавляются разъяснения и множество примеров. Это, конечно, не одноразовая процедура, а "вечный процесс", так что текст курса и задачник сразу содержат "curated list of misconceptions").
-- если всё-таки преподаватель замечает много студенческих ошибок в каких-то ситуациях, то он обязан учесть их в тексте курса с разъяснениями (например, добавить объяснения, добавить примеры, добавить задачи).
-- далее задания делаются не любые "по материалу курса", но именно на возможные заблуждения (conceptual inventory).
То есть формально всё то же самое, только в качестве "автоматизированной системы" тут выступает преподаватель и автор курса. У меня в "Системном мышлении" 110 вопросов и 560 ответов с ловушками, как раз для этого. И надо заполнить 35 разных таблиц, которые тоже составлены намеренно "коварно", ибо это ж conceptual inventory, проверка заблуждений, оставшихся после попытки понимания учебника. В девятой переписке текст был по факту удвоен по объёму -- ровно из-за того, что в текст вставлены дополнительные примеры и разъяснения для наиболее частых заблуждений. Да, читать стало вдвое больше по объёму, но заблуждений после этого чтения -- меньше!
Вот последний отзыв по поводу "Системного мышления", получен пару дней назад: "это вообще другой курс, думаю, его и с первого раза можно понять. За счет объяснений, вставленных просто везде. Раньше был только материал - а теперь, дополнительными объяснениями исключены возможности «не то прочесть». Ощущается как - «ведение внимания»".
Вот пример наших "ловушек" с ответами (скриншот из курса "Системное мышление" в LXP Aisystant):
В самом тексте курса "Системное мышление" ещё и чеклисты предлагаются для потенциальных мест, где легко в суете проекта проявить очередное заблуждение. Так, с понятием системы есть даже раздел "Частые ошибки в выявлении целевой системы", там подробно разобраны (причём не в первый раз по тексту курса!) типовые misconceptions/заблуждения студентов -- и высокопоставленные руководители всё равно наступают на эти грабли снова и снова, так что тут надо быть терпеливым -- ровно как и при обучении программированию (https://aisystant.system-school.ru/lk/#/course/practical-systems-thinking/2024-05-01T1627/28728):
-- Вы выдаёте описание системы за систему.
-- Создатель/«система создания»/инструмент/«провайдер сервиса», как целевая система.
-- Одинаковые имена целевой системы и её части (или целевой системы и надсистемы).
-- Одинаковые имена для самых разных систем.
-- Слишком высокий системный уровень (отсылка «на деревню дедушке Константину Макарычу»)
-- Сверхобобщение (указывается какой-то надкласс вместо конкретного класса систем)
-- Релятивизм (ошибка всех тех, кто не уверен в принадлежности к какой-то команде).
-- Целевая система как все самые разные виды систем всех самых разных проектов, которыми занимается агент (чаще всего — крупное предприятие, у которого много видов продукции).
-- Игнорирование первичности основной функции/метода работы системы.
-- Пропущенная система.
-- Флоты, пулы, агентуры, клиентуры.
-- Указание на какую-то связанную с целевой системой, вместо той, которая целевая.
-- … множество других ошибок, проявляющихся во множестве других ситуаций.
Мы непрерывно замеряем квалификацию и даём обратную связь студентам (принципы квалифицирования -- https://ailev.livejournal.com/1723294.html). Когда у студента хорошо подвешенный язык и общая сообразительность (наши студенты -- это часто какие-нибудь главные инженеры заводов, которых прислали "по разнарядке"), но материал всё-таки не освоен — флегматично перечисляем ошибки, говорим, что в курсе говорится и где именно говорится по этому поводу, что почитать дополнительно. Тут даже непонятно, заблуждение это при нормальном обучении, или студент просто в глаза не видел материала курсов (например, банально не читал про то, что произносимое его хорошо подвешенным языком -- ошибка), или листал материал по диагонали во время рабочего совещания прямо перед занятием (поэтому о существовании списков возможных ошибок знает, но какие именно там ошибки -- нет, уже не вчитывался), поэтому о прохождении всех наших специально расставленных ловушек и говорить не приходится.
Тут важнее всего — давать feedback, то есть это процедура замера для целей дальнейшего обучения, презумпция добросовестности студента. Более того, надо, чтобы все члены группы понимали содержание происходящего (каждый из них мог бы быть на месте такого студента, каждый мог бы делать такие заблуждения по поводу содержания курса, но и каждый мог бы так находить эти заблуждения, как это показывает препод, это всем учебный пример).
В отличие от обучения программированию, тут нельзя предлагать автоматизацию, ибо для не слишком формальных текстов пока есть разные LLM, которые оказываются более-менее бесполезными для курсов типа нашего.
А что касается самого текста про conceptual inventory и программирование, то повторимся:
-- он важен как предложение общей онтики для самых разных языков программирования
-- там даётся список заблуждений, "где они все ошибутся", это существенно поднимает качество обучения.
-- предлагает не обучение на "популярном языке программирования", а обучение собственно понятиям программирования, общим для множества языков, поэтому выбран язык программирования, позволяющий гарантированно выразить эти понятия.
-- И уже для этого языка предложен инструментарий обучения, который позволяет не только "создать", но и "развивать" conceptual inventory на базе замеров результатов прохождения курса студенческими группами.
Вот пример тех заблуждений, которые были найдены не самими преподавателями, но преподавателями с помощью нацеленного на это инструмента проверки знаний (SMoL Tutor):
Помним, что обучение программированию в школе вводилось для формализации описания методов работы и последующего составления планов действий (императивное программирование). Современное программирование -- это прежде всего моделирование. Недаром, если нейросетку сначала учить не на примере неформальных текстов из "этих ваших интернетов", а на примере формального программного кода, она становится умнее, ибо знакомится в своей части "языковой модели" с понятиями типа и логикой (это я говорил много раз, но сейчас вроде это уже общее место) и поэтому легче избавляется от мусора в художественных текстах (исследования такого сорта были -- пункт 3 в https://ailev.livejournal.com/1719578.html), а ещё в текстах программ вполне себе части формальных моделей мира, что тоже немаловажно. Может быть, для людских мокрых нейросетей надо учить не на огромных массивов кода, но реально учить языкам моделирования (моделирование, онтологизирование, программирование -- это одно), чтобы добавить умений критики. Язык логики -- это ж язык программирования, помним про Curry-Howard. Онтологию тоже выражают на логических языках, а обработку онтологий в наиболее успешных проектах (экспертные системы) часто вели на Прологе.
Хотя вроде само обучение программированию как массовой профессии теряет смысл: Karpathy давно уже сказал, что метод градиентного спуска пишет код лучше, чем программист (и это был поворот к Software 2.0, даже не к парному программированию с AI-copilots), а не так давно он сказал, что самый модный язык программирования -- английский (и это -- поворот к Software 3.0, когда люди делают только постановку задачи). Но не теряет смысл умение поставить задачу, то есть разбираться в том методе работы, который должна поддержать программа, а также разобраться с тем, как устроен коллектив, который работает -- разобраться в методах коллективной работы. И не теряет смысл понимать, в чём же всё-таки разница между неформальным представлением наших мета-мета-моделей в тексте и формальным представлением моделей в языках программирования. И вот как бы авторы статьи учили этому -- непонятно. Я же работаю как раз над этими темами.
Сообщества как обучающие организации
Эскиз клубного проекта
Эскиз клуба создателей на базе продвинутых AI-агентов
Когда-то в 2011 году я выступил с эскизом образовательного проекта, https://ailev.livejournal.com/961237.html. Тогда это было полностью шапкозакидательно, чистое прожектёрство. Но, удивительно, через четыре года после этого стартовал проект ШСМ, а сейчас выпущено больше двух тысяч человек, прошедших полностью хотя бы один курс. Плохо масштабируемо пока (хорошее образование до сих пор плохо масштабируется и дорого), но всё работает.
И вот в 2025 году, когда стало понятно, что важнее не такое образование, а клуб (виртуальный клуб -- сегодня это называется социальная сеть) выпускников подобного образования, надо писать новый эскиз, но уже клубного проекта. Даже клуб клубного проекта, ибо на базе клуба, культура которого поддерживается фундаментальным образованием (о котором я писал в 2011 году), могут существовать множество прикладных клубов по инженерным интересам. Мы когда-то думали про "школу как платформу", где на основную базовую программу могло бы быть нанизано огромное количество прикладных курсов -- но вот не случилось, прикладных курсов нет, их некому разрабатывать. Опять же, школа -- это только вход, а дальше клуб, а вот с прикладными клубами (пытались делать лаборатории) всё плохо, ибо в лаборатории приходили учиться, а не исследовать. Ну, типа как "студенческая лаборатория", где нет ни одного профессора или хотя бы постдока, а только студенты третьего курса -- пришли за опытом. Надо тем самым как-то это всё автоматизировать, поэтому выдам очередной эскиз проекта -- теперь клубного.
Клуб должен выполнять работы полного цикла, используя AI -- конечно, это будут AI следующего поколения, или даже следующего к следующему, которое уже не так долго ждать. Будущее придёт внезапно, надо давать себе свободу о нём подумать.
Каждый клуб по интересам должен крутиться вокруг отслеживания и обсуждения SoTA той или иной предметной области -- причём это должны быть не слишком широкие предметные области, но и не слишком узкие. Сейчас в качестве таких клубов выступают какие-нибудь чаты телеграм-каналов. Хотя мой чат вряд ли такой в силу совсем уж общего характера того, что у меня идёт в постах ("Лабораторный журнал" -- это моё мышление письмом, а не клубный канал новостей предметной области). Но можно взять из чатов создателей gonzo-обзоры https://t.me/gonzo_ML (функциональные архитектуры LLM) с тамошним чатом или LLM под капотом (функциональные архитектуры корпоративных систем на базе LLM) -- https://t.me/llm_under_hood с тамошним чатом. А вот остальные чаты "про LLM" не подходят, это не столько "клубы создателей", сколько "новостные агентства по выпуску продуктов крупными вендорами" (что-то типа художественной критики, "был я на балете в Мариинском театре, так вот главный балерун споткнулся в дневном представлении, а декорации вполне хороши") и "жёлтая пресса" (которая развлекает, а не просвещает -- много мемасиков или эквивалентных текстов). Хотя многие из них начинались как вполне себе инженерные чаты, но уж что вышло, то вышло. Чаты наших групп поддержки тут тоже не образец: там нет потока новостей, которые пытаются отследить SoTA.
Отслеживание трендов
Увы, разные "отраслевые тренды", которые в количестве случаются во всех блогах под новый год -- это не совсем то. Это тонкий момент, когда появляется перспективная технология, которой занимаются несколько человек, и эта технология завоюет мир. Скажем, в 2012 году после "момента ImageNet" -- это была смена технологии с shallow на deep pretraining. Это надо было отследить по "общему потоку всех новостей" и сформировать новый клуб. Как? Непонятно. Для этого придётся рассмотреть вопрос о том, что такое "новости" (мне тут не слишком сложно сформулировать, ибо я много и сам занимался новостями, работая с крупными ньюсмейкерами по PR проектам, и общался много с разными разработчиками новостных систем). Новости отвечают следующим критериям:
-- они новости. Сутки -- это новости. Неделя -- это материал для статьи в глянцевых журналах (где ожидается проработка получше, учёт контекста и прочая "аналитика" и полировка подачи), а для новостей это уже неинтересно. Сегодня новость должна быть свежая, но вот проработка должна быть как для глянца.
-- они (потенциально) затрагивают жизнь большого числа людей. Скажем, день рождения знаменитости -- это не новость (даже если журналистов-блогеров там обильно поить-кормить, то они ничего не напишут). А вот если знаменитость что-то сделала, что можно повторить простым смертным -- то есть потенциально это влияет на действия людей -- это новость. А уж если война или выпуск новой модели OpenAI (с шансом, что ей воспользуются миллионы людей, а не проигнорируют и уйдут к конкурентам) -- совсем большая новость!
-- есть понятие "интереса" (привет Шмитхуберу с его теориями, но там много разных теорий. Скажем, в статье https://arxiv.org/pdf/2503.02831 про meta-learning to Explore via Memory Density Feedback (там парадигма reservoir computing, упоминал эту статью в https://ailev.livejournal.com/1757388.html) читаем про Kinds of Curiosity: The most popular exploration algorithms each tend to fall into one of three categories by the kind of objective term used: prediction error, reconstruction error, and memory density. Each of these algorithms works because the target is non-stationary. Model-based methods promote attainment of un-modeled data, which then used to improve the model. Model-free methods promote attainment of data that are not yet in memory, but cease to be novel upon collection. All methods result in a cyclical progression of novel states through the environment. Вот это оно, exploration. Новости нам нужны для exploration в отслеживании тренда. Есть, конечно, и другие способы задания трендов. Я уже неоднократно писал, как задают тренды математики: математик должен показать, что у него всё в порядке с мозгами, для чего он должен решить какую-то "интересную задачу", которую оставил кто-то лет так сто назад -- и которую ещё никто не решил. Когда решил, его обязанность -- задать новый "интересный тренд", оставить новую "интересную задачу", чтобы следующее поколение знало, какие тренды. Рома Михайлов обижался на Перельмана, что тот крупную задачу решил, а на следующий тренд не указал, не выполнил обязанность. Вот это как раз и есть про "отслеживание трендов".
Мы тут разворачиваем меметический алгоритм, и вот exploration тут -- как раз попытка найти следующий потенциальный пик с потенциальным более высоким максимумом на динамическом ландшафте приспособленности, отпрыгнуть от текущего локального пика, у которого заведомо ограниченная высота.
А ещё тут плотно перемешиваются исследования и инженерия: исследования идут в составе инженерии, при этом даже на примере архитектур нейросетей (необязательно LLM), архитектур LLM (в которых может быть несколько нейросетей, например, MoE) и AI-систем на базе LLM (их там тоже может быть несколько, и даже не корпоративные AI-агенты, а какие-нибудь роботы со слоёной архитектурой вроде Helix) видно, что их можно рассматривать как "исследования в алгоритмике" (поиск эффективного алгоритма, "университетская задача") и как "исследования в прикладной инженерии", ибо там на выходе вполне себе инженерные системы. Так что всё это слитное R&D -- не в академическом заходе, а в инженерном заходе. И у передовиков ожидаем не нобелевки, а каких-то других, инженерных признаний -- инновация тут определяется классически не как "новая идея", а как "идея, дошедшая до рынка -- выдавшая SoTA и доступная за деньги". Подрыв/disrupt -- это инновация, вышедшая на рынок и обрушившая предыдущую SoTA, прорыв -- это инновация, которая может быть повторена не только в одной фирме. Если что-то вышло на рынок "новое" и не может быть повторено другими -- ну, этому и имени нет. Вот отслеживаем прорывы и подрывы. Скажем, DeepSeek R1 -- вот это прорыв (хотя и не подрыв).
Пример возможного тренда -- тот же самый reservoir computing, причём необязательно на классическом "железе". Почему? Там скорость-энергоёмкость уж больно аппетитные, и если вспомнить, что мозг потребляет 30 ватт, то вполне можно ожидать, что в робототехнике будет какое-нибудь неклассическое железо с не очень классическими алгоритмами. Но и просто робототехника пойдёт, но это уже слишком широкий класс, это как сказать "тема человека", такие слишком широкие "тренды" -- не тренды. Это как сказать в "трендах года", что "будет распространение AI" -- спасибо, Кэп!
В любом случае, это методологическая задача -- надо определить предметную область, выделить новый класс функций, методов работы, способов обработки, описываемых новыми теориями/алгоритмами/знаниями.
Это обычно я делаю: слежу за трендами, нюхаю подрывы. Но фишка в том, что сейчас это должен бы делать AI, никакому отдельному человеку не угнаться. Ну, или на первых порах -- человеко-машинная система, причём необязательно один человек, необязательно один AI. Таким пытается заниматься Gartner Group, но мне тамошние hype cycle в этом плане не очень нравятся -- они запоздалы (спецпресса отслеживает тренды давно, Gartner замечает через пару лет, чувствительность нулевая), а ещё там уровень обобщений как у GPT-3.5, даже не турбо, маркетинговое бла-бла-бла ни о чём, попса полная, удивлять обывателя, а не профи.
В медицине такой метод для определения перспективных лекарственных веществ называется screening -- идёт жуткий поток информации по экспериментам, которые все показывают ужасные результаты, тысячами. Но вдруг появляется что-то интересное, одно на тысячи и тысячи примеров неинтересного. И по итогам этого скрининга появляется новое перспективное лекарственное вещество. Вот это просеивание стога сена в надежде найти иголку -- вроде оно, но не совсем. Тут в полной мере проявляется open-endedness, ибо хочешь найти иголку, а находишь алмаз, и выкидываешь его, ибо "не иголка". Greatness cannot be planned, в этом фишка.
Новостная лента
Когда тренд установлен, нам надо отслеживать разные границы Парето по методам, ибо решений огромное количество, все они примерно одинаковы, но есть которые получше, а есть которые похуже. И часто людям даже непонятно про это Парето (ну, или мы говорим ещё про неустроенность/неустаканенность/geometrical_frustration в силу неизбежности конфликтов/противоречий и разных способов их оптимизации), ибо для них любимый параметр -- победа в основной гонке (скажем, "гонка мегапикселей", "гонка точности"), а другие параметры (цена, скорость, память, удобство, энергопотребление, да тысячи их!) не рассматривают. Лично видел в комменте к картинке Gemma
вопрос -- "в чём новость, это же хуже R1?". То, что там ещё и диаграмма по NVIDIA H100 GPU required -- глаз вообще не замечает! И это даже не конец истории. Тут же вопрос о capabilities (термин мутный, переводить или как "способности" или лучше даже как "возможности", так как мало быть способным к чему-то, надо это ещё и уметь), которые сейчас замеряются "в среднем по больнице". Скажем, "может в музыку" -- но по факту поёт под гитару, а на рояле и скрипке -- никак, а второй будет оценен так же -- но там рояль и саксофон -- скрипка и вокал никак, третий -- вообще диджей, ни на чём не может, но держит vibe (модное слово!) в зале, "может в музыку". В новостях надо более подробно оценивать capabilities, и тут множество подходов, например:
-- https://arxiv.org/abs/2502.07577, "Automated Capability Discovery via Model Self-Exploration". Тут один AI пытает другой (возможно, себя) на предмет поиска capabilities -- на базе идей open-endedness. Это на поиск новых возможностей.
-- https://arxiv.org/abs/2503.08893, "EvalTree: Profiling Language Model Weaknesses via Hierarchical Capability Trees", это наоборот, поиск слабостей в capabilities, ибо текущие бенчмарки как раз меряют "среднюю температуру по больнице" в рамках очень широких областей.
Вот для каждой новости надо понимать:
-- это из какого тренда (или задаётся вообще новый тренд?). Тут, заметим, всё равно надо "отслеживать тренды" -- даже если у вас LLM, надо уметь отследить появление после трансформеров какой-нибудь мамбы, или "научились делать RL на LLM и заводить reasoning" (как с R1), ибо "там движуха": потенциально это может затронуть жизнь многих и многих инженеров.
-- в чём там SoTA, на какой парето-диаграмме играем (это необязательно двумерная диаграмма!), но это вопрос динамической оптимальности решения, положение на dynamic fitness landscape, причём достаточно детально, а не как у Gartner. Концепция использования -- наше всё, мало только концепции системы, тем более узкого вопроса функционального описания, "функциональной архитектуры" (при всей важности и первичности такого вопроса).
-- в чём суть предлагаемого решения? Как оно там всё? Нужно именно объяснение.
И вот по последнему пункту "нужно объяснение" самое интересное в форме реализации: AI как раз тут, вот он и должен объяснять. Новости идут в самых разных языках узких предметных областей, написанные "из контекста авторов", в языке метаС-модели, и она задаётся неявно, она часто спрятана в списке литературы к статье-новости, если вообще к новости есть список литературы и если вообще новость делается по выходу статьи.
В объяснении обычно берётся некоторый нейтральный контекст (мета-мета-модель, возможно метаУ-модель предметной области) и далее делается трактовка новости для широкого контекста, при этом -- причинный вывод, это же "объяснение"! Вот gonzo-обзоры или LLM под капотом ровно такое и делают, представляют какую-то ленту архитектурных новостей.
У нас же клуб создателей, поэтому прежде всего берём архитектурные новости, предложение новых функциональных архитектур, а ещё новых архитектурных стилей в плане нарезки на модули (можно ещё сюда и "проектировщиков" включить, которые делают "изобретения" -- показывают, что в физическом мире может быть аффордансом для этих функций, если следовать предложенному архитектурному стилю. Этот птичий язык разделения труда в современной разработке у меня в курсе "Системная инженерия"). И тут два нетривиальных поворота:
-- вообще, что такое "объяснения"? Авторы ведь сами всё объясняют! Нет, авторы не объясняют, у них глаз замылен, и изъясняются они тёмно. Надо сделать так, чтобы суть новости поняли даже люди, которые не имеют глубоких познаний в прикладной предметной области, хотя и имеют интеллект, позволяющий быстро разбираться с новыми веяниями. Это можно сделать, используя тоже SoTA мета-мета-модель и метаУ-модель, что трудно, поскольку новости в части трендообразования сами по себе задают изменения в способах описания -- тут неявно отслеживание трека происходящего с трансдисциплинами. Грубо говоря, поток новостей на испанском, тамильском и арабском должен объясняться на рабочем английском -- и ещё с явным указанием типов объектов, чтобы уж точно понималось без ошибок. А ещё это должны быть контрфактуальные объяснения, причинный язык. То есть берём авторский текст и за шкирку его дотягиваем до некоторых стандартов представления информации, а ещё помещаем в контекст. Иногда авторы и сами это делают, ибо paper, и blog post, и "информационная модель изделия" (код для софта) -- очень разные, но необходимы все. И кто хорошо изобретает, часто пишет плохие статьи и вообще ужасные посты в блог. Вот эти объяснения "на рабочем английском предметной области" это компенсируют.
-- у каждого читателя, однако, есть свои вопросы. И текст должен на них отвечать. Получается так, что новость должна читателя новости чему-то научить, разъяснить, как новость влияет на жизнь читателя. Это можно делать в диалоге. Вуаля, мы должны перейти к тому, что по каждой новости надо генерировать мини-курс, причём под индивидуальную потребность каждого читателя! Чтобы понять новость, надо подучиться -- одному читателю ответить на пару уточняющих вопросов, а другому читателю таки развернуть ответы, в том числе заглянув в литературу по ссылкам в статье, а то и цитаты из каких-то учебников. Это не просто, я частично писал про проблемы такого захода в посте про "приличную RAG", retrieve-augmented generation, https://ailev.livejournal.com/1757545.html. При этом в части RAG довольно большие подвижки идут. Вот, например, уже есть промышленный мультимодальный RAG -- https://www.lighton.ai/lighton-blogs/lighton-integrates-visual-rag-into-its-platform. Но я думаю, что сегодня такие решения запретительны по цене для учебных и клубных организаций. На таких решениях нельзя отмасштабироваться.
Ведь фишка тут даже не в самой ленте, а в чате по поводу ленты -- это социальная сеть узкой предметной области, "те, кому надо", и там идёт обсуждение новостей, активная синхронизация с тем, что сегодня считается многомерной (разные же capabilities, разные места на Парето-равновесиях) SoTA в предметной области, а новости потихоньку эту SoTA сдвигают на другую линию Парето-равновесия.
"Кружок по интересам", узкий клуб в клубе как раз тут. При этом в русскоязычных таких "узких клубах" по паре десятков тысяч человек, из них тысяча -- в чате (например, в gonzo-обзорах так, тематика "функциональная архитектура нейросетей для LLM").
Учебные курсы
Но есть ещё и "широкий клуб", достаточно интеллектуальные люди, которые владеют мета-мета-моделью, позволяющей ориентироваться в самых разных прикладных областях с какой-то достаточно высокой скоростью (год, а не пару десятков лет. Представьте поэта, который хочет стать инженером по проектированию микросхем -- вот это оно, десятки лет как раз в этом случае).
Конечно, нельзя ожидать, что кто-то пройдёт годичный учебный курс, чтобы просто разобраться с новостным потоком -- задавая вопросы AI по поводу новости, а затем вопросы к ответам на свои вопросы, и так целый год, пока новость не будет понята. Хотя у меня есть прецеденты: людям любопытна моя лента, но она непонятна. Поэтому время от времени я встречаю комменты типа "вау! прошёл ваши курсы -- теперь могу читать ваши посты, оказывается, ваша лента вполне понятна!". Вот эта история (чтобы было, что пройти для понимания прикладной ленты -- были курсы, которые "сосредочиться -- и пройти") тоже должна быть поддержана.
Понятно, что тут мы впереди планеты всей, не буду подробно прописывать, укажу только на несколько ссылок:
-- Программа "Организационное развитие", всего 16 европейских кредитов, 480 часов, справка по курсам, https://ailev.livejournal.com/1737214.html (инженерии в программе больше, но ход на то, что размер проектов растёт -- и инженеры выходят в командную работу, развивают организацию проекта)
-- все курсы программ "Организационное развитие" и "Личное развитие" (бесплатный доступ к текстам учебников после регистрации): https://aisystant.system-school.ru/.
-- синтез фундаментальных методов мышления "Интеллект-стек": https://aisystant.system-school.ru/lk/#/course/intelligence-stack
-- корпоративным заказчикам: предложение ШСМ по обучению команд топ-менеджеров, https://ailev.livejournal.com/1720404.html. Дополнительно про топ-менеджеров и их обязанности: https://ailev.livejournal.com/1708306.html.
-- расписание ближайших курсов с преподавателями в открытых наборах: https://system-school.ru/list
-- принципы квалификации: https://ailev.livejournal.com/1723294.html.
-- вебсайт Школы: https://system-school.ru/.
-- мой блог, в котором ещё много чего про это пишется.
В преддверии AI понятно, что все прикладные области будут быстро подрываться в части людского труда, уж проекты-то точно придётся менять -- и там разбираться с новыми предметными областями и командами. Поэтому сначала поднимаем калибр личности, учим SoTA собственно мышления, понимание того, как организационно устроена работа и в чём вообще труд создателей хоть чего-нибудь. Люди с каким-то калибром личности будут чуть более эффективно общаться с теми же AI, чуть более осознанно читать эти же новостные ленты, чуть более ярко участвовать в клубной работе -- будут чуть конкурентоспособней окружающих. Мы это уже сейчас умеем делать, но это плохо масштабируемо. И пока не очень поддержано клубом. Ну, поддержим -- при помощи AI, о чём и пост.
Продвижение, бизнес-модель и монетизация
Если тему монетизации не обсуждать, то это всё просто размахивание руками. Выглядит это как "общественная некоммерческая организация", но те же социальные сети и главный новостной сайт мира (Гугл) ни разу не общественные организации. Как OpenAI была некоммерческой организацией (недолго!) мы тоже помним. Есть специальная форма, в которой сейчас учреждаются подобные инициативы -- Public Benefit Corporation, https://en.wikipedia.org/wiki/Benefit_corporation. В такой форме зарегистрирована xAI, к этой форме потихоньку идёт OpenAI. Все эти DAO и прочие "децентрализованности" не выживают, это мне было очевидно всегда, почему у меня в ленте вы и не находили материалов -- колхозы и кооперативы не выживают. А зачем тогда особая форма для for-profit entity? Фишка там в том, что "если руководство делает какие-то шаги в пользу общества, упуская прибыль, и цена акции падает, то акционеры не имеют право судиться за это с руководством". Тут тоже новизна, поиск новых организационных форм.
А ещё я много писал про клубы, в том числе инженерные клубы тут:
-- "Клуб создателей: первые прикидки", https://ailev.livejournal.com/1744751.html, там было впервые предложено говорить о "клубе создателей", вариант "инженерного клуба". И много-много текста про прототипы, примеры, терминологию.
-- первые шаги ШСМ по трансформации в клуб, кратенько в итогах 2024 года для ШСМ, вторым пунктом: https://ailev.livejournal.com/1747035.html
-- "Не пишешь -- не думаешь, не общаешься -- не в клубе, не в культуре", https://ailev.livejournal.com/1756090.html. Клуб из себя и себя -- это не клуб, не культура. Поговорить не с кем -- это проблема. Если ты вроде как освоил культуру, но молчишь ("все слова на птичьем -- только в уме, ни слова наружу"), то никто и не знает, что ты разговариваешь на каком-то языке. Ты один среди чужих, культура, приобретённая тяжёлым трудом, выветрится. Клуб -- это прежде всего клуб единомышленников, единомыслителей (хотя нет никакого единомыслия, а есть только единонемыслие, но в клубе для этого единонемыслия всё-таки есть какие-то общие культурные основания, SoTA фундаментальных дисциплин интеллект-стека). Вот "Интеллект-стек" мало кто читал, в курсах ШСМ сейчас это дополнительный материал. И с кем его обсуждать? В клубе вполне можно найти этих людей. Но чтобы с тобой это обсуждали, надо, чтобы было понятно: ты "в теме". Для этого надо не молчать -- раскрыть рот и предъявиться. Вот это да, это уже "тексты вовне", при этом не обучающие ("здравствуйте, я вчера прочёл три страницы курса ШСМ, сейчас я вас научу уму-разуму", при этом человек честно считает, что он "просвещает", занимается "маркетингом ШСМ"), а клубные -- беседы с соклубниками, с создателями систем, такими же, как ты. Это социальная жизнь, это ещё одно измерение мышления письмом: практикование общей культуры. Ещё клуб -- это салон, место для общения, практикование культуры мышления в компании. Это "профессиональное сообщество", community of practice, а по-простому -- клуб. Клуб программистов, клуб менеджеров проектов, клуб системных архитекторов, а у нас большая претензия -- клуб создателей успешных систем, инженерный клуб (https://ailev.livejournal.com/1744751.html). Тут можно говорить прежде всего о продолжении встреч в уже знакомой учебной группе -- возможно даже, что прямо с преподом, почему бы и нет. Но это уже после окончания обучения, это уже "клубная жизнь". Это как университетские alumni -- есть одногруппники, есть однокурсники, а есть вообще все, которые и вместе-то никогда не собираются. Вот встретиться с одногруппниками и попрактиковать мышление -- это милое дело, этого ж нельзя сделать на работе или в семье (хотя мы уже знаем компании, где это можно сделать на работе, предложение по обучению команд топ-менеджеров работает, в некоторых фирмах возникает совершенно особая атмосфера продвинутого мышления, https://ailev.livejournal.com/1720404.html). Эти встречи вполне можно назвать "салон", как раньше -- https://en.wikipedia.org/wiki/Salon_(gathering), https://ru.wikipedia.org/wiki/Салон.
Те "чаты обзоров", они же "чаты новостных каналов" -- это есть форма бытования салона. И там мы знаем, что дальше происходит: в популярных каналах и развиртуализация, и многое что другое. "Но есть нюанс": в этих всех каналах есть харизматичный главный персонаж, а тут предлагается AI. Но и тут уже идут эксперименты, например, Григорий Сапунов для gonzo-обзоров уже воспитывает себе своего нейро-двойника, который пишет пока плохие, но уже вполне читабельные разборы статей. Так что это я всё пишу частично про светлое будущее, частично про пока убогое, но уже настоящее.
ообще, эта тема тренировок-фитнеса, клубности и обучения ещё требует развития, поскольку текущий рассказ о том, чем же мы там занимаемся то ли в Школе, то ли уже в клубе -- он глубоко противоречив. Скажем, "тренировка, как в фитнесе" противоречит "воспринимать тренировку как работу, а на работе продолжать". Многие ведь на и работу ту или иную идут, "чтобы прокачаться" и "для строчки в резюме", проигрывая в зарплате. Чтобы потом претендовать на более крутую зарплату, "настоящую работу" — но там часто тот же подход. А наша тренировка как "консалтинг" -- обсуждение материала работы, мало похоже на "тренировку" (тут больше тренировкой будет участие в обсуждении чужих проектов). У танцоров там чётко: время обучения (этюды), время репетиций (повторений) и прогонов целевого материала, время перформанса. С работой мы говорим, что этюдов у нас нет, время репетиций и прогонов — это есть время работы, и потом у тебя ровно то же на работе, "репетиции и прогоны", "как на прогоне, так и на спектакле". Пока всеобъемлющей метафоры нет, предметных областей три, мы транслируем вовне что-то очень противоречивое. Особенно, если добавить "непрерывное" -- что образование/учёба, что работа, что фитнес. То есть нельзя даже сказать "сначала учёба, потом работа, потом фитнес как поддержание формы, когда работу отдадите LLM". Надо продолжать думать дальше, а пока вот три предметных области:
— образование/учёба: у нас подчёркивается долгое непрерывное приложение усилий в обучении: "мышцы качать, чтобы потом мешки таскать". Отсюда фитнес, идея им заниматься всю жизнь. Противоречие в том, что у нас сразу мешки таскаются, "результаты сразу полезны для работы", а "мешки" никаким боком в "фитнес всю жизнь" не входит. Это как грузчику предложить ходить всю жизнь в качалку, смешно же. Если "натренировать системное мышление", то это тренировка формы: высказывать догадки, критиковать на заданные критерии, принимать текст курса всерьёз, это "мышцы качать". Но наши тренировки по результатам и прикладности -- это вполне "мешки таскать", тут можно говорить не о "тренировке", а об акте консалтинга, "мешки таскать". Тренировка — ожидается потом воспроизведение паттерна. Консалтинг — нет, "спасибо за подсказку", но самостоятельного потом применения паттерна не будет.
— работа: если говорить про создателей и клуб, то все "студенты" и "учебность тренировок" исчезают. При этом у нас мало что готово для поддержки клуба (у меня был огромный пост на эту тему, напомню, https://ailev.livejournal.com/1757701.html), там ведь надо SoTA предметной области отслеживать, новостную ленту держать и обсуждения делать клубные, а не в режиме обучения. Возможно, ещё и лаборатории иметь ("наука мимо государства", вполне ведь цель), а то и "консорциумы по стандартизации" в части SoTA, обычное дело в разных предметных областях.
-- фитнес, это ещё более странный случай: "поддерживать форму, чтобы не атрофироваться, хобби" — мышцы качать, чтобы потом ничего. Зато ориентация на длинные усилия, на организацию расписания такого, чтобы занятия вписывались, концепция непрерывного образования с явным выделением времени на учёбу и отсутствием ожиданий от "немедленного применения знаний", а ожиданием "поддержания мыслительной/интеллектуальной формы", "нержавых мозгов".
Оперантное формирование
Текст, который показывает, что "с RL zero ещё не совсем разобрались", "SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild", https://arxiv.org/abs/2503.18892. we observe that different base models exhibit distinct patterns during training. For instance, the increased response length does not always correlate with the emergence of certain cognitive behaviors such as verification (i.e., the "aha moment"). Notably, we observe the "aha moment" for the first time in small models not from the Qwen family. We share the key designs that enable successful zero RL training, along with our findings and practices. Вот бы мне научиться получать этот "ага-момент" у мокрых нейросеток. Но они все не маленькие, не опен-сорс, а также одной и той же архитектуры. Вообще, тема RL одна из центральных. Вот добавляют воображения к RL пост-обучению LLM, грубо говоря, добавляют побольше search -- и это срабатывает, https://arxiv.org/abs/2503.18929, "Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training", двигают SoTA.
Продолжаем смотреть материалы, которые вроде бы про улучшение обучения AI, но помогают многое что понять и улучшить в обучении мокрых нейронных сеток (и, повторюсь -- обучение мокрых нейронных сеток тут как "учить других", так и "учить себя"):
-- "Predictive Data Selection: The Data That Predicts Is the Data That Teaches", https://arxiv.org/abs/2503.00808. Давно понятно, что ключом к обучению являются качественные данные, textbooks are is all you need (https://arxiv.org/abs/2306.11644) положил начало огромному числу исследований. "Лучше меньше, да лучше" -- на мусорных данных получается мусорное качество обучения. Но как понять, какие данные являются не мусорными? Дело ведь не в том, что данные должны быть безошибочными. В работе https://arxiv.org/abs/2404.09937 было сделано наблюдение: Viewing language models as compressors, we show that the "intelligence" of language models as reflected by benchmark scores is almost linearly correlates with their ability to compress external text corpora. Дальше взяли данные -- и выбрали по нормализованным потерям сжатия (compression efficiency). Получили 10x reduction in compute requirements при pretrain. Это означает, что при правильном учебнике и задачах можно ожидать x10 уменьшения времени обучения и для мокрых нейронных сеток, и есть какие-то намётки, в каком направлении выбирать эти тексты. Можно, например, в качестве начального приближения взять предложенный алгоритм preSelect и попробовать поработать с текстами учебников-задачников. Это, конечно, не отменяет обучения с учётом кривых забывания для мокрых нейросеток, но это можно делать на более качественных текстах, а качество оценивать не "по правилам" или "по эвристикам", "по интуиции", а "по замерам". Вот "замерять" качество наших курсов по preSelect для начала, взялся бы кто за такое.
-- "Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs", https://arxiv.org/abs/2503.01307. Какие-то особенности нейросеток делают их умнее -- какие? Есть four key cognitive behaviors -- verification, backtracking, subgoal setting, and backward chaining -- that both expert human problem solvers and successful language models employ. Статья определяет priming как "подготовка разума показом примеров" в ходе обучения. И находит, что если показывать в ходе обучения примеры методов сильного мышления (показывать примеры проверки правильности, возвратов к развилкам, постановки промежуточных целей и планирование обратным ходом), то дальше легко учить RL и получать reasoning. А если не показывать -- то увы. Статья показывает, что мало иметь правильные ответы в обучающих данных, то есть textbook is not is all you need: если нет демонстрации приёмов мышления, то мышление "не заводится". Это всё можно легко перенести на людей. В части проверки правильности показать людям разобранные примеры, где кто-то перепроверяет свои шаги или подтверждает промежуточные результаты. В части возврата к развилке дать примеры, где человек сталкивается с тупиком, осмысливает ошибку (это дико трудно! Обсуждали "А чо такова?", https://ailev.livejournal.com/1653635.html -- пришли ровно к таким же выводам, надо научить признавать ошибку ошибкой просто показывая много примеров такого признания, иначе не берётся) и пробует другую гипотезу. В части постановки промежуточных целей показывать примеры разделения сложной задачи на простые "шаги". В части обратного планирования показать решения, построенные от конечной цели к началу -- исходя из желаемого результата планирование шагов обратным ходом. Когда это показывать? Как всегда, тут выбор: или учить специально только этому (учить мышлению), или потихоньку перед каждой новой темой показывать, как можно думать -- и дальше вставлять в текст задания как чеклист мышления: "проверял правильность шагов, разбивал задачу на части, возвращался после обнаружения ошибки и ставил другую промежуточную цель, пробовал обратное планирование", в надежде на то, что когда-нибудь это генерализуется. Далее -- тренировка с преподом (RL/дрессировка/"оперантное формирование", рассматривали в https://ailev.livejournal.com/1753981.html с внутренней, внешней и общественной позиций, в https://ailev.livejournal.com/1753533.html отдельным пятым подразделом RL в curriculum learning и в https://ailev.livejournal.com/1752137.html как "Изготовление (evo), а затем три шага обучения (devo)"). А ещё для понимания всего написанного надо заметить, что психологическая priming theory (https://en.wikipedia.org/wiki/Priming_(psychology)) была фальсифицирована, Kahneman объявил исследования прайминга "effectively dead". В обучении LLM (и в статье) значение priming -- показ примеров мышления перед RL, а в психологии -- unconscious activation of cognitive representations that supposedly influence later behavior. Варианты переноса тех методов выхода на сильное мышление, что предложены в статье для LLM, на людей больше опираются на вменяемость: предложение способа мышления в явном виде, затем тренировка (deliberative practice), в том числе скаффолдинг (scaffold -- "временная конструкция", "строительные леса": от специально сочинённых лёгких примеров к трудным, нарастание сложности). И да, те же проблемы, что с LLM: не любая нейросеть к этому способна, трансформеры способны больше, чем какие-то другие варианты, генетически люди тоже бывают разные в плане способностей, но всё-таки они все более способны, чем кошки.
У меня во всех лентах обсуждается выход GPT-4.5, ибо и впрямь что-то странное: все характеристики очень похожи на характеристики предыдущего поколения, которое обучалось x10 меньше. Стало ли лучше? Маргинально: в каких-то задачах да, в каких-то -- нет. По сравнениям людей в большой статистике предпочтения ответа GPT-4.5 ответам других сеток очень незначительные, и даже галлюцинирует эта сетка меньше, но не меньше других моделей OpenAI. Сотрудники OpenAI туманно говорят, что "лучше в тех аспектах, которые трудно измерить", скажем, отсутствие галлюцинаций по фактическим знаниям о мире. От общего тона обсуждений остаётся впечатление, что "подняли гуманитарные способности, ответы чуть больше будут нравиться гуманитариям, а технарские способности ниже SoTA -- ожидаем, что там что-то будет в reasoning режиме". Но по тестам строгих рассуждений там ниже, чем DeepSeek V3, тоже "без ризонинга". Очень, очень странное событие -- выход этой модели с такими характеристиками. Сам я последнее время пользуюсь Gemini 2.0 Pro Experimental и Grok 3 -- а ответами ChatGPT я как-то чаще недоволен, чем доволен. Ну ладно, конкуренция -- великое дело, всё только начинается. Интересный вопрос про то, как добиться умности -- учить подольше исходную модель или дать побольше времени на рассуждения. Вот несколько свежих материалов об этом:
-- на русском из сиолошной: https://t.me/seeallochnaya/2379: "условная o3, построенная на GPT-4o, может генерировать цепочки рассуждений в 50 раз длиннее, что условно равно увеличению мощностей на тренировку в 40 раз (цифры из головы). А поскольку GPT-4.5 тренировалась всего лишь в 15-20 раз больше, то получается, что ризонер на модели прошлого поколения как бы лучше
— однако эти цифры перемножаются, и ризонер на основе новой модели <должен быть> существенно лучше. Если модель ошибается реже на каждом шаге, то все мощности будут уходить в правильное русло, а не на исправление ошибок"
-- https://arxiv.org/abs/2502.15631, We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve.
-- https://arxiv.org/abs/2411.18071, тут попытка быстрой проверки гипотез: просят LLM оценить верность гипотезы (оценивает, точность низка), затем просят просимулировать феномен и сгенерировать табличку этого моделирования ("побольше порассуждать" что там происходит). По табличке с данными берут корреляцию -- и она оказывается точнее, чем просто ответ на вопрос о корреляции! Это явно не CoT, но явно удлинение времени размышления.
-- https://arxiv.org/abs/2502.20339, попытка загнать reasoning в mamba с её высокой эффективностью и низкой точностью, а затем дать побольше времени на reasoning, чтобы перегнать трансформер по точности на том же вычислительном бюджете: can models with lower complexity leverage their superior generation throughput to outperform similarly sized Transformers for a fixed computational budget? To address this question and overcome the lack of strong subquadratic reasoners, we distill pure and hybrid Mamba models from pretrained Transformers. Trained on only 8 billion tokens, our distilled models show strong performance and scaling on mathematical reasoning datasets while being much faster at inference for large batches and long sequences. Despite the zero-shot performance hit due to distillation, both pure and hybrid Mamba models can scale their coverage and accuracy performance past their Transformer teacher models under fixed time budgets, opening a new direction for scaling inference compute.
-- https://arxiv.org/abs/2502.16965, попытка загнать CoT в autoregression image generation, которая обычно хуже генерирует, чем диффузионные модели. И впрямь, CoT поднимает качество: autoregressive Image Generation with Thoughtful Reasoning (IGTR), Compared to the autoregressive method without prompts, our method shows outstanding performance and achieves an approximate improvement of 20%. Но если заглянуть внутрь — таки диффузию не догнали (сравнимые, даже чуть-чуть хуже, характеристики при вдвое большем числе параметров), но в авторегрессионных моделях они ого-го. Это подтверждает мысль, что исходной модели надо быть умной, глупой модели добавка reasoning помогает очень существенно, но не так сильно, чтобы перегнать более умную модель. Усидчивостью перегнать талантливых в общем случае не удастся. Если кошечка будет долго-долго думать, хоть и всю жизнь, она стишок не сочинит.
-- https://www.inceptionlabs.ai/news. Вот тут наоборот — диффузия для генерации кода, вдесятеро быстрее, но менее точна, чем чемпионы — https://www.inceptionlabs.ai/news.
-- ... тысячи этих работ, про test time compute против компьюта обучения не думает только ленивый. Вот даже я думаю. У меня ведь те же проблемы: учить студентов дольше, или просто заставлять их дольше думать в своих проектах (но ведь мы тоже хотим экономить test time compute -- за счёт того, что один раз потратим время на обучение, а потом много раз сэкономим на размышлениях)? Я обычно сильно удивляюсь, когда узнаю, сколько времени люди делают качественные продукты. Кажется, что хорошо обученные гении должны делать всё быстро -- но нет, у них test time compute тоже будь здоров! Жизнь показывает, что и учатся как можно лучше/дольше, и потом времени на подумать берут тоже побольше. И дальше лидируют в рейтингах.
Я думаю, всё это закончится многослойными архитектурами, вот статья теории про эту скорость-точность в управлении, "Towards a Theory of Control Architecture: A quantitative framework for layered multi-rate control", https://arxiv.org/abs/2401.15185, а картинку из этой работы я приводил в конце предыдущего поста (https://ailev.livejournal.com/1755013.html) -- пешком передвигаться можно точно к месту назначения, но медленно, на самолёте -- очень неточно, но очень быстро, автобус -- не так быстро как на самолёте, но быстрее чем пешком, но не так неточно, как на самолёте, но не так точно, как пешком. А как надо? Вот так и надо: многослойное действие (пешком-автобус-самолёт-автобус-пешком). Вот тут эта многослойность управления и две нейронки уже есть: — медленный слой работает на 7-9Hz, быстрый — 20Hz, архитектура разная (7B VLM и 80М transformer), https://www.figure.ai/news/helix. Такое должно не только в роботах появляться, но и везде во взаимодействии AI-систем с окружением, хоть и не физическими. Диалог — как раз пример такого взаимодействия. Вот картинка:
Возражения против рационально выстроенного обучения
Возражение: у вас слишком сложный материал, я пять лет назад смотрел, не одолел
Пять лет назад это вполне могло произойти -- курсы были доступны только эээ... талантливым. Сегодня у нас нет жалоб на то, что курсы непроходимы ввиду их особой сложности. У нас ни разу не Ландавшиц. Курсы выстроены в строгой последовательности, каждый предыдущий курс облегчает усвоение следующего, "Системное мышление" не входная точка -- перед ним "Рациональная работа", облегчающая прохождение "Системного мышления". Перед "Системной инженерией" отдельный курс "Методологии". Объём разъяснений вырос втрое по сравнению с материалами пятилетней давности. Мы учли типовые непонимания и типовые ошибки, внесли разъяснения прямо в текст курса, упростили терминологию. Скажем, убрали из курса термин "стейкхолдер", убрали "обеспечивающую систему" -- предложили более простые "роль" и "система-создатель". Уже пару лет жалоб на особую трудность прохождения программы нет. Основные жалобы -- "трудно найти два часа в день на обучение", но не "читаю текст и не понимаю, что в нём написано и что делать с этим в рабочем проекте".
Возражение: когда-нибудь я доберусь до ваших курсов, пока же просто нет времени
Наш самый первый курс "Рациональная работа" начинает с того, что даёт какие-то азы операционного менеджмента, а также собранности как удержания внимания на важном. Это нужно как раз для того, чтобы студент мог перестроить своё расписание: перестать заниматься неважными работами, а сосредоточиться на важных. В том числе неважные работы -- это постоянные переделки из-за неправильно понятого в момент получения работы или в момент поручения работы. Вы экономите не столько время мышления от мастерства сильного мышления, которое получаете на наших курсов. Нет, вы экономите время на постоянных переделках (re-work) в ошибочно выполненных работах, экономите время на работах, которые вообще перестаёте делать. Мы учим lean/элегантной работе, "ничего лишнего". Это даёт то время, которого так сильно не хватало. Более того, мы рекомендуем выполнять задание в рабочее время -- ибо вы будете думать в это время не над своими личными или домашними проблемами, а над рабочими проблемами. От этого будет польза вашей работе, вот и занимайтесь этим в рабочее время. Опыт показывает, что наши курсы помогают найти время для их прохождения, это не добавочное время к тому, чем вы сейчас занимаетесь.
Возражение: хочу курсы короткими кусочками, у вас слишком длинно
У нас ожидается, что курс проходится в режиме хобби: два часа в день на пятидневке, примерно год -- всего ожидаемые затраты времени 480 часов. Но это вся программа, отдельный курс -- это обычный 4-кредитный (кредит -- 30 часов суммарных затрат времени, поэтому всего 120 часов) вузовский курс. Таких курсов студент за семестр проходит пять-шесть, так что нагрузка в разы меньше, чем при получении второго высшего образования. Практическая польза получается не после всей программы, не после каждого курса, а прямо по ходу прохождения: домашние задания связаны с продумыванием вашего рабочего (не личного, не бытового, не учебного) проекта. Поэтому польза получается сразу, и прямо от "коротких кусочков". И этих "коротких кусочков" не запредельно много, нагрузка в разы меньше студенческой, сравнима с хобби -- танцевальным, спортивным, рукоделием. Вот что не удастся, так это уместить обучение в текущее расписание: образ жизни придётся менять, но это надо делать даже для регулярных занятий фитнесом или йогой. Они ведь тоже без усилий по изменению недельного расписания не получаются. У нас "ментальный фитнес", а фитнес ведь тоже не "короткими кусочками" идёт -- https://ailev.livejournal.com/1743023.html. За три дня результаты не видны, за месяц только-только втягиваешься, первые результаты видны через три месяца регулярных занятий. Чудес не бывает, короткие курсы нужны для овладения парочкой прикладных приёмов.
Возражение: хотел бы, но боюсь не справиться
Не справиться со сложностью материала? Только что ответили: за последние несколько лет у нас перестали жаловаться на слишком большую сложность. Трудно, но одолимо. Не справиться с выделением времени? Только что ответили -- курсы сразу учат операционному менеджменту, чтобы была возможность разгрести время для обучения, при этом обучения реально не много, это не нагрузка второго высшего образования, это хоббийная нагрузка. Если не это, а что-то ещё ("необъяснимый страх перед чем-то новым"), то это -- к психологу, а не к нам. Впрочем, наши курсы именно снятие тревожности перед новыми делами и новыми обстоятельствами имеют приятным бонусом: вы будете обо всём новом никогда не виденном ранее уже немного знать, ибо курсы дают современную картину мира -- где этому новому отведено уже какое-то место. Вы будете приходить в новый проект и уже многое знать о том, что там происходит -- знание немногих принципов освобождает от знания многих фактов. Ну, а многие факты вы тоже узнаете: курсы научат находить факты о важном, а на факты о неважном -- не обращать внимания. Так что с курсами "справиться" с новыми ситуациями будет легче, без курсов же -- "как всегда". А ещё вы получаете членство в клубе создателей -- всех тех людей, которые говорят на том же системном языке, что и вы. Раньше было сообщество выпускников при Школе, а сейчас, скорее, наоборот -- это Школа при сообществе. И сообщество даёт реальную поддержку всем новеньким, а потом и просто поддержку уже не новеньким, а соклубникам.
Возражение: я занимаюсь сейчас на работе совсем другим, конкретным, мне ваши абстракции не нужны
Да, у нас абстракции -- даём картину мира, общую для менеджеров и инженеров, и это уникально. С одной стороны, мы показываем, что менеджмент -- это инженерный проект по созданию организации, инженерия предприятия. С другой стороны, мы показываем, что инженерия -- это прежде всего выполнение коллективной инженерной работы, поэтому надо разбираться в разделении инженерного труда, разбираться в том, как устроена организация инженерной работы, а не только в том, как устроена целевая система, которую надо сделать. Это нужно всем, кто работает, чем бы он ни занимался. А ещё "занимаюсь совсем другим" -- это обычно прикладные задачи или менеджмента, или инженерии, или даже обучения или исследований, но фундаментальное знание как раз позволяет быстрее разобраться с новой предметной областью, а также говорит что делать, когда учебники по этой предметной области молчат, ибо все проблемы -- "на стыках". Вот наши курсы как раз дают язык системного мышления, на котором можно говорить про эти самые проблемы "на стыках". А ещё "занимаюсь" -- это же "работаю"? Наш самый первый курс так и называется -- "Рациональная работа", даёт умения не просто работать, а работать рационально. Но -- хозяин-барин. Кто хочет усилить своё мышление, получить фундаментальное образование -- тот идёт учиться. Кто не хочет -- не идёт учиться, и его не заставишь.
Возражение: у вас не интересные курсы, я смотрел тексты, они не завлекают
Тексты курсов и не должны завлекать. Завлекает мышление о ваших рабочих проектах, которое открывается вам по мере прохождения курсов. Вы получаете непрерывную череду успехов -- и вот это как раз и завлекает. У нас много студентов, и мы редко слышим про скучность наших курсов от тех, кто их проходит -- чаще от тех, кто так и не начал их проходить. Увы, "талантливость" во многом обусловлена генетически, а остальное -- усидчивость при обучении. Кому-то скучно решить десять задач подряд, сыграть десять этюдов на фортепиано подряд, а кому-то -- не скучно. Увы, вот это "скучно -- не скучно" тоже во многом определяется генетически. Но если уж вы это понимаете, то вы можете побороться со своей генетикой, стать умнее вопреки генетике. Опять же, на занятиях вы не скучаете над "текстами для умных", на занятиях вы разговариваете -- о ваших проблемах и о проблемах одногрупников. Это совсем не скучно, а заодно это сделает и ваш рабочий проект не скучным (скука ведь бывает не только на занятиях, но и на работе -- она, бывает, тоже не завлекает).
Возражение: я не понимаю, зачем мне ваши фундаментальные знания, куда я их применю
У нас не любые фундаментальные знания, а очень специальные: системная картина мира, общая для инженеров и менеджеров. Более того, у нас не знания -- у нас мастерство сильного мышления, то есть мастерство мышления для новых ситуаций, которых не видели ещё ни вы, ни ваши учителя. Мы учим не тому, что сейчас вокруг вас. Мы учим "впрок". И это оправдано, ибо личностный рост зависит не от прикладных умений, а от фундаментальных. Это показано и исследованиями, например, https://eugenykuznetsov.substack.com/p/27a (оригинальная статья -- https://www.nature.com/articles/s41562-024-02093-2). "Исследователи, используя базу из 70 миллионов смен рабочих мест в США, обнаружили, что человеческий капитал формируется не просто за счёт накопления отдельных навыков и знаний, а в виде иерархически выстроенной структуры взаимосвязей между навыками. Суть этого подхода состоит в том, что определённые специфические навыки возможно эффективно развивать только после того, как усвоены более фундаментальные и общие компетенции". Можно долго разбираться с тем, какая там классификация навыков -- но общая мысль высказана очень чётко: "чем лучше навык встроен в эту общую иерархию (то есть чем выше его «вложенность»), тем выше оказывается заработная плата, тем длительнее и дороже обучение такому навыку и тем ниже риск его автоматизации". Какая иерархия? Умение говорить-писать и логически мыслить -- в самом верху, умение планировать -- в серединке, умение программировать или играть на флейте -- в самом низу. Вот это оно, интеллект-стек методов сильного мышления (да, мышление письмом тут тоже метод сильного мышления!) дольше всего осваивается, дорог в освоении, но потом окупается дольше всего. Кстати, у нас инженеры регулярно становились директорами по развитию крупных компаний прямо по ходу курсов. Одно время мы даже считали, что это основное, чему мы учим. Теперь мы более аккуратны в формулировках, ибо не все выбирают этот путь. Некоторые предпочитают свой рост в инженерном мастерстве и техническом лидерствае, а не карьерный рост по линии руководства людьми.
Возражение: я справлюсь по онлайн-программе
У нас как в крупных университетах: онлайн-материалы (даже с возможностью выполнения упражнений) нужны для знакомства с программой, чтобы не было ощущения покупки "кота в мешке". Как в Coursera: онлайн-курс проходится бесплатно или за условную плату, но и результатов можно не ждать -- это просто реклама курсов с профессором. Профессор передаёт самое главное: образцы мышления с материалами курсов, а также тренирует обнаруживать в жизни типы объектов из курса. Мышление от долгих размышлений над проблемами "не заводится", чтобы завелось -- нужны примеры мышления, образцы сильных ходов мысли. Текст курса -- это не примеры мышления, которые должны включать выдвижение гипотез и их критику, отбрасывание и возвраты назад, демонстрацию отношения к логическим ошибкам. Примеры мышления появляются при реальном столкновении мышления с проблемами в жизни. Учебника по езде на велосипеде и онлайн-решения задач по этому учебнику обычно не хватает. Надо реально ехать на велосипеде, а тебе должен кто-то указывать на твои ошибки: управлять твоим вниманием. Нужен живой тренер. Поэтому чтение учебника -- бесплатно, эффект нулевой. Выполнение заданий в онлайн-программе -- может, гении и разберутся, но не факт. Это Coursera -- условная плата, условные получаемые знания. Настоящее обучение идёт с преподавателем. Тренировки приносят эффект, если они с тренером. Это тяжело признать, но это факт. Иначе у тренеров и профессоров не было бы работы. С преподавателем мы сейчас выучиваем практически всех, кто тратит необходимое на обучение время (обычно это 480 часов на всю программу). Без преподавателя -- ну, попытайтесь. Польза будет, но что вы поменяетесь как человек, изменится ваш калибр личности, вам начнут говорить "у тебя системное мышление" (это обычные эффекты от наших курсов с преподавателями) -- вот это не факт.
Возражение: у вас слишком дорого
Подход "фундаментальное образование как фитнес" -- мы вполне сравнимы с фитнес-клубами и танцевальными клубами, что-то чуть дешевле, что-то чуть дороже. Месячная подписка -- 1000 рублей, в фитнес-клубах это будет от 2 тысяч рублей, если заниматься без тренера. Групповая тренировка в мини-группе -- у нас час стоит примерно 5тыс. рублей, в фитнес-клубе (скажем, WorldClass) -- 2 тыс. рублей, примерно тот же ценовой диапазон, при том что фитнес-тренеров доступно много больше, а наших преподавателей не так много, их умения уникальны. Сравните с ценами на eMBA-образование, там вообще другой порядок цен (берут не за знания, а "за бренд"). К нам, кстати, довольно много приходит тех, у кого уже есть MBA -- и они, похоже, получают максимальный результат, ибо для них получение MBA "не сработало", а прохождение наших курсов -- "сработало". Оплата за курсы -- это инвестиции, а не расходы. Они окупятся: это ж рост вашего рабочего мастерства, это окупается!
Возражение: хочу проходить курсы в произвольном порядке, а не как вы указываете
Нет, у нас curriculum learning в фундаментальном образовании, и там scaffolding. Грубо говоря, порядок прохождения курсов имеет значение -- каждый предыдущий курс помогает пройти следующий. В знаниях невозможно выстроить отдельные "модули" так, чтобы интегралы и арифметику, игру этюдов Шопена и песенки третьего класса музыкальной школы можно было изучать в любом порядке. Мы довольно много времени (учим с 2012 года) потратили на то, чтобы выстроить материалы в правильной последовательности -- вот таймлайн, https://ailev.livejournal.com/1684620.html, там без последней пары лет, и семестров планировалось аж шесть. Сейчас семестров всего три, а порядок прохождения курсов опять уточнён. Поэтому надо проходить курсы в указанном порядке, а не по собственному хотению. Вообще, учиться и лечиться "по собственному хотению" в обучении и медицине -- плохая практика, много больше об этом в https://ailev.livejournal.com/1758321.html.
Возражение: мне нужны короткие курсы по некоторым вашим темам, а не одна длинная программа с кучей мне ненужного
Это просто другая формулировка предыдущего пункта: "хочу проходить курсы в произвольном порядке, а не как вы указываете". Но тут есть ещё один интересный момент -- неявное указание на то, что студент знает, что ему нужно из предложенного "меню". Он просто не хочет "комплексный обед"! Убедительная метафора, правда? Но неверная. Вот тут огромный текст, который подробно разъясняет, что на входе студент не знает, чему его будут учить в рамках фундаментального образования -- просто не знает, ведь он ещё этому не учился! Врач и учитель фундаментальных курсов знают, от чего надо лечить и чему учить -- и это мнение не совпадает со мнением пациента и студента! В первом случае надо "стать здоровым", во втором случае -- "поумнеть". И вот что надо для этого делать -- совершенно неочевидно для пациента и студента, которые не профи в этих вопросах. Вот этот большой текст, смотрите там про контринтуитивность фундаментального образования: https://ailev.livejournal.com/1758321.html
Возражение: вы учите не так, как надо -- у вас хаос в курсах, нет структурированного изложения
В наших курсах мы рассказываем теорию, почему у нас курсы устроены не как справочники с чёткой структурой и без повторений. Хаос в наших курсах -- это иллюзия, это так спланированое изложение. Увы, мифы про то, как должен быть организован учебник и каким языком написан, распространены очень широко -- но learning science говорит, что по справочнику и энциклопедии не научишься, написание конспектов и подчёркивание ключевых фраз не помогает в усвоении материала. Обучение и обучение-развлечение всё-таки отличаются. Курсы написаны с учётом этих рекомендаций, научные исследования на эту тему (сравнение изложений blocked, interleaved, spaced repetitions) процитированы прямо в тексте курсов, чтобы уж наверняка снять любые обвинения в том, что авторы курса что-то не понимают в психофизиологии обучения. Понимают, поэтому курсы именно такие, а не другие. Результат: наши курсы труднее "пройти мимо" (хотя при старании это вполне возможно, было бы желание!). Скажем, один из студентов пишёт: "в третий раз читаю про роли и их методы работы -- и думаю, почему же мне уже в третий раз про это рассказывают, почти одними и теми же словами? И вдруг понимаю, что это же про мои роли, про мои методы работы! Только на третий раз я это понял!". Это типично для наших курсов: с первого предъявления всерьёз принимается очень мало положений курса, нужно повторить эти положения во взаимосвязи с другими положениями несколько раз, и ещё заставить выполнить некоторое количество упражнений на собственном рабочем проекте, чтобы материал был принят всерьёз, чтобы можно было сказать "научился".
Возражение: к моим проектам ваше знание неприменимо
Мы даём трансдисциплинарное, "по ту сторону прикладных дисциплин" даже не знание, а мастерство мышления. В этом и особенность фундаментального образования, что освоенные в нём методы мышления оказываются приложимыми к самым разным рабочим проектам -- медицинским, автомобилестроительным, сельскохозяйственным, художественным. У нас даже нет "учебных проектов", нет "разбора кейсов" из учебников -- ибо они всегда старые и не живые. У нас зато все задания -- это подумать о чём-то в ваших собственных рабочих проектах. Это и для выполнения проектов полезно, и даёт немедленный практический опыт приложения материалов курса. Если вы будете изучать чеклисты, то вы прежде всего будете делать эти чеклисты для своего проекта -- и даже не личного или бытового, а сразу рабочего. Если речь идёт об операционном менеджменте, то сразу будете думать, как управлять своей работой (а если вы менеджер -- то и работой сотрудников) в рабочем проекте. Нет "применимости знаний к проекту" -- мы даём сильное мышление, оно просто работает, в том числе работает в ходе вашего проекта. Это не "особая отвёртка к особому проекту, чтобы повернуть там особый винтик". Нет, мы меняем человека: он думал одним способом, а после прохождения курсов -- другим способом, и это общее для всех рабочих проектов, не зависит от природы систем этих проектов.
Возражение: у вас там теория, а теория мертва, должна быть прежде всего практика
Наши курсы дают мастерство сильного мышления, которое весьма практично -- настолько практично, что мы рекомендуем выполнять задания курсов в рабочее время. Это ровно то время, когда вы думаете о работе: просто думаете не "как всегда", а как предлагаем мы в наших курсах. Это полезно вам для обучения, а работе -- для результатов работы. Интересно, что студенты-менеджеры первыми понимают пользу материалов курса для работы и начинают заниматься в рабочее время, и чаще всего ставят эти занятия на первую половину дня -- а во второй половине дня уже получают пользу от новых умений.
Возражение: вы учите, значит у вас инфобизнес! Иначе сами бы работали!
Мы как раз сами и работали, у авторов курсов и преподавателей школы есть множество более чем крутых выполненных проектов, есть чем похвастаться, есть собственный инженерный, управленческий и предпринимательский опыт. Мы руководили проектами на много тысяч человек, федерального масштаба. И создавали бизнесы, которые потом жили много-много лет. Но у людей могут быть и иные интересы. Так, часть наших выпускников пошли развиваться не по линии менеджеров, а по линии инженеров (например, архитекторов, которым просто в силу их профессиональной роли нужно работать со многими командами разработчиков). А вот авторам курсов и преподавателям нравится учить людей, у них есть амбициозные планы по массовому фундаментальному образованию -- такой вот социальный проект. В университетах тоже так: кто-то идёт в бизнес, но самые талантливые часто остаются работать на кафедре, поступают в аспирантуру, потом становятся доцентами и профессорами -- не всех привлекает версия "успешного успеха" по линии "стать миллиардером". При этом возражение такое очень редкое: материалы курсов доступны бесплатно после регистранции на https://aisystant.system-school.ru/, можно лично убедиться, "инфобизнес" или нет. Это не "авторские методики", "оригинальные исследования", "сектантские методы". Нет, это международный самый современный опыт, в каждом курсе приведены ссылки на сотни первоисточников.
Возражение: у меня много лет опыта, мне незачем учиться азам с начала
Увы, есть зачем: мир меняется очень быстро, поэтому азы изменились. Скажем, в инженерии уже нет требований, уже не используется понятие жизненного цикла -- а мы ведь 10 лет назад учили именно им! В менеджменте уже преодолели болезнь холакратий и бирюзовых организаций (впрочем, мы ещё десять лет назад учили, что это не лучшие тренды). "Двадцатилетний опыт" -- это ведь часто "однолетний опыт, повторённый двадцать раз". Меняется жизнь -- меняются курсы, но что более важно -- меняется понимание того, что такое "фундаментальное образование", содержание этого образования. Скорее всего, вы даже не представляете, что сегодня в него входит -- и этому вас не учили ни в школе, ни в вузе, ни на eMBA, ни в ходе работы даже в крупных организациях. То же системное мышление третьего поколения, методология -- вряд ли вам так повезло, что вы имели семестровые курсы на эти темы. Фундаментальное образование делает людей умнее, и тут нет такого потолка, когда можно сказать "я и так умный, умный на современном уровне, мне больше не надо". Всегда есть куда умнеть, всегда есть способ стать успешней от того, что поумнел. Вообще-то это забавное возражение: наши курсы оказываются наиболее интересны опытным специалистам, сразу после студенческой скамьи в обычном вузе их трудно оценить, не хватает опыта, чтобы понять их практическую приложимость -- просто ещё в жизни не встречались проблемы, которые решают наши курсы. А опытным людям такие проблемы уже встречались. Так что загляните в содержание курсов, оно бесплатно, оцените содержание сами.
Возражение: ваши курсы уже никому не нужны, просто можно задавать вопросы AI -- и получить всё то же самое
Не получится: вам надо удерживать AI на избранных (а не каких попало) теориях инженерии и менеджмента в их взаимосвязи в течение где-то года, чтобы получился какой-то эквивалент нашей учебной программы "Организационное развитие". И это ещё с удержанием системного мышления не любого поколения, а третьего поколения, а также с опорой на современную рациональность и эволюционную системную инженерию. Конечно, если речь идёт о коротких школьных темах типа "извлечение квадратных корней", изучении языков, изучении одной какой-то узкой темы в том же менеджменте, то использование AI для обучения сегодня -- стандарт. Похуже профессора, который будет "хватать за язык", обеспечивая быструю обратную связь, но в качестве учебника и задачника -- вполне. При этом в наших курсах такой AI есть, это же Aisystant -- AI "systems assistant", мы имеем AI-поддержку в наших курсах уже несколько лет (с 28 марта 2023 года, когда этим вообще мало кто мог похвастаться). Но вот провести студента по годичной учебной программе, тщательно согласованной внутри себя понятийно и терминологически -- современный AI ещё не может. А когда сможет, то окажется, что в основе там должен лежать учебный курс, "данные для обучения AI". Вот это и есть наши курсы: с AI мы поступаем так же, как с нашими преподавателями -- кто заканчивает наши курсы, получает возможность преподавать эти материалы студентам.
Возражение: легко вам там в Москве. Я живу далеко, а то бы давно уже у вас учился
У нас обычно в учебных группах люди из трёх-четырёх стран, и даже преподаватели отнюдь не всегда ведут занятия из Москвы. Иногда бывает возможность посетить занятия в офисе, но чаще всего занятия ведутся онлайн в телеграме, записи занятий всегда ведутся, просто доступны только участникам занятия -- их не выкладывают в открытый доступ. Так что по факту у нас занятия не привязаны не то что к какому-то городу, они не привязаны даже к стране.
Возражение: я лучше пойду на классические курсы менеджмента
Нет проблем, мы действительно отличаемся от конкурентов: сначала учим рациональному мышлению, затем системному мышлению, потом методологии, затем учим системной инженерии. И только после этого -- инженерии личности и менеджменту в последнюю очередь, ибо это оказывается просто инженерия предприятия, мышление инженера, применённая к коллективам людей.
... и таких возражений множество, и это даже не все. На часть возражений я отвечал в своих прошлых постах. Но в заключение дам ссылку на текущее содержание программы "Организационное развитие" и порядок её прохождения: https://ailev.livejournal.com/1737214.html
Против попсовости обучения
Инфобизнес победил: сформировал обывательские ожидания
Инфобизнес предлагает обучение-развлечение: короткие курсы с "никакой теории, сплошная практика", обучение онлайн в удобном темпе -- без преподавателя, "один урок -- одна идея, 15 минут затрат в день", "аудио -- можете слушать в любом месте", и такого много. Дальше у обывателей исподволь за много лет формируются ожидания "идеального учебного процесса" (прежде всего!) и "идеального образования". Это у себя на рабочем месте они профи в какой-то предметной области, а в learning sciences они -- обыватели, а не профи. При этом даже если взять педагогов, то там или те же обучения-развлечения, или школьные и вузовские натаскивания на какие-то прикладные предметы -- тоже ни разу не образование. Появляется ожидание, что "английский за три дня" это уж слишком, "инфобизнес", но вот системная инженерия или менеджмент за месяц путём чтения учебника -- самое оно, и если не так -- то "провайдер курса плохо работает". Как же формулируется "идеальный курс"? Edutainment, концерт: "меня развлекали полтора часа, ибо больше не могу высидеть даже на концерте". А результаты? "После концерта сел за руль вертолёта -- и полетел!" -- это уже не инфобизнес, это уже Голливуд с пересылкой умения управлять вертолётом за пару-тройку секунд.
Я ещё много могу тут разных слов накидать -- про "капризных инфантилов" сегодня не говорят только ленивые. Я много раз уже писал в блоге о проблемах фундаментального образования. Но тут второй день в двух чатах идёт разговор о том, что программы ШСМ не соответствуют клиентским ожиданиям. Да, потому что студенты для нас, как ни удивительно -- не клиенты. Отношение тут больше как к соклубникам, а в обучении -- как к студентам. Разница определяется легко: клиент всегда прав, а студент -- нет. С врачами ровно та же история: врач говорит "под нож", клиент говорит "кормите меня шоколадом". Учитель говорит "начни с выявления целевой системы", студент говорит -- "неинтересно, развлеки чем-нибудь ещё". Клиент врача и учителя когда возражает -- ему указывается на дверь. Врачи говорят про "комплаентность" (насколько пациент выполняет врачебные предписания), у преподов такого понятия нет -- они могут "не выдать диплом". Но кому сейчас нужен диплом? Нужны знания, но полученные не путём тяжелых тренировок. Поп-фитнес: "можно пожевать стероидов, но не поднимать штангу? Я пробовал: это надо делать долго, а ещё штанга тяжёлая".
Мифов при этом про образование в головах обывателей, они же поп-эксперты по обучению (все же учились, много лет, во многих местах) хватает -- типа эффективности конспектирования или хотя бы подчёркивания важных мест, эффективности видео и аудиоматериалов в обучении, преимуществ структурированного обучения чёткими тематическими блоками (blocked) перед обучению разным темам вперемешку (inteleaved) и с повторением через какие-то промежутки времени (spaced repetition). У меня в курсе "Системное мышление" есть большой текст про принципы обучения -- но этот текст "проходят мимо", "обывателю лучше известно". Хотя чаще всего до этого места не доходят, ибо срабатывает другой миф: обучать фундаментальным навыкам надо "исподволь", в ходе сугубо прикладных занятий. Вот потребовалось взять интеграл, и учи его брать -- по ходу дела объяснишь и сложение, и что такое математика!
Как я проверю, поп-спец по образованию, или реально человек разбирается? Вот ровно по тому самому: если говорят, что мне курс надо превратить в энциклопедию или справочник, убрав повторения, нарубив сложносочинённые предложения на более простые (как будто я этих экспериментов не делал! лучшие студенты взвыли -- ибо сложносочинённые предложения и скобки дают дополнительные указания на связи понятий, из простых предложений эти связи не так чётко видны), изо всех особенностей интерфейса курсов дать возможность подчёркивать какие-то строчки в курсе (а возможности написать пост прямо из интерфейса курса не замечают, и даже не планируют использовать такое -- для них учебник ведь "справочник"), рассказывают про то, что интерес главное, а содержание образования вторично -- всё, это обывательское понимание, и с таким пониманием, увы, практически каждый первый даже среди наших студентов. И объяснить мы эту мифологичность понимания образования студентам можем по ходу прохождения курсов, но не на входе. Поэтому у нас довольно велик процент "пришёл, обнаружил непривычное непопсовое -- бросил". Да, для меня быть попсовым -- обидно. Хотя для инфобизнеса ровно попсовость и нужна. "Будь проще, и люди к тебе потянутся". Да, потянутся простые люди, и их можно будет учить простым вещам. У меня есть опыт учить не простым вещам, а вещам посложнее. Поэтому мне не надо быть попсовым. Всё открыто: смотрите как мы учим, смотрите содержание образование. Если долго ходили по этому учебному базару и не нашли ничего лучше -- мы договоримся. Если считаете, что это "не для простых людей" -- да, это не для простых людей, а для тех, кто уже понял, где его дурят в "инфобизнесе".
Контринтуитивность: учим не тому, что вы хотите, а тому, что надо
Кто должен задавать содержание образования? "Инфобизнес" предлагает модель с провайдером образования как сервисом удовлетворения потребностей клиента. Нет потребности -- не удовлетворяем. Культуртрегер действует наоборот: учит тому, что надо -- а не тому, что ожидается, не тому, что "надо прямо сейчас". Поэтому идут не за тем, что хотели бы получить, а за тем, что надо -- но этого ещё не знаешь. Обучение должно быть не затребованного, а наоборот -- незатребованного. Учить надо дырам мышления! Тому, что ещё не делают в мышлении, а не тому, что уже знают, но пока делают плохо (ровно потому, что не умеют делать чего-то базового).
Наши лучшие студенты понимают этот аспект "не пропустить чего важного" -- вот, например, https://t.me/systemsthinking_course/31656. А какие результаты? Вот результаты -- https://t.me/ailev_blog_discussion/30663. Задача курсов -- дать мета-мета-модель, то есть основные важные объекты, которые надо искать во всех ситуациях. В нашей мета-мета-модели самые абстрактные понятия: системы и подсистемы, создателя системы, метода работы, работы, роли, агента, эволюции, физического и функционального объектов, описания и модели, организации и лидерства. Конечно, этих понятий побольше, и важны не только эти понятия, но и связи между ними. Главное -- научить наводить на них внимание, научить искать соответствующие этим понятиям объекты в жизни и дальше -- научить собранности как удержанию внимания на этих объектах в ходе рабочего проекта. И через 10 лет экспериментов в области научения этой мета-мета-модели (абстрактной, универсальной, фундаментальной по отношению к мета-моделям -- разных предметных областей, встречающихся в проектах) мы таки научились превращать эту мета-мета-модель в действенный инструмент сильного мышления у большинства наших студентов. Но к нам мало кто приходит изучать, чем отличается метод работы от работы по методу (одно из первых отличий, которому мы учим). К нам приходят не за мета-мета-моделью, а за прикладными приёмами работы в проекте, вроде "как объяснить этому уроду, что ему надо срочно выполнить мою просьбу". Что просьба дурацкая, это даже не обсуждается, и что "этот урод" будет реально уродом, если он эту просьбу выполнит, это тоже не обсуждается. Прикладное знание нужно, но ответ на простой вопрос сегодня можно получить даже не на краткосрочном курсе, но просто от AI-агента, и эти агенты (вроде Grok или Claude) сегодня даже бесплатны. К нам надо идти за другим, за фундаментальным образованием, которое помогает в жизни вот прямо сразу, по ходу курсов, а не когда-нибудь потом, "после окончания обучения" или "когда для этого попадётся подходящий проект, и я всё это применю". Но это "другое" из "к нам надо идти за другим" весьма контринтуитивно, противоречит обывательскому жизненному опыту. Да, студенты к нам приходят, но их и впрямь пока не очень много -- мы пока не научились объяснять наш подход в режиме "лифтового теста", за две минуты. Вот я пишу, текста много, убедительности мало -- это ж вопросы веры, "жизненного опыта", вопросы мифов. С мифами тяжело, человеческий мозг к ним имеет слабость.
Как это видится обывательским глазом: "курсы дают много лишнего, чего вот прямо сейчас не нужно. Уберите это лишнее, давайте только то, что нужно". Так мы ровно это и сделали! Убрали много лишнего, даём только то, что нужно -- и нужно будет всегда. Поэтому приятно видеть, что вот этот аспект "не пропустить чего" после прохождения наших курсов вполне понимается. А что пропускают? Например, влияние своего проекта на целевую систему. Вот вчерашняя реплика, что даже HR можно научить обращать внимание на целевую систему, если учить -- но это же последнее, чему будет хотеть учиться HR! Но как только научается -- тут же похвала от руководителя: https://t.me/systemsthinking_course/31663
У нас фундаментальное образование, оно увеличивает вероятность достичь какого-то глобального максимума в жизни, а не локального сиюминутного. Если ты оптимизируешь что-то многокритериальное, то должен понимать, что "ползти вверх по склону" -- это приползти в локальный максимум, надо поэтому понимать, что всегда где-то есть глобальный максимум, и не профукать его. Оптимизировать свою жизнь в целом, а не решение проблемы. Как пишет Юрий Геронимус: "ты хочешь здесь и сейчас быть успешным? Тогда я вообще не очень понимаю зачем учиться? Нанял эксперта (не учителя) - заплатил 100-300$, он тебе рассказал что делать, начал делать, всё", https://t.me/ailev_blog_discussion/30681. И дальше вроде как верный ответ обывателя: "нет денег эксперта покупать по каждому вопросу!". Мы отвечаем, что сейчас -- есть, отвечает на все вопросы, преподаёт все прикладные курсы любая из расхожих LLM -- ChatGPT, Claude, Grok, Gemini, и даже версий не надо указывать, ибо версии меняются, а каждые семь месяцев вдвое увеличивается масштаб задачи, которую можно поручить (сейчас это около 4 часов работы эксперта, осенью будет возможно поручить полный восьмичасовой рабочий день человека, хотя и не любого человека, но таки без человека -- https://arxiv.org/abs/2503.14499, в софтверной разработке, например, If these results generalize to real-world software tasks, extrapolation of this trend predicts that within 5 years, AI systems will be capable of automating many software tasks that currently take humans a month). Так что с экспертом -- никакой проблемы! Проблемы с универсалом, который поставит эксперту задачу.
Но продолжаем эту линию "я вижу проблему, дайте срочно решение": "Вот тут тексты курсов бесплатные лежат -- вроде там должны быть ответы, выкиньте лишнее, дайте ответ" -- вот тут загвоздка по нескольким линиям сразу:
-- ответы могут лежать там, могут в прикладных курсах. Даже не будем обсуждать, как найти в десяти томиках (у нас примерно столько всего курсов! Прямо как учебников-задачников для вузовского семестра!) ответ, это только что разобрали: LLM всё найдёт. Проблема в том, что ответы без базы могут быть непонятны. Вы читаете рецепт: пассеровать овощи для борща. Вау, новое слово! Идёте учить пассеровку. Там научат -- слегка прожарить порезанные овощи. ОК, ищем на чём жарить, разбираемся с разжиганием огня, выбором масла, упираемся в "порезанные овощи". Вау, резать не умеем! Оказывается, готовить -- это хорошо резать! Первое умение повара, "база" -- это умение управляться ножом, быстро и безопасно! Да ещё для "порезать", оказывается нужен острый нож, который в целях безопасности давно отобрали! Чтобы приготовить борщ, надо уметь резать -- кто бы мог подумать!
-- "бесплатные курсы" -- это текст учебника. Конечно, если у вас есть база, есть фундаментальное понимание, то можно из учебника что-то вычитать, чему-то научиться. Наверное, чему-то одному (как и предполагается). Но нельзя научиться играть на гитаре, читая самоучитель, даже если это самоучитель игры на гитаре! "Ответы" -- это ведь "уметь делать"? Каким образом чтение курса учит делать?! В лучшем случае, вы будете уметь "поддерживать разговор", кивать вовремя (и то, если будете успевать провернуть в уме какое-нибудь не слишком длинное рассуждение, чтобы кивнуть вовремя).
-- если бы из курсов можно было выкинуть лишнее, выкинули бы. Повторения? Spaced repetition, не выкинешь. Нудное объяснение сто раз уже понятого? Скорее всего, не понятого: тексты у меня переписывались по девять раз (буквально), объяснения добавлялись туда, где студенты упорно не понимали материал. Разбор ошибок лишний? Вы первый сделаете такую ошибку!
-- выкинуть лишнее: скорее всего это будет самое важное, что вы не знаете, но оно вам больше всего надо.
Ещё раз: если у тебя в борще лишний таракан, ты его легко заметишь и "отдебажишь" (pun intended). А если борщ невкусный — как понять, чего не хватает? Пассеровку забыли? Порезали овощи не так? Или просто не посолено? В вашем проекте лишнюю работу, кривой результат не просто заметить, но таки можно. А как найти пропущенную работу, без которой всё загнётся через пару недель?
Мета-мета-модель: чеклист важных объектов, которые надо отследить в проекте
Курс задаёт набор весьма высокоуровневых тесно связанных между собой концепций -- важных типов объектов. В самых разных ситуациях надо найти объекты этих типов. Это мета-мета-модель. Это мантры, которые сосредотачивают ум, которые надо повторять и повторять -- чтобы не пропустить важное, контринтуитивное. Скажем, надо определить вещь (а не процесс, не описание), которую ваш проект делает -- и представить её в момент эксплуатации в её окружении как "гифку", с каким-то поведением, наносящим непоправимую пользу её окружению. Это первый шаг системного мышления, от него не уйти. Проблема в том, что определять такую вещь мало кто хочет, мало кто умеет. Это очень и очень важно, но обычно проходит довольно много учебного времени, чтобы студенту стала понятна важность. И это не только в системном мышлении так, не только в рациональности, не только в системной инженерии.
Когда у вас есть проблема, которую можно (и даже надо!) решать прямо по методу, описанному в курсе — вы не знаете о существовании этого метода, ибо просто не стали изучать, как "не нужное". Да ещё и сослались на всякие плохо работающие с фундаментальными знаниями педагогические теории: проблемное обучение (не работает, пока не покажут образцы хорошего мышления), обучение только интересному (да, конечно! каждый поступает в вуз, который ему интересен -- а потом обнаруживает, что все предметы в нём всех первых трёх курсов -- неинтересны!). Те самые "фундаментальные дисциплины", которые интересны только паре человек на курсе, но учат-то всех! Конечно, недоучивают, потом всё равно работать не по специальности -- и что там с интересом, если работать не по специальности?
Курсы учат тому, что надо спрашивать, они не дают готовых ответов. Эта проблема хорошо проявляется при общении с AI, при общении с сотрудниками: знать бы о чём спросить! Вот это "знать бы о чём спросить" курсы как раз и дают: рассказывают, что спрашивать, о каких важных объектах надо думать. Курс даёт контринтуитивное знание, прямо противоречащее текущей интуиции -- поэтому учит не тому, что вы от него ожидаете. Грубо говоря, вы спрашиваете как вам ориентироваться на этаже, а вам рассказывают, что вон там лифт на другие этажи -- а вы и не знали, что там много этажей, и что там лифт. И пришли не за этим. Вот и образование: вы пришли роботов строить, а вам дают курс сопротивления материалов и рассказывают про мехатронику, вы пришли роботов продавать -- а вам рассказывают про азы стратегирования.
Разъясняем ли мы это? Конечно! Вот прямо сейчас пишу. Можно ещё и содержание курсов посмотреть, чтобы убедиться -- оно бесплатно. Знают ли об этом в мире? Конечно, но пишут в таких местах, какие вам в голову не придут: вот тут, например, пишут -- Skill dependencies uncover nested human capital, https://www.nature.com/articles/s41562-024-02093-2. Пересказ по-русски от ChatGPT на сайте Евгения Кузнецова: https://eugenykuznetsov.substack.com/p/27a. И там вот оно, о чём мы и говорим: "Исследователи, используя базу из 70 миллионов смен рабочих мест в США, обнаружили, что человеческий капитал формируется не просто за счёт накопления отдельных навыков и знаний, а в виде иерархически выстроенной структуры взаимосвязей между навыками. Суть этого подхода состоит в том, что определённые специфические навыки возможно эффективно развивать только после того, как усвоены более фундаментальные и общие компетенции". Можно долго разбираться с тем, какая там классификация навыков -- но общая мысль высказана очень чётко: "чем лучше навык встроен в эту общую иерархию (то есть чем выше его «вложенность»), тем выше оказывается заработная плата, тем длительнее и дороже обучение такому навыку и тем ниже риск его автоматизации". Какая иерархия? Умение говорить-писать и логически мыслить -- в самом верху, умение планировать -- в серединке, умение программировать или играть на флейте -- в самом низу. Вот это оно, интеллект-стек методов сильного мышления (да, мышление письмом тут тоже метод сильного мышления!) дольше всего осваивается, дорог в освоении, но потом окупается дольше всего.
Долго учим системному мышлению: смотреть сначала вовне своей системы, вовне своего проекта, потом только внутрь
Это ровно отражает наш подход: долго доучивать тому мастерству мышления, которому не научили ни в школе, ни в вузе, ни на executive MBA, давать хоть какой-то производственный кругозор (рассказывать о том, о чём и не знал, что оно существует!) -- а потом чуть-чуть давать знания по инженерии и менеджменту, и ровно это окупается, ровно это даёт глобальный успех в жизни, а не локальный успех в моменте.
А если речь идёт о предприятии, корпоративном обучении? Там то же самое: прикладной опыт придётся часто менять, а вот сотрудников нужного "калибра личности", нужного уровня общепредметных навыков, умения работать с мета-мета-моделью как верхнеуровневой онтологией, как связной картиной мира, где легко определить пропущенные части -- вот такого у компаний нет. А мы такое даём, сотрудников, которые не только смотрят на успех своего личного дела в фирме, но и на успех дела всей фирмы в целом. Вот пример: "буквально сегодня хвалил HR-а, которая начала разбираться, а как конкретно все эти HR-овские приемы и заморочки приводят к изменению целевой системы. Причем «она сама» начала с этим разбираться. Обычно HR-ы кроме речекряка про корпоративную культуру, вовлеченность, мотивацию и тому подобные идеологические конструкты выдать ничего не в состоянии…", https://t.me/systemsthinking_course/31663. Но ровно то же самое можно сказать и про инженеров: кто из них может внятно показать, как успех его проекта отражается на успехе фирмы?! Вот прямо по-Голдратту, защитить не свой локальный максимум, а глобальный максимум фирмы? Да ещё и отслеживать это, ибо ситуация меняется, и впахивать для достижения старых целей в новых ситуациях нецелесообразно?
Вот мы учим думать ровно об этом, это и есть системный подход -- мышление должно идти от границы своей системы, своего проекта сначала наружу, в окружение, а только потом заниматься своей системой, своим проектом, подчиняя его каким-то внешним обстоятельствам (тому, что делает фирма в целом, клиентура-рынок в целом). Вот у тебя "срочная задача", но ты не понимаешь, на критическом она пути, или нет -- ты ей дашь поздний старт ("задача должна вылежаться"), или начнёшь работать в режиме ошпаренной кошки, бросив все другие 100500 поручений, которые тебе успели дать до сегодняшнего дня? Вот это рассуждение про критическую цепь, и что вместо оптимизации своей собственной производительности надо заниматься подстраиванием своей производительности под общую производительность фирмы -- "от себя наружу" надо знать, а ещё надо уметь ему следовать в реальной жизни, уметь принять всерьёз. Вот этому учим буквально с первого же курса, "Рациональная работа".
А почему мы даём знания по инженерии и менеджменту только "чуть-чуть", хотя у нас школа менеджмента? Потому что уже и чуть-чуть на таком уровне -- это делать конкурентоспособным. И потому, что для профессионализации надо не один томик наших курсов проходить за три месяца, а побольше. Но если вы уже прошли десять томиков по инженерии и пять томиков по менеджменту, наши курсы сделают их работающими, превратят из "знаний" в "умения".
Обучение трансдисциплинам (транс-- -- это "по ту сторону прикладных дисциплин", более высокий уровень в иерархии мыслительных навыков) как фундаментальным методам сильного мышления сильно отличается от обучения набору приёмов прикладной работы по каким-то "горящим вопросам". Scaffolding (это от строительных лесов, нужных для возведения здания): в learning science это обучение от простого к сложному. Это основа curriculum learning, выстроенной образовательной траектории. Мы пытались десять лет назад говорить "проходите наши курсы в любом порядке", это не работало, ничем хорошим не заканчивалось. Люди тратили время, недоучивались, умнее не становились — а потом мы получали "обратную связь", что "весь подход не работает" и "авторы курса делают шапкозакидательные заявления". Но мы же видели, что курсы учат! Но учат только тех, кто соблюдал порядок их прохождения, а не читал как обычно читают детективы: с последней страницы к первой.
С порядком же прохождения основная проблема в том, что научить описанию поведения каких-то вещей (тем самым научить описанию методов, функций, способов работы, культуры, практик, стратегий и так далее, "синонимов с нюансами" тут много, и это всё -- "поведения", причём не "работы") трудно. Сначала надо долго-долго учить описывать это поведение, а также понимать такие описания. Например, для того, чтобы по ним воспроизвести поведение -- методы менеджмента, методы инженерии, методы игры в бильярд. И вот тут надо понимать, что сказано, или что вы сами сказали, а что не сказано, и надо или смотреть в других местах, или вам надо досказать! Вот это мы даём на наших курсах -- как общий навык. Поэтому и учим сначала долго неинтересному и труднодемонстрируемому (как быстро продемонстрировать, что вы умный?!), но важному для карьеры и успешного успеха, а уже потом -- чему-то интересному и прикладному. Например, игре на флейте или методам разворачивания стартапа -- берёте и делаете, сразу видно, умеете, или нет.
Конечно, если из рецепта приготовления пирога знать только, как заворачивать фарш и выставлять температуру печки — вкусного пирога не будет, про это в тех частях, которые "пока не прошёл". Но пирог-то будет приготовлен, а поскольку время на обучение заворачиванию фарша и выставлению температуры печи ушло ("я читал!"), то факт налицо -- "я учился, ничего не сработало". Такого у нас было много, ибо учили только то, что интересно и выделяли времени ровно столько, сколько было, а не столько, сколько надо -- но результаты были неинтересными. Штош. "-- Ваш курс системного мышления не сработал! -- А сколько вы на него потратили? -- Три дня! -- Так надо же 120 часов, и не в метро или такси, а в рабочем кресле! -- Не знаю, у меня столько нет, но курс не сработал! И это вы виноваты, вы меня не заинтересовали!". Да, "поучите меня, а я буду тут такой сидеть и смотреть, получится ли у вас". Нет, тут как в фитнесе -- если вот ту железку десять раз не поднимешь, результата не будет! А потом? Если фитнес есть -- можно и плясать, и на коньках, и в горы, что хочешь, мышц для начала хватит, а дальше можно уже адаптироваться к той или иной культуре движения. Вот у нас это трудное -- ментальный фитнес, подробности тут: https://ailev.livejournal.com/1743023.html
Поэтому мы довольно долго работали с пониманием, в каком порядке давать материал, чтобы завелось сильное мышление, вот тут эта история в очень сжатом виде (без последней пары лет, это 2023 года): https://ailev.livejournal.com/1684620.html. И после нормального прохождения курсов мы получали более чем крутые результаты: у наших создателей и системы становились круче, и карьерный рост до ведущих позиций в фирмах-единорогах, и предпринимательство получалось, и директорами по развитию становились в крупных компаниях, и развитие собственного бизнеса ускорялось в разы -- разве что они обычно не жужжат об этом, бизнес требует тишины. Нормальное -- это с выполнением заданий по предписанным шагам мышления в собственных проектах, а не просто прочитыванию материала путём пролистывания. И ещё мышление письмом, ибо "не пишешь -- не думаешь". И не один курс, а несколько. И не только личное развитие (учит менять себя), но и организационное развитие (учит менять мир вокруг себя).
Миф о втором прохождении курса как "недоучили" и вообще миф о "доучили"
Идея о том, что курсы наши надо проходить два раза -- она встречается обывателями в штыки: "недоучиваете?! Не выполняете обязательств?!". Про "обязательства" тут даже неинтересно. Конечно, после первого прохода даже по одному нашему курсу есть результаты! А уж по всей программе -- и подавно есть! Более того, мы не рекомендуем повторять отдельные курсы, даже если есть ощущение, что "с первого раза не разобрался" -- рекомендуем идти по программе дальше. Ибо невозможно выстроить клубок знаний в строгую последовательность изложения, где всё объясняется по очереди и нет забеганий вперёд. Поэтому изложение у нас interleaved (все темы вперемешку) и со spaced repetitions (какие-то куски повторяются -- кривые забывания для человеческого мозга, увы, отменить нельзя никаким обучением). Курсы проходятся в режиме хобби за год -- вот программа "Организационное развитие", 480 часов, https://ailev.livejournal.com/1737214.html. А дальше?
Дальше второй проход, который по отзывам всех его совершивших -- "как в первый раз!". По времени это примерно вдвое меньше, 240 часов. Это не совсем то же, что первый проход, ибо успеет поменяться содержание курсов, они же обновляются -- и не только потому, что "улучшается подача материала". Нет, мир меняется -- и, соответственно, меняется материал курсов.
А ещё вы забудете много интересных деталей. Но важнее всего, что выстроятся новые связи между понятиями. Ибо первый проход познакомит с понятиями -- но вот как они связаны будет не слишком очевидно, будут "островки знания". Второй проход решает эту проблему, все "ссылки вперёд" из первого прохода будут "ссылками на немного знакомое", и будет множество интересных новых инсайтов.
А потом -- непрерывное образование, вы начнёте время от времени повторять этот подвиг перепрохождения курсов -- ибо содержание SoTA методов инженерии и менеджмента меняется, и "надо бежать со всех ног, чтобы только-только остаться на месте". Вот уже и требований нет, и в курсах приходится объяснять, как это так получилось.
Лучшие наши люди проходили курсы дважды, а то и трижды. Те, у кого MBA -- они обычно и шли на два захода, причём с преподавателями. Результаты? Я же говорю -- лучшие наши люди! Дальше можно обсуждать -- это потому что они лучшие люди, они проходили эти наши курсы дважды, или потому что проходили, становились лучшими людьми. Мы не Ротари-клуб, чтобы вести статистику знаменитостей в наших рядах. Но у наших соклубников-создателей вполне есть, чем похвастаться из того, что они создали.
Рассказываем ли мы об этом? Конечно, например, вот прямо сейчас. Но всё равно -- когда обыватель слышит про "второй раз", то у него в голове "однократный жизненный цикл", "учебный водопад", "приёмка-сдача результатов обучения по договору". А у нас -- эволюция, "непрерывное всё", continuous learning. Начать учиться можно, закончить -- нельзя. Поэтому у нас и по третьему разу идут, и по четвёртому бывает -- и идут как раз самые успешные! И материалы курсов, конечно, меняются. Вот в текущей версии курсов уже нет "жизненного цикла", а когда начинали десять лет назад -- это было ведущее понятие, фронтир фронтиров! Нет инженерии требований -- а десять лет назад это было более чем востребовано! Жизнь изменилась, надо переучиваться, в том числе переучивать своё фундаментальное образование. Но каждый шаг, каждый навык -- мы его таки доучиваем.
Поэтому мы уходим от понятия Школы как главного: у нас студенты вроде есть, а выпускников -- вроде нет. Есть люди, они создают системы (люди-создатели), у них общая культура -- методы их фундаментального мышления. Мы -- клуб, а школа при клубе.
Граница Парето в эффективности методов обучения
Мы тут рассматриваем пути ускорения обучения, но всё-таки вопрос о содержании образования -- главный. Не знаешь, чему учить -- бесполезно ускорять "обучение чему-нибудь". Поэтому вернёмся к постановке задачи, как её обсуждают разработчики нежити. Главное там -- это выйти на границу Парето в точности ответов на какой-то класс задач, выход на Парето обсуждал в https://ailev.livejournal.com/1757388.html, затем в https://ailev.livejournal.com/1757701.html (и там важный вывод, что в новостной ленте неплохо бы отслеживать эту Парето-границу, SoTA не единственное решение -- для разных классов задач будут разные оптимизации, теорема о бесплатном обеде -- универсальных для всех классов алгоритмов не существует, вот пример исследования масштабирования компьюта для разных классов задач: https://arxiv.org/abs/2503.10061). Куда направить компьют (грубо говоря, потраченное время хоть нежити, хоть людей), чтобы выходить на Парето по какому-то классу задач? Вот основные направления:
-- изменить функциональную архитектуру нейросети. Для нежити сегодня -- это попробовать кроме трансформеров ещё и диффузию, и мамбу, и xLSTM и всяческие их гибриды. Для людей -- можно посоветовать выпить кофе, среди биологических существ это и так самая сильная архитектура. Wait... можно добавить экзокортекс, например, ручку-бумажку, но ещё можно добавить память получше, например, Google, а можно и ещё добавить -- нескольких AI-агентов от разных вендоров. Всё это как раз "изменит архитектуру нейросети" (будем считать, что это микроядерная архитектура -- ядро и плагины. Я предпочитаю считать, что это или CYC архитектура с "ускорителями", или древний Toolformer -- трансформер, который выучивается пользоваться традиционными солверами для разных частных задач). Важно, что усиливать мозг внешними инструментами надо учить.
-- размер таки имеет значение, речь о числе параметров в ANN (считая, что архитектура уже дана). Предыдущая ссылка как раз о том, что большое число параметров важно для эрудиции. Что тут посоветовать людям, и не знаю. Вероятно, работать не в одиночку, а в коллективе специалистов/экспертов -- это аналог роста числа параметров через MoE. Это, впрочем, малоотличимо от предыдущей опции, задействования экзокортекса, но тут говорится the more the merrier.
-- изменение качества данных в обучении даёт существенный выигрыш в выводе, изменение качества данных (textbook is all you need, образцы паттернов хорошего мышления для priming в RL, обучение только таким данным, которые влияют на результаты). Конечно, учиться можно и на помойке из данных, но качество такого обучения плохое, а компьюта и данных уходит сильно побольше. Если заботиться о качестве данных, об их разнообразии, о демонстрации паттернов хорошего мышления, не допускать повторения собственных ошибок, чтобы их не заучивать, то можно учиться много меньше -- а на выходе обучения показывать результаты мышления лучше. Вот ровно этим занимаюсь: человек не в состоянии учиться на всех доступных курсах, на всём доступном материале хотя бы википедии, тем более что хорошо показан вред такого обучения. Так что берём паттерны сильного мышления (рациональное, системное, логичное, а дальше инженерное, менеджерское) и учим на хороших курсах. Материалы таких курсов я как раз и пишу. Там, конечно, некоторые проблемы: обучение людей лучше идёт на spaced и interleaved материалах. Нельзя "загрузить справочник", по энциклопедиям не научишь! Нужны повторения, причем с перерывами (кривые забывания никто не отменял!), нужно перемешивание материала разных тем, нужно решение задач с быстрой обратной связью от препода, а ещё у меня не столько сверхкороткие версии "курсов всего", сколько аннотированные списки литературы -- и требуется ещё и знакомиться с первоисточниками, а не только материалов учебника. Но на выходе -- большая скорость решения самых разных классов задач, в том числе типовых рассуждений в инженерии и менеджменте.
-- важен также порядок обучения, curriculum learning. Тут из главных находок -- это обучение прежде всего логике, чтобы потом в ходе обучения сеть лучше справлялась с ошибками. Нежить это делает путём чтения большого числа исходных кодов софта, там как раз "безошибочная жёсткая логика с контролем типов объектов". Ну, и продолжать надо RL -- учить длинным рассуждениям, предварительно показав, как выдвигать много гипотез, затем критиковать их, возвращаться в рассуждениях назад, а потом выходить на open-endedness. Мы для людей тоже сделали учебную программу, а не просто "набор учебных материалов россыпью". Начинаем тоже с рациональности, то есть принятия решений в условиях неопределённости -- и дальше выход в работу, чтобы уметь пользоваться хотя бы собой как ресурсом и обсуждать скорость работы, в том числе мыслительной. И дальше курсы идут в строгой последовательности, а не как попало. Ещё и подкручиваем форматы обучения, например, отлаживаем тренировки по шагам нескольких мантр.
-- дальше test time compute: генерировать больше идей и проверять их (search). Это для некоторых типов задач (скажем, математика) даёт огромный прирост результативности. Если, конечно, богатое воображение и мощная проверялка. Но для многих типов задач это быстро выходит на плато (скажем, для задач на эрудицию). Но для изобретений -- очень хорошо. Мы явно недостаточно этому уделяем внимание, все эти guided brainstorms -- но фишка в том, что должна быть хорошая проверялка. А она, увы, обычно дырявая.
-- второй вариант test time compute: давать подольше время на подумать, удерживая собранность на теме размышлений, reasoning. Ограничения тут тоже известны: довольно быстро выходишь на плато результативности. Это мы делаем. Мышление письмом тут весьма помогает.
Я тут много писал про reinforcement learning (https://ailev.livejournal.com/1754580.html, https://ailev.livejournal.com/1753533.html), но в causal inference это только вторая ступенька -- do-calculus. Если добавить контрфактуальность как окончательный третий шаг, то это будет causal reinforcement learning. "Intro to Causal RL", https://causalai.net/r65.pdf (180 страниц). Ещё много литературы вот тут: https://crl.causalai.net/, это чистая теория, но вот пара книг -- чуть более древняя https://appliedcausalinference.github.io/aci_book/ и чуть более свежая по casual ML -- https://causalml-book.org/. Judea Pearl на эту тему: The application is obvious: to move from idealized, simulated environments (games, etc.) to the real world, where unobserved confounding is pervasive (https://x.com/yudapearl/status/1898928267840688198). Вот Bahrenboim обсуждает это с Nando de Freitas: "counterfactuals (level 3) of Pearl's Hierarchy can be used for decision-making and can lead to dominant strategies over essentially any available RL strategy", но дальше он там говорит, что "имитировать, не понимая, как сейчас -- это хорошо, это линия Тьюринга с его тестом, ибо бенчмарк для интеллекта не построишь. Но нельзя же складывать лапки, это ж задача науки -- понять про интеллект, понять про сознание", https://x.com/eliasbareinboim/status/1898482783099531440. Nando de Freitas отвечает что да, если с интеллектом как-то разбираются по бенчмаркам, то нужно бы бенчмарки и для сознания -- "We need benchmarks for each of these factors, eg attention schemas, self-awareness, social awareness, ethics & morality (empathy, compassion), internal monitoring (eg regulation and emotion), … and hopefully people will suggest more. Some might be hard to measure admittedly. I also think this could be important for causal modelling. To know that it was one who acted upon the world (level 2 interventional causality, RL) a very basic form of self-hood is needed", https://x.com/NandoDF/status/1898462406793449840. Грубо говоря, вся эти причинная история связана с пониманием того, что есть личность, что есть агентность. И хорошо бы это замерять (и опять мы видим, что "сознание" пытаются переопределить технически в рамках какой-то школы мысли, что ни спец по какой-то дисциплине, то переопределятор "сознания"). Мне эта тема причинности важна, ибо надо учить людей (ну, и заодно и нежить) рассуждать и действовать не просто логически (что может быть полностью отвязано от ситуации в реальном мире), а причинно-логически -- ровно как говорит Pearl. Вот тут Barenboim обсуждает самомоделирование и влияние знания о причинах на принятие решений -- https://x.com/eliasbareinboim/status/1898928501719195758. И вот тут разворот на то, что есть понимающие в причинности "более агенты" и "менее агенты", и что надо думать, как это замерять -- важная архитектурная характеристика личности. Дальше выходы на:
-- рассуждения про это "используем как эвристику, работает и ладно, теория подождёт" против "давайте всё-таки поймём". Инженерия научна, инженерия не научна. И да, "расчёты по теории относительности для наших проектов не нужны, нам хватает и по Ньютону" -- вот это тоже, "аппроксимации" по сравнению с SoTA. Тут понятно, что делать: строить Парето по полной стоимости владения "затраты BOPs (brain operations) на обучение и на рассуждения/выводы" и точности, вроде как рисуют сегодня для open source LLM, https://x.com/allen_ai/status/1900248895520903636/photo/1
-- обучение рассуждениям о причинности в наших курсах (с поддержкой экзокортекса! Примеры тут уже есть, например, диаграмма причинности строится в рамках прохождения курса "Рациональная работа", вот тут даже пример поста с такой диаграммой -- https://systemsworld.club/t/kak-ya-osvoil-novyj-metod-raboty-analiz-tablichnyh-dannyh-s-programmirovaniem-na-russkom/). Дальше вопрос, до какого уровня учим, в каких местах курса это всё напоминаем (у меня напоминание, по большому счёту, аж в "Системной инженерии", но не скажу, чтобы там было много, и вот сразу показан выход в практику. Но всё-таки). Всё-таки одно дело знать, что такое есть, другое дело -- уверено повседневно пользоваться. Интуитивно-то все пользуются, фишка в том, чтобы неинтуитивно и с экзокортексом.
-- переписывать "Инженерию личности" таки надо, и там в части про личность таки надо задать архитектурные характеристики для личности (ага, какие раньше были "требования качества", что считать качественной личностью). Это как раз ходы на характеристики агентности в связи с моделированием себя. И да, бенчмарки, хорошо бы понимать, какие и как мерять -- тема уже назрела. И как бенчмарки включать в затраты на обучение, чтобы снижать общую стоимость владения знанием.
Не думаю, что кто-то одолеет предыдущий абзац, но одну из мыслей не хотел бы потерять: бенчмарки на хотя бы двух конфликтующих характеристиках, Парето-границы. LLM ведь как люди, поэтому их оценивают:
-- по батарее тестов на интеллект (чаще всего Elo, https://en.wikipedia.org/wiki/Elo_rating_system, но LMSYS перешла от ELO к https://en.wikipedia.org/wiki/Bradley%E2%80%93Terry_model, и там тоже есть где разгуляться с выбором) -- и эта шкала главная. Вот наших выпускников как померять при этом -- непонятно, ибо все тесты на "олимпиадное программирование". А мы всё-таки про причины-следствия в области коллективной разработки больше учим (но не все идут с этим в предпринимательство, рисковать не все любят, много общаться с людьми не все любят, а любят заниматься любимым делом -- но делать это лучше. Как измерить?!).
-- трудоёмкость обучения на заданное мастерство (FLOPs, сейчас там в районе единиц 10**24, а передовики показывают 10**23, тот же помянутый в предыдущем абзаце график https://x.com/allen_ai/status/1900248895520903636/photo/1. У нас сейчас примерно "год по паре часов в день". Потраченное на обучение время как раз легко измерить.
-- про модели Google любят показывать графики с показом мастерства против стоимости вывода (сразу в $), например, https://www.linkedin.com/posts/hsavas_gemini-2-models-a-new-pareto-frontier-activity-7296461366326906880-AlFB/. Тут тоже интересно -- хвастаться тем, что "наши создатели стоят дешевле, но в деле они умнее других с такой же ценой" как-то несподручно.
Безумность текущей системы формального образования
Пример Трампа: «у нас худшее образование в мире» -- «давайте разгоним наше министерство образования, оно бесполезно»
Проблема мигрантов и азов
Мы живём в удивительное время, когда человечество в развитых странах тупеет на глазах, а нежить умнеет -- в целом же пока баланс: что население мозгами сдаёт, нежить подхватывает и даже с опережением, жизнь становится лучше. Вот поглядите график, насколько человечество тупеет (из Financial Times, остальные не менее убедительные картинки проще взять отсюда: https://x.com/jburnmurdoch/status/1900537267308937416, критика там была "это соответствует массовому заезду мигрантов, без мигрантов там всё хорошо", но вы ж не можете отрегулировать своё общение так, чтобы мигранты не участвовали):
Не пишешь -- не думаешь, не общаешься -- не в клубе, не в культуре.
Культура мышления письмом
На методсовете рассматривали публикации в клубе создателей https://systemsworld.club -- это для нас культура мышления письмом. Всё это "мышление письмом" пошло с моего поста про "мышление письмом/моделированием" https://ailev.livejournal.com/1513051.html, где я заявил, что "не пишешь -- не думаешь", а заодно сослался на книжку Sönke Ahrens "How to Take Smart Notes. One Simple Technique to Boost Writing, Learning and Thinking – for Students, Academics and Nonfiction Book Writers". Есть довольно много сообществ, где обсуждаются вопросы этой культуры ведения блогов (слово новое, означает weB Log, "вебный журнал", а Ahrens моделировал это как zettelkasten, "ящик для заметок", "картотеку").
Посольку "не пишешь -- не думаешь", а ещё не тренируешь достаточное время нейросетку на удержании темы какого-то поста (прежде всего на начальных стадиях обучения нас волнует время удержания мысли на задании применения материала наших курсов к рабочим проектам), то обучение идёт явно менее эффективно, чем когда "пишешь -- думаешь" и тем самым долго удерживаешь мозг на приложении материала курса к рабочим ситуациям. Как объяснить студентам, что надо таки писать посты? Задания на написание постов в курсах есть, пишут -- немногие. В курсах с преподавателями это как-то преодолевается путём много более слабого "мышления проговариванием" (одно дело решать математическую задачку с карандашом в руках, другое дело -- решать математическую задачку, проговаривая решение, без карандаша, я это ровно вот так воспринимаю).
Вон набор аргументов, который можно использовать при объяснении, как надо относиться к этому написанию постов:
1. Это удержание нейронной сетки на каких-то темах, связанных с применением материала курсов, "провести время в размышлениях на тему". Тексты эти тем самым пишете не для других, а для себя, и более важен процесс, а не результат. Вовне пишете для того, чтобы не было соблазна невнятную краткую мысль "сократить" из-за "и так ясно -- есть смутное ощущение, поэтому сойдёт". Если такую неясную мысль не вынести вовне словами, то нельзя будет обнаружить, что слов нет. Чтобы это подчеркнуть, можно вставлять disclaimer. Вот тут пример -- https://systemsworld.club/t/2023-1/4305, пост начинается с "Дисклеймер: пост хоть и публичный, но пишу его в первую очередь для себя, ни на что не претендую, ничего не жду", и заканчивается тоже правильно "Спасибо мне за внимани-е :)", ибо внимание в этих постах важно не читателя, а писателя. Скажем, для меня важно не внимание читателей на этот мой текст (хотя я знаю, что сотрудники и преподаватели ШСМ его внимательно изучат, но многие другие -- только скользнут взглядом), а моё собственное внимание, упражняющее мою нейронную сетку на предмет аргументации "мышления письмом". Это мой экзокортекс, "Лабораторный журнал" в ЖЖ, основная польза от него мне, а не моим читателям -- хотя мне и приходят время от времени в личку "спасибо" за те или иные материалы. Польза читателям от моих записей в "Лабораторном журнале" есть, но она вторична. Непоправимую первичную пользу читателям я приношу в текстах курсов, эти тексты в курсах я пишу уже главным образом не для себя, а для других. Хотя смею заверить, что и мне от десятка переписываний какого-то курса тоже вполне польза достаётся, я оказываюсь самым внимательным студентом, изучающим свои курсы.
Вот у меня есть видеофрагмент, где я обсуждаю вопрос пользы от написания текстов в блог: https://www.youtube.com/watch?v=MnCV3sOkVVw. Может, этот текст кому-то поможет начать писать. Там один из комментариев "это самый понятный ваш текст для тех, кто далеко от вас мышлением (имею ввиду себя, надеюсь, не только я) и такой близкий бытовому языку". Да, я устный отличаюсь от себя письменного, но это ещё одно свидетельство: я для других говорю как для других (это я рассказывал на занятии со студентами одной из своих групп, просто опубликовали фрагмент записи занятия), а в блоге у себя я пишу для себя, поэтому и менее понятно. Опять же, если знать материал наших курсов, то и написанное в моём блоге вполне понятно. И вот тут приятный бонус: мой блог помогает таки координировать работу многих людей -- прежде всего других преподавателей, а также наших мастеров и реформаторов, я же знаю, что они читают этот блог. Этот аргумент у нас традиционный, мы его много обсуждали.
Делать-то надо не то, что умеешь (скажем, выбирать и кастомизировать софт), делать надо мышление -- то, что не умеешь, что надо тренировать, мышление письмом про это. Текст в публично доступном блоге -- это как "сделал 10 отжиманий мозгом, вот свидетельство -- 10 постов". Вот у меня вся лента -- свидетельство моих "отжиманий мозгом".
К этому же "не думаешь" можно отнести и "не пишешь -- не можешь себя проверить", ибо у людей трудно включается режим мышления S2, внешняя память в виде написанного текста помогает удержать собранность на проверке. Вот об этом большой текст: https://ailev.livejournal.com/1755878.html
2. Второй аргумент мы пока обсуждали меньше. У нас по факту есть два языка: мощный абстрактный язык фундаментального мышления, который непонятен для большинства "внешних людей", но понятен для всех, кто прошёл наши курсы (назовём их "системными мыслителями", и это чистая правда -- использование этих понятий и есть системное мышление). Это язык мета-мета-модели мира, слова из которого мы не рекомендуем произносить на работе -- это слова типов "альфа" и "подальфа", "целевая система" и "создатель", "граф создателей" и "внешняя проектная роль". А в записях в клубе https://systemsworld.club, в постах в наши чаты использовать этот язык можно и даже нужно -- опять же, необязательно это делать "для других" (хотя и польза другим вполне может быть, но ещё может быть и польза от выданных комментов), польза будет прежде всего для себя: в явном системном мышлении, удержании мозга на использованных понятиях мета-мета-модели, собранности на явном задании типов объектов. Для чего нужны эти типы? Как раз для обнаружения ошибок в мышлении: вот прямо как неверный тип в коде на каком-то языке программирования указывает на ошибку, так и в тексте на естественном языке неверный тип указывает на ошибку. И после записи такого текста появляется шанс эту ошибку обнаружить и исправить. Ещё и придут в комменты, и там укажут, если сами не заметите. Но, скорее всего, сами заметите и исправите -- прямо во время написания текста, это и есть польза от мышления письмом.
3. Организовать себя в культуре, в тусовке, в сообществе, в клубе создателей. Вовлечься. Клуб из себя и себя -- это не клуб, не культура. Поговорить не с кем -- это проблема. Если ты вроде как освоил культуру, но молчишь ("все слова на птичьем -- только в уме, ни слова наружу"), то никто и не знает, что ты разговариваешь на каком-то языке. Ты один среди чужих, культура, приобретённая тяжёлым трудом, выветрится. Клуб -- это прежде всего клуб единомышленников, единомыслителей (хотя нет никакого единомыслия, а есть только единонемыслие, но в клубе для этого единонемыслия всё-таки есть какие-то общие культурные основания, SoTA фундаментальных дисциплин интеллект-стека). Вот "Интеллект-стек" мало кто читал, в курсах ШСМ сейчас это дополнительный материал. И с кем его обсуждать? В клубе вполне можно найти этих людей. Но чтобы с тобой это обсуждали, надо, чтобы было понятно: ты "в теме". Для этого надо не молчать -- раскрыть рот и предъявиться. Вот это да, это уже "тексты вовне", при этом не обучающие ("здравствуйте, я вчера прочёл три страницы курса ШСМ, сейчас я вас научу уму-разуму", при этом человек честно считает, что он "просвещает", занимается "маркетингом ШСМ"), а клубные -- беседы с соклубниками, с создателями систем, такими же, как ты. Это социальная жизнь, это ещё одно измерение мышления письмом: практикование общей культуры.
4. Аргумент Paul Graham про качалки для мозга: ожидаемая утеря способности мыслить в эпоху, когда за всех писать может LLM, и читать за всех тоже может LLM -- это надо делать примерно по тем же основаниям, что ходить в качалку, ездить на велосипеде, бегать в условиях недостаточности физической нагрузки от автоматизации ручного труда рабочих и крестьян. Это фитнес для мозга, нагрузка на мозг в условиях, когда за тебя думает LLM -- подробно вот тут: https://ailev.livejournal.com/1743023.html. Конечно, можно упражнять мозг и общаясь с LLM -- но надо сначала уметь обратить LLM в твою клубную структуру, иначе LLM уведёт твоё внимание куда угодно, вместо обучения получишь развлечение, на тему, которую выберет LLM. Вот "мышление письмом" как раз во многом решает эту проблему. Важно не разучиться писать, при этом речь идёт о нескольких страницах текста, а не набранной одной строчки в мессенджере на смартфоне.
5. Тезис неважности инструментария всплывает более чем часто. С одной стороны, я и сам после первого поста про мышление письмом выдал пост про инструментарий, это был 2020 год, https://ailev.livejournal.com/1515735.html ("Мышление кодированием в IDE, мышление письмом в IWE"), где описывал идеи copilot и canvas. Ну, всё это стало былью стремительно. Но сейчас я понимаю, что тема инструмента для мышления письмом и даже для мышления моделированием уводит от сути дела, описанной в предыдущих четырёх пунктах.
Тут совершенно неважен инструментарий: пишешь ли ты "исчезающие заметки" в каком-нибудь навороченном Obsidian, или пишешь прямо в форму блога, используешь навороченный редактор текстов с AI или безо всего этого. Очень много людей тратят неделю на выбор софта, день на его разворачивание, ещё пять минут на написание заметки, через день всё заканчивается. При этом результата -- оформленной словами мысли -- нет, есть много подготовки, в ходе которой не происходит мышления, понятийной работы в самых разных ситуациях. У нас, кстати, есть целый чат для обсуждения инструментов личного и корпоративного экзокортекса -- https://t.me/exocortexssm. И в этом чате кроме обсуждения самих инструментов часто пишется про важность самого мышления, затрат времени на него, а не важность этих самых инструментов. Конечно, этот акцент на то, что надо мыслить, а софт неважен -- он сквозной. Вот только сегодня в чате поддержки курсов второго-третьего семестра обсуждали табличное моделирование -- и, как обычно, много голосов новичков поднималось в пользу использования диаграмм, а чтобы облегчить их рисование, предлагалось автоматизировать ход рисования. Это неправильное направление мыслей. Нам не надо автоматизировать рисование диаграмм, нам надо их вообще убрать. Это разовое действие в самом начале обучения. Если на рисование диаграмм подсаживаться — времени на освоение автоматизации и наведение красоты уйдёт много, а толку будет мало. Головой надо работать, головой -- важно мышление как работа с концептами, а не форма записи концептов. Какая у вас ручка (перьевая, шариковая, графовый редактор) неважно. Важно, что там за концепты и как о них думаете. А концепты сразу потом запишете табличками. А пока, чтобы не соблазняться — карандашом и ручкой граф на салфетке (бумагу уже трудно в доме найти, на кухню за салфетками надо идти, или в туалет за туалетной, чтобы пару раз диаграмму нарисовать).
6. Контраргументы к стандартным возражениям. "Это публичное выступление, боюсь-боюсь", снимается как любая фобия -- exposure therapy, само написание и публикация снимают страх (ну, и первый аргумент как раз про это, пишешь не для какой-то аудитории). "Как я могу писать про работу? Это ж коммерческая тайна и NDA", но и это не так -- можно писать на уровне типов мета-модели (модели предметной области), а не на уровне модели экземпляров. Секретны обычно экземпляры, а не предметная область. Мышление же идёт на верхних уровнях абстракции, в типах мета-мета-модели из наших фундаментальных курсов и прикладных типов метаУ-модели, или даже метаС-модели, а типы предметной области обычно не секретны. Если я говорю об особенностях приготовления кофе, это вовсе не означает, что я раскрываю коммерческий секрет кофейни.
Надо ли иметь развитый экзокортекс, свой zettelkasten?
Кажется, что во время AI наличие собственного развитого экзокортекса не нужно, все первоисточники свободно находятся всякими DeepResearch или DeepSearch, "результат вообще не важен -- написали и забыли, важен только процесс -- удержание мозга в размышлениях на тему". Это до сих пор не так, результаты тоже пригождаются, внешняя собственная память (записки-заметки) тоже важна. Вот два примера последней недели.
1. Хотел найти прогноз Jürgen Schmidhuber по поводу достижения AI уровня интеллекта обезьянки-капуцина. У него довольно точный прогноз был про капуцин-интеллект: робот повторяет то, что может обезьянка-капуцин: видит на дереве банан, планирует путь к банану, подбегает к дереву, взбирается на него и берёт банан. Это означало бы решение парадокса Моравека, и дата была названа — 2025 год. В 2024 году ничего не предвещало, что эта задача будет взята, а в 2025 — к концу года, думаю, уже вполне. Это было в 2015 году, на панельной дискуссии ICML DL Workshop 2015, трансформеры были придуманы только через пару лет — https://youtu.be/EiStan9i8vA?si=svI3mDq8RNfUeyE9&t=516. И я потратил довольно больше время, чтобы найти эту ссылку видео десятилетней давности. Все ссылки с 2015 года протухли, насилу нашёл — никакие DeepSearch с таким не справились, но я с экзокортексом их умней, я справился. В блоге поискал "капуцин", нашёл в тексте 2015 года https://ailev.livejournal.com/1202950.html "На панели того же семинара по нейронным сетям было предложено для начала воспроизвести интеллект обезьянки-капуцина", и там же давно протухшая ссылка https://sites.google.com/site/deepernn/home/blog/briefsummaryofthepaneldiscussionatdlworkshopicml2015. Но я полностью привожу в своих текстах ссылки, это ж метаданные -- там много написано про то, что там вообще в ссылке. В ссылке там "panel discussion at DL workshop ICML 2015", а уж с таким запросом вполне справился поиск youtube. Замечу, что никакой AI или прямой запрос в Гугль или Ютьюб не мог выдать, что там говорил Шмитхубер про капуцинов. Без записи в своём "Лабораторном журнале" я бы не смог найти этот фрагмент.
2. Второй случай этой недели -- это попытка вспомнить, в чём там суть полемики с Gary Markus, который когда-то спорил, что deep learning просто ребрендинг нейронных сетей, которым сто лет в субботу, поэтому не надо считать, что deep learning что-то новое и решает какие-то проблемы AI. А что там новое, как ему отвечали? Были же дискуссии. Опять же, никакой DeepResearch и DeepSearch с этим не справились. А у себя в записях я нашёл. Ответ был такой от Yoshua Bengio: https://docs.google.com/document/d/1P9YyZ4xEDO98qPTa1Al4RnTqxj3mMiCvQE4i3hZkthY/edit?tab=t.0 (это 2019 год), то есть там есть "много уровней представления", это больше representation learning плюс нейросети, а не просто нейросети. Нашёл я это через поиск Markus по моему ЖЖ: https://ailev.livejournal.com/1501395.html, "Моя позиция по дискуссии Gary Markus и Yoshua Bengio (ссылки на дискуссию в https://vvagr.livejournal.com/2348604.html): прав Bengio, он повторяет примерно то, что говорилось много лет назад (у меня ходы записаны, вот я об этом писал в 2012, "я занимался этим до того, как это стало модно": https://ailev.livejournal.com/1045081.html) про representation learning и говорит, что deep learning это ни разу не многоуровневые персептроны, а многоуровневые распределённые/коннекционистские репрезентации из representation learning, и этот класс архитектур существенно шире многоуровневых персептронов. Representation learning это, конечно, просто такие красивые слова про моделирование (только выполняемое не людьми и в коннекционистских архитектурах), так что всё это пришло надолго".
Я дал это поглядеть Grok, он мне написал: "вы утверждаете, что DeepSearch не справляется с поиском старых данных (например, прогноза Шмитхубера). Однако современные LLM (включая меня, Grok 3) способны находить такие материалы, если запрос сформулирован корректно и есть доступ к актуальным данным. Это ставит под сомнение тезис о незаменимости личного экзокортекса в 2025 году". Врёт, ничего этот Grok не нашёл, а "вопрос сформулирован корректно" -- так проблема как раз в этом, "дайте мне URL, и найти нужный материал сможет даже ваш браузер"!
Как привить культуру сильного мышления, где мышление письмом -- маленькая начальная часть?
В лаборатории "Рациональной работы" обсуждали сегодня формы, в которых как-то транслируется культура сильного/системного/рационального и агентного (придумайте тут эпитеты сами, надо ещё научиться об этом как-то говорить) мышления. Через чтение текстов уже понятно: не транслируется, ибо разворачивание мысли длиной в толстую книжку не учит думать, нужна какая-то соразмерность в сопоставлении своих паттернов мышления и паттернов других людей. Это делается в очном контакте с носителями мышления. Если студентам свезло общаться с профессорами, то мышление у них появляется. Если студенты проходят только онлайн-курсы -- результаты мы знаем: говорить на какую-то тему могут (у нас это -- специалист), а вот решать рабочие (а не учебные) проблемы -- нет (у нас тот, кто умеет решать рабочие проблемы на уровне "договорить всех вокруг себя" -- мастер). Поэтому надо тренировать и мышление, и заодно коммуникацию. Вот формы:
1. Мышление письмом "в стол", разговор с собой. Это самая слабая форма, недостатки были уже отмечены в этом посте.
2. Мышление письмом в клуб, асинхронный разговор. Всё уже хорошо, но в таком разговоре плохо передаются паттерны мышления, не задаётся образцов поведения. Конечно, асинхроная коммуникация сжирает синхронную (https://ailev.livejournal.com/1511183.html). Но хорошо бы тренировать и синхронную коммуникацию, ибо в асинхроне не удаётся задействовать reinforcement learning.
3. Тренировки с AI-агентом где-то в этом месте, но пока они невозможны для наших методов мышления, увы. Они возможны для школьных программ и устоявшихся вузовских курсов ("объясни мне линейную алгебру" -- вот самое оно), где тьма литературы, есть тысячи задач и десятки тысяч примеров их решения, и всё это давным-давно выучено миллионами людей и десятками лучших LLM-моделей. А вот для наших фронтирных курсов такого нет, увы. Поэтому тут что-нибудь напишем через пару лет, когда появится AI-агент, способный выучиться у нас до уровня мастера -- и нести эту культуру дальше. С другой стороны, LLM уже прочли какие-то наши тексты, так что всё уже происходит. Но если спрашивать про системное мышление, то ответы будут не третьего поколения, а первого или второго, просто потому, что они древние, по ним есть много материалов в интернете. А по третьему поколению материалов пока мало -- и там часто ещё и не написано "это третье поколение", подробных учебников нет, разве что мой.
4. Тренировки с преподом как раз для этого, для постановки мышления. Это не совсем "клубная активность", это билетик для вхождения в клуб. Типа как "пойти в школу танцев, ибо у меня проблема -- не умею танцевать, а дома перед зеркалом только заучиваю намертво ошибки". Вот большой пост про это, "Тренировка "Вы пойдёте к топ-менеджеру?" или "Барышня-мадам"", https://ailev.livejournal.com/1750301.html. И вот тут про то, что критика нужна в том числе внешняя, на себя-критика не надеемся: https://ailev.livejournal.com/1755878.html. Для чего это нужно в очной тренировке? Студенты не понимают нормативов времени на работу мышления. Сколько ни объясняй, что это "мгновенно" (ну, как танцор шевелит ногами, как пианист шевелит пальцами -- так и наш системный мыслитель шевелит мозгами, это же реально быстро!), ничего не помогает: личный опыт новичка говорит, что это медленно и печально, поэтому не стоит дальше упираться, "нерентабельно", слишком долго. Нет, это первые три прохода по мантре системного мышления слишком долгие, а потом приобретается нужная для работы скорость. Нужно только вложить время. И вот демонстрация процесса в реальном времени -- это главное на очных тренировках.
5. Курсы с преподом (длинные), это серия тренировок, но тут ещё и будет небольшая группа одноклассников. Это уже сообщество, демонстрация того, что вы не одни. Это мощный мотивирующий фактор. Вероятность бросить трудный курс при занятиях в хорошей группе меньше, чем при занятиях в одиночку. Да, с точки зрения теории обучения персонализированное обучение круче (смотри описание тренда в https://ailev.livejournal.com/1754580.html), каждый идёт асинхронно по своей программе. Но вот дальше смотрим: обучение в разновозрастных группах удивительно эффективно, обучение в рамках interactive collaborative learning тоже эффективно -- и есть большое подозрение, что тут срабатывает мотивационная часть, engagement, чувство принадлежности к группе. Человек социальное существо, в одиночку ему не так интересно, даже если речь идёт о самоидентификации как интраверта. Интраверты часто совсем не интраверты, когда речь идёт о "своих людях". Слово "культура", по большому счёту, появляется тут: есть сообщество (учебная группа), которая совместно практикует какие-то методы работы, методы мышления.
6. Салон, место для общения, практикование культуры мышления в компании. Это "профессиональное сообщество", community of practice, а по-простому -- клуб. Клуб программистов, клуб менеджеров проектов, клуб системных архитекторов, а у нас большая претензия -- клуб создателей успешных систем, инженерный клуб (https://ailev.livejournal.com/1744751.html). Тут можно говорить прежде всего о продолжении встреч в уже знакомой учебной группе -- возможно даже, что прямо с преподом, почему бы и нет. Но это уже после окончания обучения, это уже "клубная жизнь". Это как университетские alumni -- есть одногруппники, есть однокурсники, а есть вообще все, которые и вместе-то никогда не собираются. Вот встретиться с одногруппниками и попрактиковать мышление -- это милое дело, этого ж нельзя сделать на работе или в семье (хотя мы уже знаем компании, где это можно сделать на работе, предложение по обучению команд топ-менеджеров работает, в некоторых фирмах возникает совершенно особая атмосфера продвинутого мышления, https://ailev.livejournal.com/1720404.html). Эти встречи вполне можно назвать "салон", как раньше -- https://en.wikipedia.org/wiki/Salon_(gathering), https://ru.wikipedia.org/wiki/Салон.
7. Вовлечённость в культуру клуба создателей как участие в самых разных его мероприятиях. Клуб понимаем как сообщество всех практикующих лучшие методы фундаментального мышления, лучшие методы создания успешных систем. Мы нагло тут говорим, что у нас ровно такой клуб, это всё выпускники наших курсов. И проводим тут разные мероприятия, чтобы облегчить общение внутри клуба, например, наши ежегодные конференции (скажем, будет уже девятая двухдневная конференция в апреле 2025, https://ailev.livejournal.com/1749524.html). Какие тут у нас масштабы? Крошечные, но и не совсем уж невидимые. Хоть один курс ШСМ закончило сегодня больше двух тысяч человек. А какие мероприятия? Вот все, что тут перечислены (это аж седьмой пункт!), но ещё и авторство курсов, и преподавание, и просвещение, и волонтёрство, и исследования как продвижение фронтира культуры создания успешных систем, много всего. И, конечно, практикование культуры клуба прямо на рабочем месте, при чётком осознании того, что ты не одинок, на Земле есть пара тысяч таких как ты.
Долго думал, показывать картинку салона, или таки самого начала -- бумажного цеттелькастена "для себя, любимого". Пришёл к выводу, что бумажный цеттелькастен мало кто уже видел, а салон -- все имеют опыт "посидеть вечер в кафе". Так что вот вам, о чём мы тут говорим, с чего всё начинается, хотя и в электронной форме удобного экзокортекса, но с последующим прицелом на салонное, а затем и клубное общение:
Инженерные обоснования мокрыми и сухими нейросетками
Одна из причин, по которой LLM ещё не готова к инженерии -- это трудность для нейросетей (мокрых нейросетей, кстати, тоже) к инженерным обоснованиям, то есть отсутствие в мозгах (живых и не очень) лёгкого переключения к хорошо натренированному трудному режиму S2 по Канеману -- режиму логического мышления, необходимого для критики. Нейросетка отлично генерирует, и даже часто это похоже на правду, но кроме чудес синтеза хорошо бы демонстрировать хоть какой-то уровень анализа:
-- выявление проблем во внешнем мире, debug рабочих ситуаций. Этот самый bug надо найти, предъявить ошибку. Не нашёл -- не исправил. Если слепота к ошибкам, то ракета никогда не взлетит.
-- отладка собственного вывода, ибо результаты размышления надо проверять. Приходится тренировать даже переход в режим проверки -- при полном знании правил вывода, язык говорит не нужное, а всякое, у нас для этого тренировка "Барышня-мадам", https://ailev.livejournal.com/1750301.html
Отладка -- это следование контрфактуальной логике, "а что, если". Про то, что режим S2 трудный и включается только в случае крайней необходимости, писал Kahneman. Про то, что для хороших объяснений (при отладке надо объяснить, в чём ошибка, и почему надо по-другому, правильно) нужна контрфактуальная логика, писал Deutsch, а ещё про революцию причинности писал Pearl. Осталось, чтобы мозги (человечьи, но желательно -- нечеловечьи! нечеловечьи дешевле!) это могли сделать, вкрапляя в разной степени в быстрые проскоки по S1, закрывая шкалу формальности мышления более-менее равномерно. Но они не могут в инженерные обоснования (quality assurance) "из коробки", этому надо учить специально:
-- Can Language Models Falsify? Evaluating Algorithmic Reasoning with Counterexample Creation, https://www.arxiv.org/abs/2502.19414, current benchmarks for LMs predominantly assess their ability to generate solutions rather than challenge them. We advocate for developing benchmarks that evaluate this inverse capability - creating counterexamples for subtly incorrect solutions. To demonstrate this approach, we start with the domain of algorithmic problem solving, where counterexamples can be evaluated automatically using code execution. Specifically, we introduce REFUTE, a dynamically updating benchmark that includes recent problems and incorrect submissions from programming competitions, where human experts successfully identified counterexamples. Our analysis finds that the best reasoning agents, even OpenAI o3-mini (high) with code execution feedback, can create counterexamples for only <9% of incorrect solutions in REFUTE, even though ratings indicate its ability to solve up to 48% of these problems from scratch. Собственно, это и есть подтверждение, что "генерировать проще, чем верифицировать".
-- ProjectTest: A Project-level LLM Unit Test Generation Benchmark and Impact of Error Fixing Mechanisms, https://arxiv.org/abs/2502.06556, We evaluate nine frontier LLMs (including Claude-3.5-Sonnet, Gemini-2.0-Flash and GPT-o1) on ProjectTest and the results show that all frontier LLMs tested exhibit moderate performance on ProjectTest, highlighting the difficulty of ProjectTest. We also conduct a thorough error analysis, which shows that even frontier LLMs have significant basic yet critical errors, including compilation and cascade errors.
Моё тут мнение -- надо использовать LLM для генерации и внешние солверы (необязательно логический SAT, это может быть и солвер байесовской пробабилистики, и квантовоподобного вывода, и что угодно, и даже солверы с задействованием каких-то нейросетей для облегчения вычислительной сложности проверки) для проверки. Это ж цикл исследований (и он же -- цикл инженерии):
Если не использовать внешние солверы (а в случае людей -- хотя бы ручку-бумажку как внешнюю память), то всё будет продолжать оставаться плохим, это ж наложенные на нейросеть хитрые алгоритмы дискретной математики, которые работают тригонометрически (вон, сложение через тригонометрию, и логика там устроена так же плохо -- в том числе и из-за привязки к словам в reasoning моделях, но это не уберётся, если перейти в latent space reasoning, много ссылок про всё это я приводил в четвёртом абзаце https://ailev.livejournal.com/1754198.html, а про попытки удлинить CoT -- в https://ailev.livejournal.com/1755390.html).
Попытки крутить этот цикл с LLM в их текущем состоянии даёт не слишком хорошие результаты, но каждая следующая модель приближает результаты к человеческим, а человеческие результаты тут стабильно низки (кроме, конечно, нескольких гениев, но мы тут не о гениях, а о простых смертных -- причём у простых смертных не выходит раз в полгода модель мозга получше, как сейчас у LLM):
-- Automated Hypothesis Validation with Agentic Sequential Falsifications, https://arxiv.org/abs/2502.09858, However, many real-world hypotheses are abstract, high-level statements that are difficult to validate directly. This challenge is further intensified by the rise of hypothesis generation from Large Language Models (LLMs), which are prone to hallucination and produce hypotheses in volumes that make manual validation impractical. Here we propose Popper, an agentic framework for rigorous automated validation of free-form hypotheses. Guided by Karl Popper's principle of falsification, Popper validates a hypothesis using LLM agents that design and execute falsification experiments targeting its measurable implications. A novel sequential testing framework ensures strict Type-I error control while actively gathering evidence from diverse observations, whether drawn from existing data or newly conducted procedures. We demonstrate Popper on six domains including biology, economics, and sociology. Popper delivers robust error control, high power, and scalability. Furthermore, compared to human scientists, Popper achieved comparable performance in validating complex biological hypotheses while reducing time by 10 folds, providing a scalable, rigorous solution for hypothesis validation. Работа красивая по замыслу, но плохая по исполнению: там частотная статистика, полностью игнорирующая причинную революцию. Куски работы, похоже, писались LLM и не проверялись. Первая же ссылка выглядит вот так, по-молодёжному, без больших букв: Agassi, J. Popper and his popular critics: Thomas kuhn, paul feyerabend and imre lakatos. Зато есть все промпты и главный вывод: всё уже не хуже людей. Потому как люди в нахождении ошибок ужасны, поэтому и ужасная в нахождении ошибок LLM их легко переплёвывает.
-- Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation, https://arxiv.org/abs/2502.14948, By iteratively refining code (LLM-as-a-solver) and tests (LLM-as-a-verifier) together, we boost both capabilities without relying on human annotations or larger teacher models. Experiments with the Llama 3.1 8B model demonstrate substantial performance enhancements, achieving average relative improvements of 19.63% in code generation and 17.49% in test generation on MBPP and LiveCodeBench. Тут ничего особенного: инженерные обоснования приводят к резкому росту успешности проекта. Спасибо, кэп. Но инженерные обоснования не делают, этому не учат! Проверить перед тем как отдать работу -- это редко кто делает, "отладка на пользователях".
-- поиск ошибок силами LLM (слабыми!) в статьях, тут целый проект: https://the-black-spatula-project.github.io/, и там уже начался отвод статей авторами, ибо в статьях LLM начали таки находить ошибки. Интересно то, что стартовал этот проект с понимания, что не любая нейросеть обнаруживает ошибки, только самые умные: https://x.com/emollick/status/1868329599438037491 (o1 нашла ошибку, claude-3.5-sonnet не нашла, пока не получила подсказку). Но уже появился коммерческий сервис, https://paper-wizard.com/, $42 за проверку одной статьи (и $30 за штучку оптом партией в 10 штук).
Что это даёт для моего личного планирования? Вроде как это и раньше было понятно? Я уже рассказывал, как один из моих студентов в Новосибирске узнал про верификацию и валидацию из курса "Системного мышления" (тогда мы это не называли "инженерным обоснованием", всё по-старинке давали) и начал проверять то, что он делал, перед тем, как отдавать -- фраза у него была "и моя жизнь драматически изменилась к лучшему", я навсегда запомнил такие неожиданные результаты наших курсов. И вот что будем делать:
-- не обращать внимания на весь этот тренд с поиском cognitive bias, ибо каждый раз оказывалось, когда люди идут по этому пути "критического мышления", они профессионализируются только в критике и забывают уже, зачем всё это делается. Там ведь цикл, и надо не во что бы то ни стало загубить каждую свежую мысль, а найти ответ на вопрос -- например, не совсем откинуть мысль с найденной ошибкой, а поправить ошибку, это часто помогает. Ну, и Хренников любил заметить, что "люди -- плохие байесовские вычислители, но неплохие квантовоподобные", дальше задавался вопросами: а что есть "рациональность", если квантовоподобный ответ вроде как лучше по многим характеристикам, но другой -- не байесовский, не булевский (как частный случай байесовского).
-- переводить студентов в reasoning режим в ходе обучения, включать их S2 намеренно, давать опыт этого. Студенты обычно сильно удивляются, когда им демонстрируешь, что они думают не "по правилам", показывать их мышление в зеркало: игра "Барышня-мадам" как раз про это, собранность на проверке выполнения простых правил. Буду повторять эти тренировки сам (вот в ближайший четверг и повторю), а также сделаем целую серию таких тренировок мышления по разным проблемам, и вести эти тренировки буду не только я (но, увы, чтобы эти тренировки вела LLM -- надо подождать пару лет ровно по причинам, которые я тут описываю в тексте).
-- покопаюсь ещё в негативном отношении к формализации, а затем указанию на ошибки ("душнила" тут самое мягкое, что можно услышать. Ещё можно услышать учителю, что "я у тебя клиент, и если сказал 2*2=5, то так и есть, клиент всегда прав). Понятно, что мышление S2 режим трудного медленного мышления, но вот как показать его важность и как давать отповедь капризным инфантилам с развитым S1 без проблесков S2 (не хочу говорить "гуманитарий", это ж "вешать ярлыки", а "капризный инфантил" -- таких же нет вокруг, правда? Все готовы влёгкую включить S2?) надо ещё поизучать.
-- буду проверять свои результаты в LLM на предмет явных ошибок. Я уже это делал с некоторыми прошлыми текстами. Вот и этот текст тоже проверил на Gemini 2.0 Pro Experimental (мне она больше всех сейчас нравится для моих задач) -- но не со всей критикой согласился, в силу убогости этой критики.
-- продолжу отслеживать эту тему с LLM, равно как и с людьми, она ключевая.
Через интеллект к агентности
азумная агентность
Агентность без интеллекта даже вредна, а интеллект без агентности остаётся бесплодным. Обучение должно развивать оба аспекта личности, но начинать надо с интеллекта — фундамента успешной агентности. И да, научить можно не только интеллекту, но и агентности -- и интеллект, и агентность не врождённые, всё вполне научаемо.
Тема агентности против интеллекта, которая была поднята мной по мотивам поста Karpathy с поддержкой Grok и Musk в https://ailev.livejournal.com/1754858.html породила большое обсуждение в чате блога в телеграм (с https://t.me/ailev_blog_discussion/29948). Краткое содержание огромного треда: агентность врождённая, учить ей бесполезно. Надо просто брать пассионариев, людей с активной жизненной позицией, энтузиастов, инициативных людей, людей с autonomy (из теории самоопределения), самоэффективных (self-efficacy), волевых, субъектных, предприимчивых, решительных, деятельных, самодетерминированных (из self-determination theory), творчески активных, лидеров, людей с рвением, с жизненной энергией (боже, сколько "синонимов с нюансами!") и учить их уму-разуму. Контраргумент: берём очень активную кошечку, научить её уму-разуму представляется затруднительным, а её агентность вносит только хаос в окружение. И то же самое с людьми, которые жизнерадостные идиоты -- они тоже приносят хаос в окружение, в том числе в учебное окружение. Их учить не получается, они улетают на своей агентности, не доучиваются ничему. Может, всё-таки брать сразу тех, кто поумней и не так разбросан из-за шила в заднице -- и их учить разумной агентности? Контраргумент к контраргументу был: много мозгов агентности не научишь, так и будет умный сидеть на печке, поэтому у агентности примат -- но это неверный посыл. Учат не шилу в заднице, учат своими действиями менять мир к лучшему, изменять окружение, это приносит радость и счастье в том числе и тому, кто этот мир меняет. Это и есть разумная агентность, и ей научить вполне можно (в конце текста будет пруфлинк).
А что ж делать с агентностью, понимаемой как ментальной устойчивостью к препятствиям, активностью по пробиванию стен медным упрямым лбом? Это не агентность, это отсутствие мозгов, просто активность заводного зайчика, который упирается в угол и тычется в него, пока не кончатся батарейки. Разумно агентный человек не упирается, а сначала думает -- стоит ли упереться, или не стоит.
Целенаправленность действия разумного человека включает умение переключать цели, а не застревать на вменённой тебе цели (даже если эту цель вменил себе ты, вчерашний). Вот текст "против целей", https://ailev.livejournal.com/1254147.html. В наших курсах этот материал про "агентность без мозгов" тоже есть, например, вот картинка со страницы https://aisystant.system-school.ru/lk/#/course/methodology/2024-11-27T2259/51655.
В том числе добрались и до того, что понятие "агента" и "агентности" все понимают по-разному, вон какой разнобой мнений по поводу агентности нынешних LLM. Текущее различение с LLM -- выдать текст или нажать кнопку (если сам нажимает кнопку -- вот точно агент. Но если сказал человеку текстом "нажми кнопку за меня" -- это агент?). Я привёл следующий критерий (понимая, что у того же Фристона и Филдса и молекула агент, но есть агенты -- и агенты): агент как бы ощупывает пространство вокруг себя непрерывно, ибо не уверен в границе системы — что ещё его тело, а что уже вне пределов его влияния. Поэтому у него идёт как бы броуновское опробывание всех эффекторов и датчиков, непрерывные небольшие попытки что-то сделать, просто для того, чтобы понимать текущую ситуацию с границами влияния. Вот когда LLM начнёт самопроизвольно что-то делать "просто чтобы делать", чтобы понимать, где там заканчиваются границы её собственного влияния, а где уже влияет внешний мир — вот тогда и агент. А до этого момента всё — "игры в агентов".
Вот люди не агентны (не деятельны в смысле изменений мира вокруг себя), которые сами по себе сидят тихо и не шевелят окружающее пространство, чтобы понять сферу своего влияния, границы своего тела (не биологического! помним, что мозг управляет инструментами, а далее и всем окружением примерно так же, как собственным биологическим телом -- это подтверждено нейрофизиологическими экспериментами, а их было много по линии 4E cognition, это extended, embedded, embodied, enactive cognition). У них обычно внешний локус контроля (локус контроля -- в восприятии: плывут по течению, а течение -- снаружи), а не внтуренний локус контроля (восприятие: плывут с мотором поперёк течения, куда считают нужным, а мотор -- внутри). Нам не нужно при этом просто взять и сделать их агентными: они все так бодренько перейдут в проверку, что там им подвластно, начнут броуновское движение, будут находить и подтверждать границы своего влияния. Нет, нам нужно, чтобы там была какая-то прагма, чтобы весь этот энтузиазм и плотное взаимодействие с миром двигало куда-то этот мир к лучшему, помогало избежать неприятных сюрпризов. Не нужно агентности ради агентности, действия ради действия, "результат ничто, путь в никуда -- всё!". Но чтобы сориентироваться в жизни, сориентироваться в мире, нужна не агентность, а разум! Нужны мозги, а не шило в заднице!
Мой пойнт в том, что если у тебя нет интеллекта, то в своих действиях с миром (включая "броуновское ощупывание") ты будешь неуспешным — броуновское движение по отношению к миру нельзя будет назвать полноценной агентностью. Ты будешь криво ставить цели и систематически не достигать их — мир быстро тебя научит сидеть и не высовываться. Мой пойнт в том, что если ты не очень умный, то в рамках обучения с подкреплением от окружающей среды ты будешь часто даже при огромной активности получать подзатыльники, и завод у тебя быстро кончится — мозг всё-таки обучаем и у кошки. Если ты умный, то подзатыльники от окружающей среды будешь получать меньше, желания что-то изменить вокруг, чтобы тебе стало удобней, у тебя будут чаще, и реализовываться они будут легче. И ты перейдёшь к разумной агентности, перестанешь и суетиться почём зря, и наоборот -- отсиживаться на галёрке жизни.
Интеллект
Напомню, что интеллект -- это умение решать новые проблемы, которые не видел ни ты, ни твои учителя. Сильный интеллект решает больше классов проблем (переводит их в задачи следования какому-то методу, которые можно просто взять -- и выполнить) и тратит на это меньше времени. Интеллекту можно научить, мы считаем, что наученный профессор престижного вуза обладает бОльшим интеллектом, чем отважный воин племени в джунглях Амазонки. И агентность его явно выше -- отважный воин в джунглях Амазонки может быть более активным, но действия его по существенному изменению мира менее успешны, чем действия профессора, который только кажется менее активным, но мир меняет будь здоров. Чему надо учить в плане повышения интеллекта? Фундаментальным дисциплинам, они собраны мной в курсе "Интеллект-стек" в их первозданном виде, хотя у нас в ШСМ это, скорее, факультативный дополнительный материал. Но можно поглядеть: https://aisystant.system-school.ru/lk/#/course/intelligence-stack/
Поэтому учим изменять мир вокруг себя к лучшему (агентность!), а для этого добавляем мозгов (пардон мой френч), усиливаем интеллект. А личное развитие? Ну, если тебя придавило бетонной плитой работы и нет понимания, как это менять, то агентность у тебя будет нулевая, а сил на развитие себя не будет -- попробуй поразвивайся под бетонной плитой, тут хотя бы выспаться!
Ровно это рассуждение было про то, в каком порядке лучше проходить курсы — "Личное развитие" или "Организационное развитие" сначала. У нас есть успех и по одному варианту ("сначала вылечи себя, потом будут силы победить работу"), и, заметим, по другому, полностью контринтуитивному (сначала научить изменять окружающий мир, чтобы отодвинуть придавившую тебя бетонную плиту работы, а потом уже заниматься личным развитием, когда стало чуток посвободней вокруг): об этом текст https://ailev.livejournal.com/1753783.html, "К обновлению "Инженерии личности" в 2025", и там подраздел "Мастерство изменения себя и мастерство изменения мира".
Мы видим раз за разом, в каждой группе наших взрослых студентов, что просто говорить им: "тебе плохо работать в организации, измени что-нибудь", -- это не работает. Они говорят (даже если они топ-менеджеры! удивительно!), что "изменить ничего нельзя, так уж заведено, даже и пытаться не надо -- успеха не будет". И дальше плывут по течению, даже если топ-менеджеры! Если добавить к этому знаний, причём трансдисциплинарных прежде всего, а ещё кроме умений думать добавить умений менять (у нас ведь и курсы системной инженерии, и системного менеджмента!), а ещё добавить опыт подобных изменений прямо в ходе обучения, то люди много проще принимают решение о начале изменений жизни вокруг себя к лучшему, то есть у них сдвигается локус контроля на внутрненний, они понимают, что "можно попробовать" -- и пробуют. Да, это "научить агентности", ибо из лежания на печке перешли к действиям по изменению мира к лучшему.
И уму-разуму, и агентности можно научить
Опять же, и агентности, и интеллекту — учат, не все наследуется "аппаратно генами, спасибо маме-папе". Хотя, конечно, не любую аппаратуру можно хорошо учить. Кошку не научишь, но обычного человека -- вполне! Пойнт в том, что учить надо и интеллекту, и агентности. Ибо хуже дураков только инициативные дураки. Пассионарный идиот, меднолобый фанатик с дикой агентностью — это очень, очень плохо. Но если человек умён, то он вменяем, ему можно что-то рационально объяснить. Его легче научить и агентности. Что мы и делаем в ШСМ: и поднимаем интеллект, и добавляем агентности -- что много проще после подъёма интеллекта. Мы учим студентов быть эффективными в мире, поднимая их интеллект и давая какие-то прикладные знания. А дальше учим именно агентности — и это будет успешная агентность, и мы ещё и демонстрируем это в вариантах типа exposure therapy (то есть заставляя что-то изменять к лучшему в окружающем мире и показывая, что результаты не так плохи, как об этом думалось).
Какие результаты? После первого семестра (рациональная работа) -- существенно облегчается рабочая коммуникация. После второго семестра (системное мышление и методология) -- снижается тревожность, люди нормально спят, бетонная плита меньше давит, ибо получили немного мозгов, мир стал понятней, "договорился со всеми". После третьего семестра (инженерия, обучение, менеджмент) -- вот она, агентность: умеем договорить всех вокруг себя, коллективно меняем мир к лучшему. Вот эти критерии, и люди из группы в группу (увы, пока только группы с преподами, без преподов успехи более чем скромны) их достигают, выходят на квалификацию мастера примерно за год: https://ailev.livejournal.com/1723294.html
Других обучающих не какому-нибудь "программированию на Питоне", а интеллекту с прицелом на агентность, что-то не заметно. Вот ШСМ, кто ещё? Поэтому считаю, что вывод ровно такой: дико агентные и не очень умные так и останутся ненаученными — с ними никто не справится, им будут говорить учителя, что 2*2 — ни разу не 5, а они будут проявлять упрямство:
— или агентно терять нить рассуждения, ибо мимо летит птичка.
— или не будут понимать, что им такое говорят и зачем им надо принимать это во внимание, ибо они агентны и чётко удерживают цель, не отвлекаясь на всякие там замечания.
Если идти по линии чистого обучения агентности с тем умом, который есть (педагогический и психологический подход, ибо откуда педагогам и психологам, да и прочим коучам знать про то, что там составляет интеллект-стек, знать про фундаментальные методы мышления, знать про инженерный кругозор?), то и получим ровно такое: "спасибо за волшебный пендель, я пошёл куролесить по миру, прогибать мир под себя!". Нет, задача не в прогнуть мир под себя, задача -- сделать мир лучше. Умного можно научить ещё и рациональности поверх его ума — и там в рациональности последний шаг, "принятие всерьёз": если все размышления про какую-то мысль показывают, что критика уже трудна, надо просто брать эту мысль за основу — и менять мир на основе этой мысли, мир станет лучше. Это и есть агентность умных. У глупых тут будет "менять мир неважно в каком направлении, без этих ваших заумностей, душностей, критики и прочих заморочек разума. Многая знания — многая печали, поэтому побежали что-нибудь делать!".
Интересно, что никто не обсуждает -- можно ли сделать людей умнее (поднять калибр личности, усилить интеллект, а не просто научить "программированию с copilot" или "жёстким переговорам"). То, что можно -- это не усомневается даже теми, кто не очень понимает, а чему же конкретно для этого надо учить. А вот в том, что можно научить агентности -- это сомнение после всех разговоров почему-то остаётся: "Вот сделаете вы людей умнее, и они будут угрюмыми умниками сидеть в углу, и из угла не выйдут. Я читал, что пассионариев и предпринимателей мало, 5-7%, и тут ничего не сделать". Как отвечать на это? Что мы в ШСМ видим результаты этого обучения -- наоборот, люди выходят из сидения в углу и начинают делать что-то интересное и осмысленное? Но мы же не проводим эксперименты по нормам лабораторий, у нас это не evidence-based! Мы не проводим, но ссылки на evidence-based исследования представить можем.
Дальше я просто взял и выполнил deep research в ChatGPT: можно ли обучать агентности и сдвигать локус контроля внутрь? Краткий ответ: да, можно, даже для взрослых людей, агентность научаема, есть много исследований на эту тему. Teaching Personal Agency to Adults with External Locus of Control -- https://chatgpt.com/share/67c2e553-384c-8013-be29-91cc3eef660f. Основная часть обзора -- "спасибо, кэп", методы и результаты вполне понятны и ожидаемы, "здравый смысл" (то есть попсовость этого обзора повышенная). Тем не менее, людям, которые утверждают, что "агентности нельзя учить, пассионарность врождённая", можно найти для себя там много интересного, много ссылок на evidence-based исследования. В обзоре пишут, что "всё из предлагаемых методов работает даже в маргинальных случаях патологий: тяжелобольные, старики, аутисты, поэтому при переносе в более нормальную среду должно работать ещё лучше". In summary, an agency-enhancing curriculum is expected to produce more confident, proactive, and engaged individuals. They will likely demonstrate higher self-efficacy, a shift to internal locus-of-control beliefs, more decisive action in personal and work matters, and greater participation in community or social endeavors. These changes create a positive feedback loop: as adults experience the benefits of being agentic – successful outcomes, recognition, personal growth – it further reinforces their internal locus of control and commitment to an active approach in life. Teaching agency is about enabling adults to see themselves as the authors of their own story. The expected payoff – as evidenced by contemporary research – is substantial: individuals who take charge of their lives tend to experience better mental health, make more satisfying decisions, perform better in their careers, and contribute more actively to their communities. В обзоре, конечно, упоминается в том числе и наша стратегия: обучение какому-то мастерству/skills в порядке увеличения агентности -- это позволяет студентам действовать там, где "хотелось бы, но в силу неумения воздерживаюсь". Локус контроля смещается в этой предметной области изученного мастерства, и дальше идут действия, агентность растёт.
"Теории" андрагогики и корпоративного обучения вам не помогут
Если честно, то я ещё выполнил какие-то исследования -- но там всё плохо, "теории" (слово там theory или framework, то никакой "теоретичности" и вблизи нет) обучения взрослых, в том числе в корпоративной среде мало того, что в разы хуже психологических "теорий" по их обоснованности, так ещё и напрочь пропитаны ESG и читаются как коммунистическая пропаганда по выращиванию нового, коммунистического сотрудника, рационального (что понимается как "правильно мыслящего что скажут и не мыслящего, чего не скажут", а не "умеющего рассуждать"), но активного (не слишком агентного, ибо автономность -- это "быть себе на уме, менять мир", а тут поощряется активность в плане участия в делах коллектива, акцент на коллаборации, вовлечении, общении). Я и сам знал, что андрагогическую и менеджерскую (о, там очень озабочены изобретением велосипедов о том, как обучать сотрудников) литературу читать нельзя, но вот ChatGPT заставил почитать обзор того, что там творится. Теперь бы это развидеть. Это всё ни разу не рациональность, системное мышление, инженерное отношение к миру, это всё ни разу не агентность. Ссылок не даю, рекламу плохому мышлению не делаю.
Если забыли про "что такое ESG" в отношении к сообществу сотрудников, почитайте ещё раз мой текст "Ролевые сообщества вокруг компании: в балансе между капитализмом и социализмом", https://ailev.livejournal.com/1741983.html. Желание учить сотрудников как сообщество появляется как раз в этой традиции -- в том числе учить каким-то видам мастерства, но заодно и агентности, понимаемой не деятельностно, а чисто "психологически" и "педагогически".
Мы довольно много в ШСМ делаем для того, чтобы учить агентности. Мы поняли уже давно: знания бесполезны, если их не применять в деле. Надо сразу учить менять мир -- поднимать агентность (или как сказали бы раньше -- пассионарность, хотя это и не совсем синонимы). Наше квалифицирование вроде бы соответствует европейским уровням EQF, но акцент в нём на то, как наши соклубники-создатели меняют мир (https://ailev.livejournal.com/1723294.html), а не на какой у них после обучения IQ или демонстрируемые знания. И вот Andrej Karpathy тоже пишет о том, что агентность важней IQ, https://x.com/karpathy/status/1894099637218545984 -- и получает одним из первых комментов "Good point" от Elon Musk. В посте у Karpathy также ~close объяснение от Grok, которое наверняка станет "хрестоматийным" после этого твита: "«Агентность как черта личности относится к способности человека проявлять инициативу, принимать решения и контролировать свои действия и окружающую среду. Речь идет о том, чтобы быть проактивным, а не реактивным — человек с высокой степенью активности не просто позволяет жизни случаться с ним; он формирует ее. Подумайте об этом как о сочетании самоэффективности, решимости и чувства владения своим путём. Люди с сильной агентностью склонны ставить цели и уверенно их достигать, даже сталкиваясь с препятствиями. Они из тех, кто говорит: «Я разберусь», а затем действительно делает это. С другой стороны, человек с низкой агентностью может чувствовать себя скорее пассажиром в своей собственной жизни, ожидая, пока внешние силы — например, удача, другие люди или обстоятельства — продиктуют, что произойдет дальше. Это не совсем то же самое, что напористость или амбиции, хотя они могут пересекаться. Агентность более тихая, более внутренняя — это вера в то, что вы можете действовать, в сочетании с волей к достижению цели. Психологи часто связывают это с такими концепциями, как локус контроля: люди с высокой степенью агентности склоняются к внутреннему локусу, чувствуя, что управляют своей судьбой, в то время как люди с низкой степенью агентностью могут склоняться к внешнему локусу, рассматривая жизнь как нечто, что происходит с ними». Карпаты, Маск, Грок -- мы в хорошей компании!
Тема агентности и сопутствующая тема локуса контроля подкрепления интересна. Вот подборочка статей -- https://www.frontiersin.org/research-topics/10576/locus-of-control-antecedents-consequences-and-interventions-using-rotters-definition/articles Locus of control of reinforcement, предложен Rotter в 1966 году как общее ожидание того, что личность будет решать проблемы в условиях отсутствия знаний о ситуации -- при этом по мере накопления знаний общие ожидания решения проблем становятся частными для проблем этих ситуаций, локус контроля уже не так влияет. Тема локуса контроля личности близка к теме личного интеллекта, который решает проблемы (переводит их в задачи), а также рациональности (которая сводится к тому, что агент рационально выбирает метод работы, а затем прагматический поворот и задействование агентности: принимает свой выбор всерьёз -- начинает работать по методу). У нас в ШСМ мы реально меняем локус контроля:
-- даём некоторую SoTA картину мира. Ситуации, которые были полностью непонятны и неизвестны, становятся уже частично известными: мы знаем их мета-мета-модель. Это означает, что общее ожидание (исходный локус контроля) решения проблем в ситуации заменяется частным ("в этой ситуации знаем больше, можно влиять на ситуацию больше, решать проблемы продуктивно"), можно ожидать улучшения по решению проблем. Но это верно для всех ситуаций, что по факту означает смещение локуса контроля к внутреннему.
-- даём некоторый набор методов решения проблем (не только онтологию, то есть "как устроен мир", но и методологию "как менять мир" и даже инженерию "как менять мир лучшими известными на сегодня методами"). Это опять-таки сильно снижает порог для перехода к действиям по изменению мира, сдвигает локус контроля на внутренний, агентность при этом растёт.
-- прямо учим не просто размышлять много (быть аналитиком, "всё понимать"), но и переходить к действиям: как минимум, выходить на осознание своего действия и бездействия, понимания последствий действия и бездействия. Ну, и exposure therapy -- лечим/ремонтируем ожидания от проблем выхода в действие (они, как всегда при exposure therapy) оказываются не такими большими, как казалось.
Личность в целом
Модель хорошей жизни (good lives model, https://www.goodlivesmodel.com/, хаха, забавный перевод, но грамотней, конечно -- модель благ жизни) интересна тем, что авторы предлагают 11 жизненных благ (goods), и всё бы хорошо, но вот evidence-based у этой теории сильно поменьше, чем у теорий-конкурентов (как всегда в случаях, когда "давай сядем и придумаем новый способ рассуждать об ответах на главные вопросы жизни, вселенной и всего такого"). Более того, многие грабли в этой системе понятий давно известны (те же попытки вновь и вновь определить "счастье"). Но вдруг вам надо понять, что там у людей в "благах жизни"? Вот:
1. Life (Physical Health and Survival): Encompasses basic physical well-being, including health, fitness, and survival needs. It reflects the pursuit of a healthy, functioning body and longevity. Example Application: Access to nutritious food, exercise, or medical care to sustain physical vitality.
2. Knowledge: Involves the pursuit of understanding, learning, and intellectual growth. It includes acquiring skills, information, or insight about oneself and the world. Example Application: Engaging in education or training programs to expand one’s capabilities.
3. Excellence in Play: Refers to enjoyment and mastery in recreational or leisure activities, emphasizing fun, creativity, and personal fulfillment through play. Example Application: Participating in sports, hobbies, or artistic pursuits for intrinsic satisfaction.
4. Excellence in Work: Focuses on achieving competence, satisfaction, and purpose through vocational or productive activities. It includes career achievements and skill development. Example Application: Pursuing a meaningful job or mastering a trade that aligns with personal strengths.
5. Excellence in Agency (Autonomy and Self-Directedness): Centers on personal autonomy, independence, and the ability to make choices and control one’s life direction. Closely tied to an internal locus of control. Example Application: Setting personal goals and making decisions free from undue external influence.
6. Inner Peace: Encompasses emotional stability, freedom from stress or conflict, and a sense of calm or psychological well-being. Example Application: Practicing mindfulness or resolving internal conflicts to achieve emotional balance.
7. Relatedness (Relationships): Involves forming meaningful connections with others, including family, friends, or romantic partners, emphasizing intimacy and social bonds. Example Application: Building supportive friendships or maintaining close family ties.
8. Community: Reflects a sense of belonging and contribution to a larger group or society, beyond individual relationships, fostering social identity and purpose. Example Application: Participating in community service or cultural groups to feel connected.
9. Spirituality: Encompasses finding meaning, purpose, or transcendence in life, often through religion, philosophy, or a connection to something greater than oneself. Example Application: Engaging in spiritual practices like prayer, meditation, or philosophical reflection.
10. Pleasure (Happiness): Involves experiencing positive emotions, joy, and satisfaction in daily life, often through sensory or hedonic pursuits. Example Application: Enjoying music, food, or other pleasurable experiences that enhance well-being.
11. Creativity: Focuses on innovation, self-expression, and the ability to generate novel ideas or solutions, often through artistic or problem-solving endeavors. Example Application: Writing, painting, or designing as a means of personal expression and growth.
Науки обучения
Что надо менять в "Инженерии личности"
Курс "Инженерия личности" сейчас главным образом посвящён инженерии мастерства, ибо это основное, что надо делать, когда работаешь с личностью. Вот основное, что надо будет учесть:
-- существенно расширить материал, который посвящён рациональному взгляду на психотерапию (ибо инженерия личности включает, конечно, ремонт/терапию, но вот это не основное. Образование, обучение -- это явно не терапия, а личность развивается отнюдь не психологом).
-- уровень личности в целом практически не затронут, а надо: у личности есть разные свойства, эмерджентные по отношению к каждому отдельному мастерству. Упор на обучение мастерству в отдельных методах, а что там уровнем выше -- ничего не сказано.
-- изложение даётся для "инженера личности", внешняя позиция восприятия, учителя. Конечно, упоминается важность учёта внутренней позиции восприятия, его eXperience, но нет развёрнутых материалов на эту тему. Поэтому тема "саморазвития", self-supervising learning (сам себе учитель) затронута очень мало.
-- у личности есть специфические проблемы восприятия из первой позиции, "субъективный опыт" и "сознание". А ведь запрос на "понять себя, поменять себя" часто идёт отсюда: из первой позиции восприятия.
-- почти не отражены вопросы learner journey и масштаб времени эволюции.
Дальше несколько интересных моментов.
Мастерство изменения себя и мастерство изменения мира
Инженерия личности -- это обучение мастерству, то есть применению метода изменения чего-то. Берём мастерство в связи с референтным индексом, получаем -- изменение себя (скажем, "хочу не бояться пауков, научите") или мастерство изменения окружения: от косного вещества (включая терраформирование) через киберфизические системы к живым существам (включая людей), и их популяциям (включая сообщества, общества людей и даже человечество в целом).
Тут явно есть проблема "белки в колесе" -- людей сильно приплющивает работа, она даёт им и тревожность, и забирает время, и что угодно. Это приплющивание часто выражается как "выгорание" -- забавно, что "отрицательная ценность труда" (которая у экономистов просто признанный факт) была на некоторое время забита слоганами о "радости труда", "самореализации" (что это?!), а теперь, оказывается, это просто называется "выгорание", оно есть у 80% работников в 2021 году, сейчас может уже и больше — https://hh.ru/article/news-1984. Речь идёт об ощущении из первой позиции, недовольство ситуацией "я на работе" невозможно не заметить. Но "противно и неохота трудиться" вроде как порицается "снаружи от себя", ибо ты публично говоришь, что работа для тебя имеет отрицательную полезность (экономисты дружно кивают, https://mises.org/quarterly-journal-austrian-economics/disutility-labor -- и замечают, что это не означает, что люди будут не работать, психологи говорят "так не должно быть! работа должна радовать!", экономисты открыто хихикают в ответ -- радуют деньги и всякое другое, а работа печалит, "общественное мнение" откуда-то шепчет, что "трудиться надо, деды трудились, и нам велели, не будь тунеядцем"). Переобозвать это "выгоранием" -- и жалобы становятся вроде как респектабельны, жалующегося на "выгорание" жалеют -- а выросший уровень жизни позволяет даже обосновать уход с работы, некоторое время можно отдать тунеядству и не считать себя "безработным", а "восстанавливающимся после выгорания". Но тунеядничают не 80% сотрудников, не все "выгоревшие", большинство всё-таки работает и терпит рабочую ситуацию, терпит труд как "износ тела и нервов", несмотря на его отрицательную полезность! И даже предприниматели мечтают "выйти из операционки", но всё одно -- воркаголики, тоже трудятся, "богатые тоже плачут выгорают".
И выгорающим хочется изменить себя (слова "Развитие личности" даже не звучат), чтобы было не так тяжко (пойти к психологу, уехать на Гоа и стать свободной птичкой, заняться йогой, пройти курсы ШСМ). Хотят решить личные проблемы, не чувствовать, что с ними что-то не так (а это более чем частое ощущение: "со мной что-то не так, что-то счастье меня обходит стороной, я застрял"). Только тут беда: бетонная плита работы придавила так, что все инициативы по изменению себя, открытию горизонтов, освоению профессий и т.д. -- несбыточные мечты.
Один из контринтуитивных ходов, который часто демонстрируется у нас в клубе создателей: вместо изменения себя первый шаг -- научиться менять окружение, прежде всего там, где болит: менять ситуацию на работе. Мы даём мышление, мы даём средства изменения рабочей ситуации в курсе "Организационное развитие" (ибо дело обычно не в том, чтобы продвинуть какие-то технические умения. Дело в рациональности, осмысленности работы -- решаем этот вопрос прямо с первого курса, который так и называется, "Рациональная работа". И там даются даже азы операционного менеджмента себя, любимого. Дальше даём понимание того, как устроены фирмы и какие-то средства для изменения ситуации вокруг: у кого это маленький отдел, у кого-то проектная команда, а у кого-то -- большой холдинг. Результат: бетонная плита оказывается не такая уж тяжёлая, ситуация на работе разгребается. И вот тут появляется понимание, что можно заняться и собой -- идти на курсы "Личного развития", заняться и телом, и личностью, научиться отдыхать, планировать профессиональное развитие (или понимать бесполезность такого планирования в условиях, когда быстро-быстро вместо тебя умнеет AI), и так далее. А пройти их успешно помогает довольно мощное фундаментальное образование, которое даётся на программе "Организационное развитие", там даётся рациональная, системная картина быстро эволюционирующего мира.
Вот этот ход на "сначала учимся менять мир вокруг себя, а когда уже не так давит снаружи, обустраиваем жизнь внутри своей личности" -- он контринтуитивный, но он работает. Всего это -- примерно год (480 часов занятости, это 48 недель по 10 часов -- уровень нагрузки "хобби") на "Организационное развитие", а затем где-то полгода на личное развитие -- и выход на бесконечное развитие и себя, и работы вокруг себя.
Поскольку контринтуитивно, то такому варианту выхода на личное развитие (сначала учимся разгребать проблемы вокруг себя, а потом уже меняем себя на высвободившемся ресурсе рабочей замученности) надо учить, само оно в голову не приходит. О возможности как-то решать проблемы тревожности и беспомощности в рабочих ситуациях через курсы изменения этих самых рабочих ситуаций мало кто знает, а что это существенно помогает потом сделать лучшую версию себя -- об этом вообще трудно догадаться.
Есть, конечно, вариант "сначала я разовьюсь, перестану быть тряпкой и рассеянным, выработаю личную стратегию и Большую Мечту, а потом уж займусь профессиональным ростом". Да, но "выгорание" относится часто не к тому, насколько развит человек как личность -- а к плохой ситуации на работе, выгорают-то от работы, а не от недоразвитости себя! Дальше надо смотреть, с чего начать, тем более что начинать с рационального и системного "Личного развития" -- это сразу конкуренция с огромным числом предложений от самых разных психологов, жрецов разных религий, курсов self-help и даже конкуренция с "выпить после тяжёлой работы". Так что до рациональных курсов личного развития дело может и не дойти. А вот после "Организационного развития" -- работы по личному развитию могут быть выбраны рационально, спланированы, выполнены.
Говорить о том, о чём людям говорить интересно: об их ощущениях "изнутри"
Людям говорить о себе, любимых, "из первой позиции" интересно -- ощущения счастья, семейной близости, сопереживание и сочувствие, злость и дикая тревога как раз "ощущения", буквально кинестетика, "ощущения в теле", которые трудно даже обсуждать, как почувствовать другому человеку. Хотя очень просто, как физики передают условия, в которых можно что-то нормально измерить, описывая эксперимент как работу по какому-то методу с определёнными предметами: "закипяти воду на уровне моря, то, что замеряет твой градусник -- сто градусов цельсия". Так и с чувствами: дайте тысячу рублей человеку, и скажите -- "то, что ты сейчас чувствуешь, это радость", дайте таблетку фенибута и скажите "то, что ты сейчас чувствуешь -- это спокойствие". Вот так на системном фитнесе мы объясняем людям, что такое "обмякание" как "дорасслабление": "сделай вот такое усилие, а затем вот так убери усилие и вот так проуправляй мысленно дорасслаблением мышц, что чувствуешь в конце -- это и есть обмякание, состояние после расслабления".
Дальше возникает соблазн вместо всего этого говорить о внутренних состояниях, как будто все одинаково их понимают. Нет, что для одного "счастье", для другого будет "небольшая радость", а "счастье" будет ассоциироваться со случайным вылетом в какое-то изменённое состояние сознания, необязательно под веществами, бывает и на ровном месте.
И тут тебе всякая эзотерика, малые и большие религии подставляют свой словарь разговора про ощущаемое в первой позиции, а также заодно неожиданно -- мораль-нравственность, нормы социальных отношений, и всё это привязанное к ощущениям из первой позиции. Скажем, тебе рассказывают про "страдание", сколько ни обсуждай неточность переводов всех этих восточных текстов со "страданием" на европейские языки. Ты, вроде, живёшь -- но нет, страдаешь! Поп-психология и психология туда же -- каждая школа готова дать собственный язык, даже если маскируется не под психологию (типа соционики). Дальше они картируют весь мир на этот художественный, а не рациональный язык (напомню, что я писал про это картирование на достаточно сложную систему концептов -- неважно, соционики или астрологии, или чего-то другого такого же художественного, хоть книжки "Винни-Пух и все-все-все", или Библии, подробней в тексте "Художественная литература и её трактовки", https://ailev.livejournal.com/1752577.html).
И дальше появляется ещё одно явление: желание вроде как рациональных мыслителей говорить с большим количеством людей про их проблемы первой позиции восприятия. А они говорят на языке городских и сельских мифов, древних воззрений на то, как это всё там устроено, всё это существенно приправлено поп-психологией и даже имеет название "народной психологии", типа "народной медицины" -- https://plato.stanford.edu/entries/folkpsych-theory/, и там сразу отсылки к теории понятий. Поэтому эта убогая онтологизация языка народных алхимиков от психологии вдруг становится в основу двух проектов рациональных мыслителей:
-- попытка сделать перевод с рационального языка на убогий и рассказать о рациональных понятиях убогим языком. Дам хлёсткое наименование: сюсюканье. Не подучить своему языку и перестать сюсюкать, а именно подсюсюкать -- перевести свою речь на невнятный язык "народного мышления". У меня про это был текст "Преподавание химии на алхимическом языке: и не пытайтесь!", https://ailev.livejournal.com/1509956.html. Нельзя научить рационально говорить на языке поп-психологии о восприятии из первой позиции, там все высказывания окажутся легко опровержимыми, что ни возьми. Например, "кризис среднего возраста", который не существует (не удаётся его измерить, ни в среднем, ни в любом другом возрасте! Вот один из постов про это, с убедительной картинкой: https://t.me/channelkapterev/562). Или берём EQ — очень популярная теория, в том числе в поп-менеджменте. Оказалось, что этот EQ более-менее вообще ни на что не влияет в части работы, никакого значимого эффекта. А литературы на эту тему вышло и продолжает выходить огромное количество, ибо это шикарная идея для художественной литературы. Художественной, не рациональной. Рационально -- не пользоваться этими понятиями, пользоваться какими-то другими, которые как-то лучше соответствуют жизненным ситуациям, позволяют делать хоть какие-то предсказания с точностью выше астрологической и нумерологической.
-- ещё хуже: объявить сюсюканье нормальным языком и дальше пытаться определить слова сюсюканья как-нибудь так, чтобы угодить мифам. Скажем, взять сознание -- и пытаться построить это понятие. Зачем? Два варианта ответа: "чтобы стать попсовыми", то есть популярными у широкой публики. Так сказать, "маркетинг". Грубо говоря, "нашу термодинамику никто не понимает, все верят в теорию флогистона. ОК, будем популярными: дадим определение флогистона в терминах термодинамики". Обоснование иногда фантастическое: "если слово "сознание" есть, то есть и сознание -- а мы универсалисты, должны это определить". Ага, до Ньютона силы притяжения между крупными массами не было, после Ньютона была, а теория относительности заумна, там силы притяжения нет, есть искривление пространства-времени -- вот мы сейчас как универсалисты объясним силу притяжения, и так это понятие и оставим, "если народ употребляет это понятие, значит есть и объект, должны уметь объяснить"! То есть признание, что "народная психология" определяет какие-то "истинные объекты" и теория должна объяснять мир в терминах этих "истинных объектов", ибо народ же так говорит!
Личное развитие как уход в эзотерику, религию и "народную духовность"
"Изменение себя" ассоциируется с "саморазвитием" и там сразу вылезает вся возможная эзотерика с сектами (в поиске в Гугле будет на первом месте, все эти крайоны и астрологии, в книжных магазинах на полках ровно так же), психология со школами, коучинг тоже со школами (скажем, "настоящий коуч только вопросы задаёт"), но время от времени тут будет вылезать поп-религия ("народное понимание религии"). Главный тут вопрос -- это "что-то я впахиваю, а счастья нет. Что со мной не так?". И куча желающих дать диагноз, что не так -- и рассказать, что делать, чтобы исправиться. Часть желающих радостно рассказывают, что о счастье надо думать не земном, а посмертном (ад или рай, другие инкарнации) -- а поскольку у обращающегося за мастерством "быть счастливым" студента в этот момент есть опыт изменённого состояния сознания, с которым другие школы развития личности не работают, кроме всяких эзотерик-религий, то довольно много рациональных людей попадают в эти сети.
Знаний по восприятию из первой позиции людям с высшим техническим, и даже гуманитарным образованием явно не хватает, с каким-то картированием изменённых состояний сознания (ах, тут и появляется слово "сознание" -- ибо по-другому об этом говорить не умеют, см. материал "Как мы обходимся без понятия "сознание" в наших курсах", https://ailev.livejournal.com/1748712.html) не знакомы. Не хватает знаний об ограничености интроспекции с незбежным выходом на понимание "субъективного опыта/впечатлений/experience" как указания на первую позицию восприятия "я изнутри себя" (см. замечания Hinton про субъективный опыт и "театр сознания" в ролике https://www.youtube.com/watch?v=b_DUft-BdIE, принципиальные ограничения на возможности интроспекции в https://chrisfieldsresearch.com/self-obs-limits-Entropy-2024.pdf).
Совет Кена Уилбера по учёту желания людей разобраться с тем, как их мозг в разных режимах имеет все эти "настроения, тревоги, счастья" в простейшем случае и глюки восприятия в чуть более сложных (скажем, ощущение присутствия, ощущение единения с миром -- их тут некоторое количество): "любая религия сойдёт, надо дать людям разных психопрактик, разнообразить режимы работы их мозга — и возьмите наш вариант с просветлением какого-то сорта, какими именно режимами разнообразить". У Кена Уилбера наиболее внятные и рациональные описания того, что происходит в первой позиции восприятия в изменённых состояниях сознания -- в частности, одного из вариантов "просветления", он большой поклонник этого состояния, да и сам просветлённый, один из немногих грамотных просветлённых, ибо десятки тысяч просветлённых не внесли особого вклада в человеческую культуру, они не очень грамотны. Кен Уилбер честный системный мыслитель первого поколения, не надо ждать от него продвинутого системного мышления, но в рамках первого поколения и с невоздержанностью типов (холоны у него из очень странных объектов и странных отношений вместо композиции) -- вполне.
И вот он делает заход через призыв к рациональному системному мышлению: "уважаемый читатель, смотри как круто системное мышление, у меня есть теория всего. Но чтобы окончательно понять — иди в религии, духовность, а там рядом и изменённые состояния сознания, просветляйся, и в мозгах у тебя будет кайф!". "Изменённые состояния" неведомо чего (то ли восприятия, то ли сознания, то ли режимов работы мозга как нейросетки), неведомо по сравнению с каким состоянием (нет же "обычного статичного состояния"). "Мокрая нейронная сетка" существует в самых разных режимах, и это не только сакраментальные канемановские S1 и S2. Один из цирковых режимов (можно демонстрировать трюки, которые будут записаны в книгу рекордов Гиннеса, вероятность попасть с ними хотя бы в википедию или другую энциклопедию -- исчезающе малы) и есть -- "просветление", ничего мистического, чистая физиология.
Но вот рационального разговора о том, как там чувствует себя человек в первой позиции восприятия (я изнутри себя) нетути, увы. Сразу всё в религии-эзотерики уползает и разные "ритуалы". В одном из блогов даже обсуждался ритуал "осознавать себя частью эволюции", для людей, не понимающих современных идей эволюции, то есть для рациональной системной картины мира вроде как идёт попытка создать вариант "народной духовности 21 века", поп-духовности, взяв за основу эклектику верований New Age (https://en.wikipedia.org/wiki/New_Age), ведь в New Age брали только внешнюю сторону ритуалов разных восточных религий, и даже не только восточных, поп-версия религии — вот с "new age evolution ritual movement" будет то же самое. Ну, и интуитивно понимаемое, что если учишь религии, учишь выключению мозга и чувствованию — "и много-много радости детишкам принесла" (многие измененённые состояния сознания, хоть от водки, хоть от более крепких веществ, хоть от медитаций -- кайф в прямом смысле слова), а учишь многая знания — даёшь многая печали (спорный тезис, но как раз соответствует поп-духовности: знающие люди душнилы, знающие люди грузят, ибо сами озабоченные, а не лёгкие-счастливые-беззаботные, как пустомозглые-малознающие "практики", недуальные и, конечно, истинно духовные).
Отдельно про "недуальность", отсутствие конфликтов и всё, что с этим связано и цель духовности -- "спокойствие, абсолютное спокойствие, нирвана" (и куча слов из других восточных религий): это же явный тупик. Нет конфликтов — нет оптимизации свободной энергии по всем системным уровням, нет развития, нет open-endedness. Но какое, к чёрту, развитие там, где стабильность критерий абсолютного счастья? Вообще, про восточные религии надо писать отдельный пост.
Обучение даёт свободу!
Ход на обучение (а личное развитие -- это прежде всего обучение, приобретение мастерства, в том числе мастерства верить или не верить, мастерства менять веру) -- это в том числе ход на свободу от всего этого иррационального, от эвристик/суеверий народной психологии, народной же мифологии в форме каких-то "духовных практик". Предположим, что какие-то люди верят в 2*2=5. Можно ещё научить, что есть 2*2=4. Это даёт свободу! Эти люди понимают, что есть не единственная опция, и это только опция, и теперь свобода — они могут выбрать из двух вариантов! С любыми другими верованиями, даже очень сложнонавороченными (святые книги очень объёмны! а уж несвятые эзотерические тексты -- все эти дизайны человека и крайоны, их же не меньше по объёму!) принцип-то один и тот же. Если обучение — то вот это. Дальше смотрим на содержание обучения, "какие именно вещи, и что там из этого следует".
Ну, и выбирают. Ещё и есть свобода, как выбирать! Можно же научить, что выбирать в условиях неопределённости можно по разному — рационально, например, и даже в рациональности есть варианты логической древней, байесовской мейнстримной и квантовоподобной SoTA рациональности, в курсе "Интеллект-стек" в разделе рациональности про это тоже много рассказано.
К этой New Age поп-религиозной картине мира добавляем рациональные картины мира "от первого лица", которые можно затем сравнивать с "народнорелигиозными". В NLP говорили про метафору обучения так: "мы даём людям свободу. Вот у них не было выбора, а мы их обучаем альтернативам. У них теперь есть выбор — или по-старому, или по-новому. Это лучше, чем даже не знать о том, что выбор есть!". Дальше тщательно выбирать, чему учим и считать на шаг вперёд, какие там незагробные, недуховные (что такое духовность? как и сознание -- у каждого свой ответ, что это, поэтому лучше табуировать и обсуждать в каких-то других, менее поэтических терминах), непопсовые картины мира.
Это очень хороший посыл — похож на то, что говорят люди из NLP, "нужно уметь и бояться пауков, и не бояться пауков, по выбору. Если выбора нет, это не свобода". Это важно: кто не боится пауков, у того могут быть проблемы с ядовитыми пауками (такие есть), кто боится -- у них вообще сразу проблемы. Надо по выбору иметь возможность бояться и не бояться, управлять собой. А выбор этот сделать рациональным, результатом рационального мышления.
Что же делать с "необъяснимыми событиями"?
В любом случае, обучение, в том числе развитие личности -- это journey, где много событий неконтролируемых. Одни из них -- это "необъяснимые события", которые случаются с людьми, чаще всего это разные "синхронии", "нарушения вероятности". Рациональных объяснений по факту нет ("расслабьтесь, это всё и впрямь случайности"), а у эзотериков или описания невнятны, или у лучших из них вполне внятны, например, кастанедианское, где это "знаки духа": их ты по мере роста "силы" (схода с ума) а) сначала замечаешь, б) потом знаешь, что они означают, в) потом знаешь, что делать. Это, конечно, не только у Кастанеды, но у него наиболее сжато и развёрнуто. У Умберто Эко "Маятник фуко" про это, но там нет чёткого алгоритма, как у Кастанеды. Лучший из вариантов, который дают эзотерики, и который можно дать встревоженному "знаками" человеку -- это метафора, ибо рациональные объяснения тут почему-то плохо помогают. Например, хорошая метафора такая: "ты пересекаешь какую-то местность, и время от времени ты случайно видишь дорожные знаки, вот это и есть твои "знаки". Проблема в том, что ты не знаешь, ни в каком направлении дорога, где эти знаки, ни что они означают, ни куда эти дороги ведут. Поэтому лучший рациональный выбор — идёшь, куда шёл. Если знаков много, ну, ты не в пустыне, а где-то в районе города, радуйся, но это ничего не значит, ты не знаешь -- где там город, а где гиблое место совсем рядом. Главное — не соблазняйся считать, что знаешь, что за знак и куда идёт дорога (она вообще может идти не вперёд-назад, а вверх-вниз, и ещё не ошибись, куда — может, знак как раз про тупик! Итого: а) явление хорошо известное, ты не одинок, б) лучше всего тут расслабиться, улыбнуться, позабавиться — и продолжать заниматься своими делами, ни в коем случае не соблазняясь что-то предпринять по этому поводу". Удивительно, но вот эта психопрактическая интервенция-на-метафоре помогает людям успокоиться.
Но не надолго, ибо мозг регулярно спонтанно попадает в странные состояния, типа "ощущения присутствия", "единения с миром", "познания сути всех вещей" и даже спонтанные вспышки/всплески/spikes того самого "просветления" -- и эти состояния, конечно, незнакомы, пугают или наоборот -- "кайф", в который хочется вернуться, но непонятно, как. Там даже есть небольшая классификация "духовных состояний" от старинных мастеров NLP, https://www.transformationalacademy.com/maps-beyond-mind-nlp-spirituality/.
И даже труды того же Олега Бахтиярова по психонетике, который в том числе пытался перевести "духовность" на рациональный язык психопрактик. Можно, конечно, критиковать его по линии "обещал усиление интеллекта, но не дал", но у него тоже есть хоть какое-то картирование всех этих "духовностей". Так, он писал, что "освобождение от страданий" — это переход от пассивного к активному (осознанному, затем волевому) реагированию на первичное восприятие. Так, он хотя бы различает три вида психопрактик, обусловленных религиями. Вот я когда-то писал — https://openmeta.livejournal.com/214490.html по его просьбе.
Конечно, надо информировать людей, что мозги у них -- нейросетки, которые без дополнительного обучения хорошо галлюцинируют. Вообще нейросетки мокрые и сухие удивительно подобны в плане их обучения, вот подробно про это: "Стадии водопадного инженерного процесса для сухих и мокрых нейросеток", https://ailev.livejournal.com/1753533.html.
Уйти от обсуждения "духовности" нельзя
Культура, язык, ритуалы и мораль глубоко пропитана "народной духовностью", суевериями и верой в "что-то такое кроме рационального там есть". Это же паттерны, они впитываются мокрой нейросеткой. Кен Уилбер заметил как-то, что "поскольку человечество рождается в состоянии tabula rasa в каждой особи, то придётся вести в ходе обучения каждую особь через много и много тех состояний, в которой взрослые особи уже побывали и знают, что это ошибки молодости". Дальше там у него ахинея по поводу стадий развития (об этом надо писать отдельный пост, про "теории стадий развития", тысячи их). Но вот само замечание, что молодёжь просто по возрасту и недоученности вынужденно вляпываться будет во всё, что взрослые знают уже как не стоящее внимания — да, оно ценно.
Темы важные в силу того, что огромное число народу ими интересуются. Обычное "путешествие за объяснениями, что со мной" выглядит так: ты попадаешь в ситуацию, где у тебя "близкий к религиозному опыт", и дальше пускаешься во все тяжкие по поиску рациональных объяснений — а их нет, но зато куча нерациональных контор, которые тебя внятно рассказывают байки о том, что "ты не первый, у всех так, вот у нас святые книги, в них всё написано".
Я и сам когда-то отсылался в разную литературу по поводу фокусов моего молодого ещё мозга, с удивлением понял, что ни оккультизм, ни христианство, ни буддизмы-даосизмы-индуизмы и прочее не описывают мой опыт, но вот шаманские (типа кастанедианства, но там ведь целый букет разных других шаманизмов!) практики — они оказались самыми интересными, хотя и примитивными донельзя. Потом таки разобрался, потратив на это много времени: прочёл много метров "профильной" литературы, пробеседовал огромное число часов с разными адептами разных школ иррациональной мысли. Сделал рациональные выводы — и плюнул на всю эту иррациональность слюной. Лучшая телепатия (да, она тоже в этом компоте) -- это сотовый телефон, лучшая тренировка внимания -- тренировка делать записи вовне мозга, причём не в любой форме, а в формате электронного, а не бумажного zettelkasten (ну вот как я веду "Лабораторный журнал", это удерживает внимание к некоторым темам десятки лет -- часть ссылок тут взята из далёкого прошлого, мой биологический мозг этого не помнит, а экзокортекс -- помнит!).
Так что о проблеме знаем, о проблеме помним, проблемой занимаемся. Но нет ресурсов заниматься этой проблемой прямо сейчас. Всё-таки "Инженерия личности" -- это конкретизация "Системной инженерии". И сначала надо таки дописать "Системную инженерию", а "Инженерию личности" -- потом. Но я уверен, что даже этот пост кому-то поможет.
— Что надо менять в "Инженерии личности"
— Мастерство изменения себя и мастерство изменения мира
— Говорить о том, о чём людям говорить интересно: об их ощущениях "изнутри"
— Личное развитие как уход в эзотерику, религию и "народную духовность"
— Обучение даёт свободу!
— Что же делать с "необъяснимыми событиями"?
— Уйти от обсуждения "духовности" нельзя
Тема необъятная, вопросов много, поэтому по ней надо делать второй пост, и есть ощущение, что не последний.
"Инженерия личности", "Личное развитие", "Системный менеджмент"
Есть небольшая проблема: что надо давать в рамках "Инженерии личности" (это программа "Организационное развитие"), а что в рамках программы "Личное развитие", а что в "Системном менеджменте", где работа с сообществами? Как вообще говорят о личности, если хотят её как-то менять, а для этого пытаются описать? Можно выделить минимально три роли, ибо личность -- функциональный объект (но мы ж понимаем, что этих ролей гораздо больше, это только начало, "для затравки"):
1. Self, "Я" -- личность, с которой взаимодействуешь сам изнутри неё, "личность во взаимодействии изнутри", как она доступна себе интроспективно, феноменологически, рефлексивно, в субъективном опыте/впечатлениях. Надо как-то описать происходящее в личности с точки зрения восприятия самой личности. Так, в телесных практиках это ход от объективно заданного "извне" тела, наблюдаемого инженером-создателем (тренером, реабилитационным терапевтом, кем-то извне) к соме, которая так и понимается, как "тело, ощущаемое изнутри". А тут -- личность, ощущаемая изнутри, по-английски нет единого термина, но чаще всего subjective self, experiential self, phenomenological self, The "I" (First-Person Perspective), что можно перевести как личное Я, субъективное Я, переживаемое/проживаемое Я, феноменологическое Я, явленное Я, и Я (перволичное видение) или Я (субъективная перспектива). Два слова неудобно, можно говорить субъектум (более формальный, латинский аналог для английского subject), самосубъект, перволичность (восприятие от первого лица), иногда говорят о проживании (но тут отглагольное существительное, ссылка больше на процесс интроспекции), интероцептор (тот, у кого interoception -- тут чаще всего про ощущения, кинестетику всяких дыханий-сердцебиений-боли-температуры, но и эмоции по этому поводу тоже). Я бы вообще выбрал "самоличность", но это уже занято под "личное присутствие". Неологизмы типа сомаличность вместо самоличности тут были бы лучше всего, кроме указания на референтный индекс это заодно отсылка к 4E, ибо там же личность embodied -- и изнутри её ощущается не только она сама, но и её сома. Это надо давать подробно в "Личном развитии".
2. Личность, с которой взаимодействует другое лицо (оба лица -- не организации, не коллективы). При прямом создании и развитии личности это инженер личности, создатель/constructor, учитель в его разделении ролей. Тут person/личность, ничего другого не надо, основная роль. Это -- в "Инженерии личности". Другой вариант -- это коммуникация: двое пытаются убедить друг друга, научить каждый другого чему-то. Это, скорее всего, будет в "Риторике", когда-нибудь (а пока -- в "Интеллект-стеке").
3. Личность как представитель сообщества, и взаимодействие (социального) инженера будет с сообществом. Скажем, клиент в клиентуре, подданный в монархии, гражданин в государстве, партиец в партии, сотрудник в компании (и компания берётся как сообщество, структура подчинения тут наложенная) -- но нужно назвать одним словом, задать класс. В английском тут тоже разнообразие терминов, чаще всего это community member и cultural citizen. В русском языке это член сообщества (формальное членство чаще всего: член семьи, член партии, член клуба), участник как менее формальный термин, а с пониманием, что там много участников -- соучастник. Отсюда недалеко до общинника (архаизм!) и сообщника (коннотация не лучшая). Термин, похоже, надо ещё искать. И тут трудность ещё в том, что вот этот заход на личность существенно зависит от самого сообщества: сотрудник фирмы ещё можно сказать, а сообщник или соучастник -- вроде нет, а это частое использование (обращение к сообществу, а не к отдельной личности). Так что пока слова нет, нужен будет неологизм. Какая-нибудь "социоличность". И тут, конечно, тоже есть варианты: все эти "участники" и "членства" отражают коммунитарный взгляд на "клетку многоклеточного организма", но в методологическом индивидуализме, конечно, "индивид" -- демонстрация индивидуальности и независимости от включения в сообщества. А сообщества конструируются из индивидов, в которых подчёркивается их разнообразие и автономность, а не единство. Но это можно обсуждать и как "сообщество из личностей/индивидов", а не "сообщество из сообщников". Но это -- в "Системном менеджменте", где инженерия сообществ.
Рассмотрение одной ситуации с трёх позиций минимум: изнутри личности, снаружи личности, снаружи сообщества личностей
Конечно, для хоть какого-то содержательного обсуждения надо учитывать все три варианта. Примером тут можно поставить дрессировку, оно же обучение с подкреплением (RL, reinforcement learning), оно же оперантное формирование, оно же аффективная тренировка. Это один из важнейших методов обучения мастерству, то есть методов инженерии личности. Поэтому говорим про дрессуру личности. Если я говорю reinforcement learning, обучение с подкреплением и даже оперантное формирование (у бихевиористов часто так), то внимания к процедуре нет, смысл не понимается, "ниасилил". Вот если говорю "дрессировка", появляется эмоция, внимание к процедуре -- и шанс обсудить суть. Скажем, зазубривание и натаскивание — это не дрессировка. Есть хорошие книжки про дрессировку, и там требуется некоторое разнообразие поведения от нейросетки, при этом подкрепляются те, которые ведут куда-то к цели (функция награды). Много случайных проб, некоторые из которых поощряются, зазубривание/запоминание паттерна простым повторением явно не про это. В нейросетке после этого образуется какое-то мастерство, выученный паттерн поведения, дальше нейросетка может порождать уже не случайное поведение, а вот то самое сформированное. В обучении нейросеток нежити есть даже RLHF — дрессировка с участием людей, не только RL как "самодрессировка". Профильная литература, например, https://www.goodreads.com/book/show/40548394 — "Не рычите на собаку! Книга о дрессировке людей, животных и самого себя" (книжка очень старая, 1984 год, я бы сейчас в этот ряд добавил нейросети). В посте "Стадии водопадного инженерного процесса для сухих и мокрых нейросеток" дрессировка поминается явно, целый пункт, "5. Дрессировка (обучение с подкреплением), RL, на выходе -- Reasoning model, успехи отличные", https://ailev.livejournal.com/1753533.html.
Какие тут нужны рассмотрения:
1. Как ощущается дрессировка изнутри, какие ощущения, когда тебя проводят через оперантное формирование, и подкрепление может быть и в форме кнута, и в форме пряника, а ещё дрессировка может быть незаметной: животинке или человеку делают приятно или избавляют от неприятности в случае какого-то желательного поведения, поначалу случайного. Его сомаличность ничего не замечает, но мокрая нейросетка вполне замечает, при каких условиях становится хорошо -- и начинает демонстрировать желаемое поведение, вне внимания сомаличности. Вот это "замечает, как это ощущается/переживается изнутри" и даже "как не ощущается, не замечается вообще изнутри", learner experience и надо обсуждать. Все эти customer eXperience -- это как раз оно, "что делает и чувствует тот, с кем мы работаем", а не что делает и чувствует тот, кто работает с личностью, ибо наблюдает личность -- но сомаличность наблюдаема только интроспекцией. Больно или не больно, обидно или не обидно, понятно или не очень понятно, может рассказать словами, чему научили -- это обсуждается тут.
2. Инженерное рассмотрение, со стороны учителя/тренера/дрессировщика. Тут всё просто и понятно: работаем с личностью, добавляем методом обучения с подкреплением (скажем, с позитивным подкреплением, методом пряника) новое мастерство в состав личности.
3. Социальное/социологическое рассмотрение, со стороны групповой культуры -- его делает социальный инженер. Первое, что тут возникает: обсуждение этичности или неэтичности обучения с подкреплением, начиная с понятия "дрессировка" (сравнение человека с животными! человек же звучит гордо! это обзываться, принижать уровень интеллекта!), самой возможности "манипуляции" (ибо любое обучение заранее подозреваем в манипулятивности!), деонтики обучения (уже неважно, с подкреплением или без) именно этого то ли индивида, то ли сообщника из какого-то определённого сообщества, недопустимость применения негативного формирования (кнута), но только позитивного (пряника). Какие методы оперантного формирования вообще допустимы (скажем, можно ли сразу давать обратную связь по желательности или нежелательности действия -- у людей ведь это называется "перебивать", если сразу давать обратную связь близко к моменту ошибки!), можно ли вообще говорить об обучении нейросетки, ибо это совсем уж редукционизм сведения обучения личности к обучению его нейросетки, а про людей надо говорить как-нибудь более волшебно-гуманитарно. Это всё будут предъявлять члены сообщества, внешние проектные роли -- при этом целевая личность проекта обучения, вполне может выступать и в роли социального инженера. Так, в каждой аудитории студенты делают следующие указания на социальную приемлемость дрессировки:
— нельзя говорить "дрессировка" про людей, приходится показывать специальный слайд. Хотя мы это называем тренировка, но повторю -- если назвать обучение или тренировка, то на процедуру внимания не обращают, всё происходит плохо. Если назвать -- поднимается интерес, и можно объяснить, что будет происходить, и даже рассказать, что там может ожидать сомаличность в ходе процесса обучения. Тут обсуждаем личность и инженера личности, саму процедуру и её природу.
— нельзя указывать им на ошибки в ходе обучения, поскольку слышать, что "2x2=5 — это ошибка" по-человечески обидно. То есть говорить об ошибке можно, но общественное ожидание, что за ошибки будут хвалить и их ошибками не называть: это же проявление активности, надо только поддерживать! С этим работаем, опять-таки обсуждая то, что делает инженер с личностью. Но тут есть и обсуждение сомаличности -- указывается, что тренируется собранность, как она происходит внутри человека, а также обсуждаются эффекты интроспекции (обычно правила абсолютно понятны, природа ошибки чаще всего понятна, но уследить за тем, чтобы ошибки не делать -- или заметить, что сделал ошибку, сомаличность не может. А вот в позиции учителя-инженера заметить ошибку другого студента -- может!). Тут трудно, ибо с сомаличностью трудно обсуждать что-то рационально, тут просто делаются демонстрации, и приходится признаться, что таки ошибки есть, и надо тренироваться, чтобы они ушли, чудес не бывает.
— и вообще эти ошибки ошибками не являются, поскольку препод — это не препод-учитель, а нанятый для обучения эксперт, чьё мнение надо ещё проверить, а студенты — не студенты этого препода, а клиенты. Клиент же всегда прав, это всем известно! Поэтому сказал студент, что 2x2=5 -- утрись и согласись, иначе у тебя, препод, тренер, неважно кто (тут ты обслуга! а мы клиенты!) будут неприятности по административной линии! Как с таким работать? Указывать, что роли ученика и клиента -- разные. Если личность не хочет быть в роли ученика, то пошёл вон из класса, давай досвидания. То же с врачом: не хочешь, чтобы хирург тебя резал, как он знает, а резал, как ты хочешь (то есть не резал!) -- гуляй из больницы. Обычно это студентов очень отрезвляет.
— вокизм. Это вообще выход из ситуации обучения в ситуацию насилие-жертва (идеология wokeizm ближе к религии по уровню своей рациональности и эмоциональному накалу, смотри про вокизм тут: https://ivanov-petrov.livejournal.com/2287616.html). Тут богато, в США как раз началась чуть-чуть расчистка по этой линии.
Вот текст с описанием происходящего на такой тренировке -- "Тренировка "Вы пойдёте к топ-менеджеру?" или "Барышня-мадам"", https://ailev.livejournal.com/1750301.html. Вот слайд, который мы даём для обсуждения по линии социальной инженерии, уместности в культуре -- и заодно это описание того инженерного процесса с личностью, что будет делать тренер.
Неожиданость в том, что обсуждение собственно инженерии личности вызывает меньше всего вопросов: берёшь регламент, и делаешь. А проблемы у тебя не с личностью в части работает или не работает для неё такой метод обучения. Нет, много проблем с сомаличностью (learner eXperience) и социоличностью-индивидом. И так везде, где работаем с людьми.
Выбор инженерной науки для инженерии личности
Дальше надо иметь мета-мета-модель описания личности (онтику личности, которая будет аккуратно вписана в онтологию системного подхода). Основная критика самых разных теорий/моделей/фреймворков идёт по самым разным общим критериям, среди которых:
-- нечёткость и отсутствие концептуальной ясности (vagueness and lack of conceptual clarity). Слова что-то обозначают, но если порасспрашивать, то все укажут на разные значения слова. Решается привязкой к физике, которая выражается в математике. Особая проблема тут с сомаличностью, потому как надо каким-то образом научиться говорить о внутренних ощущениях, которые вроде как принципиально нельзя предъявить вовне -- и тут приходят психологи, философы, и забалтывают физиков. К счастью, с этим потихоньку разбираются.
-- слабая предсказательная сила. Теория есть, но она ничего предсказать не может: даёт какие-то названия каким-то концептам, но поскольку не определяет причинно-следственных связей, то ничего предсказать не может. Ну, или задаёт причинно-следственные связи, поэтому предсказать может.
-- ... их там десяток, и все критикуют друг друга: старые подходы критикуют друг друга и новые подходы, новые критикуют старые, а пользуются даже самыми раскритикованными, типа астрологии, ибо "научная критика" тут мало кого волнует, а плацебо отлично работают!
Мы поступим следующим образом:
-- сначала "собирание марок" приведём к "физике" как подбору математических объектов, поведение которых хорошо изучено и позволяет что-то предсказать в поведении физических объектов, занимающих пространство-время и имеющих какую-то устойчивость в окружении (систем). В этом месте всё плохо, ибо там дуализм "мыслительного" и "физического" -- в этом месте разные теории на базе идей "народной психологии", религий и эзотерики и сомаличных описаний в терминах "квалиа" и "сознание". В этом месте до чёртиков философов и теологов, а также "народных мудрецов" (помним о фолк-психологии, каждый ведь в этом разбирается)! С ними всеми борется философски eliminative materialism, https://plato.stanford.edu/entries/materialism-eliminative/, у которого одна беда: он декларирует "физичность" и отсутствие всякой мистики и плохой концептуализации, после чего проваливается на много-много системных уровней вниз, в нейрофизиологические механизмы. И подняться достаточно высоко, чтобы предложить какие-то "интервенции" (методы влияния на "субъективный опыт") в плане инженерии личности он не может, хотя именно в этой традиции мышления можно по-простому откинуть использование человеческой вменяемости и "интервенций разговорами" -- и задействовать напрямую химические влияния, необязательно для терапии, например -- объяснить, что никакой магии нет, когда пьёшь кофе, чтобы взбодриться, или пьёшь обезболивающее, чтобы восстановить когнитивные функции до приемлемого уровня, когда болит зуб. Тут есть две традиции с которыми придётся определяться: радикальный отказ от folk psychology и всех этих "квалиа" и "сознания" как кривых концептуализаций -- и примирительный, когда используется дикая неопределённость в понятиях, когда понятия вроде "сознания" объявляются "бесхозными" и переопределяются в терминах какого-то подхода, который вполне себе "no qualia, no consciousness needed". Active inference как раз такой: переопределяет текущие поп-психологические термины как соответствующие своим концептам.
-- затем мы выберем концептуализации aka "научные подходы", которые лежат в основе наиболее успешных вариантов "инженерной науки", ибо нас не волнуют просто "объяснения", нас волнуют действенные/actionable объяснения в основе SoTA методов инженерии личности, а не просто какие-то классификационные схемы. Наша цель -- изменить личность к лучшему, а не просто классифицировать, то есть сказать, какая она. Тут берём поначалу бихевиоризм, который был в основе learning theories (reinforcement learning как раз отсюда), но его затоптали ногами и он был замещён функционализмом, где поведение стало не просто внешне наблюдаемым, но и какими-то внутренними процессами, а learning theories превратились в learning science. Дальше тут вычислительная психология, которая говорит, что мозг выполняет главным образом обработку информации. И один из вариантов -- active inference. Одновременно с этим в психологии произошла когнитивная революция и стали говорить о когнитивной поведенческой науке -- кратко "когнитивная наука", но поскольку там главное функционализм и поведение, исторические ещё из бихевиоризма, а также в основе обучение -- то это стало cognitive behavior science и learning science.
-- дальше смотрим, какие есть конкретные "инженерии личности", которые базируются на идеях cognitive behavior science и learning science. Ключевое тут -- они должны быть evidence-based, иначе затаптывают ногами в плане научности, и быстро. Их множество: cognitive behavior therapy, acceptance and commitment therapy, motivational interviewing, behavioral skills training, behavior design и так далее. Внутри там более-менее общий набор техник, который по факту сводится к обучению личности какому-то новому мастерству, даже в случае терапии. В основе cognitive behavior therapy лежит cognitive behavior science, где в части behavior включена learning science, поэтому часто на такие подходы ссылаются как на transdiagnostic, что легко позволяет адаптировать их к неклиническим ситуациям -- инженерия личности не только "ремонтная"/терапевтическая, но и развивающая. Поскольку в нетерапевтическом контексте разные "терапии" лучше терапией не называть, то для того же набора методов инженерии личности, который используется в терапии, делают ребрендинг в названиях, и появляется огромное число всяких Cognitive Enhancement Training, Strategic Thinking Development, Problem-Solving Skills Mastery, Habit Training, Behavioral Skills Training, Performance Enhancement Training, Action-Oriented Learning, Habit Mastery Programs, Behavior Design Training, несть им числа. Под капотом там часто очень похожие по своим принципам техники, а принципы основаны на cognitive behavior science и learning science (не путать при этом learning science и educational science -- последняя занимается изучением образования в классических условиях, в школах и вузах, это только часть learning science, а вот learning science занимается и другими контекстами: от клинического как "психотерапия как обучение" до коучинга, обучения мастерству на рабочем месте, обучение мышлению, обучение новым привычкам).
Ссылок тут не даю, всё это легко гуглится. Наука инженерии личности (cognitive behavior science, learning science), а также её фундаментальные основания (функционализм, active inference и прочие теоретические фрейморки, которые убирают опору на qualia и сознание) будет излагаться больше в "Инженерии личности", это "инженерная наука", общая методология person engineering общего названия для этих технологий/методов терапии, обучения, развития и прочего достижения успешной личности. А вот конкретные методы обучения (с учётом ребрендинга терапий в обучение) -- добавятся и в курсы программы "Личное развитие", и в "Системный менеджмент".
Что с субъективным опытом? Как его объясняют в выбранных подходах? Иногда объясняют, а иногда просто демонстрируют эффективность подхода
А что там с субъективным опытом? Всё в порядке. Часть привычной терминологии "перетрактовывается". Например, в active inference субъективное ощущение «видения» или «слышания» можно понимать как результат успешного прогнозирования и минимизации сенсорного удивления/сюрприза, эмоции как возникающие из ошибок прогнозирования и изменений в точности предсказания (неожиданные события при больших ошибках прогнозирования могут привести к сильным эмоциональным реакциям, таким как страх или удивление), чувство себя трактуется как возникающее свойство иерархической порождающей/генеративной модели, которая включает модели собственного тела и действий, а субъективное чувство агентства и "самоавторства" может возникнуть в результате успешного прогнозирования и контроля собственных действий и их сенсорных последствий, а вот нарушения в самопрогнозировании могут потенциально объяснить опыт отчуждения или отсутствия агентства. А что с сознанием? Это постоянная оценка качества прогнозирования моделей, а hard consciousness problem объявляется таки нерелевантной. То есть подход no qualia, no consiousness needed выполняется, но для удобства обсуждения какая-то часть терминологии поп/народной психологии перетолковывается -- и затем разрешается её использовать.
Отдельно про огромный маркетинг всяких mindfulness therapy как тренингов. Это, конечно, маркетингово-социальный феномен, ибо evidence-based результаты там есть (ещё бы! просто полежите полчаса спокойно в середине рабочего дня и расслабьте мышцы, "нидра-йога" -- безо всякой mindfulness жить станет проще!), но они в очень узких областях вроде стрессоустойчивости и эмоциональной сдержанности. Почему это не забрали себе варианты учебного/трансдиагностического ребрендинга когнитивной поведенческой терапии? Потому что не имеют культурных корней, в данном случае -- религиозных, но в светской mindfulness это неважно, зато маркетингово эксплуатируется мем желательности "просветления". А ещё они заведомо сложней, поэтому требуют длительной подготовки тренеров/терапевтов/коучей. Но принципиально CBT и разные "обучающие ребрендинги" в плане evidence-based подхода к инженерии личности сильнее.
Вообще, всему этому направлению приходится защищаться от "лёгких вариантов получения счастья-благосостояния", которые идут в западное общество главным образом из буддизма, много меньше из индуизма, даосизма и всякого шаманства. Буддизм неожиданно популярен, как и любая другая поп-психология -- глубоко укоренён в культуре. У меня недавно были тексты об этом: https://ailev.livejournal.com/1749371.html, https://ailev.livejournal.com/1748712.html — и буду ещё писать, ибо люди очень хотят "просветления", абсолютно не понимая, что это такое. А за "просветлением" обязательно приходит буддизм и его концептуализация. Это появится и в обсуждении таких личностей, как AI -- что такое "просветлённый AGI" и "чем навредит просветлённый ASI". И это я не шучу. Вот, например, https://www.mdpi.com/1099-4300/24/5/710 ("Biology, Buddhism, and AI: Care as the Driver of Intelligence", 2022), это всё тот же active inference в попытках перетрактовать всю попсу, даже религиозную.
В остальном же философов с их "субъективным опытом", квалиа, трактовками сознания с улыбкой вежливо отсылают подальше -- "ваше мнение очень важно для нас". И демонстрируют, что их подходы evidence-based: люди говорят, что их субъективный опыт улучшается после интервенций современной инженерии личности, и это независимо от того, что там говорят философы. Вопрос стоит не в том, чтобы удовлетворить философов, а чтобы удовлетворить клиентов. Увы, философские фреймворки не actionable, а психологические фреймворки не все эффективны настолько, что их эффективность можно показать в рамках evidence-based therapy или (после ребрендинга) evidence-based learning.
Про личность в сообществе и инженерию личности в рамках инженерии сообществ помним, но пока говорить об этом не будем.
А кто будет инженерами личности? Сегодня -- ещё люди. Завтра -- вряд ли.
Современные LLM хорошо усвоили все эти подходы и вполне могут проводить интервенции на уровне профессиональных психологов. Было уже много подобных исследований, вот последнее из них, "When ELIZA meets therapists: A Turing test for the heart and mind", 12 февраля 2025, https://journals.plos.org/mentalhealth/article?id=10.1371/journal.pmen.0000145. Там использовали ChatGPT 4.0, с сегодняшними моделями результаты должны быть ещё более убедительными, но и с GPT-4 неплохо: we showed that a) participants could rarely tell the difference between responses written by ChatGPT and responses written by a therapist, b) the responses written by ChatGPT were generally rated higher in key psychotherapy principles, and c) the language patterns between ChatGPT and therapists were different. Конечно, нейросетка более сладкоречива, не грубит, не раздражается -- вышколена лучше, чем психотерапевты. Уже довольно много таких исследований, результаты все очень похожи (впрочем, и для обычных врачей тоже похожие результаты).
Что касается обучения, то там примерно такие же результаты -- LLM стабильно улучшают результаты обучения, например, "From chalkboards to chatbots: Transforming learning in Nigeria, one prompt at a time", 9 января 2025, https://blogs.worldbank.org/en/education/From-chalkboards-to-chatbots-Transforming-learning-in-Nigeria, generative AI, when implemented thoughtfully with teacher support, can function effectively as a virtual tutor, The learning improvements were striking—about 0.3 standard deviations. To put this into perspective, this is equivalent to nearly two years of typical learning in just six weeks. When we compared these results to a database of education interventions studied through randomized controlled trials in the developing world, our program outperformed 80% of them, including some of the most cost-effective strategies like structured pedagogy and teaching at the right level.
Поэтому остаётся вариант, когда специальных учебников не надо -- SoTA инженерии личности берётся текущими LLM прямо из научных статей и отчётов об успешности учебных/терапевтических интервенций, а дальше AI-агенты выполнят роль профессиональных инженеров личности. И понимать, что там происходит в головах развиваемых/обучаемых/терапевтируемых личностей надо будет примерно так же, как понимать, что происходит в смартфоне во время видеосъемки: достаточно будет знания, что "никакой магии там нет, всё физично" (это относится и к голове студента/клиента/пациента, и к смартфону).
В удивительные времена живём.
Картинка показывает "терапию" от "болезни" -- cognitive behavior therapy для прокрастинации. Это вы всё и так знаете, не правда ли? Все мы психотерапевты, когнитивные, поведенческие, особенно если с помощью AI-агента.
обсуждение в чате блога -- с https://t.me/ailev_blog_discussion/29708
Науки обучения (learning sciences)
В прошлых текстах мы уже описали:
-- общность обучения мокрых и сухих нейронных сеток в приближении "водопадного" процесса обучения, https://ailev.livejournal.com/1753533.html
-- необходимость включения в обучение разбирательства с субъективным опытом (subjective eXperience), от этого не уйти, https://ailev.livejournal.com/1753783.html
-- похожесть обучения мастерству работы с субъективным опытом любому другому мастерству, https://ailev.livejournal.com/1753981.html.
Последний текст очень сжато дал и выбор инженерной науки для инженерии личности -- это cognitive and behavior science, которая лежит в основе большинства современных методов обучения какому-то мастерству, в том числе мастерству работы с субъективным опытом. Основная идея была в том, что learning theories времён бихевиоризма после когнитивной революции и перехода к функционализму стали learning science. Если дальше мы выкинем из learning science совершенно заглушающие всё исследования по формальному школьному и вузовскому образованию, то получим какую-то науку, которая занимается обучением как таковым -- AI, животных, людей (но всё-таки ожидается, что где-то внутри обучаемой системы именно нейросеть, другие варианты по факту не рассматриваются). Интересно, что в AI learning лучше переводить как "познание", ибо formal learning theory это по факту математически выражаемая нормативная эпистемология, математический ответ на вопрос "как надо что-то узнавать", https://plato.stanford.edu/entries/learning-formal/. Машинное обучение -- это вот ровно оно, машинное познание, "как надо что-то познавать" -- прикладная эпистемология познания с машинами, deep learning это "машинное познание многослойными/глубокими нейросетями". Всё это "машинная эпистемология", "как нейросетки познают мир".
В случае людей и AI агентов вне контекста машинного обучения, а обучения какому-то мастерству, наука обучения -- это эмпирическая наука "как учителю надо учить мастерству учеников" или "как ученику самообучаться", а не "как исследователю познавать мир". Даже в случае нейросети это будет инженерная наука, прикладная методология, а не прикладная эпистемология.
Результат "науки обучения", "учебной науки", "учебных наук" -- исследования, на выходе знания по обучению. Вот эти знания по обучению, ссылающиеся на основные методы обучения: https://en.wikipedia.org/wiki/Learning. Наука обучения -- это прикладная методология обучения (ответ на вопрос "как учить"), наука о методах обучения. В жизни используется и множественное число learning sciences, и единственное число learning science, означают одно и то же, в https://en.wikipedia.org/wiki/Learning_sciences определяются как critical theory of learning.
Следующий ход -- это ход от нормативной науки об инженерии личности (поскольку не SoTA и ниже какой-то планки эффективности нехорошо учить, поэтому и нормативная наука: которая указывает на то, "как делать лучше") к собственно инженерии личности. Это тот же функционализм: личность проявляется функционально, методами, которыми она меняет мир и себя. Поэтому инженерия личности включает в себя операции по созданию и развитию разных видов мастерства личности. Можно, конечно, говорить об инженерии мастерства, но тогда будут ускользать моменты личности как совокупности всех мастерств личности, обсуждение всех функциональных проявлений личности и в её субъективном опыте, и в наблюдаемом со стороны поведении, и в наблюдаемом поведении сообщества с этой личностью.
При этом всякие лучшие evidence-based gold standard терапии с их "терапевтическими вмешательствами" -- это тоже инженерии личности, имеющие в основе cognitive and behavior science. "Терапевтические вмешательства" (interventions), равно как классическое обучение и образование, коучинг, самопомощь и многое другое оказываются инженерией мастерства. Чаще всего говорят о skills, по-русски это навыки, способности, а часто и компетенции, и каждое слово тут для профессионала -- минное поле, все слова заняты. Мы будем говорить о мастерстве как умении выполнять какую-то функцию, работать (в том числе думать) по какому-то методу. И мастерство может быть когнитивным/познавательным/мыслительным (решение проблем), эмоциональным (умение справляться с эмоциями), поведенческим (публичные выступления), даже перцептивным/восприятия (распознавание каких-то шаблонов, например, описаний водопадного инженерного процесса).
Дальше мы говорим, что инженерия личности сводится к инженерии тех или иных видов мастерства, не разделяя это на "рабочее мастерство", "психологическое мастерство", "мастерство ухода за собой". Речь идёт о приобретении мастерства, модификации мастерства, исправлении мастерства, воздержании от применения мастерства (скажем, не-SoTA мастерства в работе, не применении мастерства бояться пауков). Мы намеренно унифицируем "образование" для получения новых видов профессионального мастерства, "терапию" для решения проблем психического здоровья, "коучинг" для карьерного и личного развития, саморазвитие/самопомощь (self-help) для личностного роста, и всё остальное, что может работать с изменениями мастерства людей что-то делать с собой и окружающим миром. Но это ещё не все унификации, вот ещё:
-- мы занимаемся не просто личностью, а киберличностью (понимая, что в состав личности по факту входит и компьютерный экзокортекс, внешняя память с поисковой системой),
-- замахиваемся на AI-системы, отходя от formal learning theory в эмпирическую науку "как научить нейросеть".
-- этот же подход пытаемся распространить и на "коллективную личность" (организацию, "групповое/коллективное лицо").
Собственно, это же было рассказано и в предыдущем посте серии. Тут же добавляем, что после того, как мы обсудили инженерию личности (и с составе инженерии личности инженерию мастерства), то можем легко задать критерий нашего интереса к инженерной науке -- нам нужно проводить инженерию личности быстрее и эффективней. Поэтому мы во всём многообразии достижений науки обучения должны выбрать для знакомства с SoTA этой науки не любые направления, а только те, которые могут в перспективе дать кратный рост скорости обучения, рост скорости инженерии, то есть выполнения реальных проектов обучения какому-то мастерству. А всё остальное откинуть (пока эволюция не укажет на очередной прорыв, позволяющий в разы поднять скорость обучения).
От адаптивного обучения к персонализированному
Пример такого направления в инженерии личности, которое поддерживается learning science и в разы увеличивает скорость обучения: сдвиг от адаптивного/adaptive обучения (традиционный заход с "нам надо его научить, давайте адаптируемся к его особенностям") к персонализированному/personalized обучению (ход на learner eXperience, "ученик сам будет выбирать, чему и как и с какой скоростью ему учиться в своём путешествии"). Этот сдвиг не так очевиден: адаптивное обучение обычно связывается с тем, что у нас идёт огромный поток студентов, и мы статистически знаем, что лучше делать, когда кто-то из студентов застрял -- мы его направляем на дополнительный тренинг, или он может не изучать фрагмент курса, который он и так знает. А вот персонализированное обучение означает, что под каждого студента с его индивидуальными запросами мы-учителя синтезируем отдельный курс (а не делаем адаптацию готового курса), начиная с самого предмета курса, и часто это делаем "на лету". Если это "школьная программа", то такой персонализированный подход выглядит странным -- что там хочет студент в целях/goals обучения никого не интересует, "мы получили от Высокого Начальства цели обучения, а дальше проведём его по учебной программе, адаптируясь ко всем его тормозам", и это как раз адаптивное обучение.
Но ситуация резко меняется, когда студент просит научить его не бояться мышей или пауков, цели тут ставит он сам -- и под него надо синтезировать подходящий курс. Тут адаптивные курсы/интервенции (помним, что "терапии" -- это skill modification в cognitive behavior therapy, и там вместо "курсов" говорят "интервенции"). Скажем, при снятии лишней тревожности в ходе экспозиционной терапии (https://en.wikipedia.org/wiki/Exposure_therapy, есть целая ассоциация учителей обучения умению не тревожиться почём зря -- https://iocdf.org/, и там тоже идёт развитие науки создания индивидуальных курсов по обучению не тревожиться. Например, поначалу там была идея о том, что тревожность снимается в ходе "экспозиции к причине тревожности" привыканием/habituation, https://en.wikipedia.org/wiki/Habituation. Но потом появляется идея, что это не привыкание, а обучение -- https://drmichaeljgreenberg.com/exposure-is-about-learning-not-habituation/, но и это оказывается промежуточным в понимании, переходим к идее "собранности не на том" -- rumination/пережёвывание, https://drmichaeljgreenberg.com/defining-rumination/, далее https://drmichaeljgreenberg.com/rumination-focused-erp-turning-exposure-on-its-head/ и там ещё много статей по новому пониманию Rumination-Focused Exposure and Prevention Therapy, https://drmichaeljgreenberg.com/articles/.
Почему нас так это интересует? Если мы хотим учить людей собранности, то мы не хотим, чтобы эта собранность была неуправляемой: если вы крайне собраны на выполнении никому не нужной работы или на размышлении о том, как вам надо бы выполнить работу, но вы прокрастинируете -- и думаете только об этой прокрастинации, не приступая к работе, то вам уже всё равно: это психология с психотерапией, типовые ваши проблемы или нет, вам надо, чтобы вас обучили быть собранным на том, что надо -- и наоборот, не быть собранным на том, что не надо. Вот эта самая Exposure and Prevention Therapy -- один из хороших способов обучения тому, чтобы не нервничать в определённых ситуациях, которые вас беспокоят. А вот Rumination-Focused Exposure and Prevention Therapy уже выглядит как неплохой способ перестать пережёвывать в мозгу какие-то события, "вести негативный диалог" с собой.
Для этого мы составляем персонализированную программу обучения, в которую входит не только материал задуманных нами курсов -- но и ответы на запросы студентов по целям, мотивам, страхам обучения. И эти методы позволяют включать какой-то индивидуализированный материал в программу обучения, например, по ходу дела избавить студента от каких-то страхов/тревог по его запросу (или изменить программу на неявный запрос -- студент ведь может не знать, что "не волноваться зря" можно научить, человечество придумало, как этому учить!).
Тут то же самое, что с одеждой: можно купить одежду в большом магазине, можно в бутике, можно заказать в ателье индпошив -- "все капризы за ваши деньги". С учётом прихода LLM эти деньги могут оказаться не слишком большими. Но "универсальное обучение" в типовой учебной организации с людьми -- запредельно дорогим. Тренд, тем не менее -- индивидуальные учебные программы, а не адаптивное прохождение по общей для всех учебной программе.
Наука: это основано на исследованиях мета-обучения (обучения тому, как учиться, https://en.wikipedia.org/wiki/Meta-learning не путать с похожим для AI -- https://en.wikipedia.org/wiki/Meta-learning_(computer_science)), активного обучения (https://en.wikipedia.org/wiki/Active_learning, когда студенты не только слушают препода и читают учебник) и индивидуальных различий в приобретении навыков (вплоть до "генетических склонностей"). Тут методы мотивационного интервьюирования (https://en.wikipedia.org/wiki/Motivational_interviewing), широко используемые в терапии и коучинге.
В любом случае, всё это мы рассматриваем как методы обучения, не зависящие от содержания обучения, то есть мастерства, которому учим -- учим ли не бояться пауков, не бояться квантовых алгоритмов, биологии пауков, квантовой алгоритмике или даже учим учиться.
И, конечно, методов персонализации обучения множество, тут явно не исчерпывающий список. Скажем, адаптивное тестирование (скажем, https://en.wikipedia.org/wiki/Item_response_theory против классической теории тестирования), чтобы отмоделировать текущее состояние мастерства студента. Тут, конечно, много "маркетинга". Так, айтишники активно продвигают intelligent tutoring systems -- в том числе с AI. Но нас тут волнует, какие методы персонализированного обучения предлагают такие системы, на какой науке они основаны.
Перспективное в науке обучения
Тренд на персонализацию обучения -- один из множества текущих трендов. Если начинать их тут расписывать, это быстро вылетит за пределы объёма одного поста. Скорее, это надо делать в очень сжатой форме в курсе "Инженерия личности", но учитывая, что курс обзорный: по каждому из направлений можно привести буквально несколько строк, "для сведения". А для профессиональной инженерии личности, конечно, надо... отдать это всё LLM, повторим, что в плане learning science LLM справится быстрее (как препод-методист) -- а что касается содержания образования (от препода-методолога, "предметника", и там ещё обязательно препод-культуртрегер, ибо в силу передачи контроля студенту мало ли что студент захочет изучить эээ... не SoTA), то оно, по идее, берётся независимо. Как сделать такую LLM -- пока непонятно, ибо работает или LLM-психотерапевт, или LLM-предметник в адаптивном обучении по давно известным школьным программам. Нет сомнения, что это будет решено, и очень скоро. Ибо прогресс в образовании людей -- тут. Дальше, конечно, надо будет учить киберличность: "научи меня и мой экзокортекс работать с квантовыми алгоритмами, а ещё научи вставать в шесть утра и пораньше ложиться".
Вот только несколько ключевых направлений, о которых надо бы иметь представление:
-- про персонализацию обучения уже сказали, это как раз в этом списке
-- проектирование учебных программ, опирающееся на идеи curriculum learning (обучение по специально составленной программе: тщательное планирование того, что изучать сначала, а что потом). Тут надо уметь раскладывать методы на составляющие, управлять сложностью проблемных ситуаций, обсуждать вопросы обучения снизу-вверх, сверху-вниз, сколько раз вообще проходить курс. И тут же рассматривается так не любимые студентами spacing и interleaving, а также вред blocking (я про это говорю в "Системном мышлении", развеиваю городские легенды от том, как должен быть устроен курс), тут же учёт кривых забывания. И тут же контробусловливание/Counterconditioning: переобучение реакции мозга на определенный стимул. И тут же учёт когнитивной нагрузки (cognitive load). И тут же skaffolding, "костыли" в последовательности обучения. И помним, что если студентам сначала поднимать интеллект, а потом уже учить каким-то прикладным методам работы, то это обычно быстрее: умные учатся быстрее, а умности можно научить.
-- agile в построении учебных программ, непрерывное изменение curriculum, при этом учитываем данные от реального учебного процесса. Тут A|B тестирование, дашборды успеваемости, вовлечённости, прохождения тем. Тут process mining студента в надежде отследить его паттерны поведения. Тут предсказательное моделирование -- чтобы понять, когда у студента возникают трудности и когда он может попытаться бросить курс, чтобы вовремя принять меры. Тут как раз идеи курса как софта, и CI/CD, включая управление конфигурацией (помним, что для каждого студента конфигурация может быть своя -- индивидуализированные учебные планы).
-- учёт окружения (часто тут говорят погружение/immersion) и телесности. Тут много идей про виртуальную и дополненную реальность, это "вечно перспективно". Другое дело, что почему-то все эти технологии не приживаются, ибо стоят дорого, а прироста в скорости обучения все эти "виртуальные миры" и метавёрсы особого не дают. Но тема модная, тут закопано за много лет много миллиардов. Вы предупреждены. Но вот если вы боитесь пауков, то вам их могут показать "почти как вживую". Опять же, учебных фильмов никто не отменял (ибо иногда лучше один раз увидеть, чем сто раз прочесть). Симуляторы тоже тут. Ходы тут и на биологическую обратную связь (частота сердечных сокращений, активность мозга), чтобы помочь людям научиться регулировать свои эмоции и поведение, а ещё постоянные попытки отслеживать "вовлечённость" и "внимание" через разные нейроинтерфейсы, что вызывает много вопросов об излишнем контроле. Как ни странно, огромные дискуссии по поводу эффективности мелкой моторики -- тоже тут (дискуссии от того, что "не работает" в большинстве ситуаций, слишком мало влияние). Смены контекстов для надёжной памяти (COIN как раз тут, https://github.com/jamesheald/COIN), это ж про embodied intelligence.
-- люди и AI, при этом AI учит человека, а человек в рамках RLHF учит AI, а также interactive collaborative learning -- когда коллективно учатся много агентов в разных ролях. Тут как раз про роли учителей (как в начальной школе "один гуру по всем вопросам" или учителя-предметники), роли одногруппников с коллективными проектами, и даже такие ходы, как "неважно чему вы учитесь, наш университет предоставит вам отличное общение с отличными людьми" -- именно так продаются сейчас курсы executive MBA. Там много разных теорий, начиная с теории социального обучения (https://en.wikipedia.org/wiki/Social_learning_theory).
-- всё предыдущее было больше про методику, но есть ещё и методология: чтобы научить чему-то, надо неявное знание сделать явным. Ну, или признать, что сделать нельзя -- и тогда сделать обучение по типу ремесленнического: подмастерье долго живёт рядом с мастером и как-то неосознанно перенимает его мастерство через прямое копирование паттернов поведения (но, увы, не паттернов мышления). Это очень близко к науке. Когда-то так и было: профессор выходил из лаборатории и рассказывал студентам про то, что он только что придумал в части науки. Сейчас не так просто, но методист может быстро научить какому-то предмету -- и хорошо бы, чтобы этот предмет был отмоделирован как следует.
-- ... этот список можно продолжать и продолжать.
Проблема в том, что все эти пункты обещают в перспективе поднять скорость обучения в разы, а также снизить входной образовательный ценз для каждой учебной темы, ибо можно в рамках отведённого на курс времени подучить студентов недостающим пререквизитам. Но воз и ныне там, обучение идёт и медленно, и в не слишком юном возрасте, и чаще всего -- не тем методам, которым было бы надо: культуртрегерство тут не упомянули, ибо это чаще вопрос "формального образования", а тут цель была показать общность обучения (и в рамках обучения -- образования как обучения каким-то фундаментальным, трансдисциплинарным методам мышления и действия) для программ личного развития, то есть изменения себя к лучшему, и организационного развития, то есть изменения внешнего мира к лучшему.
Контрольные вопросы
Вот типичное объявление:
Спросите себя:
-- можете ли вы уверенно формулировать вопросы к психологу как вопросы обучения?
-- понимаете ли, как отличить поп-психолога (с купленным в госвузе дипломом) от профи, который реально опирается на SoTA науку, а не психологическую науку времён Очакова и покоренья Крыма?
-- понимаете ли вы, что уже сегодня AI-системы работают не хуже среднего (а то и не среднего) профессионального психолога, но месячная подписка на них стоит дешевле, чем две первых сессии у психолога по акции?
-- если вы умеете делать хоть что-то успешное (то есть инженер, меняете физический мир), можете ли взглянуть на инженерию личности (и там инженерию мастерства, то есть обучение) как на инженерный процесс? Как вы считаете, время инженера стоит больше "по акции", или меньше, чем время психолога как инженера личности?
-- в предыдущих текстах серии было довольно много ссылок, например, на "народную психологию", https://plato.stanford.edu/entries/folkpsych-theory/. Вы туда заглядывали? Вас удивило увиденное?
Бонус: DeepSearch от Grok 3 beta на тему поста, https://x.com/i/grok/share/EKY605tqi9QSqx7UiY0AF7Dhv
Стадии водопадного инженерного процесса для сухих и мокрых нейросеток
Водопад против agile в curriculum learning и успеваемость в обучении людей и нежити
Идея проста: и у людей, и у современных AI-агентов думалка основана на нейронном вычислителе (мокрые или сухие нейронные сети -- неважно, нейроморфные или "традиционные" с непрерывной функцией активации типа сигмоида или ReLU, там ведь всё одинаково, отличия слишком низкоуровневые). Материала тут много, напишу несколько мыслей. Давайте про последовательность обучения. Тут дана статическая картинка, "стадии", тот самый "водопад". Вся история инженерии показывает, что следующее, что будет -- уход от водопада к agile. Но пока тут важный тезис: последовательность обучения -- важна, curriculum learning. И этот тезис вызывает очень мало вопросов. Другое дело, что curriculum learning потом может быть проблематизирован по нескольким линиям:
-- последовательность обучения превратится в последовательность дообучения, так что придётся всё, что дальше, считать не "стадиями", а "методами.
-- появятся "таблетки знаний", то есть техники вроде LoRA ("загрузи мне в голову умение летать на вертолёте"), а также появится "разделение труда" в форме продвинутых композиционных MoE ("кому нужен гений, хорошо разбирающийся в физике, химии, математике и прочей логике? Готов включиться в ваш мозг, рядом с гением, разбирающимся в эстетике и мире искусства").
Но пока последовательность обучения нейросетей важна -- это не вызывает вопросов, за редкими исключениями. Для людей это демонстрируется как "сначала научи инженера", ибо "из инженера поэтом или актёром потом можно стать, а вот из поэта или актёра инженером -- вряд ли", "из инженеров в художники пойти -- запросто, пять лет учишься на инженера, год доучиваешься на художника, а вот из художников в инженеры -- будет более трудозатратно, пять лет учишься на художника, затем ещё семь лет -- на инженера, пять лет как инженеры и ещё пару лет добавочки, ибо прозевал момент".
В любом случае, у людей обучение похоже уже на agile и journey по разным точкам контакта с учителями, а вот у нейросетей пока прогресс в основном на curriculum learning по водопаду: сначала Base model после pretrain, затем instruct после SFT, затем Chat после RLHF, потом Reasoning после RL. Вот и рассказали об уровнях квалификации для нейросетках.
В любом случае, по каждой предметной области в обучении для людей, а заодно и для нейросетей -- в ходе "всего образования" выделяем четыре фазы, и дадим к каждой фазе отметку по старинным царским ещё критериям (Высочайше утверждено 8 декабря 1834 года, «Исторический очерк Николаевской Военной Академии Генерального штаба», составитель – Генерального штаба генерал-майор Н.П. Глиновецкий.-- https://distant.msu.ru/mod/page/view.php?id=18521):
1. Необученная сеть, на входе у нас "архитектура нейронной сети" или "царь природы", успехи слабые
1-я степень (Успехи слабые)
Ученик едва прикоснулся к науке, по действительному ли недостатку природных способностей, требуемых для успехов в одной, или потому, что совершено не радел при наклонностях к чему-либо иному.
Это "необученная сетка", умеет ничего.
2. Предобучение/pretrain, на выходе -- Base model, успехи посредственные
На этой стадии читаем тексты учебника, задачи можно не решать. Знакомимся с концептами, это предобучение/pretrain. На выходе у нас Base model.
Сначала необученной сетке (повторим: неважно, мокрой или сухой) надо разметить пустое концептуальное пространство какими-то концептами, "найти паттерны". Это вполне делается через self-supervised learning. Конечно, тут важно качество данных. Для этого проверяется довольно много приёмов, одним из самых эффективных оказалось использование текстов на языках программирования, чтобы были сформированы паттерны хоть как-то структурированного мышления, паттерны консистентного использования типов, паттерны использования каких-то понятий, общих для мышления в целом (ключевые слова в языках программирования ведь как раз про это -- "общее для мышления в целом").
ШСМ у людей тут ничего особенного на входе не проверяет, но жалобно просит, чтобы приходили выпускники технических вузов -- там проще с каким-то пониманием паттернов мышления. Увы, обширные знания всякой литературы и хорошая память не дают ничего! В этой литературе нет собственно мышления, собранности на удержании некоторой цепочки умозаключений на хоть как-то знакомых концептах. Так что на входе у нас студенты после pretrain (который берётся из жизни): разговаривать умеют, но на вопросы ответить не могут, рассуждать связно/собранно на рабочие темы не могут. Но очень, очень начитанны!
2-я степень (успехи посредственные)
Ученик знает некоторые отрывки из преподанной науки, но и те присвоил себе одной памятью. Он не проник в ее основание и в связь частей, составляющих полное целое. Посредственность сия, может быть, происходит от некоторой слабости природных способностей, особливо от слабости того самомышления, которого он не мог заменить трудом и постоянным упражнением. Отличные дарования при легкомыслии и празднолюбии влекут за собой те же последствия.
3. Дообучение/finetune, на выходе -- Instruct model, успехи удовлетворительные
Дальше LLM надо дообучить с учителем, SFT (дообучение с учителем, supervised finetune). Это делается для того, чтобы дать паттерны мышления на размеченном концептуальном пространстве. Паттерны мышления берутся "из примеров". На этом этапе избавляемся от галлюцинаций и прочих ошибок, но не до конца -- ибо это "мышление по рельсам", а не собственное мышление. Это разобраться в том, как решать задачи -- в учебниках тут примеры решения задач "по действиям", в вузах -- обучение "по кейсам". Нет рефлективности мышления (обсуждение стратегии решения задачи), нет выдвижения догадок и поиска ошибок. Паттерны все заимствованные, в новых ситуациях будет полный останов -- просто воспроизводятся паттерны мышления учителя. Но тут важен и первый пункт: демонстрация мышления должна быть ясная, корректная, тщательно подобранная: вот пара работ, которая говорит, что с этим условием данных надо x59 раз меньше (достаточно курированного набора из 1000 демонстраций, выбранных из 59000 демонстраций по критериям качества, трудности и разнообразия -- https://arxiv.org/abs/2501.19393. Если пожертвовать одним из трёх принципов, качество выходит хуже. Если 1000 вопросов с ответами подготовить лучше, качество растёт -- https://x.com/Muennighoff/status/1889310803746246694. В принципе, можно получить качество выше на полном наборе примеров, но там время на решение x59 примеров просто несопоставимо -- ещё одно свидетельство, что "учёного учить -- можно, но толку мало", обучение не должно быть чрезмерным. Для этого его надо делать на лучших учебных материалах из доступных!). Вот ещё одна работа -- там вообще принцип "меньше -- это больше", "LIMO: Less is More for Reasoning", SFT данных там x100 меньше и ещё появляется способность к генерализации, а не простому повторению ответов учителя: https://arxiv.org/abs/2502.03387.
Мы в ШСМ тут имеем "несправедливое конкурентное преимущество", хотя и делимся им, как и положено в мире AI, на условиях open source -- это тексты наших курсов, "курированный набор данных", доступный бесплатно -- просто не на GitHub (но там это тоже скоро будет), а на https://aisystant.system-school.ru. Текущие наборы данных для SFT обучают главным образом математике, физике, химии -- заставляют студента-нежить думать, воспроизводя мышление главным образом составителей олимпиадных задач. Это мышление, конечно, очень специфичное -- но учат ему, потому как вроде это хороший способ продемонстрировать, что ты хоть чему-то можешь научить (сомнительная демонстрация, но другой сейчас нет -- был пост на тему безуспешности измерения интеллекта, в том числе такими "экзаменами" или соревнованиями, как олимпиадные "испытания": "проблемы пузомерок для AI=болванов", https://ailev.livejournal.com/1753048.html).
Мы в нашем "курируемом наборе данных" даём ответы на вопросы по личному развитию (курсы программы "Личное развитие") и по
работе -- как думать о работе, об инженерных проектах в самых разных предметных областях (курсы программы "Организационное развитие", потому как инженеры про своё инженерное нормально думают, но когда надо разобраться в устройстве коллективной работы -- вот тут сбой, менеджменту их не учили, размышлениям о коллективной природе инженерного труда -- тоже не учили).
Удивительно, но после всего этого мы получаем студента, обученного всего-навсего "на троечку" (удовлетворительно). И разговаривать с ним нельзя без слёз, по факту будет только режим вопроса-ответ, никаких тебе "вопросов на уточнение" от студента.
3-я степень (успехи удовлетворительные)
Ученик знает науку в том виде, как она была ему преподана; он постигает даже отношения всех частей к целому в изложенном ему порядке, но он ограничивается книгой или словами учителя, приходит в замешательство от соприкосновенных вопросов, предлагаемых на тот конец, чтобы он сблизил между собой отдаленнейшие точки; даже выученное применяет он не иначе, как с трудом и напряжением. На сей степени останавливаются одаренные гораздо более памятью, нежели самомышлением, но они прилежанием своим доказывают любовь к науке.
4. Обучение с подкреплением на основе обратной связи от учителя, RLHF, на выходе -- Chat model, успехи хорошие
RLHF -- это reinforcement learning with human feedback. Это по факту тоже дообучение на примерах, только добавляются люди, корректирующие ответы -- если мысль ушла не туда, её поправляют, направляют мышление. Фишка тут в разворачивании диалога с уточнениями со стороны людей, ибо без людей мысль нейросетки студента (живого или нежити, это неважно) легко ускакивает в неописуемые фантазии -- и требуется как-то это корректировать. Конечно, SFT и RLHF очень похожи (и их даже пытаются перемешивать -- https://arxiv.org/abs/2405.11870), при этом RLHF сложен и дорог, от него стараются избавиться, переходя к чистому SFT, перескакивая через этот шаг сразу на поощрение собственного мышления, чтобы студент не копировал паттерны мышления одного шага рассуждения, или даже нескольких шагов рассуждения, а изобретал свои. Тем не менее, где-то в этом месте студент учится отличать -- какие ответы уместны в диалоге, а какие неуместны (все эти helpfullness и harmlessness тренируются тут, в общении с "профессором", живым или неживым). Да, в обычном обучении это эквивалентно тренировке с преподавателем.
В опыте ШСМ с живыми студентами тоже ключевой оказывается возможность прохода курса с преподавателем. Оказалось, что крайне важен тренинг в "хватании за язык" на системной мантре (начиная с того, что систему надо рассматривать сначала в момент эксплуатации, и это вещь). 100% студентов поначалу не имеют собранности пройти этот пункт, хотя всё понимают, всё знают, правила просты — но язык как-то сам ведёт не туда ))) У меня на эту тему пост есть, https://ailev.livejournal.com/1750301.html.
Я планирую где-нибудь в конце февраля или начале марта провести несколько таких тренировок с продажей билетиков на них "в розницу". Но это, конечно, главным образом первый шаг мантры. Но на курсах с преподами — там каждое занятие подобная тренировка, только по расширенному числу тем. Опыт показывает, что рефлексия (проверить, что там у тебя с типами — что ты реально сказал, а не что "намеревался сказать") заводится где-то от четырёх часов тренировки. А без тренировки, чисто по учебнику и упражнениям — не заводится, ибо момент ошибки далёк от момент обратной по ней связи. Поэтому мозг не перестраивается, безошибочность не растёт. А с преподавателем — безошибочность растёт быстро, причём в привязке к рабочим проектам, а не в привязке к "учебному материалу".
4-я степень (успехи хорошие)
Ученик отчетливо знает преподанное учение; он умеет изъяснить все части из начал, постигает взаимную связь их и легко применяет усвоенные истины к обыкновенным случаям. Тут действующий разум ученика не уступает памяти, и он почитает невозможным выучить что-либо не понимая.
5. Дрессировка (обучение с подкреплением), RL, на выходе -- Reasoning model, успехи отличные
Сегодня это и есть SoTA в обучении нейронных сетей, так получены модели o3, R1, Gemini 2.0 Flash Thinking. Лучше пока не найдёте. Учили их методом дрессировки, по умному -- обучения с подкреплением (reinforcement learning). Тут даётся задача с известным ответом, но неизвестным путём решения, "головоломка". Что такое "решённая головоломка" вроде понятно, это и будет "функция награды" (за решение животинке/неживотинке/студенту выдадют сначала махонький кусочек сахара, но и его потом заменяют свистком дрессировщика, поэтому животинка тыркается, делая случайные действия, пока не получит свисток, означающий "подкрепление", а нейросетка в этот момент запоминает связку "удачное действие -- награда"). Суть обучения в том, что награда даётся не за один шаг рассуждения, а за много шагов -- и по ходу обучения цепочка правильных действий для получения награды может сильно вырастать.
На этапе дрессировки главная задача -- награждать размышления как таковые, приучать думать долго. Тут два варианта:
-- награждать за правильный ответ и терпеливо ждать, пока студент сам не изобретёт этот ход "давай-ка я проверю себя и подумаю ещё" (работы вроде обучения R1 https://arxiv.org/abs/2402.03300 -- и там даже пытались так дрессировать, пропуская этапы SFT и RLHF, но получилось плохо, а вот тут переобозвали RL в RLSP, learning via self-play, https://arxiv.org/abs/2502.06773, а вот тут разбирают подобные ходы, "Demystifying Long Chain-of-Thought Reasoning in LLMs" https://arxiv.org/abs/2502.03373, вот прямо сейчас очень много работ в этом направлении, это текущий фронтир в создании AI-систем, новая SoTA не столько в архитектуре нейросетей, сколько как раз в способе их обучения уму-разуму).
-- прямо заставлять "подумать ещё" (budget forcing, принуждать тратить бюджет времени на размышление), вот так просто. Сколько же надо думать? Опять же, думают обычно в письменном виде. Для сложных задач, требующих точных ответов, можно оценить количество исписанных черновиков -- для студентов это страницы текста (при машинописной плотности получаем четыре-пять исписанных листочков, если меньше, то "мало старался", или "гениален", чему не верим. А вот для нежити там прямо график -- точность от числа токенов, потраченных на размышления, и для олимпиадных задач по математике там где-то 8тыс. токенов примерно по три символа на токен, чтобы "победить почти всех умных", https://arxiv.org/abs/2501.19393.
Есть и варианты, где генерируются "ответы" на задачи в виде фукции на языке программирования -- и надо предсказать ответ, выполняя мышление на естественном языке, "как обычно", https://codei-o.github.io/. Это позволяет обучить универсальным примитивам мышления на естественном языке, including logic, symbolic, math & numerical, scientific, commonsense reasoning. Там пока предлагается огромный набор данных на 3.5млн задач, но опыт уже показал, что проблема не в количестве задач, а их качестве -- наверняка можно в разы и разы уменьшить количество этих задач. RL стадия важна в том, что в ней уже нет следования паттернам мышления учителя, как это было с SFT и RLHF. Нет, тут идёт поощрение на изобретение собственных паттернов мышления, а не повторение тех паттернов, которые виделись где-то в текстах pretrain или наблюдались у учителей. Это коренное изменение. Можно сказать, что только на этой стадии мы учим мышлению, а не "ремеслу" (то есть повторению подмастерьем действий мастера, без особого понимания).
Для нежити тут, конечно, возможно очевидное упрощение, которое резко повышает результативность и существенно сближает их работу с мокрыми нейросетками: собственно длительное размышление по решению задачи должно быть не на естественном языке, а на внутреннем языке (работ тут множество: DroidSpeak -- https://arxiv.org/abs/2411.02820, Coconut -- https://arxiv.org/abs/2412.06769 и отход от токенизации в byte latent -- https://arxiv.org/abs/2412.09871, самый свежий тут ход с recurrent depth -- https://arxiv.org/2502.05171, и число этих работ будет только расти). Основная причина эффективности тут -- не нужно обращаться к дискретизации пространства смыслов с грубостью, заданной редкими доступными концептами, можно пользоваться всеми доступными точками этого пространства, даже не помеченными языковыми "токенами". И ещё тут нейросетки плохо работают с модальностями: мышление "в словах" уже более-менее сравнимо с людским, а в словах и картинках вместе -- ещё нет, https://x.com/xiangyue96/status/1889137367002267998.
Использование AI и инструментов -- длинные цепочки рассуждений можно таки сдвигать на спецвычислители, или заводить их в своём мозгу, это эквивалентно: https://arxiv.org/abs/2409.12183. Все эти приёмы с "увеличением длины рассуждений" работают главным образом на "задачах STEM", на остальных задачах они не так эффективны. Человеческий мозг очень неэффективен в длинных цепочках рассуждений, "задачах STEM", нужных для инженерии -- равно как неэффективны и нейросетки, они эмулируют логические вычисления (а уж как они эмулируют просто сложения! Редкая неэффективность -- но если хочется научить сетку вычислять, то можно, она найдёт тригонометрический алгоритм сложения: https://arxiv.org/abs/2502.00873). Так что любую такую работу по "задачам STEM" хорошо бы куда-то сдвигать. Но что оставлять себе? Похоже, что нейросетки и людей, и нежити хороши в выдвижении догадок, а все проверки в строгих предметных областях ("наука и инженерия" -- STEM, что раскрывается как Science, Technology, Engineering, and Mathematics, традиционно тут главное не попало -- логика, онтология) надо сдвигать на разные спецвычислители. По иронии судьбы, неэффективные в рассуждениях нейросетки -- как раз такие вычислители для людей, им можно поставить задачу на естественном языке. А уж нейросетки могут выступить переводчиками к каким-то спецвычислителям, что поднимет эффективность, но уровень рассуждений при этом не просядет. Вот такая получается "трехуровневая схема скидывания строгой логики на спецускорители -- люди, LLM, инструменты для model cheking, https://en.wikipedia.org/wiki/Model_checking.
Мышление людей по факту уже внеязыковое, а также не визуальное, не аудиальное (у меня аж целая книжка "Визуальное мышление. Доклад о том, почему им нельзя обольщаться" была про это в 2018 году, https://ridero.ru/books/vizualnoe_myshlenie/, которая бесконечно устарела, но вывод там верный -- мышление внеязыковое и амодальное, идёт не в какой-то известной модальности. Модальный там только вывод. Внимание там только к "схеме", к модели -- и вот модальна как раз модель. Наш ход на поиск онтологического дребезга -- это просто ход на подключение кинестетического вывода во внимание в ходе мышления, равно как внимание есть к выводу в визуальной, аудиальной, вербальной-языковой модальностях). Поэтому для людей таких ухищрений не надо: отход от языковых представлений на предыдущих стадиях происходит естественным образом. Но всё-таки у людей тут не очень большое преимущество: они вынуждены удерживать свою собранность в длинных рассуждениях через записи -- черновики, ибо "догадки" пишутся в черновики, и большинство их будет откинуто, переживёт критику только результирующая догадка, а все промежуточные будут выкинуты.
В любом случае: вкус к мышлению как таковому появляется тут, мастер появляется тут. До этого -- подмастерье, в лучшем случае копирующий учителя. Ну, и оценка тоже меняется -- пятёрки появляются только для тех, кто мыслит сам, а не приводит "ответы по выученному шаблону", по примеченному в ходе обучения паттерну.
5-я степень (успехи отличные)
Ученик владеет наукой; весьма часто и определенно отвечает на вопросы, легко сравнивает различные части, сближает самые отдаленные точки учения, разбирает новые и сложные предлагаемые ему случаи, знает слабые стороны учения, места, где сомневается, и что можно возразить против теории. Только необыкновенный ум, при помощи хорошей памяти, в соединении с пламенной любовью к наукам, а следовательно, и с неутолимым прилежанием может подняться на такую высоту в области знаний.
6. Open-endedness, бесконечное познание, на выходе -- PhD model (учёный), успехи в форме нобелевской премии
Open-endedness (скажем, https://press.airstreet.com/p/open-endedness-is-all-well-need), это тоже без учителя, но речь идёт главным образом не о том, что мышления хватает для решения задач, которые ещё не видел ни преподаватель, ни студент -- это решается предыдущим обучением, обучением с подкреплением, где известна функция награды. Тут же -- надо идти туда, не знаю куда, исследовать мир. Это означает, что прежде всего надо уметь ставить новые интересные (не любые) задачи с особыми свойствами. Они должны быть трудными (помним про критерий "трудности" в отборе небольшого числа задач, на котором можно быстро учиться -- мы обсуждали это на стадии SFT, supervising finetuning), но не слишком -- чтобы был шанс решить, то есть и интересные (дающие новое знание), и Goldilocks ("ни холодные, ни горячие -- в самый раз" по трудности, https://en.wikipedia.org/wiki/Goldilocks_principle, от сказки "Златовласка и три медведя"). У меня про это был целый текст "В нейросетях devo вроде как реализовали, а для evo нужно ещё разобраться с eco" -- https://ailev.livejournal.com/1752457.html. Без этого нет эволюции знания, нет исследований.
Выход на open-endedness как бесконечное развитие означает обучение мастера постановке проблем (а не только решению проблем). Для людей (впрочем, и для сетей) это означает выход за пределы собственно "обучения в школе", с оценками. Собственно, это и выход за пределы "мастера" (master, магистр) на более высокий уровень. Тут можно говорить в академической традиции о выходе на степень PhD -- если пройти эту стадию и научиться ставить задачи (вообще-то предполагается, что этому известно как учить -- что спорно! но мы стараемся!), то это готовность к самостоятельным исследованиям. Если студент-отличник обнаружил какую-то хорошо поставленную задачу, которую до него никто не мог решить, то его святая обязанность -- решить её, иначе он не отличник. А дальше? Дальше надо уметь поставить задачу, сформулировать интересный goldilocks вопрос к окружающему миру. И тогда уже другие студенты решат эти задачи, продемонстрировав, что они -- отличники. Ну, или постановщик задачи сам решит эту задачу -- подняв свои умения на новый уровень -- став опять отличником, ещё более крутым!
Как мы это решаем в ШСМ? По большому счёту, постановка задачи -- это паттернирование ситуации "из жизни" в каких-то весьма абстрактных типах, что позволяет сформулировать задачу, позволяющую выйти за рамки онтологии, которой пользуется мастер. Скажем, вы зашли в рабочий проект -- и видите бегающих вокруг сильно озабоченных чем-то людей, согласовывающих непонятно что, пытающихся соблюсти непонятно кем установленные дедлайны. Они вроде как принадлежат к какой-то организации, которая страстно хочет "развиваться" -- и вроде как выполняемые рабочие проекты по выпуску какой-то продукции и дают этой организации возможность развиваться. Вот есть курсы "ШСМ", где задаётся какой-то достаточно абстрактный набор концептов. Надо выполнить довольно сложные операции, чтобы разобраться в ситуации -- просто описать её в каких-то терминах, позволяющих дальше об этой ситуации рассуждать. Дальше надо поставить задачу, ключевой момент. И предложить решение. И делать это вечно, пока существует организация, или хотя бы пока существует проект. Это не мастер, который решает типовые задачи. Это другой уровень: типовых задач тут нет, и самое сложное -- это найти в сложной ситуации правильную задачу для решения.Собственно, значительная часть программы "Организационное развитие" как раз и ведёт к возможности сориентироваться в сложных ситуациях, и использовать мышление для постановки задачи как выдвижения труднокритикуемой гипотезы о действиях (рациональный выбор метода), требующей проверки (https://ailev.livejournal.com/1737214.html, https://ailev.livejournal.com/1744904.html). Принципы квалифицирования, конечно, отличаются от представленной тут системы оценок "успеваемости" 1834 года, они следуют европейской системе квалификации EQF, и даже слово "мастер" понимается в нашем квалифицировании не как "магистр" или "мастер по отношению к подмастерью" в ремёслах, как в предыдущем пункте. Более того, можно обсуждать: выход на open-endedness это чисто знаниевая часть -- или таки это ещё и использование знаний для реального дела?
Поэтому мы добавим ещё пункт, для ухода от чистой учёности.
7. Эволюция в физическом мире, на выходе -- Engineer model (инженер), успехи в форме изменения мира к лучшему
Тут надо научить выходить из "науки", "исследований", "аналитики" в инженерию как метод изменения мира к лучшему. Это ход на автономность и активность в изменении себя и окружающего физического мира. Кроме постановки задачи и предложения рационально обоснованного решения поставленной задачи, что было в предыдущем пункте, надо реально провести изменения мира согласно найденному решению. После уровня open-endedness, где мы гарантируем эволюционное накопление знаний, cognition ("обучение у природы", "задание вопросов природе", познание), выхода на PhD, мы идём к реформаторству -- изменению мира к лучшему. Итогом тут служит не решение поставленной в ходе open-endedness знаниевой задачи. Нет, итогом служит реальное изменение физического мира, создание какой-то успешной системы.
В этом месте обязательно надо отметить две вещи, которые страшно даже начинать расписывать:
-- инженерные проекты обычно коллективны, поэтому инженеров учат не только что-то сделать самому, но и участвовать в разделении труда (скажем, курсу менеджмента)
-- поскольку менять надо физический мир, то надо или быть человеком-во-плоти (а не чистым безруким и безногим мозгом), или роботом. Есть вариант: составить себе тело из инструментов (для человека это киборгизация, для робота -- нейросетка или их коллектив ставит под контроль что-нибудь весьма мощное: космический корабль, атомную электростанцию, стадион, тёмную холодную фабрику, ибо для безлюдного производства не нужно отапливать и освещать эту фабрику).
Что у нас в ШСМ на эту тему? Конечно, инженерные курсы. Вот ровно первых два свежепереписанных раздела курса "Системная инженерия" как раз про это -- связь науки и инженерии, знаниевой/исследовательской работы и работы по изменению физического мира, https://aisystant.system-school.ru/lk/#/course/systems-engineering/. В этих методах тоже есть SoTA, тоже есть чему учиться -- но там требуется выходить в физический мир и творить, участвовать не только в эволюции знаний, но и в реальной эволюции. Результаты прохождения программы оцениваются при этом не по итогам знаниевой работы (как у PhD) а по итогам демонстрации изменения ситуации в рабочем проекте (не в учебном проекте!) к лучшему -- вот критерии квалифицирования, https://ailev.livejournal.com/1723294.html. Мастер как степень квалификации -- это меняющий мир к лучшему инженер, а если масштаб изменений мира большой, то и степень квалификации как инженера растёт -- реформатор или даже эволюционер (ладно, "революционер").
Возвращаемся к проблеме водопада: помним, что его не бывает, это чрезмерное упрощение
Критика "водопада" в инженерии идёт по нескольким линиям:
-- в жизни эта стадийность никогда не соблюдается, жизнь устроена не так -- в нашем случае это означает, что нет передачи каждой очередной модели (base, instruct, chat, reasoning, PhD, Engineer) с этапа на этап.
-- работы-этапы путаются с методами работы. Так что смело считаем описанное -- методами.
-- работы идут по этим методам работы в каком-то эволюционном (agile) процессе, в параллель и на выходе -- инкременты, а не готовые продукты.
-- для нейросеток отдельно обучение LLM, отдельно finetune не "вообще", а для предметной области (скажем, какие-нибудь LoRA и expert merge), а для студентов-людей явно ведь успеваемость по одному предмету! Спектр мастерства не рассматривается, хотя даже для нейросетей начинает уже (само)измеряться (ещё и в рамках open-endedness парадигмы, https://arxiv.org/abs/2502.07577, "Automated Capability Discovery via Model Self-Exploration").
Так что не надо принимать всё написанное за чистую монету, в тексте явно приведено чрезмерное упрощение. Впрочем, это чрезмерное упрощение в тексте не только по части водопада. Но дисклеймеры и оговорки при этом будут такой длины, что текст перестанет быть читаемым. Вы предупреждены.