lytdybr

Опубликовал две трети десятого раздела -- одна из учебных групп уже получила по нему задание. Это тот самый раздел про описание системы, где говорится про изобретения (модульный синтез) и вводится понятие альфы. Про новый кернел (система, описание системы, метод работы системы и работы системы, я вывел альфу метод в отдельную -- выдрав из описания системы, уж если есть альфа работы, ибо там ведь явно предметы метода надо будет назвать и их состояния, и концепция использования получит особую поддержку) в опубликованом куске уже есть, в оставшейся части раздела будет диаграммка, где вместо kernel на три альфы будет задействован kernel на четыре альфы, придётся опять порисовать в yEd. Даю себе ещё пару дней на переписку пары десятков оставшихся страниц -- и к выходным опубликую остаток раздела. На следующей неделе у нас конференция, к которой по традиции ждём докладов об успехах и проблемах -- https://system-school.ru/conf-2024. Если у вас есть что сказать, дайте знать, мы как раз активно занимаемся программой. Зачем нужно докладываться? Помочь тем, кто идёт по вашим следам -- показать им, какие ждут трудности и какие в результате преодоления трудностей будут плюшки. А ещё мы даём квалификации ШСМ по результатам докладов. Если вы разворачиваете на основе материалов наших курсов какую-то движуху больше размеров вашего предприятия -- будет "реформатор", если реформируете предприятие (десятки человек пошли работать по-новому после ваших инициатив), то будет "мастер", если справились с проектом, то "практик", если показали знание материалов курсов (выступили как аналитик), то "специалист". Больше всего меня на неделе впечатлила вот эта статья про то, как надо бы учить нейросети: https://arxiv.org/abs/2404.05405. Там нет никаких особых откровений (всё это было известно и раньше, но зато даны количественные оценки). Я её читал глазами человека, которому надо учить людей, и который понимает, что там внутри человека нейросетка, и "лучшей моделью кошки является другая кошка, желательно та же самая", и вот текущие нейросети в этом плане похожи на мозг. Разбор текста на русском в Сиолошной https://t.me/seeallochnaya/1268, мои выводы такие: -- чем больше информации показываешь, тем лучше она сжимается (и поэтому с ней всё будет быстрее и проще). Если показать 1000 раз и 100 раз, то просадка будет вдвое. Так что синтетические данные и количество повторений имеет значение, "повторение -- мать учения". -- если учишь на мусоре, то это существенно портит модель, в двадцать раз. При этом количество повторений таки улучшает результаты и тут, разы превращаются в "на треть". Но если повторений мало, то с мусорными данными всё более чем печально -- те самые "в двадцать раз хуже". -- если учить определять мусор, то результаты сразу лучше, в разы. То есть учить надо сначала "критическому мышлению" (трансдисциплинам на базе локальных представлений -- критика наводится логикой, в наших курсах это расписано в цикле познания), а потом уже всему остальному. Ну, мы так и делаем: "Моделирование и собранность" в том числе учит тому, как определять ахинею в чужих словах, но и в собственных тоже. -- делаем вывод: учим на больших объёмах собственных синтетических данных (чтобы не заучивать собственные ошибки, если давать полстраницы текста и заставлять их лопатить дальше двое суток для пущего запоминания), то есть пишем объёмные тексты, повторяя разными словами для разных ситуаций одно и то же. Ну типа как из 100 страниц делаем 1000 страниц с тем же примерно содержанием. Это конкурентное преимущество, иметь большие объёмы по узкой теме. По четыре дня будем лопатить не 1 страницу, а 10 страниц, но результаты будут лучше, ибо лопатить будем меньше мусора (в том числе своего). А ещё учим критиковать, и критиковать сильно -- чтобы видеть этот самый мусор и у себя (галлюцинации своей нейросетки) и у других (в проектных ситуациях не вестись на фейки чужих галлюцинаций). Это второе конкурентное преимущество. Вроде как у нас сейчас в ШСМ реализуются оба преимущества. Восхитительный момент в истории человечества: в высшей лиге вышла GPT-4 Turbo (которая уже не preview, а релиз, и она очень хороша в математике, да и по бизнес-задачам показывает себя ну очень хорошо), очередная поделка Mistral и новинка Command R+ в open source. Дальше все взоры человечества прикованы к соревнованию этих LLM, оно идёт вот тут: https://chat.lmsys.org/?leaderboard. А вот тут второе интересное событие: теорию категорий применили к LLM (https://arxiv.org/abs/2402.15332) в Symbolica (ага, символический подход к нейросетям) и взяли на это инвестиции на $33 млн. -- https://venturebeat.com/ai/move-over-deep-learning-symbolicas-structured-approach-could-transform-ai/. Всё происходит очень, очень бодренько. Что я делаю в текущей ситуации с AI, как готовлюсь к уже состоявшемуся пришествию? Никак, и даже особо не использую в работе (я пложу ровно вот те данные, по которым сетки будут учиться, разводнять их данными, которые уже есть в сетках, мне не хочется). И у меня абсолютно голословное утверждение, что если вокруг меня будут суперкрутые нейросети, то никуда моё дело не исчезнет, просто разнообразие происходящего на свете сильно увеличится -- если появились крысы, то тараканы никуда не исчезнут, а если появился homo sapience, то и крысы вполне себе будут на месте. Никто никого не "заменяет", просто все пристраиваются друг ко другу, и непрерывно появляется что-то новое. Конечно, вода под лежачий камень не потечёт, ну так скорость изменений и скорость принятия решений надо тренировать. Представьте, что вы живёте во время революции: с какой скоростью надо быть готовым радикально менять свою жизнь? Вот с этой скоростью и нужно жить каждый день. Быть подвижным во всём, не застревать ни в делах, ни в образе жизни, ни в окружении. И всё наладится. Я всю жизнь был консультантом по стратегии. Стратегия -- это метод работы в ситуации, когда перед появлением стратегии никто не знал, что делать: какие объекты брать и какими операциями в какие состояния их приводить. Стратегирование -- это как раз выработка стратегии. Если вы дальше знаете метод вашей работы, то вы под этот метод подгоните и работников с нужным мастерством, и запланируете какой-то график, ибо будет известно, какие нужны ресурсы (например, материалы и инструменты), а ещё сможете эти ресурсы подтянуть, ибо будет известно, что же именно на выходе должен сделать ваш метод как стратегия, и это будет неплохим основанием для разговоров по выделению ресурсов. А дальше нужно всё время эту стратегию подхакивать, ибо жизнь-то меняется. И подхаканную стратегию принимать всерьёз, быстро разворачиваться на работы по этому новому методу. А завтра подхакивать метод и вновь быстро разворачиваться. И так каждый день. Собственно, это ничем не отличается от обычной жизни. Просто её так никто не описывает, поэтому живут неосознанно, как во сне. А можно понимать, что делаешь -- когда стратегируешь, когда выполняешь стратегию. И тогда это становится не очень большим, но всё-таки конкурентным преимуществом. Сегодня вечером будет от восемнадцати до пятнадцати градусов в Москве. И я попробую сходить поплясать на первый опенэйр в этом году, в парк Горького, под Андреевский мост -- https://vk.com/wall-98974668_7947.