lytdybr

Закончил в ОдО2023 "Семантику", продолжил там линию с "насмотренностью/наслушанностью/наработанностью/кругозором" как важную для обучения нейронной сетки, а также табуировал "схемы", "схематизацию", "схемоиды" (ибо это слово у студентов намертво склеено не с употреблением в когнитивистике, а с диаграммами -- и вылечить это оказывается потом нельзя). Конечно, ещё много всего там было поправлено по мелочи. И общий результат (уже написана понятизация, собранность, семантика) начинает мне нравиться. Ещё онтологически надо разобраться. То там "Я" со свойствами сознания и интеллекта, то сознание и интеллект — сами себе механизмы с какими-то функциями. Всё плывёт по типам, онтологический винегрет у всех. Но это тоже потом, сегодня перехожу к математике и физике, минимальная цель в этот раз -- просто изложить на десятке страниц мои заметки в блоге. Робот Ridero нашёл в "Системном менеджменте" вторую ссылку на фейсбук! Сразу найти все ссылки у него не получилось! Замечу, что первую ссылку робот нашёл 17 февраля 2023, готовый кейс как раз для учебника системного менеджмента: как замена 13 знаков в двух местах растягивается на месяц, по одному знаку в день! При этом я абсолютно не уверен, что знаков надо было каждый раз менять 13, достаточно бы было и шести, facebook поменять на f******k -- но робот Наталья в Ridero имел своё просвещённое мнение и свою скорость переписки с долбёжкой одной неаргументированной реплики раз в три дня, чем смутил и соседние отделы. Я спокоен только потому, что книгу считаю сувенирной продукцией: реально работают курсы, курс системного менеджмента обновлён ещё в прошлом году, по нему уже полным ходом идут занятия (два потока СМС, не считая заходящих в него других людей), а мои книги -- это для желающих иметь сувенир, хоть в электронном, хоть в бумажном виде. Будут ли у меня печататься эти книги с твёрдой обложкой и цветными картинками? Это печаталось с очень хорошим качеством раньше в издательстве Balovstvo (Киев), но сейчас перестало там печататься, и перспективы возобновления туманны. Ridero вроде как печатает сейчас и в твёрдой обложке, и с цветным блоком, но там надо авторам такой тираж предварительно заказывать и самим распространять, я этого делать точно не буду. Через магазины в розничной продаже у Ridero вроде как только мягкая обложка и чёрно-белая печать. За последний месяц мы выдали 27 сертификатов, из них 9 сертификатов первый раз (не так много, как хотелось бы, но и сертификаты не все выбирают получать -- часто по нашим данным курс заканчивают где-то на 97% учебника и 70% заданий). Средняя ежедневная аудитория за месяц -- 107 человек, пиковый день -- 157 человек (это когда дали бесплатный доступ на "полистать учебники" -- https://blog.system-school.ru/2023/03/06/besplatnyj-dostup-k-onlajn-programme-beskonechnoe-razvitie/). Медленно, но растём. Ачивка регулярного (не меньше 5 раз в неделю по два подраздела какого-то курса) изучения дана на этой неделе 22 студентам. Наша лаборатория AI обсуждает варианты "маленьких, но мощных открытых нейросеток": 130-ти миллиардную модель парень дома запускал на 4*3090 ещё в январе -- https://twitter.com/alexjc/status/1617152800571416577 (вот тут собран тред: https://mem.ai/p/mCnBcqtPKWuXWGetwxr9), вот тут про LLaMA, которую запустили на Макбуке прошлого поколения m1 pro на 64GB RAM, https://simonwillison.net/2023/Mar/11/llama/ (и говорится, что ответы разве что не лучше, чем в GPT-3.5). Ещё выяснилось существование в телеграме бота ChatGPT на 30 запросов в день -- https://t.me/GPT4Telegrambot, а за 250 рублей в месяц это будет 100 запросов в день (и там ещё картинки от DALL-E возможны, команда /image). Но я сам я подсел на perplexety.ai -- и когда я минут двадцать искал разными другими способами ссылку в своих же текстах, это единственный бот, который чётко сказал, где у меня эта ссылка. Мы живём уже в каком-то другом мире, жизнь изменилась существенно: можно делегировать работу не только людям, но и нейросетке. Вот что я по этому поводу писал в чате собранности:

Сначала нужно решить: вы хотите натренировать нейросетку GPT-3.5 или собственную мокрую нейросетку? ))) Или тренировать коммуникацию между нейросетками (вашей и искусственной)? Сегодня это непростое решение: что вы хотите делать самостоятельно, увеличивая способности ваших размышлений над предметом, а что хотите отдать кому-то (чужой нейросетке — без разницы, компьютерная она или вашего сотрудника, который потом всё равно отдаст её компьютерной сетке). Текущий наш ход — это признание факта, что наши курсы в их объяснительной части просто "контекстный хелп" к заданиям, а задания — это не учебные задания, а рабочие задания. Ибо выигрывает (многократно) от размышлений с использованием фундаментальных дисциплин по поводу рабочих проектов работа. Вот и надо заниматься в рабочее время. И это одновремено и работа, и обучение нейронной сетки. Я сейчас заканчиваю текст главы "Семантика" в ОдО2023, там обсуждаю понятие "насмотренности/начитанности/наработанности": нельзя сказать, это учебное время или рабочее. Вот и работайте с этим мышлением в рабочее время, получит пользу и работа, и вы. И это одновременно работа и тренировка. И дальше выбирайте как на работе: вы сами будете делать, или поручить кому. Могут тут байку подсказать: архитектор в вечных склоках с разработчиками. И он, понятно, имеет свой предмет. Но было замечено, что если архитектор прекращает сам разрабатывать и занимается только архитектурой, то быстро прекращает быть хорошим архитектором. Поэтому агенту дают совет: 80% времени быть архитектором, но 20% времени всё-таки разрабатывать что-то самому. Мне кажется, что тут с нейросетками примерно то же самое: нужно что-то отдавать, но что-то немножко всё-таки делать самому, чтобы продолжать быть квалифицированным отдавальщиком дел.

Огромные обсуждения по безопасности в чате экзокортекса https://t.me/exocortexssm, разговор идёт примерно с https://t.me/exocortexssm/2379 (и дальше там появляется человек, который одновременно любит диаграммные техники вместо DSL, воздушные зазоры как средство обеспечения безопасности и борьбу с трудностями как образ жизни — и понеслось). Вот мой итоговый ответ по безопасности:

Повторюсь: с "безопасностью" должен работать прежде всего grounding, представление в голове "фильмов/гифок" со сценариями нанесения непоправимой пользы, превышающей затраты. Никаких абстрактных слов, прямо вот что происходит в физическом мире, как часто и с какой вероятностью это происходит, затем что происходит потом — какие последствия в физическом мире, какие затраты и какие потери, ежели затраты не помогли, и с какой вероятностью. И не опираться на анекдотические свидетельства (всегда можно подобрать какой-то уникальный пример с незаметно подменёнными существенными характеристиками и страшными последствиями, хотя в жизни это явление статистически маргинально — так работают СМИ), а хотя бы что-то массовое, чтобы были какие-то рациональные оценки каких-то гипотез. При этом уйти от вопросов safety и security нельзя, они же базовые. Без иммунной системы выжить сложно, паразиты в природе неизбежны. Итого: — как устроены защиты кортекса от произвола организации, куда они попадают — непонятно. Как устроены защиты экзокортекса от произвола окружающей среды сотрудников и внешних агентов — непонятно. — защита нужна прежде всего безопасникам, их аргумент обычно силовой в реальном мире, поэтому их запросы чрезмерны, а угомонить их некому, их все боятся. — при абсолютной защите работать невозможно. Кто хочет работать это понимает, и рискует работать мимо защит. Соблюдение защиты чаще всего бесполезно, но ведь никому не докажешь. — необходимые защиты и реальные риски поэтому редко обсуждаются, рациональное мышление в этой области не принято, принят общий "учёт интересов ведомств/подразделений". — языки паттернов в области безопасности тяготеют к формальному рассмотрению, которое показало себя неэффективным в инженерии софта (стоит дороже, чем наносимая им польза — все отказались). Но зато оно помогает сертифицироваться. — слово "безопасность" ужасно, не заземляется никак (под ним винегрет разных других понятий). Я предлагаю его табуировать и обсуждать конкретные системы и подсистемы с их функциями, типа "сигнализация того-то и того-то". Тогда это вполне себе могут быть рациональные обсуждения. Но тут пока всё плохо. Мой ход в этих условиях: помогать людям из служб безопасности всё это осознать (пара человек на каждом потоке СМС, вот и сейчас у меня там двое из IT-безопасности) и перейти к рациональным рассуждениям в той области, которой они занимаются. То есть наносить какую-то пользу, а не просто "внедрять безопасность". А людям не из служб безопасности — помогать работать в этих условиях. А если условия совсем уж плохи — помогать принять решение работать в условиях получше. Ибо если мозгу не дают думать, не дают данных, не дают современных инструментов — он не тренируется, он стагнирует и быстро отстаёт от SoTA. Довольно много интеллекта расположено по другую сторону воздушного зазора. Неожиданно оказаться Робинзоном Крузо и быть отрезанным от Библиотеки Конгресса весь рабочий день — это себя не жалеть.

В области аппаратуры тоже много чего происходит интересного, например: -- биологический компьютинг, organoid intelligence, вышла большая статья: https://www.frontiersin.org/journals/science/articles/10.3389/fsci.2023.1017235 (и помним, что за проектом DishBrain стоит фирма https://corticallabs.com/ -- это которые научили играть мышиные или человечьи нейроны на матрице с электродами в pong — нашли, как организовать обучение "нейронной субстанции" на базе теории active inference). -- SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks, https://arxiv.org/abs/2302.13939. We successfully implement `SpikeGPT', a generative language model with pure binary, event-driven spiking activation units. We train the proposed model on three model variants: 45M, 125M and 260M parameters. To the best of our knowledge, this is 4x larger than any functional backprop-trained SNN to date. ... Our preliminary experiments show that SpikeGPT remains competitive with non-spiking models on tested benchmarks, while maintaining 5x less energy consumption when processed on neuromorphic hardware that can leverage sparse, event-driven activations. -- помним про фирму Ванчурина, она ж про создание нейросетевого компьютера https://artificialneuralcomputing.com/ -- помним про аргументы Chollet по поводу базовой аппаратуры интеллекта. Если не доходить даже до уровня естественного языка, то в его наборе задач люди решают 80% задач, а нейросетки — 31%, хакатон на эту тему вот: https://lab42.global/arcathon/. Так что всё ещё впереди и с аппаратурой, и с софтом. Парадокс Моравека вроде как решили, но не до конца решили. Поэтому ждём новостей.