Анатолий Левенчукailev.ru

← Коннективистские концепции агентов, коннективистские архитектуры агентов

Обсуждение

В архиве: 14 комментариев.

Читать и комментировать в ЖЖ ↗

leventov · 8 мая 2023

Комментарий

Я думаю, что можно говорить об объективных частях личности, так же как можно говорить об объективных концептах/фичах, выученных сеткой. Это объективное распознавание контекстов и наборы хорошо выученных, стабильных эвристических паттернов/"дисциплин", которые срабатывают у сетки в этих контекстах.

Конечно, это не те "подсознательные" личности из IFS, про которые человек впервые узнает, когда знакомится с IFS, а что-то гораздо более простое и понятное: профессиональная роль, родительская роль.

У многих людей плохо с ролевым мастерством, что проявляется в застревании и переносе роли в контексты, где она менее уместна — например, думание "как инженер-математик" во всем, от поездки на отдых до личной жизни.

Я думаю что GPT-4 тоже не вполне свободна от этого, там базовый файнтюн/RLHF довольно сильно ограничивает рамки возможных ролей, а конкретнее — сложно добиться, чтобы сетка заняла четкую роль, она всегда старается занять такую "размытую", нейтральную позицию, "и вашим, и нашим", сразу представить все точки зрения. Хотя с system prompt (https://www.youtube.com/watch?v=zNACfPuaqaI) это может лучше работать чем просто с prompt в запросе.

Так что словесное увещевание/prompting, в том числе самого себя, only goes so far, в какой-то момент оно упирается в объективные паттерны мышления выращенные сеткой и менять их можно только на уровне fine-tune или "масштабе времени постановки привычки", минимум два месяца (а то и годы), а не масштабе (само)НЛП — поговорил перед зеркалом и готово.

Анатолий Левенчук · 8 мая 2023

Комментарий

То, что режимы few-shot learning и fine-tuning и обучение самой LLM — это три разных режима, так конечно! Я думаю, надо просто вводить спектр для этого всего (сколько данных и времени надо). Но оНЛП появилось как раз для того, чтобы продемонстрировать, как ранее относимое к fine-tuning оказывалось при правильных промптах few-shot learning, ибо сетка потом все объёмы данных и переучивание делала сама с собой. И масштаб демонстраций был ой-ой какой. Просто если ты про промпты ничего вообще не знаешь, то результатов не будет — и вынужден файнтьюнить. Если знаешь — то объяснил сетке, и она тебе "ОК, хозяин, как скажете". Остальное в реплике не могу комментировать, ибо у меня слово "части" по типу другое, нежели "сервисы" этих частей, а в тексте ещё и путаются "функции" и функциональные объекты — типа "объективные части личности — это объективное распознавание контекстов", то есть "части — это распознавание". Части могут распознавать, но они не есть само это распознавание,

Ответ на комментарий

leventov · 8 мая 2023

Комментарий

Circuits (то есть, сети и каскады фич, связанные определенными весами) — указывают не только но сервис ("circuit для логического мышления"), но и на конструкцию, потому что мы говорим о конкретных весах, которые связывают конкретные нейроны активации. Вынимать душу максимальной онтологической точностью (пока) мне не кажется тут слишком продуктивным.

Мой поинт в том, что эти circuits — они объективны, а не бесконечно гибкие и податливые для НЛП. То есть, сетка не обладает "бесконечным" ролевым мастерством.

Ответ на комментарий

leventov · 8 мая 2023

Комментарий

Связанный разговор — fluidity/rigidity of intelligence, https://t.me/theworldasaneuralnetworkchat/152:

I have a question pertaining to “physics of intelligence, agents, and learning”: will superhuman AI likely be very cognitively fluid, or very cognitively rigid? If cognitive rigidity = “inertia”, is knowledge (or something else, skills?) “mass”? In other words, does competency generally correlates (or anti-correlates) with cognitive inertia? Cognitive fluidity (or flexibility) is the ability to completely switch one’s epistemological, ontological, and scientific models of the world in a matter of days or shorter. Extreme cognitive fluidity is perhaps incompatible with memory-based personhood because to remain meaningful, memories should be interpreted within roughly the same world model as they were recorded. On the other hand, raising a “brainchild” and “dying” voluntarily in favour of the child doesn’t automatically imply very high fluidity: the child usually learns a lot from their parent and therefore their world models are similar. Cognitive conservatism (or rigidity) is the opposite of cognitive fluidity. Locking into a specific worldview forever (a-la “Trapped Priors", https://astralcodexten.substack.com/p/trapped-priors-as-a-basic-problem) is the limit of cognitive rigidity. It also might be that this question is irrelevant because AGI will very quickly converge on the correct (perhaps, real, if scientific realism is correct) models of the world and will not change them even if it will be able to quickly swap or update its world model in principle. Fields and Levin have brought up similar questions in https://www.mdpi.com/1099-4300/24/6/819: “There are numerous analogies to be explored with respect to porting conceptual tools from relativity to study scale-free cognition. The use of cognitive geometry and infodesics (https://royalsocietypublishing.org/doi/full/10.1098/rsos.211800) ties naturally to general relativity. Other examples include: - Gravitational memory (permanent distortions of spacetime by gravitational waves [220]) to link the structure of action spaces to past experience; - Inertia in terms of resilience to stress (anatomical homeostasis as a kind of inertia against movement in the morphospace and other spaces); - Acceleration and force in a network space, where every connection in a network could be modeled via a “spring constant” or, even better, an LRC circuit. With feedback, interesting oscillations can appear, which can be harnessed as computations; - The ability of one system to warp the action space for another, such as warping the morphospace for the embryonic head by specific organ movements, generates an analog of “mass”; […] - Links also could be made to concepts of special relativity. For example, doppler effects in morphogenesis have already been described [222]. Moreover, the limited speed at which information can propagate through tissue naturally defines a minimal “now” moment, a temporal thickness for the integrated agent below which only submodules exist, in effect illustrating the relatedness of space and time by the propagation speed of information signals within living systems.” На что Ванчурин ответил: This looks like a question to be added to our list of big questions. But in short, thermodynamics of machine learning systems (https://arxiv.org/abs/2004.09280) and thermodynamics of biological systems (https://arxiv.org/abs/2110.15066) are very different from classical thermodynamics. And the main difference is what I call the second law of learning: “The total entropy of a learning system does not increase and remains constant in the learning equilibrium.” And this is possible due to the presence of the trainable variables that undergo learning dynamics. But to answer your question the superhuman AI or any other AI system has everything: rigidity of some trainable variables (due to second law of learning), fluidity of other trainable variables (due to second law of thermodynamics) and everything in between or what we call multilevel learning.

Ответ на комментарий

Анатолий Левенчук · 8 мая 2023

Комментарий

Ну так я и говорю, что если признать нейросетевую природу "носителя ролей", то у тебя сразу спектр того, что возможно в zero shot, few shot, fine-tune, learning (code, и затем всякое разное), при этом instructions это fine tune (воспитание, а не указание). Надо будет словарик составить "нежить-людской" ))) Ролевое мастерство тоже выучивается, это вроде как под fine-tune подходит. То есть не "просто объясняется". А вот многие техники НЛП укладываются во few shot learning. Но они, конечно, не всемогущи. Это хаки для отдельных ситуаций, prompt engineering.

Ответ на комментарий

Анатолий Левенчук · 8 мая 2023

Комментарий

Да, можно и в терминах массы-инерции (а потом ускорений и рывков — я писал про плохую наработанность терминологии высших производных, https://ailev.livejournal.com/1649277.html и https://ailev.livejournal.com/1649869.html для операционного менеджмента, а вот для танцев — там рывки и блокирования, https://vk.com/wall-179019873_1622). Тут разговор про "похожую физику" — это всё-таки метафорический разговор, хотя при докрутке до математики это не такой уж и метафорическй разговор становится. Но мысль интересная пройти по линии "массы наученного". И дальше классическое "не двигайте массу путём остановки и последующего разгона, перенаправляйте её — вам нужно будет в разы меньше энергии для этого, если не расходовать её на торможение-разгон, а только на перенаправление". В менеджменте это классика (впрочем, в танцах тоже — они ближе к "просто механике").

Ответ на комментарий

zero_kg · 8 мая 2023

Комментарий

По моему личному опыту части личности существуют. Разбирая компульсивное поведение обнаруживаю в себе то о чем понятия не имел. Но после того как вижу другие части и узнаю их мотивацию становится понятным откуда у меня такое поведение. Становится понятным почему эти части образовались прошлом и какие задачи решали.
Я не настаиваю на том IFS правильный или нет, но я наткнулся на IFS много позже обнаружения частей в себе и удивился совпадению со своим опытом. Кстати ссылку на IFS увидел у вас и стал изучать.

Анатолий Левенчук · 8 мая 2023

Комментарий

Конечно, существуют. Если ищете части, найдёте части. Но если ищете роли (и научены тому, что это такое), то найдёте роли. Если ищете "позиции" (их ищут СМД-методологи), всенепременно найдёте позиции! И будете писать "по моему личному опыту ____ существуют" ))) Это и есть особенности нейросетки и её программирования.

Ответ на комментарий

zero_kg · 8 мая 2023

Комментарий

Я не искал части, просто это стало выходить наружу, я был уверен что я сам как личность являюсь монолитом. Я был поражен тем, что обнаружил. Кстати, использовал метамодель из книги "Структура магии" Бэндлера и Гриндера чтобы разбирать себя.
Можно конечно списать это на мое богатое воображение.
Теперь другой факт, после того как я обнаружил субличности, у меня возник интерес, а кто тогда управляет моим организмом? После формирования запроса, мне удалось наладить коммуникацию со своим организмом и он дал прямые рекомендации которые помогли мне вылечить несколько болезней. Причем давал рекомендации какие процедуры делать, какие травы пить и какие составы делать с точностью до граммов, о которых я понятия не имел, я же не знахарь. Некоторые болезни он прямо сообщил что не может вылечить пока, потому что они имеют психосоматические причины.
В начале я думал что все это чушь какая-то, но когда все это подействовало как было сказано, пришлось принять такую реальность. Хотя первый год у меня все равно оставалось недоверие.

Ответ на комментарий

zero_kg · 8 мая 2023

Комментарий

Только откуда вся информация как лечиться и что пить? Я не медик и у меня не было массивного медицинского датасета, чтобы натренировать свой мозг. Стандартные лекарства аллопатической медицины я не принимал.

Ответ на комментарий

Анатолий Левенчук · 8 мая 2023

Комментарий

О, это отдельная тема: как сетка вычисляет что-то неизвестное по аналогии с известным, и ещё одна тема — это как работает плацебо (там более чем хитрые есть механизмы). Ричарду Бэндлеру, как мы помним, запретили выпускать официальный препарат "Плацебо", не прошёл он с ним американского лицензирования ))) Одному моему знакомому китаец снился, обучал его тай цзи цюаню. Нормально так обучил во сне. Хотя кроме этого много было чего ещё с этим тай цзи цюанем, кроме этих снов, но это ж неважно. Нейросетки очень хорошо с этими механизмами работают, там же ещё и связь с физиологией плотная есть. Я рекомендую не слишком волноваться на эту тему, и уж точно не искать "связей с космосом" или ещё чего-то такого, что ищут в таких случаях )))

Ответ на комментарий

zero_kg · 8 мая 2023

Комментарий

Про плацебо — почему он работает? Кто занимается починкой организма? Нужно признать что там есть какие-то сложные информационные процессы, которые регулируют процессы восстановления.
Я не ищу никакой мистики, я вообще твердый сторонник научного метода. Эзотерики читал много, но пришел к тому же выводу примерно что и вы, что там устаревшие технологии, если что-то даже есть работающее.
Тут еще такой есть нюанс, что свой метод я пробовал на других людях, потому что один экземпляр в виде меня — это может быть аномалия и мне была нужна проверка. И как ни странно это работает и с другими людьми тоже.
Про то что китаец снился ничего не могу сказать. Лично считаю что все что мы принимаем и изучаем должно идти в ясном сознании, поэтому отказался от гипноза, хотя изучал эриксонианский гипноз.
И второй нюанс — я спрашивал свой организм через другого человека, который устанавливал канал телепатической связи с моим организмом, работает тоже отлично, как ни странно. Только нужно эксплицитно дать разрешение на контакт, иначе связь работает плохо и информация не идет. Звучит как шизотерика, но тем не менее, никак объяснить этого не могу. Есть у меня теории разные — но это спекуляции. Никто меня этому не учил, просто делал разные эксперименты.
За эволюцией нейросетей внимательно слежу уже достаточно давно, начал читать вас еще раньше. Начал с методологов интересоваться, потом нашел ваш блог, сейчас слежу за эволюцией вашей школы. Читал ваш учебник системного мышления. Думаю что самое лучшее что сейчас есть связанное с технологиями мышления развивается именно у вас в школе.

Ответ на комментарий

Анатолий Левенчук · 8 мая 2023

Комментарий

Ну вот нейросетки очень интересно работают в смысле мышления, при этом человечьи при этом ещё и с множеством помех, зато с огромным интерфейсом в организм и через него — в окружающую среду, а нежить в этом плане работает эффективней, но без этих всех побочек. Я когда-то тоже интересовался телепатическими эффектами, там странное бывает иногда — но через некоторое время обычно находится вполне рациональный канал передачи. Одно из самых забавных исследований было такое: берём ток в нейроне и считаем, что аксон — это антенна. Далее считаем, что надо накопить на антенне длинной такой-то с током таким-то отношение сигнал-шум для передачи какого-то простого образа (последовательно там биты передаются, или параллельно — неважно), учитываем расстояние (радиоволны таки затухают, хотя не так сильно). Далее берём массив экспериментов по телепатии, и находим, что если давали достаточно времени для накопления отношения сигнал-шум на заданном расстоянии, то эксперименты были успешны, а если не давали — неуспешны ))) Я не отслеживал дальше, что там делали все эти исследователи, это было ещё в советское всё время ))) Что касается технологий мышления, так мы стараемся. Но уже едва успеваем, так всё быстро меняется. Но пока вроде держимся ещё. Вот у меня группа 21 мая очередная пойдёт. Вроде как ничего кардинального в наших курсах менять не надо, всё только что поменяно. Но надо писать продолжение — не вся линейка курсов, которая должна быть готова после окончания этой группы, будет готова к концу сентября, когда группа закончит обучение. Но с интеллект-стеком я планирую закончить очередную большую переписку, и ещё образование для образованных поправить. А у Пион будут уже большие куски для третьего семестра, а где не будет — там будет альтернативное изложение в интеллект-стеке. Про AI там вроде более-менее всё учтено, не требует изменений. Так что мы ещё потрепыхаемся в этом бедламе )))

Ответ на комментарий