Обсуждение

Если иметь в виду нейросети как модели, а особенно LLM, то об их функциональности лучше говорить в терминах эмбеддинг (кодирование) — рендеринг, а не дискриминация-генерация. Непонятно, почему ты ни разу не упомянул эту пару терминов ) Но кластеры эмбеддингов, используемые для дискриминации — это всё равно "старое" понимание онтологии. Новое понимание онтологии в нейросетях надо искать в особенностях поведения обучаемых переменных, матриц весов и bias. Симметрии используются именно в обучении. Так что некие "онтологические структуры" — это, возможно, те самые результаты фазовых переходов в обученной сети, то есть переменные или подсети, которые разделяются на быстро и медленно меняющиеся, на сохраняющие непрерывные значения и на дискретизирующиеся с определёнными спектрами. Типа как геном — онтология жизни, а алфавит и словарь — онтологии культуры.

Да, я согласен: сам не понимаю, почему всё это не написал — хотя нет, вроде понимаю. Я ж опирался на текущую дискуссию в ontolog forum, а там этого всего вблизи нет. Вот и осталось не вытащенным в текст ))) Для меня это всё ещё и операции адресации в ассоциативной памяти, где работают разные объемы ментального пространства (того самого на "примерно 600 размерностей"), я об этом ещё в "Визуальном мышлении" много писал, когда ещё не было трансформеров и "мейнстрима LLM", и можно было рассуждать чуть более свободными аналогиями. Ибо вот даже foundation models не прижилось, прижилось именно LLM — кто первым встал, того и тапки. У нас в фирме все эти эмбеддинги мы кодируем как retrieve — векторные базы данных как текущие базы знаний, и основная операция не "поиск", а retrieve.

Поиск по близости в векторном пространстве вроде бы сама LLM и делает, получив данные эмбеддинга в промпте? Но вот про "онтологические структуры" внутри LLM надо сейчас думать отдельно от кластеров в том самом ментальном пространстве. Структуры в матрице ANN кодируют операторы в этом пространстве, и онтология — где-то вокруг этих операторов.

Нет, там двойной цикл: сначала ты делаешь эмбеддинги для чанков текста (и тут два варианта — спросить LLM или использовать внешний дешёвый алгоритм), потом эти чанки из векторной базы данных загоняешь в промпт для LLM для ответа на вопрос. И это самое простое, конечно, ибо сейчас в этом двухтактном алгоритме находят много вариаций: как обратить внимание LLM на кластеры. Но тут ещё и разворот к конструктивным онтологиям, да. Ибо когда ты говоришь про операторы — это ж оно и есть, "операционное/программистское/конструктивное" задание. А кластеры — да, объекты и отношения, только заданные "пространственно", другой разговор. Но основной вопрос тут — будет ли это называться онтологией? От алхимии осталась химия, а от онтологии останется ли хотя бы тология? )))

Операторы — это математические объекты, но у них есть реализующие их матрицы весов, и в этих матрицах можно искать структуры. В общем-то попытки притянуть теорию категорий к онтологиям тоже уже привели к тому, что онтология состоит и из стрелочек, не только из квадратиков.

Так это и раньше было, только в другом виде (в онтологию включали constraints/аксиомы и предполагался вывод с их участием — и было два языка в паре: язык "онтологических данных" и "язык онтологических операций", причём "язык онтологических операций" подразумевал, что на нём можно и данные выразить. Все эти пары MOF/UML и OCL). Но да, всё к стрелочкам. При этом сами стрелочки появляются над объектами, в этом закавыка — утром таки деньги, а вечером стулья ))) В унивалентных основаниях математики они эту проблему вроде решили, затем сразу признали freedom of logic, что так никто думать-рассуждать не будет )))