31 июля 2023 · Комментарий

Без заголовка

Если иметь в виду нейросети как модели, а особенно LLM, то об их функциональности лучше говорить в терминах эмбеддинг (кодирование) — рендеринг, а не дискриминация-генерация. Непонятно, почему ты ни разу не упомянул эту пару терминов ) Но кластеры эмбеддингов, используемые для дискриминации — это всё равно "старое" понимание онтологии. Новое понимание онтологии в нейросетях надо искать в особенностях поведения обучаемых переменных, матриц весов и bias. Симметрии используются именно в обучении. Так что некие "онтологические структуры" — это, возможно, те самые результаты фазовых переходов в обученной сети, то есть переменные или подсети, которые разделяются на быстро и медленно меняющиеся, на сохраняющие непрерывные значения и на дискретизирующиеся с определёнными спектрами. Типа как геном — онтология жизни, а алфавит и словарь — онтологии культуры.

К записи · К обсуждению