Без заголовка
Да, я согласен: сам не понимаю, почему всё это не написал — хотя нет, вроде понимаю. Я ж опирался на текущую дискуссию в ontolog forum, а там этого всего вблизи нет. Вот и осталось не вытащенным в текст )))
Для меня это всё ещё и операции адресации в ассоциативной памяти, где работают разные объемы ментального пространства (того самого на "примерно 600 размерностей"), я об этом ещё в "Визуальном мышлении" много писал, когда ещё не было трансформеров и "мейнстрима LLM", и можно было рассуждать чуть более свободными аналогиями. Ибо вот даже foundation models не прижилось, прижилось именно LLM — кто первым встал, того и тапки.
У нас в фирме все эти эмбеддинги мы кодируем как retrieve — векторные базы данных как текущие базы знаний, и основная операция не "поиск", а retrieve.