Без заголовка

По-прежнему нифига не понятно. 1) Какое ваше отношение к написанному Нандо де Фрейтасом и процитированному вами? 2) Что такое "работа с priors"? "Рассуждения"??? 3) Причём тут "значение и смысл" вообще? 4) "и напирает на то, что нужно работать и со значением/знанием" -- где это? в процитированных фрагментах про это ничего нет. "it makes as much sense to seek to interpret the weights that constitute embeddings as it does to seek to interpret any other weight in the network" -- это про NN explainability, а не про значение слов в тексте! Как раз Nando de Freitas выражает сомнения в идее поиска интерпретации того, что выучил embedding. 5) "и со смыслом (transactional information -- имеющей смысл только в контексте конкретного действия)" -- опять ваша выдумка? 6) причём тут вообще "байесовская терминология и идеи"? Distributional semantics -- это не про knowledge/meaning, это про semantics (и частично про syntax). Фиксирование смысла в понятиях, получаемых с помощью embedding -- на уровне семантики слов, а не подразумеваемого значения. Слово "new" может быть частью значения "город" слова "New York", а слов "железная" -- частью понятия "железная дорога" (или "железная леди" и подразумевать в тексте Маргарет Тетчер!). Если же это слово банк -- моделируемое значение embedding представит в виде смеси семантики слов "банка", "банк" и "Банк" ( если мы предварительно не запихнём embedding в linguistic pipeline, конечно, чтобы перед embedding был "банк:N", "банк:PN" (proper noun), "банка:N" -- уже лучше, но есть ещё куча случаев омонимии внутри одной части речи) И в любом случае, что насчёт прагматики? Её embedding вообще не фиксирует, только чуть-чуть косвенно. В онтологиях (и в моделировании) же есть нужда именно в знании, которое основывается на значениях -- семантики, трансформированной прагматикой, при этом среднее количество различных значений на слово -- где-то около числа два (с прагматикой посчитать сложнее, но тоже соответствие не 1-к-1). А "priors" в "байесовской терминологии" -- это про значение вероятностных переменных до опыта. В значении "используемое значение в тексте" не должно употребляется, потому что если в этот раз в тексте написано "New" для фразы "New York", это не значит, что теперь слово "New" будет больше соответствовать значению фразы "New York" (применяя теорему байеса) -- ведь в другой раз это слово может использоваться в другом значении! (И в любом случае, семантика -- это другой тип информации, его нельзя использовать как "знания".)