Без заголовка
Вовсе не желая притупить восторженность.
>-- работа с векторами в этом пространстве, которые неожиданно оказываются вполне семантичными -- отношениями! Например, отношения "столица - её страна", "объект мужского пола -- аналогичный объект женского пола". Более того, там оказывается линейность
Там оказывается линейность скорее из-за критерия оптимизации, раскладывающего признаки в линейную декомпозицию векторов в конкретном пространстве.
С другой стороны, есть основания полагать, что дети именно таким образом и решают задачи: "тётя + корона = ...", тесты на отношения между словами: "коза-капуста = волк-... ".
Вот ещё бы пообучать системы с большим словарём и размерностью в 10 раз большей на текущем железе...
p.s. Что там кстати говорят НЛП и разные модели психики про образ слов и понятий в голове?