Без заголовка

Конечно, нужно работать с многословными сочетаниями, но не факт, что там именно "словность" важна. Мне кажется, вдохновение может прийти из классических лингвистических наработок, если удастся их выразить в формате embeddings -- например, таких подходов, как http://www.ling.upenn.edu/~rnoyer/dm/ (идея, что буквы собираются слова и несут на себе какие-то клочки смысла так же, как слова в словосочетания, предложения и далее целые тексты -- правила/способ сборки не меняется в зависимости от уровня этой сборки).