Без заголовка

Это как посмотреть. Все же в системе энкодер-декодер ввделяют внутреннее кодированное компактное состояние и отличают его от информации на внешних входном-выходном слоях. Но конечно язык - более компактное описание, чем исходная пиксельная информация. То есть язык тоже выученная репрезентация мира. Кажется, именно в этом была суть гипотезы Хомского - что язык и есть та самая внутренняя репрезентация, которой пользуется мозг. Или по крайней мере предельно к ней близка. И вроде бы в ANN это точно не так.