Без заголовка

Механистическое определение. Есть элементы входа и элементы выхода. Внимание -- это то, что связывает элементы входа с элементами выхода. Буквально, коэффициенты. Вот вы не замечаете цвет туфель девушки, но замечаете её глаза. ОК, туфли -- ноль, глаза -- единица. Дальше можно определять внимание как функцию (зависящую от, например, предварительного знания каких-то паттернов -- типа как "глаза важно, одежда неважно"). Вот: https://medium.com/@prakhargannu/attention-mechanism-in-deep-learning-simplified-d6a5830a079d