Без заголовка

Ещё один перспективный вариант компресии — http://sites.skoltech.ru/app/data/uploads/sites/34/2015/07/tensorNet_nips2015_arXiv.pdf Матрица полносвязного слоя заменяется на тензорный поезд (авторы tensor train действительно имели в виду поезд), матричные операции заменяются на операции над тензорным разложением, позволяя не только получать низкоранговый результат на выходе, но и все промежуточные вычисления тоже требуют мало памяти (при сопоставимом времени). В результате можем иметь компрессию полносвязного слоя по памяти в 10'000 при незначительном падении качества.