Без заголовка

Я так понимаю, что у вас потоковая задача. Узкое место - пропускная способность памяти. А она не так быстро растет, как флопсы. Отсюда как раз и вытекает необходимость кэша. Скорее всего, на ваших задачах проц больше отдыхает в ожидании данных, а не молотит цифры.