Без заголовка

Я не очень вас понимаю. У вас есть одна видюшка, вы сможете ускорить что-либо? Это и имелось в виду под отсутствием резервов. Анатолий считает, что можно -- новыми алгоритмами или более эффективной реализацией на железе. Ну а если у вас сто видюшек, то конечно, проблем считать в 100 раз быстрее нет -- просто давайте им разные картинки/другие данные, и пусть каждая своё считает. (При попытке делить модель между ними возникают свои проблемы, но некоторое нелинейное ускорение тоже можно получить -- просто bandwidth большой и поэтому data locality имеет очень большое значение при подобном ускорении.)