Без заголовка

Загрузить и использовать несколько моделей на одной GPU карте и сейчас возможно. Там нет изоляции и жесткого разделения вычислительных ресурсов, нет защиты одной модели от другой и поэтому на одной карте нельзя будет безопасно запускать модели разных пользователей. Если же требований к защите нет, то дополнительной ОС или виртуализации на уровне карты не требуется, то параллельную работу нескольких моделей обеспечивает ОС самого сервера.