Комментарий
Интересное направление размышлений, поддерживаю. Про создание агрегатора с рабочим названием SOTA Index я думаю уже пару лет точно. Чтобы отслеживать capabilities frontier, да по различным осям: условно детектор объектов — традиционное может характеризоваться точностью и полнотой, но это только начало, дальше добавляем количество видов объектов и скорость работы, и поддержку разрешения всё больше и детали/parts и в 3д это всё, и чтобы модель машины с годом выпуска назвал и в пределе — вообще всё, что может человек-эксперт конкретно по изображённым на картинке предметам рассказать, вплоть до того что конкретный предмет известен и уникален своими царапинками. И так перемножив достижения по всем осям получаем какой процент "объёма" от предельного идеального решения текущие решения закрывают и куда ещё двигать. Конечно со временем и сами новые оси появляются (начали с детекции рамок объектов, продолжили сегментацией и т.д.).
Отчасти ведь и патентная система была в своё время задумана как такой репозиторий "соты", да только что-то пошло не так. Как убедить людей делиться и поддерживать это дело? Ведь зачастую сота — это содержимое головы людей, их неотчуждаемый опыт. Когда лучшие публичные решения — это часто академические поделки, оптимирующие свои метрики, а настоящая сота — только люди, которые могут всё это взять и в реальном продакшене сделать работающую систему кучей мелких доработок — от данных, до обвязки, решая реальную проблему/задачу, а не игрушечную. И делиться ей не будут, потому что и смысла нет (повторять для другой задачи всё равно придётся) и стимул в обратную сторону.