Обсуждение

Ну есть там же "с участием испытателей людей". Получается "400 попугаев" у дипсика и спектр от максимума "800" у пары людей и нарастающего итога вниз по шкале. Лень немного все это пересчитать "в перцентильную шкалу", но по ней легко сказать "какое место среди районной элиты" занимает "свежескопированная очередная большая языковая модель".

В районе 860 "разделяемого" места занимает дипсик. Всего там 7283 участника. Дипсик в упорядоченном списке не ниже 1000го места. Следовательно "86 процентиль по информатике" среди всех школьников-олимпиадников.

Да всё равно. Через пару версий — на верхушке шкалы, там же вот такой прогресс. Рекорд нейросеток по Human's Last Exam — 26% у OpenAI и 20% у perplexity. Всё быстро.