Без заголовка

Ну, вообще, улучшение качества по сравнению с прошлой работой всего на 10%, а не в разы. За год. Что, конечно, замечательно, особенно, если бы такое улучшение ещё пару годиков происходило хотя бы. Но они произвели переоценку качества человека (кстати, то же самое два месяца назад сделал Baidu -- и тоже получил оценку качества в 1.5 раза хуже прошлых оценок!). Итого, по их цифрам, 5.9% -- это качество аннотаций среднего человека (количество ошибок по сравнению с эталонной базой). 11.3% -- то же самое, но на второй более шумной базе. Но я не удивлюсь, если у человека с более хорошим слухом ошибка уровня 2-3%, а у человека с более плохим -- на уровне 7-10%. Ну и посмотрите, что за ошибки эти люди и компьютеры там допускают -- много ошибок из-за неточности и неоднозначности разметки. Посмотрел бы я то же самое на более однозначном датасете, и особенно не на английском языке -- потому что, сдаётся мне, уже начинается подгонка под ответ.