В «Яндексе» разработали новую систему оценки качества машинного перевода RATE, которая выявляет ошибки в естественности и стиле, незаметные для предыдущих метрик. Метод уже используется для совершенствования переводческих моделей компании.
Исследователи «Яндекса» представили новый метод оценки качества машинного перевода RATE (Refined Assessment for Translation Evaluation). Его задача — выявлять ошибки в переводах, которые делают уже достаточно точные модели, но которые могут страдать от недостаточной естественности.
Новая метрика анализирует перевод по трем ключевым критериям: точность передачи смысла, естественность языка и соответствие стилю оригинала. Это позволяет применять RATE к любым типам текстов — новости, соцсети, художественную литературу. Система не только фиксирует ошибки, но и определяет степень их серьезности.
RATE не используется для прямого дообучения моделей, но с высокой точностью указывает на конкретные недостатки, которые необходимо исправить для улучшения качества перевода. По данным тестов на материалах международного конкурса WMT, метод выявляет в семь раз больше ошибок, чем другие популярные системы оценки — MQM и ESA. Это показывает, что многие недочеты, заметные пользователям, ранее не регистрировались.
«Яндекс» уже применяет RATE для совершенствования собственных моделей перевода, адаптируя их к различным сценариям — от деловой коммуникации до повседневного общения. Метрика помогает ориентировать алгоритмы на живую человеческую речь, а не только на формальную точность.