Оценка качества переводов


The Presentation inside:

Slide 0

Оценка качества переводов от TQI к компетенциям Демид Тишин Бюро переводов «Окей» www.allcorrect.ru


Slide 1

О чём думают эти люди, глядя на текст перевода? 2


Slide 2

Клиент: Пойдёт или нет? Как бы придраться… 33


Slide 3

Менеджер по качеству: Пойдёт или нет? Как бы не придрались… 4


Slide 4

Менеджер по персоналу: Какую работу можно доверять этому исполнителю? Какую нельзя? Как быстро можно его обучить? 5


Slide 5

Менеджер проектов: Вернуть на доработку или самим исправить? 6


Slide 6

Для ответа на эти вопросы текст перевода нужно оценить 7


Slide 7

Оценка перевода: что в арсенале? Какие способы оценки перевода вы знаете? 8


Slide 8

Оценка перевода: что в арсенале? Субъективная оценка («хорошо-плохо») Автоматическое сравнение с «образцовым» переводом (BLEU и т.п.) Сравнение с оригиналом по набору параметров Взвешивание ошибок и подсчёт TQI 9


Slide 9

Субъективная оценка («хорошо-плохо») 10


Slide 10

Сравнение с оригиналом по набору параметров 11


Slide 11

Автоматическое сравнение с «образцовым» переводом Чем больше последовательностей слов совпадает в переводе и в образце, тем точнее перевод BLEU (BiLingual Evaluation Understudy ), ROUGE и др. Вводная статья о методике BLEU: Tomedes Blog http://blog.tomedes.com/measuring-machine-translation-quality/ 12


Slide 12

Автоматическое сравнение с «образцовым» переводом 13


Slide 13

Автоматическое сравнение с «образцовым» переводом 14


Slide 14

Взвешивание ошибок и подсчёт TQI Кто использует? Lionbridge, Aliquantum, Logrus, Palex и многие другие Существующие общедоступные системы: - SAE J2450 - ATA Framework for Standard Error Marking - LISA QA Model 3.1 Обзор систем типа TQI с рекомендациями по созданию собственной: http://www.aliquantum.biz/downloads.htm 15


Slide 15

Взвешивание ошибок и подсчёт TQI Необходимые компоненты системы: Классификатор ошибок Методика взвешивания ошибок Процедура проверки, дающая повторяемые и воспроизводимые результаты Проверяющий (компетентный и беспристрастный) Форма оценки 16


Slide 16

Взвешивание ошибок и подсчёт TQI 17


Slide 17

Взвешивание ошибок и подсчёт TQI 18


Slide 18

Взвешивание ошибок и подсчёт TQI 19


Slide 19

Взвешивание ошибок и подсчёт TQI TQI (Translation Quality Index) – это практический результат количественной оценки проверки качества перевода. ATA Framework: TQI = EP*(250/W) - BP SAE J2450: TQI = EP/W LISA QA Model: TQI = (1 - EP/W) * 100 где EP = Error Points, суммарное количество баллов ошибок W = количество слов в образце BP = Bonus Points, бонусные очки за отличный перевод (в системе ATA – максимум 3 балла) 20


Slide 20

Взвешивание ошибок и подсчёт TQI 21


Slide 21

Взвешивание ошибок и подсчёт TQI 22


Slide 22

Взвешивание ошибок и подсчёт TQI 23


Slide 23

Взвешивание ошибок и подсчёт TQI 24


Slide 24

Ни один из способов оценки перевода не отвечает на вопросы: Пойдёт или нет? Какую работу можно доверять этому исполнителю? Какую нельзя? Как быстро можно обучить исполнителя? Вернуть на доработку или самим исправить? Оценка перевода: что в арсенале? 25


Slide 25

Необходимо улучшить систему оценки перевода. Оценка перевода: что в арсенале? 26


Slide 26

Разделить все ошибки на 2 основных типа: Фактические = ошибка в обозначении объектов и явлений, их логических отношений, степени реальности и обязательности событий Коннотативные = несоответствие правилам, стандартам, требованиям и практике употребления, искажение эмоционально-стилистической информации и т.д. Улучшение 1: деление ошибок 27


Slide 27

Каждый элемент текста (слово, фраза, предложение) может нести одновременно: 1 коннотативную ошибку или 1 фактическую ошибку или 1 коннотативную ошибку и 1 фактическую ошибку одновременно Улучшение 1: деление ошибок 28


Slide 28

Случайная ошибка исполнителя (например, опечатка), которая приводит к искажению фактической информации, зачитывается как две (языковая и фактическая). Это позволяет указать исполнителю на невнимательность, а также учесть интересы клиента «Казнить, нельзя помиловать» / «Казнить нельзя, помиловать»: ошибка в запятой ? критическое искажение смысла Улучшение 1: деление ошибок 29


Slide 29

Виды компетенций: Компетенции восприятия Компетенции порождения Вспомогательные компетенции Улучшение 2: компетенции 30


Slide 30

Уровни компетенций: Неудовлетворительная = исполнитель не может выполнять соответствующую работу Базовая = может работать Продвинутая = может проверять / исправлять чужую работу либо обучать других людей Улучшение 2: компетенции 31


Slide 31

Компетенции восприятия: Правила языка оригинала Литературная компетенция в языке оригинала Компетенция в культуре языка оригинала Предметная компетенция Улучшение 2: компетенции 32


Slide 32

Компетенции порождения: Правила языка перевода Литературная компетенция в языке перевода Компетенция в культуре языка перевода Функциональный стиль перевода Улучшение 2: компетенции 33


Slide 33

Вспомогательные компетенции: Исследовательская компетенция Техническая компетенция Самоорганизация Коммуникация Защита информации Улучшение 2: компетенции 34


Slide 34

Улучшение 2: компетенции Пример ошибки: t2: Использован термин из другой области знаний Напр., в тексте о бурении: шпиндель ? spindle (правильно: stem или mandrel) Компетенции: Исследовательская = удовлетворительно Предметная = неудовлетворительно 35


Slide 35

Улучшение 2: компетенции 36


Slide 36

Улучшение 2: компетенции Клиент может формулировать чёткие и объективные требования к исполнителю По результатам оценки мгновенно видно, какие компетенции соответствуют целевым, а какие нет 37


Slide 37

Улучшение 3: роли Установить связи между компетенциями и ролями (функциями, которые может выполнять исполнитель в проекте) 38


Slide 38

Улучшение 3: роли Пример компетенций: Самоорганизация = удовлетворительно Предметная = удовлетворительно Правила языка оригинала = удовлетворительно Правила языка перевода = удовлетворительно Роль: Может переводить 39


Slide 39

Улучшение 3: роли 40


Slide 40

Улучшение 3: роли Менеджер по персоналу / менеджер проекта быстро распределяет роли и планирует рабочий процесс (workflow) ? экономия времени 41


Slide 41

Улучшение 4: допустимость ошибок В каждом отдельном случае клиент указывает, какие ошибки являются допустимыми, а какие – нет. Проверяющий заносит требования в проверочный список. Одна ошибка «недопустимого» типа в образце Провал текста с точки зрения клиента 42


Slide 42

Улучшение 4: допустимость ошибок 43


Slide 43

Улучшение 4: допустимость ошибок Оценка соответствует реальным потребностям клиентов (pass / fail) 44


Slide 44

Улучшение 5: обучаемость исполнителя Выделить в классификаторе 2 типа ошибок: Исправление требует минимального обучения / инструктажа; все ошибки в тексте может увидеть сам исполнитель Исправление требует значительного обучения; сам исполнитель не может обнаружить ошибки в тексте 45


Slide 45

Улучшение 5: обучаемость исполнителя Ошибки, которые требуют минимального обучения: Сбивка деления на разделы Пропуски текста Несоответствие числовых значений Несоответствие глоссарию / руководству по стилю Несоответствие справочной литературе Нарушение единства терминологии Нарушение региональных стандартов оформления Длина строки, тэги Очевидные языковые ошибки … 46


Slide 46

Улучшение 5: обучаемость исполнителя Ошибки, которые требуют значительного обучения: Понимание оригинала Предметная компетенция Чувство языка Культурные реалии … 47


Slide 47

Улучшение 5: обучаемость исполнителя 48


Slide 48

Улучшение 5: обучаемость исполнителя Какой процент ошибок требует минимального обучения? Менеджер проекта мгновенно принимает верное решение – возвращать на доработку или привлекать дополнительные ресурсы Экономия времени 49


Slide 49

Улучшение 5: обучаемость исполнителя Если все ошибки, влияющие на компетенцию, просты для исправления, компетенция оценивается двумя способами: Текущее состояние («как есть») Потенциальное состояние (после короткого обучения) 50


Slide 50

Заметки Исполнитель должен работать в нормальных условиях (достаточное время, рабочие инструкции) Образец должен ограничиваться одной основной тематикой в соответствии с классификатором Текст оригинала должен быть осмысленным и связным Необходимо различать ошибки и индивидуальные предпочтения исполнителей 51


Slide 51

Пример 52


Slide 52

Пример 53


Slide 53

Пример 54


Slide 54

Пример 55


Slide 55

Выгоды Улучшенная система оценки переводов отвечает на все вопросы: Пойдёт или нет? – pass / fail Какую работу можно доверять этому исполнителю? Какую нельзя? – компетенции и роли Как быстро можно обучить исполнителя? – потенциальные компетенции Вернуть на доработку или самим исправить? – доля ошибок, требующих минимального обучения 56


Slide 56

Выгоды Общий язык с клиентом (ошибки и компетенции) Экономия времени на тестировании исполнителей Планирование минимального и достаточного рабочего процесса Оптимальное использование ресурсов Сокращение сроков Повышение лояльности исполнителей (обратная связь и обучение) 57


Slide 57

будущее Обкатка системы Программная оболочка Интеграция с QA-инструментами 58


Slide 58

Спасибо! Вопросы? [email protected] 59


×

HTML:





Ссылка: