'

Оценка качества переводов

Понравилась презентация – покажи это...





Слайд 0

Оценка качества переводов от TQI к компетенциям Демид Тишин Бюро переводов «Окей» www.allcorrect.ru


Слайд 1

О чём думают эти люди, глядя на текст перевода? 2


Слайд 2

Клиент: Пойдёт или нет? Как бы придраться… 33


Слайд 3

Менеджер по качеству: Пойдёт или нет? Как бы не придрались… 4


Слайд 4

Менеджер по персоналу: Какую работу можно доверять этому исполнителю? Какую нельзя? Как быстро можно его обучить? 5


Слайд 5

Менеджер проектов: Вернуть на доработку или самим исправить? 6


Слайд 6

Для ответа на эти вопросы текст перевода нужно оценить 7


Слайд 7

Оценка перевода: что в арсенале? Какие способы оценки перевода вы знаете? 8


Слайд 8

Оценка перевода: что в арсенале? Субъективная оценка («хорошо-плохо») Автоматическое сравнение с «образцовым» переводом (BLEU и т.п.) Сравнение с оригиналом по набору параметров Взвешивание ошибок и подсчёт TQI 9


Слайд 9

Субъективная оценка («хорошо-плохо») 10


Слайд 10

Сравнение с оригиналом по набору параметров 11


Слайд 11

Автоматическое сравнение с «образцовым» переводом Чем больше последовательностей слов совпадает в переводе и в образце, тем точнее перевод BLEU (BiLingual Evaluation Understudy ), ROUGE и др. Вводная статья о методике BLEU: Tomedes Blog http://blog.tomedes.com/measuring-machine-translation-quality/ 12


Слайд 12

Автоматическое сравнение с «образцовым» переводом 13


Слайд 13

Автоматическое сравнение с «образцовым» переводом 14


Слайд 14

Взвешивание ошибок и подсчёт TQI Кто использует? Lionbridge, Aliquantum, Logrus, Palex и многие другие Существующие общедоступные системы: - SAE J2450 - ATA Framework for Standard Error Marking - LISA QA Model 3.1 Обзор систем типа TQI с рекомендациями по созданию собственной: http://www.aliquantum.biz/downloads.htm 15


Слайд 15

Взвешивание ошибок и подсчёт TQI Необходимые компоненты системы: Классификатор ошибок Методика взвешивания ошибок Процедура проверки, дающая повторяемые и воспроизводимые результаты Проверяющий (компетентный и беспристрастный) Форма оценки 16


Слайд 16

Взвешивание ошибок и подсчёт TQI 17


Слайд 17

Взвешивание ошибок и подсчёт TQI 18


Слайд 18

Взвешивание ошибок и подсчёт TQI 19


Слайд 19

Взвешивание ошибок и подсчёт TQI TQI (Translation Quality Index) – это практический результат количественной оценки проверки качества перевода. ATA Framework: TQI = EP*(250/W) - BP SAE J2450: TQI = EP/W LISA QA Model: TQI = (1 - EP/W) * 100 где EP = Error Points, суммарное количество баллов ошибок W = количество слов в образце BP = Bonus Points, бонусные очки за отличный перевод (в системе ATA – максимум 3 балла) 20


Слайд 20

Взвешивание ошибок и подсчёт TQI 21


Слайд 21

Взвешивание ошибок и подсчёт TQI 22


Слайд 22

Взвешивание ошибок и подсчёт TQI 23


Слайд 23

Взвешивание ошибок и подсчёт TQI 24


Слайд 24

Ни один из способов оценки перевода не отвечает на вопросы: Пойдёт или нет? Какую работу можно доверять этому исполнителю? Какую нельзя? Как быстро можно обучить исполнителя? Вернуть на доработку или самим исправить? Оценка перевода: что в арсенале? 25


Слайд 25

Необходимо улучшить систему оценки перевода. Оценка перевода: что в арсенале? 26


Слайд 26

Разделить все ошибки на 2 основных типа: Фактические = ошибка в обозначении объектов и явлений, их логических отношений, степени реальности и обязательности событий Коннотативные = несоответствие правилам, стандартам, требованиям и практике употребления, искажение эмоционально-стилистической информации и т.д. Улучшение 1: деление ошибок 27


Слайд 27

Каждый элемент текста (слово, фраза, предложение) может нести одновременно: 1 коннотативную ошибку или 1 фактическую ошибку или 1 коннотативную ошибку и 1 фактическую ошибку одновременно Улучшение 1: деление ошибок 28


Слайд 28

Случайная ошибка исполнителя (например, опечатка), которая приводит к искажению фактической информации, зачитывается как две (языковая и фактическая). Это позволяет указать исполнителю на невнимательность, а также учесть интересы клиента «Казнить, нельзя помиловать» / «Казнить нельзя, помиловать»: ошибка в запятой ? критическое искажение смысла Улучшение 1: деление ошибок 29


Слайд 29

Виды компетенций: Компетенции восприятия Компетенции порождения Вспомогательные компетенции Улучшение 2: компетенции 30


Слайд 30

Уровни компетенций: Неудовлетворительная = исполнитель не может выполнять соответствующую работу Базовая = может работать Продвинутая = может проверять / исправлять чужую работу либо обучать других людей Улучшение 2: компетенции 31


Слайд 31

Компетенции восприятия: Правила языка оригинала Литературная компетенция в языке оригинала Компетенция в культуре языка оригинала Предметная компетенция Улучшение 2: компетенции 32


Слайд 32

Компетенции порождения: Правила языка перевода Литературная компетенция в языке перевода Компетенция в культуре языка перевода Функциональный стиль перевода Улучшение 2: компетенции 33


Слайд 33

Вспомогательные компетенции: Исследовательская компетенция Техническая компетенция Самоорганизация Коммуникация Защита информации Улучшение 2: компетенции 34


Слайд 34

Улучшение 2: компетенции Пример ошибки: t2: Использован термин из другой области знаний Напр., в тексте о бурении: шпиндель ? spindle (правильно: stem или mandrel) Компетенции: Исследовательская = удовлетворительно Предметная = неудовлетворительно 35


Слайд 35

Улучшение 2: компетенции 36


Слайд 36

Улучшение 2: компетенции Клиент может формулировать чёткие и объективные требования к исполнителю По результатам оценки мгновенно видно, какие компетенции соответствуют целевым, а какие нет 37


Слайд 37

Улучшение 3: роли Установить связи между компетенциями и ролями (функциями, которые может выполнять исполнитель в проекте) 38


Слайд 38

Улучшение 3: роли Пример компетенций: Самоорганизация = удовлетворительно Предметная = удовлетворительно Правила языка оригинала = удовлетворительно Правила языка перевода = удовлетворительно Роль: Может переводить 39


Слайд 39

Улучшение 3: роли 40


Слайд 40

Улучшение 3: роли Менеджер по персоналу / менеджер проекта быстро распределяет роли и планирует рабочий процесс (workflow) ? экономия времени 41


Слайд 41

Улучшение 4: допустимость ошибок В каждом отдельном случае клиент указывает, какие ошибки являются допустимыми, а какие – нет. Проверяющий заносит требования в проверочный список. Одна ошибка «недопустимого» типа в образце Провал текста с точки зрения клиента 42


Слайд 42

Улучшение 4: допустимость ошибок 43


Слайд 43

Улучшение 4: допустимость ошибок Оценка соответствует реальным потребностям клиентов (pass / fail) 44


Слайд 44

Улучшение 5: обучаемость исполнителя Выделить в классификаторе 2 типа ошибок: Исправление требует минимального обучения / инструктажа; все ошибки в тексте может увидеть сам исполнитель Исправление требует значительного обучения; сам исполнитель не может обнаружить ошибки в тексте 45


Слайд 45

Улучшение 5: обучаемость исполнителя Ошибки, которые требуют минимального обучения: Сбивка деления на разделы Пропуски текста Несоответствие числовых значений Несоответствие глоссарию / руководству по стилю Несоответствие справочной литературе Нарушение единства терминологии Нарушение региональных стандартов оформления Длина строки, тэги Очевидные языковые ошибки … 46


Слайд 46

Улучшение 5: обучаемость исполнителя Ошибки, которые требуют значительного обучения: Понимание оригинала Предметная компетенция Чувство языка Культурные реалии … 47


Слайд 47

Улучшение 5: обучаемость исполнителя 48


Слайд 48

Улучшение 5: обучаемость исполнителя Какой процент ошибок требует минимального обучения? Менеджер проекта мгновенно принимает верное решение – возвращать на доработку или привлекать дополнительные ресурсы Экономия времени 49


Слайд 49

Улучшение 5: обучаемость исполнителя Если все ошибки, влияющие на компетенцию, просты для исправления, компетенция оценивается двумя способами: Текущее состояние («как есть») Потенциальное состояние (после короткого обучения) 50


Слайд 50

Заметки Исполнитель должен работать в нормальных условиях (достаточное время, рабочие инструкции) Образец должен ограничиваться одной основной тематикой в соответствии с классификатором Текст оригинала должен быть осмысленным и связным Необходимо различать ошибки и индивидуальные предпочтения исполнителей 51


Слайд 51

Пример 52


Слайд 52

Пример 53


Слайд 53

Пример 54


Слайд 54

Пример 55


Слайд 55

Выгоды Улучшенная система оценки переводов отвечает на все вопросы: Пойдёт или нет? – pass / fail Какую работу можно доверять этому исполнителю? Какую нельзя? – компетенции и роли Как быстро можно обучить исполнителя? – потенциальные компетенции Вернуть на доработку или самим исправить? – доля ошибок, требующих минимального обучения 56


Слайд 56

Выгоды Общий язык с клиентом (ошибки и компетенции) Экономия времени на тестировании исполнителей Планирование минимального и достаточного рабочего процесса Оптимальное использование ресурсов Сокращение сроков Повышение лояльности исполнителей (обратная связь и обучение) 57


Слайд 57

будущее Обкатка системы Программная оболочка Интеграция с QA-инструментами 58


Слайд 58

Спасибо! Вопросы? dtishin@allcorrect.ru 59


×

HTML:





Ссылка: