Reality Series: Ep7 - Compreendendo a metodologia MQM e a qualidade da tradução

Mergulhe nos mitos e nas realidades da estimativa e garantia da qualidade da tradução, conforme percebidas pelas lentes da metodologia MQM (Métricas de Qualidade Multidimensional). O MQM é um sistema abrangente projetado para avaliar e monitorar a qualidade do conteúdo traduzido. O MQM serve como uma estrutura padronizada de Garantia da Qualidade Linguística (LQA) para avaliar a qualidade da tradução em várias categorias. Avaliar traduções sob a estrutura MQM pode ajudar a identificar pontos fortes em seu processo de localização e oportunidades de melhoria.

Neste bate-papo ao lado da lareira, exploramos os erros comuns e as melhores práticas empregadas para garantir a melhor qualidade linguística. Descubra como a metodologia MQM pode capacitar gerentes de localização e linguistas a minimizar erros, remover a subjetividade e melhorar sua produção de tradução.

Nossos especialistas para esta sessão são:

• Olga Beregovaya | Vice-presidente de IA e tradução automática
• Valerie Dehant | Diretora sênior de serviços linguísticos
• Alex Yanishevsky | Diretor de implantações de IA e tradução automática

Qualidade da tradução: entendendo a metodologia MQM

O setor de tradução, como qualquer outro, prospera com qualidade. Mas como você avalia a qualidade das traduções? O sétimo episódio da “Reality Series” da Smartling forneceu informações valiosas sobre a qualidade da tradução. Aspectos essenciais que vão desde tradução automática (MT), tradução humana (HT) e estrutura MQM (Métricas de Qualidade Multidimensional) são usados para esclarecer essa questão complexa.

Mito: Um falante nativo pode avaliar a qualidade Os falantes começaram desmascarando o mito persistente de que qualquer falante nativo pode avaliar a qualidade da tradução. A medição da “qualidade da tradução” é, de fato, muito mais complexa. Na verdade, a avaliação da qualidade é bastante subjetiva, exigindo uma compreensão profunda do contexto e das nuances dos idiomas de origem e de destino.

Estrutura MQM O tópico principal da sessão foi a introdução da estrutura MQM (métricas de qualidade multidimensionais). Esse modelo se afasta das avaliações tradicionais de adequação e fluência, fornecendo um método mais objetivo para avaliar a qualidade da tradução. Ele leva em consideração fatores como adequação, fluência e acionabilidade, ao mesmo tempo em que incentiva a avaliação cega. Os palestrantes enfatizaram a importância da avaliação cega no MQM, na qual os avaliadores permanecem inconscientes se a tradução foi conduzida por um ser humano ou por uma máquina. Eles sublinharam o papel vital dessa técnica na eliminação de qualquer viés da avaliação.

Como o MQM difere dos métodos convencionais? Olga Beregovaya afirmou que tudo gira em torno da classificação e quantificação dos “erros de tradução”. No modelo MQM, os erros são categorizados e os pesos de severidade são atribuídos para calcular um índice de qualidade geral. Essa metodologia nos permite quantificar o conceito de qualidade de tradução, transformando-o em um valor numérico que pode ser utilizado para melhoria.

Os palestrantes abordaram outras métricas relevantes de avaliação do setor, como BLEU, TER e estimativa de qualidade com grandes modelos de linguagem (LLMs). Essas ferramentas, combinadas com a experimentação contínua com LLMs para estimativa de qualidade e avaliação semântica, aumentam significativamente nossa compreensão do comportamento do motor.

Olga Beregovaya trouxe à tona a diferença entre pontuação textual e semântica. A pontuação textual considera principalmente a diferença em caracteres ou palavras necessárias para fazer uma mudança, enquanto a pontuação semântica investiga as associações entre palavras e conceitos em frases. Ela também enfatizou a importância do envolvimento humano na identificação de exceções e exceções estatísticas de pontuação.

Alex Yanishevsky levantou a questão da qualidade dos dados no contexto da implantação de modelos de linguagem grande (LLMs). Ele afirmou que dados de alta qualidade são fundamentais e ressaltou a necessidade de capturar alucinações quando o modelo se desvia significativamente do significado real.

Arbitragem e KPIs Valérie Dehant enfatizou o papel da arbitragem na resolução de divergências entre linguistas e na obtenção de uma rotulagem consistente de erros. Ela destacou o papel fundamental da metodologia MQM na facilitação da arbitragem em cenários em que rótulos conflitantes de categorias de erro prejudicam o aprendizado do modelo. A capacidade exclusiva de arbitragem do MQM oferece uma distinção clara entre erros, permitindo um processo contínuo de treinamento de modelos.

Alex Yanishevsky observou que os indicadores-chave de desempenho (KPIs) para tradução automática e tradução humana são específicos para fins de conteúdo. Ele despertou interesse ao citar o engajamento emocional, a satisfação do usuário, as conversões e a resolução de tickets de suporte como possíveis KPIs, dependendo do tipo de conteúdo e de como ele foi atendido (MT ou HT).

Valérie Dehant apresentou o kit de ferramentas da Smartling que agiliza a criação de esquemas, registra erros e promove a colaboração entre avaliadores por meio de um painel, equipado com pontuações MQM, que fornece informações detalhadas sobre erros e possíveis áreas de melhoria. Essa análise granular dos erros facilita a elaboração de planos de ação para a melhoria da qualidade.

O veredicto Ao compreender a ciência por trás da qualidade da tradução e implementar a estrutura MQM, podemos abordar a avaliação da qualidade com um método padronizado e confiável. Além disso, o episódio sete reforça que a combinação de automação e análise humana é essencial para aprimorar modelos, identificar anomalias e aprimorar a escalabilidade do processo de avaliação. Assista ao episódio na íntegra acima!