Como medir e manter a qualidade da tradução automática em larga escala

A estratégia de negócios internacionais atual exige que o conteúdo transite entre idiomas em velocidades que teriam sobrecarregado as equipes de tradução em qualquer década anterior.

A tradução automática (TA) tornou-se essencial para a escalabilidade do conteúdo empresarial, mas a qualidade da tradução que oferece pode ser inconsistente.

A produção da tradução automática varia de acordo com o par de idiomas, o tipo de conteúdo e o fluxo de trabalho, mesmo dentro de um único projeto. Essa variação importa mais do que a pontuação média de qualidade, porque o tempo gasto corrigindo uma única inconsistência em um conteúdo de alta visibilidade anula os ganhos de eficiência que tornavam a tradução automática vantajosa.

Todo programa de localização empresarial enfrenta os mesmos dilemas ao adotar a tradução automática em larga escala: velocidade versus fluência, custo versus qualidade, escala versus controle.

Plataformas criadas para a governança da qualidade da tradução automática transformam resultados variáveis em traduções confiáveis por meio de controles terminológicos, processos de revisão automatizados e medição consistente.

A Smartling é uma dessas plataformas, e este artigo explica o que é, de fato, a qualidade da tradução automática, como medi-la e como mantê-la consistente à medida que o volume de conteúdo aumenta.

O que é qualidade de tradução automática?

A qualidade da tradução automática refere-se à precisão e naturalidade com que o conteúdo traduzido reflete o significado do texto original. Os indicadores de qualidade incluem precisão, fluência e consistência.

A qualidade da tradução automática varia de acordo com o par de idiomas, o tipo de conteúdo e a estrutura do fluxo de trabalho de tradução em torno de ambos.

Por exemplo:

• Conteúdo de marketing que exige adaptação tonal gera expectativas de qualidade diferentes daquelas da documentação técnica que exige precisão terminológica.
• Um par de linguagens com dados de treinamento abundantes produz uma saída de referência diferente de um par com dados limitados.

O que determina a qualidade da tradução automática?

Cinco fatores determinam se um mecanismo de tradução automática produz resultados utilizáveis para uma determinada tarefa.

Complexidade do par de idiomas. Algumas combinações de línguas, como inglês-espanhol e inglês-francês, possuem décadas de dados de treinamento de alta qualidade. Outros têm muito menos, e a qualidade da produção da tradução automática reflete essa diferença.

Tipo de conteúdo. A documentação técnica exige precisão terminológica. O texto de marketing precisa de adaptação de tom. O conteúdo jurídico precisa de ambos, além de fidelidade literal. A tradução automática, que não possui capacidade para nuances, não apresenta o mesmo desempenho nos três casos.

Disponibilidade de contexto. Mecanismos de tradução automática que conseguem acessar segmentos adjacentes, a estrutura do documento e o contexto visual produzem resultados melhores do que mecanismos que traduzem strings isoladamente.

Dados de treinamento Modelos treinados com dados específicos de domínio e de marca superam os mecanismos de busca de uso geral para conteúdo especializado.

Seleção do motor ou modelo. Confiar exclusivamente em tradução automática de propósito geral para todos os tipos de conteúdo e pares de idiomas não produzirá resultados consistentes e de alta qualidade. Os modelos de linguagem latente (LLMs), os mecanismos de tradução automática neural (NMT) ajustados com precisão e os modelos aumentados por RAG lidam com diferentes tipos de conteúdo de maneiras distintas. Em vez de optar pela tradução automática por padrão, escolher o modelo certo para cada tarefa garante uma qualidade de tradução superior.

Principais dimensões da qualidade da tradução automática

A qualidade da tradução automática pode se referir a diferentes fatores, dependendo de quem você pergunta e do que deu errado. Essas quatro dimensões abrangem o quadro completo, e qualquer uma delas, se não for gerenciada, torna-se o problema que define o projeto.

Precisão

A precisão mede se a tradução preserva o significado do texto original. Uma tradução fluente, porém imprecisa, é mais difícil de detectar na revisão do que uma tradução confusa, porém precisa, o que torna esses erros de maior risco.

Fluência

É na fluência que a tradução automática mais frequentemente revela suas deficiências. Gramática e escolha de palavras são o mínimo necessário. O problema mais difícil é o registro: um mecanismo que traduz corretamente, mas escreve como um manual quando o conteúdo exige algo mais coloquial, ou vice-versa.

Consistência

A consistência se quebra silenciosamente e em grande escala. O mesmo termo apresentado de três maneiras diferentes na interface do usuário de um produto, em um artigo de ajuda e em uma página de marketing mina a confiança dos usuários e gera retrabalho constante para a equipe.

Consciência do contexto

A percepção do contexto é o que diferencia um mecanismo que traduz palavras de um que traduz significados. Pronomes de gênero em alemão, um rótulo na interface do usuário que se lê de forma diferente dependendo da tela, ou uma frase que é idiomática em um mercado e sem sentido em outro exigem que o mecanismo interprete, e não apenas converta.

Como a Smartling reforça a consistência

A aplicação de glossários e a reutilização da memória de tradução (TM) mantêm a terminologia aprovada e a fraseologia previamente aprovada consistentes em todos os trabalhos. Uma vez aprovado, o Smartling aplica-o automaticamente na próxima vez que ele aparecer, independentemente de a tradução ser feita por meio de tradução automática, tradução por IA ou tradução humana por IA (AIHT).

O Smartling AI Translation Toolkit leva isso ainda mais longe. A inserção de termos no glossário por IA garante que as substituições se encaixem no contexto da sequência de caracteres e sejam gramaticalmente corretas, em vez de simplesmente substituir o termo.

As salvaguardas gramaticais são cruciais para línguas em que um termo do glossário precisa se flexionar de maneira diferente dependendo de sua posição na frase. A memória de tradução adaptativa por IA aumenta o aproveitamento da memória de tradução nos fluxos de trabalho de tradução automática, otimizando as correspondências disponíveis, de modo que a frase previamente aprovada seja mantida mesmo quando o conteúdo circundante for alterado.

Para conteúdos em que a consistência é mais importante do que a terminologia (ênfase no tom, registro ou voz da marca), a ferramenta de transcreation da Smartling mantém a memória de transcreation separada da memória de tradução. Consequentemente, as adaptações criativas não interferem nos fluxos de trabalho de tradução padrão nem introduzem inconsistências onde a precisão literal é necessária.

Como a qualidade da tradução automática é medida

A medição da qualidade da MT combina três abordagens. A maioria dos programas empresariais utiliza os três em diferentes pontos do fluxo de trabalho.

Avaliação humana

A avaliação humana baseia-se em linguistas treinados que revisam o conteúdo traduzido comparando-o com categorias objetivas de erros. A estrutura de Métricas de Qualidade Multidimensionais (MQM, na sigla em inglês) é o padrão da indústria para este trabalho.

Os revisores registram os erros por tipo, como precisão, fluência, terminologia, estilo e convenções locais, e por gravidade, como neutro, menor, maior ou crítico. O sistema calcula uma pontuação geral de qualidade com base em pesos de gravidade.

A Garantia de Qualidade Linguística (LQA, na sigla em inglês) agiliza a revisão humana durante a avaliação do MQM. O LQA é baseado em amostragem, o que significa que as equipes revisam uma amostra representativa do conteúdo traduzido para produzir uma medida aproximada da qualidade geral, em vez de inspecionar cada trecho de texto.

Métricas automatizadas

Métricas automatizadas como BLEU, COMET e TER comparam a saída da tradução automática com traduções de referência de forma algorítmica. Eles são executados em segundos, abrangem milhões de sequências de caracteres e produzem resultados numéricos consistentes.

Elas não se correlacionam perfeitamente com o julgamento humano, razão pela qual as métricas automatizadas funcionam melhor como sinais de alerta precoce do que como veredictos finais de qualidade.

Medição híbrida

A metodologia de avaliação híbrida combina a revisão humana de conteúdo amostrado com a pontuação automatizada de todo o conjunto de dados. As abordagens híbridas são as mais comuns na produção empresarial, pois equilibram a profundidade da medição com o custo da medição.

Como a Smartling possibilita a medição híbrida

O pacote LQA da Smartling lida com a avaliação humana estruturada. Linguistas avaliam traduções com base em esquemas personalizáveis compatíveis com MQM. O LQA atribui um nível de gravidade a cada erro, que contribui para uma pontuação geral de qualidade.

Os resultados são exibidos no Painel de Controle de Qualidade de Localização (LQA Dashboard) por período, localidade, projeto ou tarefa, oferecendo aos gerentes de localização uma visão estruturada e baseada em dados sobre o nível de qualidade atual e as áreas que estão apresentando deficiências.

Para equipes que executam tradução automática em grande escala, a amostragem por si só não é suficiente. O Agente de Estimativa de Qualidade da Linguagem (LQE) avalia automaticamente cada sequência de tradução automática, classificando-as como Alta, Média ou Baixa, com base no esforço de pós-edição previsto.

Em um fluxo de trabalho dinâmico, as strings de alta complexidade podem passar completamente despercebidas pela revisão humana; as strings de complexidade média são sinalizadas para edição leve. O esforço de revisão é direcionado para onde é necessário.

As duas ferramentas abrangem ambas as extremidades do problema de medição: sinal de corpus completo em cada string de tradução automática e avaliação humana estruturada em conteúdo amostrado. Ambas alimentam o Smartling Analytics, fornecendo às equipes os dados necessários para otimizar fluxos de trabalho, justificar decisões e responsabilizar os programas de qualidade ao longo do tempo.

Problemas comuns de qualidade na tradução automática

Cinco modos de falha surgem em programas de MT empresariais. A maioria dessas falhas são problemas de fluxo de trabalho, não problemas de modelo.

Traduções literais. Expressões idiomáticas, linguagem figurada e frases culturalmente específicas traduzem palavra por palavra em vez de por significado. Um "home run" torna-se uma referência ao beisebol em um idioma onde o beisebol não tem peso cultural.

Inconsistência terminológica. O mesmo termo da marca aparece com três traduções diferentes no mesmo site. O nome de um produto é traduzido em uma página e mantido em inglês em outra.

Erros gramaticais. A concordância de gênero, o tempo verbal e a ordem das palavras ficam incorretos em línguas com morfologia mais rica do que a língua de origem. Esses erros ocorrem quando os mecanismos de tradução automática não possuem contexto sobre o sujeito ou o objeto de uma frase.

Erros de contexto. Os pronomes se resolvem no antecedente errado. Os homógrafos transmitem uma ideia errada. Uma palavra que tem um significado em um documento legal é traduzida como se tivesse outro significado no sentido cotidiano.

Incompatibilidades culturais. Os níveis de formalidade, os honoríficos e as referências culturais não correspondem ao registro esperado pelo público.

Qualidade da tradução automática versus tradução humana

Tradução automática e tradução humana não são intercambiáveis. Eles oferecem conteúdo diferente com diferentes vantagens e desvantagens.

Nenhuma das duas abordagens é universalmente melhor. A pergunta certa para programas empresariais é qual conteúdo pertence a qual trilha e como encaminhá-lo automaticamente à medida que o volume aumenta.

O Smartling AutoSelect resolve o problema de roteamento avaliando o conteúdo no momento da tradução e enviando-o para o mecanismo de tradução automática, o mecanismo de aprendizado de máquina ou a etapa de fluxo de trabalho humano mais adequada. Se o mecanismo de tradução selecionado não conseguir produzir uma tradução de qualidade, o AutoSelect tenta novamente com a próxima melhor opção e, se necessário, recorre a uma etapa de intervenção humana no fluxo de trabalho.

Para equipes que desejam ainda mais controle, o AutoSelect oferece suporte a mecanismos de tradução automática personalizados em rotação, juntamente com provedores padrão. Isso significa que conteúdo específico de um domínio, como conteúdo jurídico, médico ou altamente técnico, pode ser direcionado para um mecanismo desenvolvido para ele, enquanto o conteúdo geral segue o caminho padrão. O resultado é uma camada de roteamento que se adapta à complexidade do conteúdo, em vez de aplicar um único mecanismo para tudo.

Como melhorar a qualidade da tradução automática

A qualidade da tradução automática melhora por meio de cinco táticas, cada uma abordando uma parte diferente do fluxo de trabalho.

Utilize glossários. A terminologia aprovada garante consistência entre as diferentes sequências de caracteres e entre as diferentes tarefas. Sem um glossário, o mesmo termo da marca pode ser apresentado de três maneiras diferentes dentro do mesmo conteúdo.

Forneça contexto. Metadados em nível de segmento, contexto visual e conteúdo circundante melhoram a precisão da tradução automática. Mecanismos de tradução que traduzem strings isoladamente não possuem as informações necessárias para resolver ambiguidades corretamente.

Utilize fluxos de trabalho híbridos. A pós-edição de tradução automática (MTPE) combina a saída da tradução automática com a revisão humana. O MTPE utiliza linguistas humanos para limpar os resultados brutos da tradução automática. Antes dessa etapa de revisão, o Agente de Pós-Edição com IA da Smartling verifica automaticamente a gramática, o tom e a precisão semântica — assim, o linguista corrige o que restou em vez de reconstruir tudo do zero.

Padronizar processos. Equipes que encaminham conteúdo por meio de fluxos de trabalho consistentes, utilizando o mesmo glossário, memória de tradução e etapas de revisão, obtêm qualidade consistente. Equipes que abordam cada projeto de forma diferente obtêm uma qualidade que reflete essa inconsistência.

Monitorar o desempenho. As amostras de LQA, a pontuação de LQE e os relatórios de tendências de erros mostram onde a qualidade está se deteriorando antes que isso se torne um problema para o cliente. Sem monitoramento, os problemas de qualidade só vêm à tona depois que alguém os sinaliza externamente.

Como a Smartling melhora a qualidade da tradução automática na prática

O agente de pós-edição com IA da Smartling é executado automaticamente na saída da tradução automática antes que ela chegue a um revisor humano, verificando gramática, tom e precisão semântica, e enriquecendo as traduções com seus recursos linguísticos para que o resultado final esteja mais próximo da versão publicável.

O linguista corrige o que resta em vez de reconstruir do zero. Em conjunto com o Agente de Estimativa de Qualidade da Linguagem (LQE), que classifica cada sequência de tradução automática como Alta, Média ou Baixa, com base no esforço previsto de pós-edição.

Como resultado, as equipes podem encaminhar as strings que precisam de atenção para revisão e publicar strings de alta confiança diretamente, sem tratar todas as strings da mesma forma, independentemente do risco real.

Como manter a qualidade em grande escala

Aumentar a qualidade da tradução automática é um problema diferente de melhorar uma única tradução. Em grande escala, a qualidade passa a ser uma função da confiabilidade com que o fluxo de trabalho aplica os controles de qualidade em milhares ou milhões de strings. Quatro princípios determinam se essa confiabilidade se mantém.

Padronização do fluxo de trabalho. O mesmo tipo de conteúdo percorre o mesmo fluxo de trabalho todas as vezes. O conteúdo de marketing percorre o fluxo de trabalho de marketing. O conteúdo de suporte percorre o fluxo de trabalho de suporte. A qualidade depende de quem é o proprietário de um determinado projeto.

Automação O conteúdo é transferido dos sistemas de origem para os fluxos de trabalho de tradução sem intervenções manuais. As aprovações são encaminhadas automaticamente. O conteúdo traduzido é devolvido ao sistema de origem sem ciclos de exportação e importação. Quando uma sequência de caracteres é alterada, o fluxo de trabalho detecta a mudança, e não um gerente de projeto verificando uma planilha.

Rastreamento centralizado da qualidade. As pontuações LQA, as distribuições LQE e as tendências de erros estão todas em um só lugar. As equipes identificam inconsistências entre idiomas e tipos de conteúdo antes que elas se acumulem em centenas de outras sequências de caracteres.

Melhoria contínua. Glossários, memórias de tradução e modelos de instruções são atualizados à medida que novos termos e padrões surgem. O nível de qualidade inicial aumenta com o tempo, em vez de permanecer estável ou se degradar à medida que o volume de conteúdo cresce.

Sem que os quatro princípios acima funcionem em conjunto, a qualidade em larga escala torna-se um problema de média — suficientemente boa no geral, mas deficiente nos casos específicos que mais importam.

Personio ilustra como essa mudança se concretiza na prática. A empresa de software de RH estava copiando manualmente o conteúdo original do Zendesk, enviando os arquivos por e-mail para uma agência de tradução e colando as traduções de volta. Esse processo funcionou bem com baixo volume de trabalho, mas não conseguiu ser escalado para outros idiomas sem aumentar o número de funcionários.

Após centralizar seu programa de localização na Smartling e introduzir a tradução automática para conteúdo de suporte, a equipe de educação de conteúdo da Personio espera economizar 40% de seu orçamento atual de tradução e reduzir o tempo de revisão interna em pelo menos metade. A tradução automática lida com o conteúdo de ajuda padronizado e de alto volume, enquanto a revisão humana lida com o que realmente precisa de revisão. A Personio está agora reinvestindo o orçamento em idiomas que a empresa não tinha condições de oferecer suporte anteriormente.

Riscos da baixa qualidade da tradução automática

Quando as equipes não gerenciam a qualidade da tradução automática, o impacto subsequente se manifesta em quatro pontos previsíveis.

Inconsistência da marca. Os nomes dos produtos, os slogans e a linguagem central da marca variam de mercado para mercado. Os clientes veem versões diferentes da mesma marca dependendo do site em que acessam.

Confusão do cliente. As descrições dos produtos, os artigos de suporte e os fluxos de finalização da compra geram instruções pouco claras nos idiomas de destino. Os clientes abandonam, fazem mau uso ou agravam a situação.

Questões de conformidade. Conteúdos regulamentados nas áreas jurídica, médica e financeira apresentam riscos quando as traduções omitem a linguagem necessária ou introduzem imprecisões. Algumas indústrias consideram erros de tradução como violações de conformidade.

Aumento do retrabalho. Problemas de qualidade surgem após a publicação e exigem correção manual. O custo de corrigir o conteúdo posteriormente excede o custo de traduzi-lo corretamente na primeira vez.

O que acontece sem sistemas de qualidade?

Programas de localização que operam sem sistemas de qualidade estruturados incorrem nos mesmos quatro padrões.

Resultados inconsistentes. A terminologia, o tom e a fraseologia variam de um conteúdo para outro porque não existem elementos ou regras comuns que os mantenham constantes.

Atrasos no controle de qualidade manual. A qualidade passa a depender de revisores individuais que detectam os problemas um de cada vez. O controle de qualidade se torna o gargalo que o restante do fluxo de trabalho deveria eliminar.

Falta de visibilidade. Ninguém responde a perguntas básicas sobre qualidade, incluindo onde ela é forte, onde está piorando e quais idiomas ou tipos de conteúdo apresentam maior risco.

Baixa escalabilidade. Adicionar idiomas e aumentar o volume de conteúdo multiplica a sobrecarga de coordenação, em vez de aproveitar recursos reutilizáveis. Cada novo local parece tão desafiador quanto o primeiro.

A qualidade da tradução automática é um problema sistêmico.

A qualidade da tradução automática é variável por natureza. A escolha do mecanismo de busca, o tipo de conteúdo, o par de idiomas e o design do fluxo de trabalho influenciam o resultado final, e nenhuma tática isolada produz qualidade consistente por si só.

Equipes bem-sucedidas dependem de um sistema, e não de treinamento de gestão de equipes isoladamente. Dentro desse sistema, fluxos de trabalho estruturados aplicam controles de qualidade consistentes em todas as tarefas. A automação move o conteúdo por esses fluxos de trabalho sem intervenções manuais. E a medição da qualidade mostra onde a produção é forte e onde está a diminuir.

A maioria das equipes corporativas possui partes dessa infraestrutura, e é aí que os problemas de qualidade se escondem. A Smartling preenche essa lacuna ao combinar fluxos de trabalho estruturados, automação e medição de qualidade em uma única plataforma, oferecendo às equipes um caminho repetível para a qualidade da tradução automática que se adapta ao volume de conteúdo, em vez do número de funcionários.

Se você quiser ver como a Smartling reúne tudo em uma única plataforma, agende uma demonstração.