Como você avalia a qualidade da tradução entre GPT, Claude e DeepL?

Por que avaliar o desempenho de mecanismos de tradução não é tão simples

O desempenho do mecanismo de tradução varia significativamente de acordo com o par de idiomas, o tipo de conteúdo e o domínio. Um mecanismo de busca que produz textos de marketing eficazes em espanhol pode ter um desempenho inferior na documentação técnica em japonês. Um parâmetro de avaliação baseado apenas em conjuntos de testes públicos pode não refletir o conteúdo real da sua organização, o que significa que o vencedor em uma avaliação padronizada pode não ser o vencedor em produção.

Os três erros mais comuns na avaliação comparativa de traduções são: usar um conjunto de testes muito pequeno, aplicar critérios de avaliação diferentes a mecanismos diferentes e tratar uma execução de avaliação comparativa como uma decisão pontual em vez de uma medição contínua. A qualidade da tradução do LLM muda a cada atualização do modelo, o que significa que um mecanismo que estava em terceiro lugar há seis meses pode agora superar o líder anterior.

O que os métodos de pontuação automatizados realmente medem

BLEU (Estudante de Avaliação Bilíngue)

A pontuação BLEU mede a sobreposição entre uma tradução automática e uma tradução humana de referência, expressa por um valor entre 0 e 1. O BLEU é rápido e amplamente utilizado como referência, mas prioriza a correspondência superficial de palavras em vez da precisão semântica, o que significa que uma tradução fluente pode ter uma boa pontuação, enquanto uma tradução correta, porém com palavras diferentes, pode ter uma pontuação baixa. Para avaliações comparativas empresariais, o BLEU é útil como um filtro de primeira passagem, mas insuficiente como um sinal de qualidade independente.

MetricX e COMET

MetricX (Google) e COMET (Unbabel) são métricas de avaliação neural que utilizam modelos de linguagem para avaliar a qualidade da tradução, comparando o texto original, a saída da máquina e traduções de referência em diferentes dimensões semânticas. Ambos apresentam uma correlação mais forte com o julgamento humano do que o BLEU, particularmente na detecção de erros de fluência e mudanças de significado. Para programas empresariais queavaliam a tradução de LLM em larga escala, o MetricX e o COMET fornecem um sinal mais confiável do que o BLEU isoladamente.

Avaliação humana como camada de validação

Métricas automatizadas medem a qualidade da tradução em relação a uma referência. Avaliadores humanos verificam se uma tradução funciona no contexto, mantém a voz da marca e soa natural para um falante nativo. Para tipos de conteúdo de alto risco, a avaliação comparativa automatizada reduz as opções e a avaliação humana valida a opção vencedora antes que uma decisão sobre o roteiro de produção seja tomada.

Como executar um teste de desempenho de tradução que produza resultados práticos

• Construa um conjunto de testes representativo. Selecione de 200 a 500 strings de origem do seu conteúdo de produção real, abrangendo os pares de idiomas, tipos de conteúdo e domínios que você considera mais importantes. Um benchmark baseado em dados de teste públicos genéricos não prevê o desempenho de um mecanismo de busca em seus textos de marketing, artigos da central de ajuda ou textos da interface do usuário do produto.
• Execute sequências idênticas em cada mecanismo. Envie as mesmas sequências de dados de origem para GPT-4o, Claude 3.5 Sonnet, DeepL e quaisquer outros mecanismos em avaliação, sem diferenças de pré-processamento entre eles. A única maneira de isolar o desempenho do motor de outras variáveis é em condições controladas.
• Pontue usando MetricX ou COMET como métricas principais. Aplique a mesma pontuação a todos os resultados. Acompanhe as pontuações por par de idiomas e tipo de conteúdo, em vez de calcular a média de todos os resultados, pois as pontuações agregadas podem mascarar variações significativas entre os idiomas.
• Utilize sua memória de tradução e glossário antes de comparar. A qualidade da tradução empresarial depende, em parte, de quão bem um mecanismo de tradução se integra aos seus recursos linguísticos existentes. Compare os motores em condições que incluam seu glossário e a TM, em vez de avaliar o desempenho bruto do motor isoladamente.
• Plano para medição contínua. As capacidades de tradução do LLM mudam a cada nova versão do modelo. Uma execução de benchmark é um instantâneo em um determinado momento. Equipes que encaminham tarefas com base em dados contínuos de desempenho, em vez de uma única decisão de referência, mantêm uma qualidade melhor ao longo do tempo.

Como a Smartling lida com a avaliação comparativa e o roteamento do mecanismo de busca?

O AI Hub da Smartling avalia a qualidade da tradução em mais de 20 mecanismos de tradução automática e de linguagem natural, incluindo GPT-4o, Claude 3.5 Sonnet, DeepL, Amazon Bedrock, Google Vertex e outros. A equipe de IA da Smartling realiza testes comparativos regulares usando MetricX, COMET e BLEU para avaliar o desempenho do mecanismo em diferentes tipos de conteúdo e pares de idiomas. Os resultados alimentam o roteamento Auto Select da Smartling, que atribui cada string ao mecanismo de melhor desempenho para seu par de idiomas e tipo de conteúdo específicos, em vez de aplicar um único mecanismo universalmente.

Para equipes corporativas que desejam realizar suas próprias comparações, a plataforma da Smartling oferece suporte a perfis LLM configuráveis, permitindo que as equipes testem diferentes configurações de mecanismo em conteúdo de produção antes de definir uma regra de roteamento padrão.

Documento de ajuda: Smartling Auto Select MT

Documento de ajuda: Smartling Auto Select LLM

Questões relacionadas