Seu Índice de Qualidade indicava qualidade, mas o mercado dizia o contrário: insights da sessão da Smartling e da OpenAI na LocWorld55 Dublin.

Uma pontuação de qualidade indica se a tradução passou por uma verificação específica. Ele contabiliza erros, verifica limites e analisa o histórico. A empresa, no entanto, está perguntando algo diferente: estamos prontos para enviar isso para esse mercado?

Essa distinção é o ponto crucial que atravessa a maioria dos programas de localização empresarial atualmente, e foi o argumento central em uma das sessões mais concorridas do LocWorld55 Dublin. A sala estava lotada porque a inteligência artificial (IA) tornou o transporte mais rápido, mas o desafio agora é garantir que as práticas de confiabilidade, avaliação e implementação acompanhem esse ritmo. Afinal, é aí que as lacunas podem custar dinheiro de verdade e credibilidade no mercado para as equipes.

Na LocWorld55, Kathy Mok, Chefe de Localização da OpenAI, e Olga Beregovaya, Vice-Presidente de IA da Smartling, apresentaram em conjunto "Você lançaria isso?". Repensando a qualidade da tradução para a era da IA.

Olga Beregovaya (Smartling) e Kathy Mok (OpenAI) no palco do LocWorld55 Dublin.

Para aqueles que não estavam presentes, aqui estão as ideias que valem a pena levar de volta para o seu programa:

Quando o painel de instrumentos mente (mais ou menos)

Kathy começou apresentando um cenário que a maioria dos gerentes de localização reconhecerá imediatamente. Você lançou 100 idiomas rapidamente. O indicador de Métricas de Qualidade Multidimensional (MQM) está verde, os Acordos de Nível de Serviço (SLAs) foram cumpridos e todos os três idiomas ultrapassaram os limites estabelecidos. Então, os feedbacks começam a chegar: o pessoal de marketing do Japão diz que o material criativo não é bom o suficiente, um stakeholder de língua espanhola aponta que a chamada para ação (CTA) parece de baixa qualidade, e um gerente de produto de crescimento começa discretamente a procurar sua própria agência francesa.

O que incomoda é que o painel ainda mostra verde. A pontuação MQM não é o problema aqui, mas sim responder à pergunta para a qual foi criada: se a tradução passou por uma verificação linguística definida. A questão que a empresa está levanta é se essa experiência está pronta para um mercado real, com usuários reais que tomam decisões reais com base no que leem, e essas duas questões não são a mesma coisa. Tratá-las como equivalentes é exatamente o que faz com que traduções tecnicamente corretas produzam experiências comercialmente problemáticas.

Modelos de qualidade projetados para um mundo mais lento.

Isso não significa que a medição tradicional da qualidade esteja errada. Significa que foi projetado para um ritmo que já não existe. Atualmente, as marcas distribuem conteúdo globalmente em uma frequência diária, a tradução com inteligência artificial tornou-se a norma operacional e os fornecedores parceiros estão reestruturando seus fluxos de trabalho em tempo real para acompanhar o ritmo. Nesse contexto, a contagem de erros após a entrega torna-se, na melhor das hipóteses, um indicador defasado. Quando uma revisão de Garantia de Qualidade Linguística (LQA) confirma que algo estava errado, o conteúdo geralmente já está no mercado.

A questão mais profunda é estrutural. Os modelos de qualidade tradicionais pedem aos avaliadores que encontrem defeitos, mas não foram concebidos para questionar se um determinado defeito é relevante, para quem é relevante, em qual aspecto, em qual mercado e em qual nível de risco. Esse trabalho detalhado de marcação de erros tem sua utilidade, mas não prevê com precisão se uma campanha terá conversões, se uma mensagem de segurança será confiável ou se um fluxo de finalização de compra fará com que alguém abandone a transação por completo.

Apresentando a Shippability

Essa mudança é chamada de "envio": a prática de tratar a revisão de qualidade não como uma auditoria de defeitos retrospectiva, mas como uma decisão prospectiva de prontidão para o lançamento. A questão central muda de "quantos erros encontramos?" para "um usuário local confiaria nisso o suficiente para continuar?". Pode parecer uma pequena mudança na redação, mas as implicações operacionais são significativas.

Dessa forma, a função do avaliador muda completamente. Em vez de fiscalizar a linguagem com base em uma taxonomia, os revisores assumem a responsabilidade local por uma decisão de envio, avaliando quatro aspectos:

1. Significado (a intenção original permanece intacta?)
2. Adequação ao mercado (este produto é apropriado para este público-alvo e contexto específicos?)
3. Risco (induz ao erro, impede uma ação ou mina a confiança?)
4. Ação (o que acontece a seguir: lançar, aprimorar após o lançamento ou aguardar uma correção antes do lançamento)

Essa última dimensão é importante, porque sem um resultado claro e acionável, a capacidade de envio se torna apenas mais uma estrutura de qualidade abstrata que não muda nada na prática. As três chamadas de envio são projetadas para evitar exatamente isso: corrigir antes do envio, enviar e depois aprimorar, ou estar pronto para enviar. Cada um deles indica à equipe o que fazer, e não apenas como a tradução foi avaliada.

O limite se move conforme o mercado

Um dos argumentos mais úteis na prática apresentados na sessão é que a capacidade de envio não é um padrão universal. É uma abordagem que leva em consideração o risco, e o nível de risco adequado depende inteiramente do que está sendo traduzido e para quem se destina. Um artigo de baixa visibilidade em um centro de ajuda, uma manchete paga para aquisição de clientes, uma instrução de segurança e uma tela de preços representam quatro perfis de risco muito diferentes. Aplicar a mesma profundidade de análise a todos eles significa ou investir demais nos pontos que não justificam ou investir de menos nos que justificam.

Os perfis de mercado também alteram o limiar de maneiras significativas. Por exemplo, públicos cautelosos com a IA exigem sinais de maior confiança e um tom mais deliberado, enquanto mercados focados na utilidade priorizam a clareza da tarefa em detrimento do refinamento estilístico, e locais sensíveis à qualidade têm expectativas mais altas em relação à nuance e ao registro. As decisões de localização que funcionam bem para um determinado perfil de público podem ter um desempenho inferior para outro, e é por isso que a responsabilidade local pela definição da viabilidade de envio é tão importante quanto ter a estrutura em si.

Como a Smartling e a OpenAI colocaram isso em prática

Na segunda parte da sessão, Olga abordou a realidade operacional do que é realmente necessário para gerir um programa desta forma. A parceria entre a Smartling e a OpenAI começou em 20 localidades, expandiu-se para mais de 60 e agora opera com cobertura total em todo o ChatGPT e no conjunto completo de produtos da OpenAI. Essa escala, mantida nessa velocidade, é o verdadeiro teste de resistência para qualquer estrutura de qualidade.

O papel do tradutor teve que ser repensado quase que completamente. Dentro do modelo de capacidade de envio, um linguista não está processando strings em uma fila. Em vez disso, eles estão funcionando mais como um gerente de produto local, lendo o contexto completo sem preconceitos, avaliando-o em relação ao perfil do mercado e à estrutura de risco, e então tomando e registrando uma decisão clara. Essas decisões retroalimentam o sistema como sinais que informam o que pode ser automatizado, onde a revisão humana ainda influencia os resultados e o que precisa ser alterado no fluxo de trabalho subjacente ou no comportamento do modelo ao longo do tempo.

A Smartling criou uma superfície de trabalho projetada especificamente para dar suporte a esse modelo, minimalista, em linguagem simples e estruturada em torno das três chamadas de envio, em vez da categorização de erros tradicional. O design reflete diretamente a filosofia: sem tabelas de pontuação complexas, sem rotulagem elaborada de defeitos. A interface solicita aos revisores que leiam em seu contexto completo, avaliem de forma holística e tomem uma decisão. Essa simplicidade é intencional, pois a sobrecarga cognitiva na etapa de revisão é um dos fatores que tornam os programas mais lentos e diluem a qualidade do sinal retornado.

Começando sem uma reconstrução completa do programa

A sessão de perguntas e respostas trouxe à tona uma preocupação previsível: isso parece certo, mas por onde começar? Kathy recomendou começar com uma faixa de preço, um mercado, um tipo de conteúdo e uma pergunta alterada. Em vez de perguntar aos avaliadores quantos erros encontraram, pergunte se eles enviariam este produto para o mercado deles. Acompanhe as respostas em quatro categorias simples: 1) enviado; 2) ainda não; 3) motivo; e 4) qual ação foi desencadeada. Esse é o sinal, e ele é mais útil do que uma contagem granular de erros porque se relaciona diretamente a uma decisão de negócios.

A divisão da propriedade também é importante. A organização cliente define o contexto de negócios e o nível de risco desejado para cada tipo de conteúdo e mercado. O fornecedor parceiro é responsável por viabilizar o julgamento, designar os revisores adequados, criar fluxos de trabalho que possam operar no ritmo necessário e garantir que as ferramentas auxiliem na tomada de decisões claras, em vez de sobrecarregar os revisores com processos burocráticos. Ambas as partes precisam fazer a sua parte, porque as decisões sobre a viabilidade de envio exigem alguém que entenda o que está em jogo comercialmente e alguém que possa estruturar o programa para tomar essas decisões de forma consistente e em grande escala.

Os dados, mesmo de um projeto piloto modesto, começam a revelar o verdadeiro perfil de risco de um programa: onde as equipes estão revisando em excesso o conteúdo que não justifica a revisão, onde estão revisando de menos o conteúdo que justifica e como seria, na prática, uma estratégia de qualidade adequada ao ritmo real de entrega.

A pergunta que não quer calar

A sessão encerrou com uma analogia impactante sobre um restaurante: imagine que o cardápio pode ser traduzido corretamente, mas a questão não é se as palavras estão certas. A questão é se os clientes farão seus pedidos com confiança, acreditarão no que estão lendo e se sentirão à vontade o suficiente para voltar.

Uma frase um pouco estranha na descrição da sobremesa é um problema muito diferente de um mal-entendido sobre alérgenos. Ambos são tecnicamente erros, porém apenas um deles representa um risco suficientemente grave para impedir o lançamento. Conhecer a diferença e estruturar um programa de qualidade em torno dessa distinção é o objetivo da capacidade de envio.

A qualidade da localização não é uma questão de perfeição linguística. É um tema que aumenta a confiança no lançamento. A sessão da Smartling e da OpenAI na LocWorld55 apresentou esse argumento em termos concretos, com base em um programa real em execução em escala real. Se o seu processo de controle de qualidade atual não consegue responder de forma confiável se uma tradução está pronta para o mercado, esse é o ponto de partida mais útil.