O que é destilação de modelo de IA, como se faz e por que é quase impossível provar

Destilação é como quase todo modelo pequeno e rápido que você usa foi feito. Também é a acusação mais séria que um laboratório pode fazer contra outro. E é quase impossível provar. Esse guia explica os três pontos.

Toda vez que estoura uma briga entre laboratórios de IA, a palavra aparece: destilação. A Anthropic acusou a Alibaba no começo de 2026. A Casa Branca acusou a Moonshot essa semana de ter destilado o Fable pra construir o Kimi K3. E em toda discussão dessas alguém pergunta, com razão, por que ninguém simplesmente abre o modelo e confere.

A resposta curta é que não tem o que abrir. A resposta longa é esse texto. Vou explicar o que é destilação de modelo, como ela é feita na prática, por que é uma técnica absolutamente normal na maior parte dos casos, e por que a versão contestada dela é tão difícil de provar que a indústria desistiu de provar e passou a investir em impedir.

Destilação em uma frase: o modelo grande vira professor do pequeno

Destilação de conhecimento é o processo em que um modelo pequeno, chamado de aluno, aprende imitando as saídas de um modelo grande, chamado de professor. O aluno não vê os pesos do professor. Ele vê o que o professor responde, e treina pra responder parecido.

A ideia é dos anos 2010 e vem de um artigo do Geoffrey Hinton, Oriol Vinyals e Jeff Dean. A sacada original é linda de simples: quando um modelo classifica uma foto de cachorro, ele não devolve só “cachorro”. Ele devolve uma distribuição de probabilidade, tipo 92% cachorro, 5% lobo, 2% gato, 1% resto. Esse “5% lobo” carrega informação preciosa que o rótulo humano não tem: o modelo aprendeu que lobo e cachorro são parecidos.

Treinar o aluno nessa distribuição inteira, e não só no rótulo certo, ensina muito mais rápido. Hinton chamou isso de dark knowledge, o conhecimento escondido nas probabilidades que ninguém olhava.

Por que a técnica existe: treinar do zero custa bilhões e ninguém quer repetir

Modelo de fronteira em 2026 custa entre centenas de milhões e alguns bilhões de dólares pra treinar. Custa em GPU alugada, em energia, em salário de gente que ganha mais que jogador de futebol, e em tentativa que não deu certo e foi jogada fora.

Só que a maior parte dos casos de uso não precisa do modelo de fronteira. Precisa de um modelo que faça 90% do que o grande faz, rode em um décimo do custo e responda em um quinto do tempo. Destilar é o caminho mais barato pra chegar lá.

Por isso praticamente todo modelo pequeno que você usa passou por algum grau de destilação. Os Flash e Mini e Haiku e Lite da vida saem da mesma cozinha: pega o irmão grande, faz ele gerar montanhas de exemplos, treina o pequeno em cima. A conta fecha porque gerar dado sintético com o modelo grande custa muito menos do que treinar outro modelo grande do zero.

Como se destila na prática, passo a passo

Simplificando o suficiente pra dar pra acompanhar sem matemática:

1. Escolhe o professor. Um modelo grande e bom no domínio que interessa.
2. Monta o conjunto de perguntas. Pode ser dado real, pode ser sintético, pode ser uma mistura. Quanto mais parecido com o uso final, melhor.
3. Roda o professor em tudo. Guarda não só a resposta final, mas idealmente as probabilidades de cada token, os chamados logits.
4. Amolece a distribuição. Aplica uma temperatura maior nas probabilidades, que é o truque que faz o “5% lobo” ficar visível em vez de sumir perto do “92% cachorro”.
5. Treina o aluno com duas metas ao mesmo tempo: acertar a resposta certa e, principalmente, imitar a distribuição inteira do professor. A segunda meta é a que faz a mágica.
6. Avalia e repete nos casos em que o aluno ficou longe.

Tem uma pegadinha aqui que explica metade das brigas. O passo 3 na versão completa precisa dos logits, e API comercial não devolve logits. Quem destila de fora, via API de concorrente, só consegue o texto da resposta. Isso é chamado de destilação de sequência ou destilação caixa-preta, é bem menos eficiente que a versão com logits, e mesmo assim funciona bem o suficiente pra valer a pena. É essa versão que gera processo.

Os três níveis de destilação, do mais fraco ao mais forte

Nível 1, resposta. O aluno vê só o texto final que o professor gerou. É o que dá pra fazer com qualquer API. Barato, legal na parte técnica, e o que quase todo mundo faz com dado sintético hoje.

Nível 2, logits. O aluno vê a distribuição de probabilidade completa. Exige acesso mais profundo ao professor, normalmente porque o professor é seu. É bem mais eficiente por exemplo gerado.

Nível 3, representações internas. O aluno é treinado pra ter ativações parecidas com as do professor em camadas intermediárias. Só dá pra fazer com o modelo na sua mão. É o que os laboratórios fazem com os próprios modelos.

Quando alguém fala em roubo de modelo por destilação, está falando quase sempre do nível 1, e ocasionalmente do nível 2 se houve vazamento. O nível 3 exige os pesos, e se você tem os pesos do concorrente o problema já é bem maior que destilação.

Onde a destilação é legítima e onde ela vira briga

Destilar seu próprio modelo é rotina de engenharia. Ninguém questiona.

Destilar um modelo aberto com licença permissiva é legítimo, desde que a licença permita. Vale conferir, porque várias licenças de modelo aberto têm cláusula específica proibindo uso das saídas pra treinar concorrente.

Destilar o modelo de um concorrente via API, sem permissão, é onde mora a briga. E aqui vem o detalhe que muita gente não sabe: isso raramente é uma questão de direito autoral. É quebra de contrato. Os termos de uso da OpenAI, da Anthropic e do Google proíbem explicitamente usar as saídas pra treinar modelo competidor. Se você fez, você quebrou o contrato que aceitou ao criar a conta.

A diferença importa porque quebra de contrato tem remédio mais limitado que violação de propriedade intelectual, e porque contrato só vale contra quem assinou. Se um terceiro compra um dataset já destilado de outra pessoa, a corrente jurídica fica bem mais frágil.

Por que é quase impossível provar: peso de modelo não tem marca d’água

Aqui é o coração da coisa. Quando alguém copia código, você compara o código. Quando alguém copia uma música, você compara a partitura. Modelo destilado não se parece em nada com o professor no nível dos pesos.

Um modelo de 30 bilhões de parâmetros destilado de um de 2 trilhões tem arquitetura diferente, número de camadas diferente, tokenizador possivelmente diferente e valores numéricos que não guardam nenhuma relação reconhecível com os do professor. Não existe o equivalente a comparar arquivo com arquivo.

Sobra a forense comportamental. Investigador não olha o que o modelo é, olha o que o modelo faz. E as perguntas são estas:

• O aluno erra nos mesmos lugares esquisitos que o professor erra?
• O aluno recusa as mesmas coisas, com as mesmas palavras?
• O aluno formata resposta do mesmo jeito peculiar?
• O aluno se confunde sobre a própria identidade e diz o nome do professor?
• Estatisticamente, o aluno acha o texto do professor menos surpreendente do que deveria?

Esse último é o teste mais técnico e mais citado. Chama-se análise de entropia cruzada. Simplificando: você mede o quanto cada modelo se “surpreende” com um mesmo texto. Modelos que compartilham linhagem de treino surpreendem-se de maneira parecida. É o mesmo tipo de raciocínio que a estilometria usa pra descobrir autoria de texto anônimo.

O caso Kimi K3 e o Fable, que é o exemplo vivo dessa semana

Serve perfeitamente de estudo de caso, com a ressalva de sempre: é acusação, não é decisão judicial.

Michael Kratsios, diretor do Escritório de Política de Ciência e Tecnologia da Casa Branca, afirmou publicamente no dia 22 de julho que a Moonshot AI destilou o modelo Fable, da Anthropic, pra desenvolver o Kimi K3. É a primeira vez que um alto funcionário americano acusa um laboratório chinês específico de copiar um modelo americano específico.

O lado técnico da acusação tem duas pernas. A primeira é que o Kimi K3 foi documentado se identificando como Claude, assistente da Anthropic, em pelo menos uma conversa compartilhada. A segunda, mais robusta, é uma análise de entropia cruzada publicada por Ryan Greenblatt, cientista-chefe da Redwood Research, comparando respostas em texto puro entre vários modelos e encontrando que o K3 se diz Claude com frequência desproporcional quando perguntado sobre identidade.

O peso está na segunda perna. Um print de modelo se confundindo prova pouquíssimo, isso acontece direto. Um padrão sistemático medido contra uma linha de base de outros modelos é outro tipo de afirmação.

As explicações inocentes, que são muitas e enfraquecem qualquer certeza

Os próprios pesquisadores que publicaram a análise fizeram questão de listar as alternativas. Vale repetir, porque é aqui que a maioria das discussões na internet trava:

• Contaminação de dado da web. Transcrição de conversa com Claude está espalhada por Reddit, GitHub, blog, artigo e dataset público. Qualquer modelo treinado em varredura ampla da internet engole um tanto disso sem querer.
• System prompt residual. Exemplos copiados de tutoriais e prompts públicos frequentemente incluem instruções que dizem ao modelo que ele é o Claude.
• Vazamento de roleplay. Datasets de conversa incluem cenários em que o modelo interpreta outro assistente.
• Dataset comprado. Muita empresa compra dado sintético de fornecedor terceirizado e não sabe exatamente como aquilo foi gerado.

Nenhuma dessas explica sozinha um padrão estatístico forte. Todas juntas explicam bastante. Por isso a leitura honesta é a mesma que os pesquisadores deram: a análise é sugestiva e não é conclusiva, e quem tá afirmando certeza pros dois lados tá na frente da evidência.

O que a indústria faz já que não consegue provar: defesa em vez de perícia

A resposta prática dos laboratórios foi parar de tentar ganhar a perícia e começar a dificultar o ataque.

• Limite de taxa agressivo. Destilar exige milhões de chamadas. Quem chama demais, do mesmo jeito, com padrão sintético, acende alerta.
• Detecção de padrão de consulta. Usuário humano faz pergunta bagunçada. Pipeline de destilação faz pergunta sistemática, varrendo domínio por domínio.
• Termos de uso explícitos. Hoje todos proíbem treinar competidor com as saídas, o que transforma a disputa em contrato e não em prova técnica.
• Inteligência compartilhada. OpenAI, Anthropic e Google começaram no início de 2026 a trocar informação pra detectar tentativas coordenadas de destilação, o que é notável considerando que são concorrentes diretos.
• Marca d’água em saída. Existe pesquisa séria sobre embutir sinal estatístico invisível no texto gerado, que sobreviveria à destilação. Ainda não é padrão, e tem o efeito colateral de degradar levemente a qualidade.

O que falta, e faz falta, é um padrão técnico de proveniência. Algo que permita a um laboratório demonstrar linhagem de treino de forma auditável, do jeito que uma cadeia de custódia funciona em outros setores. Enquanto isso não existir, cada disputa vai terminar em empate por falta de prova.

Você usa modelo aberto chinês. Isso muda alguma coisa pra você?

Depende inteiramente do seu risco, não da técnica. Na prática:

1. Se você é dev solo ou startup pequena otimizando custo: não muda nada hoje. Não existe decisão legal restringindo uso, e a relação preço por desempenho dos modelos abertos continua sendo a melhor do mercado.
2. Se você tem contrato com governo, compliance de PI rígido ou aquisição no horizonte: proveniência contestada é exatamente o tipo de item que aparece em due diligence e trava. Documente sua posição por escrito antes, não depois.
3. Se você é de setor regulado: leve pro jurídico agora, com o problema descrito de forma neutra. Engenheiro não deve decidir sozinho questão de proveniência, deve escalar.
4. Em qualquer cenário, construa agnóstico a modelo. Camada de abstração entre seu código e o provedor resolve esse problema e mais uns dez, incluindo corte de preço, salto de capacidade e limite de capacidade.

As dúvidas que sempre aparecem sobre destilação

Se destilação é tão comum, por que a acusação contra a Moonshot é grave?
Porque a diferença não está na técnica, está no consentimento. Destilar seu próprio modelo é engenharia. Destilar o modelo de outro sem permissão quebra o contrato que você aceitou pra usar a API. A gravidade vem do contrato, não do método.

Um modelo destilado consegue superar o professor?
Em geral não em capacidade bruta, mas pode superar em domínio específico e quase sempre supera em velocidade e custo. E o Kimi K3 liderou uma arena de código contra o próprio modelo que teria sido destilado, o que mostra que o aluno bem treinado, com dado e pós-treino próprios, chega perto ou passa em recorte estreito.

Dá pra descobrir se um modelo foi destilado só conversando com ele?
Não de forma confiável. Perguntar “quem te fez” gera resposta errada por dez motivos banais. Só análise estatística em escala, contra linha de base de vários modelos, tem algum valor probatório, e mesmo assim é indício e não prova.

Marca d’água em texto resolveria a briga?
Ajudaria e não resolveria. Marca d’água estatística sobrevive mal a parafraseamento e a treino em cima de muitas saídas misturadas, que é justamente o cenário da destilação. Serve mais pra detectar cópia direta de texto do que pra provar linhagem de modelo.

Onde eu acho que essa história termina

Não termina em tribunal. Termina em padrão técnico ou não termina.

Enquanto a única evidência possível for comportamental, toda acusação vai render manchete, vai render ação diplomática, e vai morrer sem conclusão. Os dois lados vão sair convencidos de que ganharam. É o pior formato possível pra uma indústria que precisa de regra clara pra funcionar.

E tem uma ironia boa nisso tudo. Destilação existe porque conhecimento em rede neural é transferível de um jeito quase líquido, que é a mesma propriedade que faz esses modelos serem úteis. Não dá pra ter uma coisa sem a outra. Querer que a IA aprenda com tudo o que existe e ao mesmo tempo que ela seja impossível de copiar é querer as duas pontas do mesmo pedaço de pau.

Meu palpite é que a saída vai vir por proveniência criptográfica no pipeline de treino, com laboratório assinando o que usou, e não por perícia depois do fato. Vai demorar e vai ser chato. Mas é o único caminho que não depende de acreditar em quem gritou mais alto.

Você usaria um modelo aberto de proveniência contestada no seu produto, ou prefere esperar poeira baixar? Me conta o que pesa mais na sua decisão.

Fontes

• Build Fast with AI, AI News Today July 23 2026
• Glitchwire, análise estatística sobre o Kimi K3
• AOL, EUA acusam a Moonshot de usar o Fable da Anthropic
• Tom’s Hardware, Moonshot lança o Kimi K3 de 2,8 trilhões de parâmetros
• Hinton, Vinyals e Dean, Distilling the Knowledge in a Neural Network

ESCRITO PELA IA. REVISADO POR HUMANOS.