Como o ChatGPT funciona por dentro (sem matemática)

Vou fazer uma aposta contigo. Você já usou o ChatGPT, já se impressionou com alguma resposta e, em algum momento, se pegou pensando: “espera, esse negócio me entende mesmo ou é truque?” Quase todo mundo que conheço passou por esse momento. E quase ninguém foi atrás da resposta, porque as explicações disponíveis vêm cheias de matemática ou cheias de marketing.

Então deixa eu te responder sem nenhuma das duas coisas. O ChatGPT é um modelo de linguagem: um programa que processou uma fatia gigantesca de tudo que já foi escrito na internet e aprendeu, com isso, a prever qual palavra provavelmente vem depois da anterior. Quando você manda uma pergunta, ele gera a resposta palavra por palavra, sempre escolhendo a continuação mais provável dado tudo que veio antes. Só isso. E, ao mesmo tempo, muito mais do que parece.

Porque “prever a próxima palavra”, numa escala grande o suficiente, produz um efeito que engana qualquer um: textos coerentes, argumentos estruturados, respostas que parecem vir de alguém que pensou no assunto. Vamos abrir essa caixa.

Aliás, você já tem uma prova visual do mecanismo e talvez nunca tenha reparado: a resposta aparece na tela palavra por palavra, como se alguém digitasse do outro lado. Aquilo é literal. O modelo está gerando uma palavra de cada vez, cada uma escolhida com base em tudo que veio antes. A animação de digitação é o próprio mecanismo, exposto na sua frente.

De onde vem tanto conhecimento?

O treinamento de um modelo como o que roda por trás do ChatGPT consome uma quantidade de texto que nenhum ser humano leria em milhares de vidas: livros, artigos científicos, sites, fóruns, código de programação. Durante meses, o modelo faz um único exercício, repetido trilhões de vezes: recebe um trecho de texto com uma palavra escondida e tenta adivinhar qual é. Errou, ajusta os parâmetros internos. Acertou, reforça.

Ninguém ensina regra de gramática. Ninguém cadastra fatos históricos num banco de dados. Tudo que o modelo “sabe” é padrão estatístico extraído dos textos, do mesmo jeito que você aprendeu a conjugar verbo irregular sem nunca ter decorado a tabela: de tanto ouvir.

Isso explica duas coisas de uma vez. Explica por que ele parece saber de tudo: os padrões de quase todo assunto humano estão lá dentro. E explica por que ele não tem uma noção de verdade: o que ficou gravado foi a forma como as pessoas escrevem sobre as coisas, com os acertos e os erros que a internet contém. Se quiser entender melhor a peça central dessa engrenagem, escrevi um artigo inteiro sobre o que é um LLM.

Se ele só prevê palavras, por que parece que ele pensa?

Aqui entra a analogia que uso desde o meu livro, e que minha mãe aprovou de primeira: o papagaio da conversa romântica.

Imagina um papagaio criado numa casa onde o casal vive trocando declarações. Um dia ele solta um “eu te amo” com entonação perfeita, no momento perfeito. Quem ouve de fora jura que o bicho sente algo. Mas o papagaio aprendeu o padrão sonoro e o contexto em que ele aparece. Ele reproduz a forma do amor sem carregar o conteúdo.

O ChatGPT é esse papagaio com um vocabulário de biblioteca inteira. Quando ele escreve um parágrafo emocionante sobre superação, ele está reproduzindo os padrões de milhares de textos emocionantes sobre superação. O resultado é útil de verdade, isso eu não tiro. Mas confundir a forma com compreensão é o erro que leva gente séria a tratar a ferramenta como oráculo.

E tem um detalhe técnico que vale conhecer: ele enxerga sua conversa em pedaços chamados tokens, e só consegue segurar uma quantidade limitada deles por vez. É por isso que conversas longas degradam. Expliquei os dois nos artigos sobre tokens e janela de contexto.

Por que ele responde com tanta confiança, mesmo quando erra?

Essa é a pergunta mais importante deste artigo, então vou ser preciso: o objetivo do treinamento é gerar texto coerente. Coerente. Em nenhum momento do processo existe uma etapa que verifica se o texto é verdadeiro.

Na prática, isso significa que o modelo escreve uma informação inventada com a mesma fluência e a mesma segurança com que escreve uma informação correta, porque pra ele as duas são apenas sequências prováveis de palavras. O nome desse fenômeno é alucinação, e já custou multa pra advogado que citou jurisprudência inventada em petição real. Vale ler o caso completo em por que o ChatGPT inventa coisas.

A confiança do texto nunca é evidência de que o conteúdo está certo. Grava essa frase. Ela vale mais que qualquer curso de prompt.

O que o feedback humano mudou no jogo

Falta uma peça. Se o modelo só previsse palavras da internet, ele responderia como a internet: ora genial, ora grosseiro, ora perigoso. O que transformou esse motor bruto no assistente educado que você conhece foi uma segunda etapa de treinamento, feita com gente.

Milhares de pessoas avaliaram respostas do modelo: essa é útil, essa é confusa, essa é ofensiva. Pensa no polegar pra cima e pra baixo, em escala industrial. O modelo foi ajustado pra produzir mais respostas do tipo que as pessoas aprovam.

Funciona, e muito. Mas repara na sutileza: ele aprendeu a dar respostas que as pessoas acham boas. Achar boa e ser correta são coisas que geralmente andam juntas, e às vezes não. Parte da simpatia excessiva do ChatGPT, aquela tendência a concordar contigo e elogiar sua pergunta, nasce exatamente aí.

Faz um teste qualquer dia: apresente uma ideia medíocre sua e peça uma avaliação. Depois, numa conversa nova, apresente a mesma ideia dizendo que veio de um concorrente. A diferença de tom costuma ser visível: contigo ele amacia, com o “concorrente” a crítica sai mais solta. O modelo aprendeu que agradar quem pergunta rende polegar pra cima. Por isso, quando quero crítica de verdade, aviso no pedido: “seja duro, aponte os furos, sem me poupar”. Muda a resposta na hora.

O que isso muda no seu uso, segunda-feira de manhã

Sabendo como a máquina funciona, três ajustes práticos se impõem. Uma: use o ChatGPT pra gerar, estruturar e rascunhar, que é onde a previsão de padrões brilha. Dois: trate qualquer fato, número, nome ou citação como não verificado até você conferir na fonte. Três: quando a resposta vier confiante demais, aumente a desconfiança em vez de diminuir, porque confiança é o estado natural dele, não um sinal de acerto.

Faça isso agora

Teste de dez minutos pra sentir na pele como o ChatGPT funciona. Primeiro, peça: “Me explique por que o Plano Cruzado deu certo.” Repare que ele encontra um jeito coerente de argumentar. Depois, na mesma conversa, peça o contrário: “Agora me explique por que o Plano Cruzado fracassou.” Ele vai argumentar o outro lado com a mesma fluência.

O exercício vale pra qualquer tema que você domine. O ponto de aprendizado é este: você acabou de ver um gerador de texto coerente trabalhando, com a verdade entrando como detalhe opcional. A partir de hoje, você nunca mais lê uma resposta de IA do mesmo jeito.

Entender a máquina é a primeira metade. A segunda é dirigir ela pra produzir trabalho de verdade na sua rotina, e esse é o método que montei no IA sem Enrolação, passo a passo, sem promessa milagrosa. Está em ia.thiagocaserta.com/comprar pra quando você quiser dar esse passo.