Tudo o que está na internet e pode ser usado
para treinar os modelos já se esgotou
Os meses passam, e não há notícia de GPT 5,
de Claude 3.5, de Gemini 2. Os atuais LLMs, modelos de linguagem de grande
porte, estão na terceira geração. A expectativa da iminência de uma quarta é
grande — mas temos poucas pistas de como vai seu desenvolvimento. Ou ao menos
tínhamos poucas pistas. Na semana passada, três veículos de imprensa trouxeram
a informação de que há dificuldades nas três companhias — OpenAI, Anthropic
e Google.
Dificuldades que ninguém esperava.
Primeiro foi The Information, o site ultraespecializado que cultiva as melhores fontes no Vale do Silício. Orion, a nova versão do GPT, tem ficado superior à versão atual. Mas numa escala de melhoria bastante inferior. O salto da versão 2 para a 3 foi enorme, da 3 para a 4 maior. Esta 5 parece estar aquém. É razoavelmente melhor em texto, mas para código de programação não parece ser tão superior. Como a informação para o site foi em off, não há muitos detalhes.
Aí veio a Reuters. A agência britânica
entrevistou Ilya Sutskever, um dos fundadores da OpenAI, que deixou a companhia
neste ano. É um dos responsáveis diretos pela revolução de inteligência
artificial recente.
— A década de 2010 foi a era de ganhar escala
— ele afirmou. — Agora voltamos a um tempo de busca e descoberta. Melhorar a
coisa certa se tornou mais importante do que nunca.
A mensagem parece críptica, mas dá para
traduzir.
Quando cientistas do Google bolaram o modelo
Transformer, que permite a um computador se treinar para produzir textos, não
imaginavam que a técnica seria tão revolucionária quanto se mostrou. Então a
OpenAI pôs uma quantidade muito grande de textos para alimentar o treinamento
do GPT2. Ele parecia escrever como um ser humano. A versão seguinte foi ainda
mais convincente, treinada com uma quantidade ainda maior de textos. A hipótese
em que a indústria depositou todas suas fichas era uma premissa simples: quanto
mais textos se dá para um computador cada vez mais poderoso, mais “inteligente”
se torna o modelo.
Sutskever parece dizer que se encontrou o
limite da força bruta. Não adianta mais jogar muito texto e muito
processamento. Para tornar os modelos melhores, mais capazes de raciocínio,
será preciso descobrir outros truques no entorno.
Por fim, veio a Bloomberg. Informou, em
termos sucintos, que a OpenAI não está sozinha. Que tanto Google quanto
Anthropic, suas principais concorrentes, têm encontrado dificuldades
semelhantes.
O burburinho se espalhou rapidamente. Sam
Altman, CEO da OpenAI, se sentiu compelido a ir para o X. “Não há parede”, ele
escreveu. Só isso. Sucinto. Sundar Pichai também foi ao X ser igualmente
econômico nas palavras: “Há mais por vir”.
O debate é importante, e não há informação
suficiente para entender o que acontece. Muito do intenso debate sobre
inteligência artificial, nos últimos dois anos, se baseia na premissa de que é
só dar mais texto e mais processamento que, a cada volta, os modelos ficam
imensamente melhores. É assim que foi no passado. Mas nada garante que
continuará sendo no futuro. E ninguém conhece o teto para essa melhoria
continuada — nem sabe se há teto.
As grandes companhias do Vale do Silício vêm
apostando dinheiro como jamais fizeram nessa premissa. Gastos na base das
centenas de bilhões de dólares. Cada um desses modelos da geração que virá,
cada um unitariamente, custará ao todo US$ 10 bilhões só para treinar. Para
produzir o pacote bruto que ainda precisaria ser calibrado e ajustado, para
então se tornar um serviço comercial. Não conta o custo de uso, cada vez que
alguém faz uma pergunta.
Pode ser que o alarme seja falso. Ao menos
por enquanto, os CEOs mantêm o discurso de que tudo continua como dantes. É
possível que o problema seja outro: acabaram os textos fáceis de encontrar.
Tudo o que está na internet e pode ser usado para treinar os modelos já se
esgotou. Se for isso, virá o trabalho difícil. Negociar com editoras, com
veículos jornalísticos e com quem mais tiver grandes massas de textos fora da
internet os direitos autorais para poder usar.
De qualquer forma, há ansiedade na espera.
Quando vem a próxima geração?
Nenhum comentário:
Postar um comentário