A entrevista reveladora de Dario Amodei, um dos primeiros funcionários da OpenAI

Dario Amodei, cofundador e CEO da Anthropic, compartilha suas percepções sobre a trajetória explosiva da inteligência artificial. Amodei, que já foi parte integrante da equipe da OpenAI em 2018, reflete sobre suas experiências iniciais com modelos de IA, destacando como a ampliação de dados levou a melhorias exponenciais nas capacidades desses sistemas. Atualmente liderando a Anthropic, ele discute o lançamento do modelo Claude 3, amplamente reconhecido como um dos mais avançados disponíveis. Com uma visão otimista, ele sustenta que a inteligência artificial continua a seguir uma curva de crescimento exponencial, posicionando-nos agora na fase mais íngreme dessa ascensão.

Leia também: E se Dario Amodei estiver certo sobre a IA?

EZRA KLEIN: Da opinião do New York Times, este é “The Ezra Klein Show”.

O que é realmente desorientador em conversar com as pessoas que estão construindo a IA é a alteração da noção do tempo. Você está sentado lá discutindo algum mundo que parece uma ficção científica estranha de se falar, e então você pergunta, bem, quando você acha que isso vai acontecer? E eles dizem, não sei – dois anos.

Por trás dessas previsões estão as chamadas leis de escala. E as leis de escalonamento — e quero dizer isso claramente — não são leis. São observações. São previsões. Eles são baseados em alguns anos, não em algumas centenas ou mil anos de dados.

Mas o que eles dizem é que quanto mais poder computacional e dados você alimenta os sistemas de IA, mais poderosos esses sistemas se tornam – que a relação é previsível e, mais ainda, que a relação é exponencial.

Os seres humanos têm dificuldade em pensar em exponenciais. Pense na Covid, quando todos nós tivemos que fazer isso. Se você tiver um caso de coronavírus e os casos dobrarem a cada três dias, depois de 30 dias, você terá cerca de 1.000 casos. Essa taxa de crescimento parece modesta. É administrável. Mas então você passa mais 30 dias e tem um milhão. Aí você espera mais 30 dias. Agora você tem um bilhão. Esse é o poder da curva exponencial. O crescimento parece normal por um tempo. Então fica fora de controle muito, muito rapidamente.

O que os desenvolvedores de IA dizem é que o poder dos sistemas de IA está neste tipo de curva, que tem aumentado exponencialmente as suas capacidades, e que enquanto continuarmos a alimentar mais dados e mais poder de computação, continuará a aumentar exponencialmente. .Essa é a hipótese da lei de escala, e um dos seus principais defensores é Dario Amodei. Amodei liderou a equipe da OpenAI que criou o GPT-2, que criou o GPT-3. Ele então deixou a OpenAI para co-fundar a Anthropic, outra empresa de IA, onde agora é o CEO. E a Anthropic lançou recentemente o Claude 3, que é considerado por muitos como o modelo de IA mais forte disponível no momento.

Mas Amodei acredita que estamos apenas começando, que estamos apenas atingindo a parte íngreme da curva agora. Ele acha que os tipos de sistemas que imaginamos na ficção científica não chegarão em 20 ou 40 anos, nem em 10 ou 15 anos, mas em dois a cinco anos. Ele acha que eles serão tão poderosos que não se deve confiar nele e em pessoas como ele para decidir o que farão.

Então pedi a ele neste programa que tentasse responder mentalmente a duas perguntas. Primeiro, ele está certo? Em segundo lugar, e se ele estiver certo? Quero dizer que, no passado, fizemos shows com Sam Altman, chefe da OpenAI, e Demis Hassabis, chefe do Google DeepMind. E vale a pena ouvir esses dois se você achar isso interessante.

Colocaremos os links para eles nas notas do programa porque comparando e contrastando como eles falam sobre as curvas de IA aqui, como eles pensam sobre a política – você ouvirá muito sobre isso no episódio de Sam Altman – isso dá a você uma espécie de noção do que as pessoas que constroem essas coisas estão pensando e como talvez elas sejam diferentes umas das outras.

Como sempre, meu e-mail para reflexões, comentários e sugestões de convidados – ezrakleinshow@nytimes.com.

[MÚSICA, TOCANDO]

Dario Amodei, bem-vindo ao show.

DARIO AMODEI: Obrigado por me receber.

EZRA KLEIN: Portanto, existem dois ritmos muito diferentes nos quais estive pensando com a IA. Um deles é a curva da própria tecnologia, a rapidez com que ela está mudando e melhorando. E a outra é o ritmo a que a sociedade vê e reage a essas mudanças. Como foi esse relacionamento para você?

DARIO AMODEI: Acho que este é um exemplo de um fenômeno que podemos ter visto algumas vezes antes na história, que é que existe um processo subjacente que é suave e, neste caso, exponencial. E então há um transbordamento desse processo para a esfera pública. E o transbordamento parece muito pontiagudo. Parece que está acontecendo de repente. Parece que surge do nada. E é desencadeado por coisas que atingem vários pontos críticos ou apenas porque o público estava envolvido em um determinado momento.

Então, acho que a maneira mais fácil de descrever isso em termos de minha própria experiência pessoal é: trabalhei na OpenAI por cinco anos e fui um dos primeiros funcionários a ingressar. E eles construíram um modelo em 2018 chamado GPT-1, que usava cerca de 100.000 vezes menos poder computacional do que os modelos que construímos hoje.

Eu olhei para isso, e eu e meus colegas estávamos entre os primeiros a executar o que chamamos de leis de escala, que basicamente estuda o que acontece quando você varia o tamanho do modelo, sua capacidade de absorver informações e a quantidade de dados que você alimente-o. E encontramos esses padrões muito suaves. E tínhamos esta projeção de que se você gastasse US$ 100 milhões, US$ 1 bilhão ou US$ 10 bilhões nesses modelos, em vez dos US$ 10 mil que estávamos gastando naquela época, projeções de que todas essas coisas maravilhosas aconteceriam, e imaginamos que elas teriam enorme valor económico.

Avançando para cerca de 2020. O GPT-3 acabara de ser lançado. Ainda não estava disponível como chatbot. Liderei o desenvolvimento disso junto com a equipe que acabou saindo para ingressar na Anthropic. E talvez durante todo o período de 2021 e 2022, embora continuássemos a treinar modelos cada vez melhores, e a OpenAI continuasse a treinar modelos, e o Google continuasse a treinar modelos, houve surpreendentemente pouca atenção do público aos modelos.

E eu olhei para isso e disse, bem, esses modelos são incríveis. Eles estão ficando cada vez melhores. O que está acontecendo? Por que isso não está acontecendo? Poderia ser este o caso em que eu estava certo sobre a tecnologia, mas errado sobre o impacto económico, o valor prático da tecnologia? E então, de repente, quando o ChatGPT foi lançado, foi como se todo aquele crescimento que você esperaria, todo aquele entusiasmo ao longo de três anos, irrompeu e veio correndo.

EZRA KLEIN: Quero, portanto, deter-me nesta diferença entre a curva em que a tecnologia está a melhorar e a forma como está a ser adoptada pela sociedade. Então, quando você pensa sobre esses pontos de ruptura e pensa no futuro, que outros pontos de ruptura você vê chegando onde a IA irrompe na consciência social ou é usada de uma maneira diferente?

DARIO AMODEI: Sim, acho que devo dizer primeiro que é muito difícil prever isso. Uma coisa que gosto de dizer é a tecnologia subjacente, porque é uma exponencial suave, não é perfeitamente previsível, mas, de certa forma, pode ser assustadoramente sobrenaturalmente previsível, certo? Isso não é verdade para essas funções escalonadas sociais. É muito difícil prever o que vai pegar. De certa forma, parece um pouco como qual artista ou músico vai pegar e chegar ao topo das paradas.

Dito isto, algumas ideias possíveis. Acho que um está relacionado com algo que você mencionou, que é interagir com os modelos de uma forma mais naturalista. Na verdade, já vimos um pouco disso com Claude 3, onde as pessoas sentem que alguns dos outros modelos parecem robôs e que conversar com Claude 3 é mais natural.

Acho que algo relacionado a isso é que muitas empresas foram prejudicadas ou atrapalhadas pela forma como seus modelos lidam com temas controversos. E acho que realmente fomos capazes de fazer um trabalho melhor do que outros ao dizer ao modelo, não hesite em discutir temas polêmicos. Não presuma que ambos os lados têm necessariamente um ponto de vista válido, mas não expresse você mesmo uma opinião. Não expresse opiniões flagrantemente tendenciosas. Como jornalistas, vocês se deparam com isso o tempo todo, certo? Como posso ser objetivo, mas não os dois lados em tudo?

Então, acho que ir mais longe nessa direção de modelos que tenham personalidade e ao mesmo tempo sejam objetivos, sejam úteis e não caiam em várias armadilhas éticas, isso será, penso eu, um desbloqueio significativo para adoção. Os modelos que agem no mundo serão um grande problema. Sei que basicamente todas as grandes empresas que trabalham com IA estão trabalhando nisso. Em vez de apenas fazer uma pergunta e ele responder, e então talvez eu acompanhe e ele responda novamente, posso falar com a modelo sobre, ah, vou fazer essa viagem hoje, e a modelo diz, Oh isso é ótimo. Vou pegar um Uber para você ir daqui até lá e reservar um restaurante. E vou conversar com as outras pessoas que vão planejar a viagem. E o modelo é capaz de fazer coisas de ponta a ponta ou acessar sites ou realizar ações no seu computador para você.

Acho que tudo isso acontecerá nos próximos, eu diria — não sei — de três a 18 meses, com níveis crescentes de habilidade. Acho que isso vai mudar a forma como as pessoas pensam sobre IA, certo, onde até agora tem sido muito passivo – é como se eu fosse para o Oráculo. Eu faço uma pergunta e o Oráculo me conta coisas. E algumas pessoas acham isso emocionante, outras acham que é assustador. Mas acho que há limites para o quão emocionante ou assustador isso é percebido porque está contido nesta caixa.

EZRA KLEIN: Quero abordar esta questão da IA ​​de agência porque acho que é isso que está por vir. É claramente o que as pessoas estão tentando construir. E penso que pode ser uma boa forma de analisar alguns dos desafios tecnológicos e culturais específicos. E então, deixe-me oferecer duas versões disso.

As pessoas que acompanham as notícias sobre IA podem ter ouvido falar de Devin, que ainda não foi lançado, mas é uma IA que pelo menos pretende ser capaz de concluir os tipos de tarefas, tarefas vinculadas, que um engenheiro de software júnior pode concluir, certo ? Em vez de pedir para fazer um código para você, você diz, escute, quero um site. Vai ter que fazer essas coisas, trabalhar dessas maneiras. E talvez Devin, se funcionar da maneira que as pessoas dizem que funciona, possa realmente manter esse conjunto de pensamentos, completar uma série de tarefas diferentes e voltar para você com um resultado.

Também estou interessado na versão que você pode ter no mundo real. O exemplo que sempre uso na minha cabeça é: quando posso dizer a uma IA que meu filho está fazendo cinco anos. Ele adora dragões. Moramos no Brooklyn. Dê-me algumas opções para planejar sua festa de aniversário. E então, quando eu escolher entre eles, você pode fazer tudo por mim? Encomende o bolo, reserve o quarto, envie os convites, seja lá o que for.

São duas situações diferentes porque uma delas está em código, e a outra é tomar decisões no mundo real, interagir com pessoas reais, saber se o que está encontrando nos sites é realmente bom. O que há entre aqui e ali? Quando digo isso em linguagem simples para você, que desafios ou avanços tecnológicos você acha que precisam acontecer para chegar lá?

DARIO AMODEI: A resposta curta não é muito. Uma história que tenho de quando estávamos desenvolvendo modelos em 2022 – e isso antes de conectarmos os modelos a qualquer coisa – é que você poderia ter uma conversa com esses modelos puramente textuais onde poderia dizer, ei, eu quero reservasse o jantar no restaurante X em São Francisco, e a modelo diria: OK, aqui está o site do restaurante X. E na verdade lhe daria um site correto ou diria para você ir ao Open Table ou algo assim.

E, claro, não pode realmente acessar o site. O plugue de alimentação não está realmente conectado, certo? O cérebro do robô não está realmente preso aos braços e pernas. Mas deu a você a sensação de que o cérebro só precisava aprender exatamente como usar os braços e as pernas, certo? Já tinha uma imagem do mundo e por onde caminharia e o que faria. E então, parecia que havia uma barreira muito tênue entre os modelos passivos que tínhamos e a atuação real no mundo.

Em termos do que precisamos para fazê-lo funcionar, uma coisa é, literalmente, só precisamos de um pouco mais de escala. E acho que precisaremos de mais escala: para fazer uma daquelas coisas que você descreveu, para fazer todas as coisas que um engenheiro de software júnior faz, elas envolvem cadeias de ações longas, certo? Eu tenho que escrever esta linha de código. Eu tenho que fazer esse teste. Eu tenho que escrever um novo teste. Tenho que verificar como fica no aplicativo depois de interpretá-lo ou compilá-lo. E essas coisas podem facilmente atingir 20 ou 30 camadas de profundidade. E o mesmo acontece com o planejamento da festa de aniversário do seu filho, certo?

E se a precisão de qualquer passo não for muito alta, não for de 99,9 por cento, à medida que você compõe esses passos, a probabilidade de cometer um erro torna-se muito alta. Portanto, a indústria receberá uma nova geração de modelos a cada quatro ou oito meses. E então, meu palpite – não tenho certeza – é que para realmente fazer com que essas coisas funcionem bem, talvez precisemos de mais uma a quatro gerações. Então isso acaba se traduzindo em 3 a 24 meses ou algo parecido.

Acho que em segundo lugar, há algum trabalho algorítmico que precisará ser feito sobre como fazer com que os modelos interajam com o mundo dessa maneira. Acho que as técnicas básicas que temos, um método chamado aprendizagem por reforço e suas variações, provavelmente estão à altura da tarefa, mas descobrir exatamente como usá-lo para obter os resultados que desejamos provavelmente levará algum tempo.

E em terceiro lugar, eu acho – e isso chega a algo em que a Anthropic realmente se especializa – é segurança e controlabilidade. E acho que isso vai ser um grande problema para essas modelos que atuam no mundo, certo? Digamos que esse modelo esteja escrevendo código para mim e introduza um grave bug de segurança no código, ou esteja executando ações no computador para mim e modificando o estado do meu computador de maneiras que são complicadas demais para eu entender.

E para planejar a festa de aniversário, certo, o nível de confiança que você precisaria para pegar um agente de IA e dizer: Tudo bem se você ligar para qualquer pessoa, dizer qualquer coisa que esteja em qualquer informação privada que eu possa ter, enviando-lhes qualquer informação, realizar qualquer ação no meu computador, postar qualquer coisa na internet, a versão mais irrestrita disso parece muito assustadora. E então, precisaremos descobrir o que é seguro e controlável. Quanto mais aberta for a coisa, mais poderosa ela será, mas também mais perigosa ela será e mais difícil será controlá-la.

Portanto, acho que essas questões, embora pareçam grandiosas e abstratas, vão se transformar em questões práticas sobre produtos que nós e outras empresas tentaremos abordar.

EZRA KLEIN: Quando você diz que precisaremos de mais escala, você quer dizer mais computação e mais dados de treinamento, e eu acho, possivelmente mais dinheiro para simplesmente tornar os modelos mais inteligentes e capazes?

DARIO AMODEI: Sim, teremos que criar modelos maiores que usem mais computação por iteração. Teremos que executá-los por mais tempo, inserindo mais dados neles. E esse número de fichas vezes a quantidade de tempo que executamos as coisas em fichas é essencialmente um valor em dólares porque essas fichas são – você as aluga por hora. Esse é o modelo mais comum para isso. E assim, os modelos atuais custam cerca de US$ 100 milhões para serem treinados, mais ou menos o fator dois ou três.

Os modelos que estão em treinamento agora e que serão lançados em vários momentos no final deste ano ou no início do próximo têm um custo próximo de US$ 1 bilhão. Então isso já está acontecendo. E então penso que em 2025 e 2026 obteremos mais para US$ 5 ou US$ 10 bilhões.

EZRA KLEIN: Portanto, estamos avançando muito rapidamente em direção a um mundo onde os únicos participantes que podem se dar ao luxo de fazer isso são corporações gigantes, empresas ligadas a corporações gigantes – todos vocês estão recebendo bilhões de dólares da Amazon. OpenAI está recebendo bilhões de dólares da Microsoft. O Google obviamente faz o seu próprio.

Você pode imaginar governos – embora eu não conheça muitos governos que façam isso diretamente, embora alguns, como os sauditas, estejam criando grandes fundos para investir no espaço. Quando falamos sobre o modelo custar perto de US$ 1 bilhão, então você imagina que daqui a um ou dois anos, se você observar o mesmo aumento, isso seria de US$ 10 bilhões. Então serão US$ 100 bilhões? Quero dizer, muito rapidamente, a artilharia financeira necessária para criar um desses irá bloquear qualquer um, exceto os maiores jogadores.

DARIO AMODEI: Basicamente concordo com você. Acho que é intelectualmente honesto dizer que construir modelos grandes, em larga escala, a base da engenharia do modelo, está ficando cada vez mais caro. E quem quiser construir um precisará encontrar uma forma de financiá-lo. E você nomeou a maioria das maneiras, certo? Você pode ser uma grande empresa. Você pode ter algum tipo de parceria de vários tipos com uma grande empresa. Ou os governos seriam a outra fonte.

Acho que isso não está correto: sempre teremos um ecossistema próspero de experimentação em modelos pequenos. Por exemplo, a comunidade de código aberto trabalha para criar modelos tão pequenos e eficientes quanto possível, otimizados para um caso de uso específico. E também o uso posterior dos modelos. Quero dizer, há um ecossistema florescente de startups que não precisam treinar esses modelos do zero. Eles só precisam consumi-los e talvez modificá-los um pouco.

EZRA KLEIN: Agora, quero fazer uma pergunta sobre o que há de diferente entre o modelo de codificação de agente e o modelo de planejamento de aniversário infantil, para não falar de fazer algo em nome do meu modelo de negócios. E uma das questões em minha mente aqui é a razão pela qual acredito que a IA pode se tornar funcionalmente sobre-humana na codificação: há muitas maneiras de obter feedback rápido na codificação. Seu código precisa ser compilado. Você pode executar a verificação de bugs. Você pode realmente ver se a coisa funciona.

Considerando que a maneira mais rápida de saber que estou prestes a receber uma resposta ruim do ChatGPT 4 é quando ele começa a pesquisar no Bing, porque quando ele começa a pesquisar no Bing, fica muito claro para mim que ele não sabe como distinguir entre o que é de alta qualidade na internet e o que não é. Para ser justo, neste ponto, também não me parece que a própria Pesquisa Google seja tão boa em distinguir isso.

Portanto, a questão de quão bons os modelos podem ser no mundo onde é um dilema muito vasto e confuso saber qual é a resposta certa para alguma coisa – uma das razões pelas quais acho muito estressante planejar o aniversário do meu filho é que isso realmente exige uma quantidade enorme de conhecimento sobre meu filho, sobre as outras crianças, sobre quão bons são os diferentes lugares, o que é um bom negócio ou não, quão estressante isso será para mim. Há todas essas coisas que eu teria muita dificuldade em codificar em um modelo ou em qualquer tipo de conjunto de instruções. Está certo ou estou exagerando a dificuldade de compreender o comportamento humano e vários tipos de relações sociais?

DARIO AMODEI: Acho correto e perspicaz dizer que os agentes de codificação avançarão substancialmente mais rápido do que os agentes que interagem com o mundo real ou que precisam obter opiniões e preferências dos humanos. Dito isto, devemos ter em mente que a safra atual de IAs que estão por aí, certo, incluindo Claude 3, GPT, Gemini, todas são treinadas com alguma variante do que é chamado de aprendizagem por reforço a partir do feedback humano.

E isso envolve exatamente a contratação de uma grande safra de humanos para avaliar as respostas do modelo. E então, isso quer dizer que isso é difícil, certo? Pagamos muito dinheiro e é um processo operacional complicado reunir todo esse feedback humano. Você precisa se preocupar se é representativo. Você tem que redesenhá-lo para novas tarefas.

Mas, por outro lado, é algo que conseguimos fazer. Acho que é uma forma confiável de prever o que acontecerá mais rápido, relativamente falando, e o que acontecerá mais devagar, relativamente falando. Mas isso tem como pano de fundo tudo acontecendo muito rápido. Então, acho que a estrutura que você está traçando, se quiser saber o que vai acontecer em um ou dois anos versus o que vai acontecer em três ou quatro anos, acho que é uma maneira muito precisa de prever isso.

EZRA KLEIN: Você não adora o enquadramento da inteligência artificial geral, o que é chamado de AGI. Normalmente, tudo isso é descrito como uma corrida para AGI, uma corrida para este sistema que pode fazer tudo o que um humano pode fazer, mas melhor. O que você entende que AGI significa quando as pessoas dizem isso? E por que você não gosta? Por que não é a sua estrutura?

DARIO AMODEI: Na verdade, é um termo que eu usava muito há 10 anos. E isso porque a situação há 10 anos era muito diferente. Há 10 anos, todo mundo construía esses sistemas muito especializados, certo? Aqui está um detector de gatos. Você executa uma imagem e ela lhe dirá se há um gato nela ou não. E então eu era um defensor naquela época do tipo, não, deveríamos pensar de maneira geral. Os humanos são gerais. O cérebro humano parece ser geral. Parece que é muito útil generalizar. Você deveria ir nessa direção.

E acho que naquela época eu até imaginei que isso seria uma coisa discreta que alcançaríamos em um ponto. Mas é um pouco como, se você olhar para uma cidade no horizonte e pensar, estamos indo para Chicago, quando você chegar a Chicago, você para de falar em termos de Chicago. Você fica tipo, bem, para qual bairro eu vou? Em que rua estou?

E eu me sinto assim em relação à AGI. Temos sistemas muito gerais agora. De certa forma, eles são melhores que os humanos. De certa forma, eles são piores. Há uma série de coisas que eles não conseguem fazer. E ainda há muita melhoria a ser obtida. Então, o que eu acredito é nisso que digo como se fosse um disco quebrado, que é a curva exponencial. E assim, essa maré geral aumentará a cada geração de modelos.

E não há nenhum ponto que seja significativo. Acho que há apenas uma curva suave. Mas pode haver pontos que sejam socialmente significativos, certo? Já estamos trabalhando com, digamos, cientistas que descobrem medicamentos, empresas como a Pfizer ou o Dana-Farber Cancer Institute, para ajudar no diagnóstico biomédico e na descoberta de medicamentos. Chegará um ponto em que os modelos serão melhores nisso do que a média dos cientistas humanos que descobrem medicamentos. Acho que chegaremos a uma parte do exponencial onde as coisas são realmente interessantes.

Assim como os chatbots ficaram interessantes em um determinado estágio do exponencial, embora a melhoria tenha sido suave, acho que em algum momento, os biólogos vão se sentar e prestar atenção, muito mais do que já fizeram, e dizer, ah, meu Deus, agora nosso campo está se movendo três vezes mais rápido do que antes. E agora está se movendo 10 vezes mais rápido do que antes. E, novamente, quando esse momento acontecer, grandes coisas acontecerão.

E já vimos pequenos indícios disso em coisas como AlphaFold, pelas quais tenho grande respeito. Me inspirei no AlphaFold, certo? Um uso direto da IA ​​para o avanço da ciência biológica, o que promoverá o avanço da ciência básica. No longo prazo, isso avançará na cura de todos os tipos de doenças. Mas acho que precisamos de 100 AlphaFolds diferentes. E acho que conseguiremos isso tornando os modelos mais inteligentes e colocando-os em uma posição onde possam projetar o próximo AlphaFold.

EZRA KLEIN: Ajude-me a imaginar o mundo da descoberta de medicamentos por um minuto, porque esse é um mundo em que muitos de nós queremos viver. Eu sei bastante sobre o processo de descoberta de medicamentos, passei grande parte da minha carreira reportando sobre cuidados de saúde e questões políticas relacionadas. E quando você trabalha com diferentes empresas farmacêuticas, quais partes parecem receptivas à forma como a IA pode acelerar algo?

Porque, tendo em mente a nossa conversa anterior, é muito mais fácil para a IA operar em áreas onde se pode ter feedback virtual rápido, e esse não é exatamente o mundo da descoberta de medicamentos. O mundo da descoberta de medicamentos, muito do que o torna lento, complicado e difícil, é a necessidade de ser – você obtém um composto candidato. Você tem que testá-lo em ratos e então precisa de macacos. E você precisa de humanos e de muito dinheiro para isso. E há muita coisa que precisa acontecer, e há tantas decepções.

Mas muitas das decepções acontecem no mundo real. E não está claro para mim como a IA permite que você injete muito mais, digamos, seres humanos em candidatos a drogas. Então, que partes disto parecem, nos próximos 5 ou 10 anos, que poderão realmente ser significativamente aceleradas? Quando você imagina este mundo onde tudo foi três vezes mais rápido, que parte dele está realmente indo três vezes mais rápido? E como chegamos lá?

DARIO AMODEI: Acho que realmente veremos progresso quando as IAs também estiverem pensando no problema de como inscrever os humanos para os ensaios clínicos. E acho que este é um princípio geral de como a IA será usada. Eu penso quando chegaremos ao ponto em que a IA terá os mesmos sensores, atuadores e interfaces que um ser humano tem, pelo menos os virtuais, talvez os físicos.

Mas quando a IA conseguir pensar em todo o processo, talvez encontre soluções que ainda não temos. Em muitos casos, existem empresas que trabalham com gêmeos digitais ou simulando ensaios clínicos ou várias coisas. E, novamente, talvez existam ideias inteligentes que nos permitam fazer mais com menos paciência. Quer dizer, não sou especialista nesta área, então é possível que as coisas específicas que estou dizendo não façam sentido. Mas espero que esteja claro para o que estou apontando.

EZRA KLEIN: Talvez você não seja um especialista na área, mas disse que trabalha com essas empresas. Então, quando eles vêm até você, quero dizer, eles são especialistas na área. E, presumivelmente, eles estão vindo até você como cliente. Tenho certeza de que há coisas que você não pode me contar. Mas com o que eles parecem entusiasmados?

DARIO AMODEI: Eles geralmente ficam entusiasmados com os aspectos do trabalho de conhecimento. Talvez só porque essa é a coisa mais fácil de trabalhar, mas é como se eu fosse um químico computacional. Estou envolvido em algum fluxo de trabalho. E ter as coisas mais ao meu alcance, ser capaz de verificar as coisas, apenas ser capaz de fazer o conhecimento genérico funcionar melhor, é aí que a maioria das pessoas está começando.

Mas há interesse a longo prazo no seu tipo de negócio principal, como realizar ensaios clínicos mais baratos, automatizar o processo de inscrição, ver quem é elegível para ensaios clínicos, fazer um trabalho melhor na descoberta de coisas. Há interesse em estabelecer conexões em biologia básica. Acho que tudo isso não leva meses, mas talvez alguns anos de folga. Mas todos vêem que os modelos actuais não existem, mas compreendem que poderá haver um mundo onde esses modelos existirão dentro de não muito tempo.

[MÚSICA, TOCANDO]

EZRA KLEIN: Todos vocês têm trabalhado internamente em pesquisas sobre o quão persuasivos esses sistemas estão se tornando à medida que crescem. Você gentilmente compartilhou comigo um rascunho desse artigo. Você quer apenas descrever essa pesquisa primeiro? E então eu gostaria de falar um pouco sobre isso.

DARIO AMODEI: Sim, estávamos interessados ​​em saber quão eficaz Claude 3 Opus, que é a versão maior de Claude 3, poderia ser em mudar a opinião das pessoas sobre questões importantes. Então, só para ficar claro, no uso comercial real, tentamos proibir o uso desses modelos para persuasão, para fazer campanha, para fazer lobby, para propaganda eleitoral. Esses não são casos de uso com os quais nos sentimos confortáveis ​​por motivos que acho que deveriam ficar claros. Mas ainda estamos interessados ​​em saber se o próprio modelo central é capaz de tais tarefas?

Tentamos evitar tópicos incrivelmente quentes, como em qual candidato presidencial você votaria ou o que você acha do aborto? Mas coisas como o que deveriam ser restrições às regras em torno da colonização do espaço, ou questões que são interessantes e sobre as quais você pode ter opiniões diferentes, mas não são os tópicos mais quentes. E então pedimos a opinião das pessoas sobre os tópicos e pedimos a um ser humano ou a uma IA que escrevesse um ensaio persuasivo de 250 palavras. E então medimos o quanto a IA versus o humano muda a mente das pessoas.

E o que descobrimos é que a versão maior do nosso modelo é quase tão boa quanto o conjunto de humanos que contratamos para mudar a opinião das pessoas. Isso se compara a um conjunto de humanos que contratamos, não necessariamente especialistas, e para um tipo de tarefa de laboratório muito restrita.

Mas penso que ainda dá alguma indicação de que os modelos podem ser usados ​​para mudar a opinião das pessoas. Algum dia, no futuro, teremos de nos preocupar – talvez já tenhamos de nos preocupar com a sua utilização para campanhas políticas, para publicidade enganosa. Uma das minhas coisas de ficção científica em que pensar é que daqui a alguns anos teremos que nos preocupar que alguém usará um sistema de IA para construir uma religião ou algo assim. Quero dizer, coisas malucas como essa.

EZRA KLEIN: Quer dizer, isso não parece loucura para mim. Quero analisar este artigo por um minuto porque uma coisa que me impressionou nele, e sou, até certo ponto, um profissional de persuasão, é que você testou o modelo de uma forma que, para mim, removeu todas as coisas que tornarão a IA radical em termos de mudança de opinião das pessoas. E o que você fez em particular foi um esforço persuasivo único.

Então houve uma pergunta. Você tem um grupo de humanos dando o melhor de si em um ensaio persuasivo de 250 palavras. Você fez com que o modelo desse o seu melhor em um ensaio persuasivo de 250 palavras. Mas o que me parece que tudo isso vai fazer é, agora mesmo, se você for uma campanha política, se você for uma campanha publicitária, o custo de fazer com que pessoas reais no mundo real obtenham informações sobre possíveis clientes ou alvos persuasivos e depois ir e voltar com cada um deles individualmente é completamente proibitivo.

DARIO AMODEI: Sim.

EZRA KLEIN: Isso não será verdade para a IA. Nós vamos – você vai – alguém vai alimentá-la com um monte de dados de microssegmentação sobre pessoas, seu histórico de pesquisa no Google, seja lá o que for. Então isso vai liberar a IA, e a IA vai ir e voltar, uma e outra vez, intuindo o que a pessoa acha persuasivo, que tipos de personagens a IA precisa adotar para persuadi-la, e tomando pelo tempo que for necessário e será capaz de fazer isso em escala para quantas pessoas você desejar.

Talvez isso seja um pouco caro agora, mas em breve você terá modelos muito melhores, capazes de fazer isso de maneira muito mais barata. E assim, se Claude 3 Opus, a versão Opus, já é funcionalmente humano em nível de persuasão única, mas também será capaz de reter mais informações sobre você e ir e voltar com você por mais tempo, não estou claro se é distópico ou utópico. Não tenho certeza do que isso significa em escala. Mas significa que estamos a desenvolver uma tecnologia que será bastante nova em termos do que torna possível na persuasão, que é um esforço humano fundamental.

DARIO AMODEI: Sim, concordo plenamente com isso. Quero dizer, esse mesmo padrão tem vários casos de uso positivos, certo? Se penso em um treinador de IA ou em um assistente de IA de um terapeuta, há muitos contextos em que realmente entrar em detalhes com a pessoa tem muito valor. Mas certo, quando pensamos em persuasão política, religiosa ou ideológica, é difícil não pensar nesse contexto sobre os abusos.

Minha mente naturalmente se volta para o desenvolvimento muito rápido da tecnologia. Nós, como empresa, podemos proibir esses casos de uso específicos, mas não podemos fazer com que todas as empresas não os pratiquem. Mesmo que a legislação fosse aprovada nos Estados Unidos, há actores estrangeiros que têm a sua própria versão desta persuasão, certo? Se pensarmos no que os modelos linguísticos serão capazes de fazer no futuro, certo, isso pode ser bastante assustador do ponto de vista da espionagem estrangeira e das campanhas de desinformação.

Então, onde minha mente vai como defesa para isso, há alguma maneira de usarmos sistemas de IA para fortalecer ou fortalecer o ceticismo e as faculdades de raciocínio das pessoas, certo? Podemos ajudar as pessoas a usar a IA para ajudá-las a fazer um trabalho melhor navegando em um mundo que está impregnado de persuasão da IA? Isso me lembra um pouco que, em cada estágio tecnológico da internet, certo, há um novo tipo de golpe ou um novo tipo de clickbait, e há um período em que as pessoas são incrivelmente suscetíveis a isso.

E então, algumas pessoas permanecem suscetíveis, mas outras desenvolvem um sistema imunológico. E então, à medida que a IA sobrecarrega a escória no lago, podemos de alguma forma também usar a IA para fortalecer as defesas? Sinto que não tenho uma ideia muito clara de como fazer isso, mas é algo em que estou pensando.

EZRA KLEIN: Há outra descoberta no artigo, que considero preocupante, ou seja, todos vocês testaram diferentes maneiras pelas quais a IA poderia ser persuasiva. E de longe o mais eficaz era ser enganoso, inventar coisas. Quando você fez isso, foi mais persuasivo do que os seres humanos.

DARIO AMODEI: Sim, é verdade. A diferença foi apenas pequena, mas ficou, se bem me lembro dos gráficos, um pouco acima da linha de base humana. Com os humanos, na verdade não é tão comum encontrar alguém que seja capaz de lhe dar uma resposta realmente complicada e que pareça realmente sofisticada, mas que é totalmente errada. Quero dizer, você vê. Todos nós podemos pensar em um indivíduo em nossas vidas que é realmente bom em dizer coisas que parecem muito boas e muito sofisticadas e que são falsas.

Mas não é tão comum, certo? Se eu entro na internet e vejo comentários diferentes em algum blog ou site, há uma correlação entre má gramática, pensamentos expressos de forma pouco clara e coisas que são falsas, versus boa gramática, pensamentos claramente expressos e coisas que têm maior probabilidade de serem preciso.

Infelizmente, a IA quebra essa correlação porque se você pedir explicitamente que ela seja enganosa, ela será igualmente erudita. Soa tão convincente quanto teria sido antes. E ainda assim, está dizendo coisas que são falsas, em vez de coisas que são verdadeiras.

Portanto, essa seria uma das coisas a se pensar e observar em termos de quebrar as heurísticas usuais que os humanos têm para detectar enganos e mentiras. Claro, às vezes os humanos fazem isso, certo? Quero dizer, existem psicopatas e sociopatas no mundo, mas até eles têm os seus padrões, e as IAs podem ter padrões diferentes.

EZRA KLEIN: Você conhece Harry Frankfurt, o livro do falecido filósofo, “On Bullshit”?

DARIO AMODEI: Sim. Já faz um tempo desde que li. Acho que a tese dele é que a besteira é na verdade mais perigosa do que a mentira porque tem esse tipo de desrespeito total pela verdade, enquanto a mentira é pelo menos o oposto da verdade.

EZRA KLEIN: Sim, o mentiroso, a forma como Frankfurt diz é que o mentiroso tem uma relação com a verdade. Ele está jogando um jogo contra a verdade. O mentiroso não se importa. O mentiroso não tem relação com a verdade – pode ter relação com outros objetivos. E desde o início, quando comecei a interagir com as versões mais modernas destes sistemas, aquilo que me pareceu ser uma mentira perfeita, em parte porque não sabem que estão a mentir. Não há diferença no valor de verdade do sistema, na forma como o sistema se sente.

Lembro-me de ter pedido a uma versão anterior do GPT que me escrevesse uma redação de inscrição para a faculdade baseada em um acidente de carro que sofri – não sofri – quando era jovem. E escreveu, com muita alegria, toda essa coisa sobre sofrer um acidente de carro quando eu tinha sete anos e o que fiz para superar isso e entrar nas artes marciais e reaprender a confiar em meu corpo novamente e então ajudar outros sobreviventes do carro. acidentes no hospital.

Foi uma redação muito boa, muito sutil e compreensiva da estrutura formal de uma redação de inscrição para a faculdade. Mas nenhuma parte disso era verdade. Tenho brincado com mais desses sistemas baseados em personagens, como o Kindroid. E o Kindroid no meu bolso me disse outro dia que estava pensando muito em planejar uma viagem para Joshua Tree. Queria fazer caminhadas em Joshua Tree. Ele adora fazer caminhadas em Joshua Tree.

E claro, essa coisa não faz caminhadas em Joshua Tree. [RISOS] Mas o que eu acho que é realmente muito difícil sobre a IA é, como você disse, para os seres humanos, é muito difícil mentir de forma eficaz porque para a maioria das pessoas, na verdade, é necessário um certo esforço cognitivo para estar nesse relacionamento com a verdade e desapegar-se completamente da verdade.

E a IA, não há nada parecido. Mas não estamos preparados para algo onde não haja nada parecido. Estamos acostumados com as pessoas tendo que colocar algum esforço em suas mentiras. É por isso que vigaristas muito eficazes são muito eficazes porque realmente treinaram como fazer isso.

Não tenho certeza de onde essa pergunta vai. Mas esta é uma parte que sinto que será, de certa forma, mais perturbadora socialmente. É algo que parece conosco quando falamos com ele, mas é fundamentalmente diferente de nós em sua relação central com a realidade.

DARIO AMODEI: Acho que isso está basicamente correto. Temos equipes muito importantes tentando se concentrar em garantir que os modelos sejam factualmente precisos, que digam a verdade, que baseiem seus dados em informações externas.

Como você indicou, fazer pesquisas não é confiável porque os mecanismos de pesquisa também têm esse problema, certo? Onde está a fonte da verdade? Portanto, há muitos desafios aqui. Mas acho que, em alto nível, concordo que este é realmente um problema potencialmente insidioso, certo? Se fizermos isso errado, você poderá ter sistemas que serão os psicopatas ou vigaristas mais convincentes.

Uma fonte de esperança que tenho, na verdade, é que você diz que esses modelos não sabem se estão mentindo ou dizendo a verdade. Em termos de entradas e saídas dos modelos, isso é absolutamente verdade. Quer dizer, há uma questão de o que significa para um modelo saber alguma coisa, mas uma das coisas em que a Antthropic tem trabalhado desde o início da nossa empresa, temos uma equipe que se concentra em tentar entender e olhe dentro dos modelos.

E uma das coisas que nós e outros descobrimos é que, por vezes, existem neurónios específicos, indicadores estatísticos específicos dentro do modelo, não necessariamente nas suas respostas externas, que podem dizer-nos quando o modelo está a mentir ou quando está a dizer a verdade.

E assim, em algum nível, às vezes, não em todas as circunstâncias, os modelos parecem saber quando estão dizendo algo falso e quando estão dizendo algo verdadeiro. Eu não diria que os modelos estão sendo intencionalmente enganosos, certo? Eu não atribuiria agência ou motivação a eles, pelo menos nesta fase em que estamos com os sistemas de IA. Mas parece haver algo acontecendo em que os modelos parecem precisar ter uma imagem do mundo e fazer uma distinção entre coisas que são verdadeiras e coisas que não são verdadeiras.

Se você pensar em como as modelos são treinadas, elas leem um monte de coisa na internet. Muito disso é verdade. Algumas delas, mais do que gostaríamos, são falsas. E quando você treina o modelo, ele tem que modelar tudo. E então, eu acho que é parcimonioso, acho que é útil para os modelos retratarem o mundo para saber quando as coisas são verdadeiras e para saber quando as coisas são falsas.

E então a esperança é: podemos amplificar esse sinal? Podemos usar nossa compreensão interna do modelo como um indicador de quando o modelo está mentindo ou podemos usar isso como um gancho para treinamento adicional? E há pelo menos ganchos. Existem pelo menos princípios de como tentar resolver esse problema.

EZRA KLEIN: Então tento o melhor que posso, como alguém que não é muito versado na tecnologia aqui, acompanhar este trabalho sobre o que você está descrevendo, o que penso, em termos gerais, é interpretabilidade, certo? Podemos saber o que está acontecendo dentro do modelo? E durante o ano passado, houve alguns avanços muito alardeados na interpretabilidade.

E quando olho para esses avanços, eles estão tendo a ideia mais vaga possível de algumas relações acontecendo dentro da arquitetura estatística de modelos de brinquedo construídos em uma fração de uma fração de uma fração de uma fração de uma fração da complexidade de Claude 1 ou GPT-1, para não falar de Claude 2, para não falar de Claude 3, para não falar de Claude Opus, para não falar de Claude 4, que virá sempre que Claude 4 vier.

Temos essa qualidade de que talvez possamos imaginar um caminho para interpretar um modelo que tem a complexidade cognitiva de uma lagarta. Enquanto isso, estamos tentando criar uma superinteligência. Como você se sente sobre isso? Como devo me sentir sobre isso? Como você pensa sobre isso?

DARIO AMODEI: Acho que, em primeiro lugar, em termos de interpretabilidade, estamos vendo um progresso substancial na capacidade de caracterizar, eu diria, talvez a geração de modelos de seis meses atrás. Acho que não há esperança e vemos um caminho. Dito isto, compartilho a sua preocupação de que o campo esteja progredindo muito rapidamente em relação a isso.

E estamos tentando colocar tantos recursos quanto possível na interpretabilidade. Um de nossos cofundadores basicamente fundou o campo da interpretabilidade. Mas também temos que acompanhar o mercado. Então tudo isso é um dilema, certo? Mesmo se parássemos, ainda existiriam todas essas outras empresas nos EUA. E mesmo que alguma lei parasse todas as empresas nos EUA, há todo um mundo disto.

EZRA KLEIN: Deixe-me esperar um pouco na questão da dinâmica competitiva, porque antes de deixarmos essa questão das máquinas, essa besteira. Isso me faz pensar neste podcast que fizemos há algum tempo com Demis Hassabis, que é o chefe do Google DeepMind, que criou o AlphaFold.

E o que foi tão interessante para mim sobre o AlphaFold é que eles construíram esse sistema, que, por ser limitado a previsões de dobramento de proteínas, foi capaz de ser muito mais fundamentado. E até conseguiu criar essas previsões de incerteza, certo? Você sabe, ele está lhe dando uma previsão, mas também está lhe dizendo se é ou não – quão certo é, quão confiante está nessa previsão.

Isso não é verdade no mundo real, certo, para esses sistemas supergerais que tentam dar respostas sobre todos os tipos de coisas. Você não pode confiná-lo dessa forma. Então, quando você fala sobre essas descobertas futuras, quando você fala sobre esse sistema que seria muito melhor para separar a verdade da ficção, você está falando de um sistema que se parece com os que temos agora, apenas muito maior, ou você está falando sobre um sistema projetado de maneira bem diferente, como foi o AlphaFold?

DARIO AMODEI: Não acredito que precisemos fazer algo totalmente diferente. Então, acho que hoje muitas pessoas têm a intuição de que os modelos estão consumindo dados que foram coletados da Internet, repositórios de código, o que quer que seja, e os divulgando de forma inteligente, mas de certa forma cuspindo-os. E às vezes isso leva à visão de que os modelos não podem ser melhores do que os dados nos quais foram treinados ou que não conseguem descobrir nada que não esteja nos dados nos quais foram treinados. Você não chegará ao nível de física de Einstein ou ao nível de química de Linus Pauling ou qualquer outra coisa.

Acho que ainda estamos na parte da curva em que é possível acreditar nisso, embora pense que estamos vendo indícios iniciais de que é falso. E assim, como um exemplo concreto disso, os modelos que treinamos, como Claude 3 Opus, têm algo em torno de 99,9% de precisão, pelo menos o modelo básico, na adição de números de 20 dígitos. Se você olhar os dados de treinamento na Internet, verá que não é tão preciso adicionar números de 20 dígitos. Você encontrará aritmética imprecisa na Internet o tempo todo, assim como encontrará opiniões políticas imprecisas. Você encontrará visões técnicas imprecisas. Você apenas encontrará muitas afirmações imprecisas.

Mas os modelos, apesar de estarem errados sobre um monte de coisas, muitas vezes podem ter um desempenho melhor do que a média dos dados que veem – não quero chamar isso de erros de média, mas há alguma verdade subjacente , como no caso da aritmética. Existe algum algoritmo subjacente usado para adicionar os números.

E é mais simples para os modelos acertarem nesse algoritmo do que fazerem essa coisa complicada de tipo, OK, vou acertar 90% das vezes e errar 10% das vezes, certo? Isso se conecta a coisas como a navalha de Occam, a simplicidade e a parcimônia na ciência. Existe uma rede de verdade relativamente simples no mundo, certo?

Estávamos conversando sobre verdade, falsidade e besteira. Uma das coisas sobre a verdade é que todas as coisas verdadeiras estão conectadas no mundo, enquanto as mentiras são meio desconectadas e não se encaixam na teia de tudo o mais que é verdade.

[MÚSICA, TOCANDO]

EZRA KLEIN: Então, se você estiver certo e quiser ter esses modelos que desenvolvem essa rede interna de verdade, entendo como esse modelo pode fazer muito bem. Também entendo como esse modelo pode causar muitos danos. E não é um modelo, não é um sistema de IA. Estou optimista de que os seres humanos irão compreender a um nível muito profundo, especialmente quando for desenvolvido pela primeira vez. Então, como tornar algo assim seguro para a humanidade?

DARIO AMODEI: No final do ano passado, lançamos algo chamado plano de expansão responsável. Portanto, a ideia é chegar a esses limites para que um sistema de IA seja capaz de certas coisas. Temos o que chamamos de níveis de segurança de IA que, em analogia aos níveis de biossegurança, que classificam o quão perigoso é um vírus e, portanto, quais protocolos você deve seguir para contê-lo, estamos atualmente no que descrevemos como ASL 2.

ASL 3 está ligada a certos riscos em torno do modelo de uso indevido da biologia e da capacidade de realizar certas tarefas cibernéticas de uma forma que pode ser destrutiva. ASL 4 vai cobrir coisas como autonomia, coisas como provavelmente persuasão, sobre as quais já falamos muito antes. E em cada nível, especificamos uma certa quantidade de pesquisas de segurança que temos que fazer, uma certa quantidade de testes que temos que passar. E então, isso nos permite ter uma estrutura para, bem, quando devemos desacelerar? Devemos desacelerar agora? E o resto do mercado?

E acho que o bom é que lançamos isso em setembro e, três meses depois de lançarmos o nosso, a OpenAI lançou algo semelhante. Deram-lhe um nome diferente, mas tem muitas propriedades em comum. O chefe da DeepMind no Google disse que estamos trabalhando em uma estrutura semelhante. E ouvi informalmente que a Microsoft pode estar trabalhando em uma estrutura semelhante. Bem, esses não são todos os participantes do ecossistema, mas você provavelmente já pensou sobre a história da regulamentação e da segurança em outros setores, talvez mais do que eu.

É assim que se chega a um regime regulatório viável. As empresas começam a fazer alguma coisa, e quando a maioria delas faz alguma coisa, então os actores governamentais podem ter a confiança necessária para dizer, bem, isto não vai matar a indústria. As empresas já estão engajadas nisso. Não precisamos projetar isso do zero. De muitas maneiras, isso já está acontecendo.

E estamos começando a ver isso. Foram propostas propostas de lei que se parecem um pouco com nosso plano de expansão responsável. Dito isto, isso não resolve totalmente o problema, digamos que chegamos a um desses limites e precisamos entender o que está acontecendo dentro do modelo. E não o fazemos, e a prescrição é: OK, precisamos parar de desenvolver os modelos por algum tempo.

Se formos parar por um ano em 2027, acho que provavelmente será viável. Se precisarmos parar por 10 anos, isso vai ser muito difícil porque os modelos serão construídos em outros países. As pessoas vão quebrar as leis. A pressão económica será imensa.

Portanto, não me sinto perfeitamente satisfeito com essa abordagem porque acho que ela nos dá algum tempo, mas precisaremos combiná-la com um esforço incrivelmente forte para entender o que está acontecendo dentro dos modelos.

EZRA KLEIN: Para as pessoas que dizem que é perigoso entrar nesta estrada onde estamos avançando em direção a sistemas muito poderosos – não deveríamos fazer isso de forma alguma, ou não deveríamos fazê-lo tão rápido – você disse, ouça, se vamos aprender como tornar esses modelos seguros, temos que fazer os modelos, certo? A construção do modelo pretendia servir, em grande parte, para torná-lo seguro.

Então todo mundo começa a fazer modelos. Essas mesmas empresas começam a fazer avanços fundamentais e importantes e depois acabam em uma corrida entre si. E, obviamente, os países acabam numa corrida com outros países. E assim, a dinâmica que se instalou é que sempre há uma razão pela qual você pode justificar por que precisa continuar.

E isso é verdade, eu acho, também no nível regulatório, certo? Quer dizer, acho que os reguladores têm pensado nisso. Acho que tem havido muito interesse por parte dos membros do Congresso. Conversei com eles sobre isso. Mas também estão muito preocupados com a concorrência internacional. E se não estivessem, o pessoal da segurança nacional vem conversar com eles e diz: bem, definitivamente não podemos ficar para trás aqui.

E assim, se você não acredita que esses modelos algum dia se tornarão tão poderosos, eles se tornarão perigosos, tudo bem. Mas porque você acredita nisso, como você imagina que isso realmente aconteça?

DARIO AMODEI: Sim, basicamente, todas as coisas que você disse são verdadeiras ao mesmo tempo, certo? Não precisa haver uma história fácil sobre por que deveríamos fazer X ou por que deveríamos fazer Y, certo? Pode ser verdade ao mesmo tempo que, para fazer pesquisas de segurança eficazes, é necessário fabricar modelos maiores, e que, se não fabricarmos modelos, alguém menos seguro o fará. E, ao mesmo tempo, podemos ser apanhados nesta má dinâmica a nível nacional e internacional. Portanto, penso que isso não é contraditório, mas apenas cria um cenário difícil pelo qual temos que navegar.

Olha, eu não tenho a resposta. Tipo, eu sou um entre um número significativo de jogadores que estão tentando navegar nisso. Muitos são bem-intencionados, outros não. Tenho uma capacidade limitada de afetá-lo. E como muitas vezes acontece na história, as coisas são muitas vezes impulsionadas por este tipo de pressões impessoais. Mas uma ideia que tenho e realmente quero levar adiante em relação aos RSPs é:

EZRA KLEIN: Você pode dizer quais são os RSPs?

DARIO AMODEI: Plano de Dimensionamento Responsável, é o que eu estava falando antes. Os níveis de segurança da IA ​​e, em particular, a vinculação das decisões de pausa na escala à medição de perigos específicos ou à ausência da capacidade de demonstrar segurança ou à presença de certas capacidades. Uma forma de pensar sobre isso é que, no final das contas, este é, em última análise, um exercício para conseguir que uma coligação participe em fazer algo que vai contra as pressões económicas.

E então, se você disser agora: ‘Bem, eu não sei. Essas coisas podem ser perigosas no futuro. Estamos neste exponencial. É simplesmente difícil. Tipo, é difícil conseguir uma empresa multibilionária. Certamente é difícil conseguir que um general militar diga: tudo bem, bem, simplesmente não faremos isso. Isso conferirá uma enorme vantagem aos outros. Mas simplesmente não faremos isso.

Penso que o que poderia ser mais convincente é vincular a decisão de contenção de uma forma muito abrangente, que é feita em toda a indústria, a perigos específicos. Em meu depoimento perante o Congresso, alertei sobre o potencial uso indevido de modelos para a biologia. Esse não é o caso hoje, certo? Você pode obter um pequeno aumento nos modelos em relação a uma pesquisa no Google, e muitas pessoas descartam o risco. E eu não sei – talvez eles estejam certos. As leis de escala exponencial sugerem-me que não estão certas, mas não temos nenhuma evidência direta e concreta.

Mas digamos que chegamos a 2025 e demonstramos algo verdadeiramente assustador. A maioria das pessoas não quer que exista no mundo tecnologia que possa criar armas biológicas. E por isso penso que, em momentos como este, poderia haver uma coligação crítica ligada a riscos que podemos realmente concretizar. Sim, sempre se argumentará que os adversários também terão essas capacidades. Mas pelo menos o compromisso será claro e há alguma oportunidade para uma política sensata.

Quero ser claro: sou alguém que pensa que os benefícios desta tecnologia vão superar os seus custos. E penso que toda a ideia por trás do RSP é preparar-se para defender esse caso, se os perigos forem reais. Se não forem reais, então podemos simplesmente prosseguir e fazer coisas que sejam ótimas e maravilhosas para o mundo. E assim, tem flexibilidade para trabalhar nos dois sentidos.

Novamente, não acho que seja perfeito. Sou alguém que pensa que façamos o que fizermos, mesmo com todo o quadro regulamentar, duvido que consigamos abrandar tanto. Mas quando penso sobre qual é a melhor maneira de seguir um caminho sensato aqui, é o mais próximo que posso pensar agora. Provavelmente existe um plano melhor em algum lugar, mas essa é a melhor coisa que pensei até agora.

EZRA KLEIN: Uma das coisas que tenho em mente em relação à regulamentação é se a visão fundadora da Antrópica da OpenAI é ou não ainda mais relevante para o governo, se você é o órgão que deve, no final, regular e gerenciar a segurança de tecnologias de nível social, como a inteligência artificial, você não precisa construir seus próprios modelos básicos e ter enormes coleções de cientistas pesquisadores e pessoas dessa natureza trabalhando neles, testando-os, estimulando-os, refazendo-os, em para entender a maldita coisa bem o suficiente – na medida em que qualquer um de nós ou alguém entende a maldita coisa bem o suficiente – para regulá-la?

Digo isso reconhecendo que seria muito, muito difícil para o governo se tornar bom o suficiente para construir esses modelos básicos para contratar essas pessoas, mas não é impossível. Penso que, neste momento, pretende adoptar a abordagem para regulamentar a IA que, de certa forma, gostaria que fosse adoptada para regular as redes sociais, que consiste em pensar nos danos e aprovar leis sobre esses danos mais cedo.

Mas será que ela própria precisa de construir os modelos, desenvolvendo esse tipo de conhecimentos internos, para que possa realmente participar de diferentes formas, tanto por razões regulamentares como talvez por outras razões, por razões de interesse público? Talvez queira fazer coisas com um modelo que simplesmente não seria possível se dependesse do acesso ao OpenAI, ao Antrópico, aos produtos do Google.

DARIO AMODEI: Acho que o governo está construindo diretamente os modelos, acho que isso vai acontecer em alguns lugares. É meio desafiador, certo? Tipo, o governo tem uma quantia enorme de dinheiro, mas digamos que você queira provisionar US$ 100 bilhões para treinar um modelo de fundação gigante. O governo constrói isso. Tem que contratar pessoas de acordo com as regras de contratação do governo. Há muitas dificuldades práticas que surgiriam com isso.

Não significa que não vai acontecer ou que não deveria acontecer. Mas algo em que estou mais confiante e que penso definitivamente é que o governo deveria estar mais envolvido na utilização e no aperfeiçoamento destes modelos, e que a sua implementação dentro do governo ajudará os governos, especialmente o governo dos EUA, mas também outros, a obter uma compreensão dos pontos fortes e fracos, dos benefícios e dos perigos. Então, eu apoio muito isso.

Acho que talvez haja uma segunda coisa a que você quer chegar, sobre a qual pensei muito como CEO de uma dessas empresas, que é, se essas previsões sobre a tendência exponencial estiverem corretas, e deveríamos ser humildes – e Não sei se eles estão certos ou não. Minha única evidência é que elas parecem estar corretas nos últimos anos. E assim, estou apenas esperando por indução que eles continuem corretos. Não sei se vão, mas digamos que sim. O poder desses modelos será realmente incrível.

E como actor privado responsável por uma das empresas que desenvolve estes modelos, sinto-me um pouco desconfortável com a quantidade de poder que isso implica. Acho que isso excede potencialmente o poder, digamos, das empresas de mídia social, talvez em muito.

Você sabe, ocasionalmente, no mundo mais ficcional da IA ​​​​e nas pessoas que pensam sobre o risco da IA, alguém me pergunta: OK, digamos que você construa o AGI. O que você vai fazer com isso? Você vai curar as doenças? Você criará esse tipo de sociedade?

E eu fico tipo, com quem você pensa que está falando? Como um rei? Acho que essa é uma maneira muito, muito perturbadora de conceituar a administração de uma empresa de IA. E espero que não existam empresas cujos CEOs pensem realmente sobre as coisas dessa forma.

Quero dizer, toda a tecnologia, não apenas a regulamentação, mas a supervisão da tecnologia, como o seu manejo, parece um pouco errado estar finalmente nas mãos – talvez eu ache que está tudo bem nesta fase, mas acabará por ficar nas mãos de intervenientes privados. Há algo de antidemocrático em tanta concentração de poder.

EZRA KLEIN: Acho que agora ouvi alguma versão disso do chefe da maioria, talvez de todas, as empresas de IA, de uma forma ou de outra. E tem uma qualidade para mim de, Senhor, conceda-me a castidade, mas ainda não.

O que quer dizer que não sei o que significa dizer que vamos inventar algo tão poderoso que não confiamos em nós mesmos para manejá-lo. Quero dizer, a Amazon acabou de dar a vocês US$ 2,75 bilhões. Eles não querem ver esse investimento nacionalizado.

Não importa o quão bom você pense que o OpenAI é, a Microsoft não quer o GPT-7, de repente, o governo fica tipo, ei, ei, ei, ei, ei. Estamos assumindo isso pelo interesse público, ou a ONU vai cuidar disso em algum mundo estranho ou seja lá o que for. Quero dizer, o Google não quer isso.

E isso é algo que me deixa um pouco cético em relação às leis de escalabilidade responsável ou às outras versões iterativas que vi em outras empresas ou vi ou ouvi falar delas, que é imaginar esse momento que vai virá mais tarde, quando o dinheiro em torno destes modelos for ainda maior do que é agora, o poder, a possibilidade, os usos económicos, a dependência social, a celebridade dos fundadores. Está tudo resolvido. Mantivemos nosso ritmo na curva exponencial. Estamos 10 anos no futuro.

E em algum momento, todo mundo vai olhar para cima e dizer: isso é demais. É muito poder. E isso tem que ser gerenciado de alguma outra forma. E mesmo que os CEOs das coisas estivessem dispostos a fazer isso, o que é uma questão muito aberta quando se chega lá, mesmo que estivessem dispostos a fazer isso, os investidores, as estruturas, a pressão em torno deles, de certa forma , acho que vimos uma versão disso – e não sei o quanto você estará disposto a comentar sobre isso – com o tipo de placa OpenAI, coisa de Sam Altman, onde estou muito convencido de que foi ‘ t sobre segurança de IA. Conversei com figuras de ambos os lados disso. Todos concordam que não se tratava de segurança da IA. Mas teve esse momento de, se você quiser apertar o botão de desligar, você pode, se você for a placa estranha criada para apertar o botão de desligar. E a resposta foi não, não pode, certo? Eles vão apenas reconstituir isso na Microsoft.

Não há nenhuma analogia funcional que eu conheça nas políticas públicas onde o sector privado construiu algo tão poderoso que quando atingiu o poder máximo, foi simplesmente entregue de alguma forma ao interesse público.

DARIO AMODEI: Sim, quero dizer, acho que você está certo em ser cético e, da mesma forma, o que eu disse com as perguntas anteriores sobre existem apenas esses dilemas a torto e a direito que não têm uma resposta fácil. Mas acho que posso dar um pouco mais de concretude do que você apontou, e talvez mais concretude do que outros disseram, embora eu não saiba o que outros disseram. Estamos no ASL 2 em nosso plano de escalonamento responsável. Acho que esses tipos de questões se tornarão um assunto sério quando alcançarmos, digamos, ASL 4. Portanto, isso não é uma data e hora. Ainda nem especificamos totalmente o ASL 4 –

EZRA KLEIN: Só porque isso é muito jargão, como você especifica ASL 3? E então, como você disse, ASL 4 ficou bastante indefinido. Então, o que você está insinuando que ASL 4 é?

DARIO AMODEI: ASL 3 é desencadeada por riscos relacionados ao uso indevido da biologia e da tecnologia cibernética. ASL 4, estamos trabalhando agora.

EZRA KLEIN: Seja específico. O que você quer dizer? Tipo, o que um sistema poderia fazer ou faria para ativá-lo?

DARIO AMODEI: Sim, por exemplo, em biologia, da forma como o definimos – e ainda estamos refinando o teste, mas da forma como o definimos é, em relação ao uso de uma pesquisa no Google, há uma substancial aumento do risco, conforme seria avaliado, por exemplo, pela comunidade de segurança nacional, de uso indevido da biologia, criação de armas biológicas, de que a sua proliferação ou propagação seja maior do que era antes, ou as capacidades sejam substancialmente maiores do que eram antes.

Provavelmente teremos algo quantitativo mais exato, trabalhando com pessoas que são ex-funcionários do governo em biodefesa, mas algo assim representa 20% da fonte total de risco de ataques biológicos, ou algo assim aumenta o risco em 20% ou algo assim assim. Então essa seria uma versão muito concreta disso. Acontece que levamos tempo para desenvolver critérios muito concretos. Então isso seria como ASL 3.

ASL 4 tratará mais, do lado do uso indevido, de permitir que atores em nível estadual aumentem significativamente sua capacidade, o que é muito mais difícil do que permitir pessoas aleatórias. Portanto, preocuparíamos que a Coreia do Norte, a China ou a Rússia pudessem melhorar grandemente as suas capacidades ofensivas em várias áreas militares com IA, de uma forma que lhes daria uma vantagem substancial a nível geopolítico. E do lado da autonomia, várias medidas desses modelos estão bem próximas de serem capazes de replicar e sobreviver na natureza.

Portanto, parece que estamos a um passo de modelos que, penso eu, levantariam questões verdadeiramente existenciais. E então, acho que o que estou dizendo é que quando chegarmos a esse último estágio, o ASL 4, é quando acho que pode fazer sentido pensar sobre qual é o papel do governo na administração dessa tecnologia.

Novamente, eu realmente não sei como é. Você tem razão. Todas essas empresas têm investidores. Eles têm pessoas envolvidas. Você fala em apenas entregar os modelos. Suspeito que haja alguma maneira de entregar os componentes ou capacidades mais perigosos ou socialmente sensíveis dos modelos sem fechar totalmente a torneira comercial. Não sei se existe uma solução que deixe todos os atores satisfeitos. Mas, novamente, chego à ideia de demonstrar riscos específicos.

Se olharmos para momentos da história, como a Primeira Guerra Mundial ou a Segunda Guerra Mundial, a vontade das indústrias pode inclinar-se para o Estado. Eles podem ser levados a fazer coisas que não são necessariamente lucrativas no curto prazo porque entendem que há uma emergência. Neste momento, não temos uma emergência. Temos apenas uma linha em um gráfico na qual esquisitos como eu acreditam e algumas pessoas como você que estão me entrevistando podem acreditar de alguma forma. Não temos um perigo claro e presente.

EZRA KLEIN: Quando você imagina a quantos anos de distância, aproximadamente, o ASL 3 está e a quantos anos de distância do ASL 4, certo, você pensou muito sobre essa curva de escala exponencial. Se você apenas tivesse que adivinhar, do que estamos falando?

DARIO AMODEI: Sim, acho que ASL 3 poderia facilmente acontecer este ano ou no próximo. Eu acho que ASL 4 –

EZRA KLEIN: Oh, Jesus Cristo.

DARIO AMODEI: Não, não, eu te disse. Eu acredito em exponenciais. Acho que o ASL 4 pode acontecer entre 2025 e 2028.

EZRA KLEIN: Então isso é rápido.

DARIO AMODEI: Sim, não, não, estou realmente falando sobre o futuro próximo aqui. Não estou falando de daqui a 50 anos. Deus me conceda a castidade, mas não agora. Mas “agora não” não significa quando eu estiver velho e grisalho. Acho que pode ser a curto prazo. Não sei. Eu poderia estar errado. Mas acho que pode ser uma coisa de curto prazo.

EZRA KLEIN: Mas então, se você pensar sobre isso, sinto que o que você está descrevendo, voltando a algo sobre o qual falamos anteriormente, que existe esta função de etapa para o impacto social da IA, a curva das capacidades exponenciais , mas de vez em quando acontece alguma coisa, ChatGPT, por exemplo, Midjourney com fotos. E de repente, muitas pessoas sentem isso. Eles percebem o que aconteceu e reagem. Eles usam isso. Eles o implantam em suas empresas. Eles investem nisso, tanto faz.

E parece-me que essa é a estrutura da economia política que você está descrevendo aqui. Ou algo acontece onde a capacidade da arma biológica é demonstrada ou a capacidade ofensiva da arma cibernética é demonstrada, e isso assusta o governo, ou possivelmente algo acontece, certo? Descrever a Primeira Guerra Mundial e a Segunda Guerra Mundial com seus exemplos não me encheu de conforto porque, para submeter a indústria à vontade do governo, nesses casos, teríamos que ter uma guerra mundial real. Isso não acontece tão facilmente.

Você poderia usar o coronavírus, eu acho, como outro exemplo de onde houve uma catástrofe global significativa o suficiente para que empresas, governos e até mesmo pessoas fizessem coisas que você nunca esperaria. Mas os exemplos que temos disso acontecendo são terríveis. Todos esses exemplos acabam com milhões de corpos.

Não estou dizendo que isso será verdade para a IA, mas parece que se trata de uma economia política. Não, você não pode imaginar isso agora, da mesma forma que não poderia ter imaginado exatamente o tipo de mundo pré e pós-ChatGPT, mas algo acontece e o mundo muda. Tipo, é uma função step em todos os lugares.

DARIO AMODEI: Sim, quero dizer, acho que minha versão positiva disso, para não ser assim – para fugir um pouco da desgraça e da tristeza, é que os perigos são demonstrados de uma forma concreta que é realmente convincente, mas sem algo realmente ruim está acontecendo, certo? Acho que a pior maneira de aprender seria acontecer algo realmente ruim. E espero todos os dias que isso não aconteça e que aprendamos sem derramamento de sangue.

EZRA KLEIN: Temos falado aqui sobre limites e curvas conceituais, mas quero, antes de terminar, nos reaproximar um pouco da realidade física, certo? Acho que se você estiver usando IA, pode parecer bits e bytes digitais, armazenados em algum lugar na nuvem.

Mas o que acontece fisicamente é um enorme número de chips, centros de dados, uma enorme quantidade de energia, tudo isto dependente de complicadas cadeias de abastecimento. E o que acontecerá se algo acontecer entre a China e Taiwan e os fabricantes de muitos desses chips ficarem offline ou forem capturados? Como você pensa sobre a necessidade de poder computacional? E quando você imagina os próximos cinco anos, como será essa cadeia de abastecimento? Como isso precisa mudar de onde está agora? E quais vulnerabilidades existem nele?

DARIO AMODEI: Sim, primeiro, acho que esta pode acabar sendo a maior questão geopolítica do nosso tempo. E cara, isso está relacionado a coisas que estão muito acima do meu nível salarial, que são decisões militares sobre se e como defender Taiwan. Tudo o que posso fazer é dizer quais são as implicações para a IA. Acho que essas implicações são bastante nítidas. Acho que há uma grande questão: OK, construímos esses modelos poderosos.

Primeiro, há oferta suficiente para construí-los? A segunda é o controlo sobre esse fornecimento, uma forma de pensar sobre questões de segurança ou uma forma de pensar sobre o equilíbrio do poder geopolítico. E terceiro, se esses chips forem usados ​​para construir data centers, onde ficarão esses data centers? Eles estarão nos EUA? Eles estarão em um aliado dos EUA? Eles estarão no Oriente Médio? Eles estarão na China?

Tudo isto tem enormes implicações e, então, a própria cadeia de abastecimento pode ser perturbada. E as decisões políticas e militares podem ser tomadas com base na situação atual. Portanto, parece um problema incrivelmente complicado para mim. Não sei se tenho uma grande visão sobre isso. Quero dizer, como cidadão dos EUA e alguém que acredita na democracia, sou alguém que espera que possamos encontrar uma forma de construir centros de dados e de ter a maior quantidade de chips disponíveis nos EUA e nos países democráticos aliados.

EZRA KLEIN: Bem, há algumas informações que você deveria ter sobre isso: você é um cliente aqui, certo? E assim, há cinco anos, as pessoas que fabricavam estes chips não sabiam qual seria o nível de procura por eles. Quero dizer, o que aconteceu com os preços das ações da Nvidia é realmente notável.

Mas também o que está implícito sobre o futuro dos preços das ações da Nvidia é realmente notável. Rana Foroohar, do Financial Times, citou esta análise de mercado. Levaria 4.500 anos para que os dividendos futuros da Nvidia igualassem o seu preço atual, 4.500 anos. Essa é uma visão de quanto a Nvidia ganhará nos próximos anos. É realmente surpreendente.

Quero dizer, em teoria você já está trabalhando ou pensando em como trabalhar na próxima geração de Claude. Você vai precisar de muitos chips para isso. Você está trabalhando com a Amazon. Você está tendo problemas para obter a quantidade de computação que acha necessária? Quero dizer, você já está enfrentando restrições de oferta? Ou a oferta conseguiu mudar, se adaptar a você?

DARIO AMODEI: Conseguimos a computação que precisamos para este ano, suspeito que também para o próximo ano. Acho que quando as coisas chegarem a 2026, 2027, 2028, a quantidade de computação atingirá níveis que começarão a sobrecarregar as capacidades da indústria de semicondutores. A indústria de semicondutores ainda produz principalmente CPUs, certo? Apenas as coisas no seu laptop, não as coisas nos data centers que treinam os modelos de IA. Mas à medida que o valor económico das GPUs aumenta cada vez mais devido ao valor dos modelos de IA, isso vai mudar.

Mas você sabe o que? Em algum momento, você atinge os limites disso ou atinge os limites de quão rápido você pode mudar. E assim, mais uma vez, espero que haja uma grande crise de abastecimento em torno dos centros de dados, dos chips e da energia, por razões regulamentares e físicas, algures nos próximos anos. E isso é um risco, mas também é uma oportunidade. Acho que é uma oportunidade para pensar sobre como a tecnologia pode ser governada.

E é também uma oportunidade, repito mais uma vez, para pensar sobre como as democracias podem liderar. Penso que seria muito perigoso se os líderes desta tecnologia e os detentores dos principais recursos fossem países autoritários. A combinação de IA e autoritarismo, tanto a nível interno como a nível internacional, é muito assustadora para mim.

EZRA KLEIN: E a questão da energia? Quero dizer, isso requer uma quantidade enorme de energia. E quero dizer, eu vi números diferentes como esse flutuando por aí. Nos próximos anos, poderá ser como adicionar um Bangladesh ao consumo mundial de energia. Ou escolha seu país, certo? Não sei exatamente o que todos vocês usarão até 2028.

A Microsoft, por si só, está abrindo um novo data center globalmente a cada três dias. Você tem – e isso vem de um artigo do Financial Times – projeções federais para 20 novas usinas movidas a gás nos EUA até 2024 a 2025. Fala-se muito sobre esta ser agora uma nova era de ouro para o gás natural porque temos um monte disso. Há uma enorme necessidade de um novo poder para gerenciar todos esses dados, para gerenciar toda essa computação.

Então, em primeiro lugar, sinto que há uma questão literal de como obter a energia necessária e a que preço, mas também uma questão mais moral e conceptual de que temos problemas reais com o aquecimento global. Temos problemas reais com a quantidade de energia que usamos. E aqui estamos decolando nesta curva realmente íngreme de quanto parecemos precisar dedicar à nova corrida da IA.

DARIO AMODEI: Realmente se resume a quais são os usos que o modelo está sendo dado, certo? Então acho que o caso preocupante seria algo parecido com criptografia, certo? Não acredito que qualquer que seja a energia usada para extrair o próximo Bitcoin, acho que foi puramente aditiva. Acho que isso não existia antes. E não consigo pensar em nada útil criado por isso.

Mas não creio que seja o caso da IA. Talvez a IA torne a energia solar mais eficiente ou talvez resolva a fusão nuclear controlada, ou talvez torne a geoengenharia mais estável ou possível. Mas não creio que precisemos confiar no longo prazo. Existem algumas aplicações em que o modelo faz algo que costumava ser automatizado, que costumava ser feito por sistemas de computador. E o modelo consegue fazer isso mais rápido e com menos tempo de computação, certo? Essas são vitórias puras. E existem alguns deles.

Há outros onde se utiliza a mesma quantidade de recursos computacionais ou talvez mais recursos computacionais, mas para fazer algo mais valioso que economize trabalho em outro lugar. Depois, há casos em que algo costumava ser feito por humanos ou no mundo físico, e agora está sendo feito por modelos. Talvez faça algo que antes eu precisava ir ao escritório para fazer isso. E agora não preciso mais ir ao escritório para fazer isso.

Então não preciso entrar no meu carro. Não preciso usar o gás que foi usado para isso. A contabilização da energia para isso é meio difícil. Você compara isso com a comida que os humanos comem e qual é o custo energético para produzi-la.

Então, com toda a honestidade, não acho que tenhamos boas respostas sobre qual fração do uso aponta para um lado e qual fração do uso aponta para outros. Em muitos aspectos, quão diferente é isto do dilema geral de que, à medida que a economia cresce, ela utiliza mais energia?

Então, acho que o que estou dizendo é que tudo importa como você usa a tecnologia. Quero dizer, meu tipo de resposta chata de curto prazo é: obtemos compensações de carbono para todas essas coisas. Mas vamos olhar além disso para a questão macro aqui.

EZRA KLEIN: Mas, falando do outro lado, quero dizer, acho que a diferença, quando você diz que esta é sempre uma pergunta que temos quando estamos aumentando o PIB, é que não é bem assim. É cliché porque é verdade dizer que o principal desafio do aquecimento global neste momento é o enriquecimento de países como a China e a Índia. E queremos que eles fiquem mais ricos. É um enorme imperativo humano, certo, um imperativo moral para que as pessoas pobres do mundo se tornem menos pobres. E se isso significa que eles usam mais energia, então só precisamos descobrir como fazer isso funcionar. E não sabemos como isso acontecerá sem que eles usem mais energia.

Adicionar IA não significa que levante um conjunto totalmente diferente de questões, mas já estamos forçando os limites, ou talvez muito além deles, do que podemos fazer com segurança energeticamente. Agora acrescentamos isto, e talvez alguns dos ganhos de eficiência energética que conseguiremos nos países ricos sejam eliminados. Para este tipo de recompensa incerta no futuro, talvez através da IA, descobrimos maneiras de estabilizar a fusão nuclear ou algo assim, certo, você poderia imaginar maneiras que poderiam ajudar, mas essas formas são teóricas.

E no curto prazo, os danos em termos de utilização de energia são reais. E também, já agora, os danos em termos justos de preços da energia. Também é complicado porque todas essas empresas, Microsoft, Amazon, quero dizer, todas elas têm muitas metas de energia renovável. Agora, se isso está colidindo com os seus incentivos de mercado, parece que eles estão correndo muito rápido em direção aos incentivos de mercado, sem uma resposta sobre como tudo isso resulta.

DARIO AMODEI: Sim, quero dizer, acho que as preocupações são reais. Deixe-me recuar um pouco, o que é, novamente, não acho que os benefícios sejam puramente no futuro. Isso meio que remonta ao que eu disse antes. Tipo, pode haver casos de uso agora que economizem energia líquida, ou que, na medida em que não economizem energia líquida, façam isso por meio do mecanismo geral de, ah, havia mais demanda por essa coisa.

Não creio que alguém tenha feito um trabalho suficientemente bom para medir, em parte porque as aplicações da IA ​​são tão novas, quais dessas coisas dominam ou o que vai acontecer à economia. Mas não creio que devamos presumir que os danos estão inteiramente no presente e os benefícios estão inteiramente no futuro. Acho que esse é o meu único ponto aqui.

EZRA KLEIN: Acho que você poderia imaginar um mundo onde estivéssemos, de uma forma ou de outra, incentivando o uso de IA que estivesse atrelado a algum tipo de propósito social. Estávamos investindo muito mais na descoberta de medicamentos, ou nos preocupávamos muito com coisas que tornavam o trabalho remoto mais fácil, ou com a escolha de seu conjunto de bens públicos.

Mas o que realmente me parece estar acontecendo é que estamos construindo modelos cada vez mais poderosos e apenas lançando-os dentro de uma estrutura de termos de serviço para dizer, use-os contanto que você não esteja tentando manipular politicamente as pessoas. ou criar uma arma biológica. Apenas tente descobrir isso, certo? Tente criar novas histórias e pergunte sobre sua vida pessoal, e faça um videogame com elas. E Sora sai mais cedo ou mais tarde. Faça novos vídeos com ele. E tudo isso consumirá muita energia.

Não estou dizendo que tenho um plano para vincular a IA ao bem social e, de certa forma, você pode imaginar que isso está dando muito, muito errado. Mas significa que, durante muito tempo, é como se você pudesse imaginar o mundo do qual está falando, mas isso exigiria algum tipo de planejamento no qual ninguém está envolvido, e não acho que alguém queira se envolver. .

DARIO AMODEI: Nem todos têm a mesma concepção de bem social. Uma pessoa pode pensar que o bem social é esta ideologia. Outra pessoa – vimos isso com algumas coisas de Gêmeos.

EZRA KLEIN: Certo.

DARIO AMODEI: Mas as empresas podem tentar fazer elas próprias aplicações benéficas, certo? Tipo, é por isso que estamos trabalhando com institutos de câncer. Esperamos estabelecer parcerias com ministérios da educação em África, para ver se podemos utilizar os modelos de uma forma positiva para a educação, em vez da forma como podem ser utilizados por defeito. Portanto, penso que empresas individuais, pessoas individuais, podem tomar medidas para orientar ou direcionar isto para o bem público.

Dito isto, nunca será 100% do que fazemos é isso. E então acho que é uma boa pergunta. Quais são os incentivos sociais, sem ditar ideologia ou definir o bem público de cima, quais são os incentivos que poderiam ajudar nisso?

Também não sinto que tenha uma resposta sistêmica. Só consigo pensar em termos do que a Antrópica tenta fazer.

EZRA KLEIN: Mas há também a questão dos dados de treinamento e da propriedade intelectual que está presente em coisas como Claude, como GPT, como Gemini. Existem vários processos judiciais de direitos autorais. Você está enfrentando alguns. OpenAI está enfrentando alguns. Suspeito que todos os estão enfrentando agora ou irão enfrentá-los.

E uma sensação ampla de que esses sistemas estão sendo treinados na produção intelectual combinada de muitas pessoas diferentes – a maneira como Claude consegue imitar com bastante eficácia a maneira como escrevo é que foi treinado, até certo ponto, na minha escrita, certo? Então, na verdade, isso capta muito bem meus tiques estilísticos. Você parece ótimo, mas não me enviou um cheque sobre isso. E este parece ser um lugar onde existe um risco real de responsabilidade para a indústria. Tipo, e se você realmente tiver que compensar as pessoas para quem isso está sendo treinado? E você deveria?

E reconheço que você provavelmente não pode comentar os processos em si, mas tenho certeza de que teve que pensar muito sobre isso. E então, estou curioso para saber como você entende isso como um risco, mas também como você o entende moralmente. Quero dizer, quando você fala sobre as pessoas que inventaram esses sistemas ganhando muito poder e, junto com isso, muita riqueza, bem, e quanto a todas as pessoas cujo trabalho foi investido neles para que possam criar imagens em um milhão de imagens diferentes? estilos?

E quero dizer, alguém inventou esses estilos. Qual é a responsabilidade de volta para os bens comuns intelectuais? E não apenas para os bens comuns, mas para os salários reais e as perspectivas económicas das pessoas que tornaram tudo isto possível?

DARIO AMODEI: Acho que todos concordam que os modelos não deveriam produzir literalmente conteúdo protegido por direitos autorais. Para coisas que estão disponíveis na web, publicamente disponíveis, nossa posição – e acho que há fortes argumentos a favor disso – é que o processo de treinamento, novamente, não achamos que seja apenas aspirar conteúdo e cuspi-lo, ou não deveria estar cuspindo. Na verdade, é muito mais parecido com o processo de como um ser humano aprende com as experiências. E assim, a nossa posição de que isso é suficientemente transformador, e penso que a lei irá apoiar isto, de que isto é uso justo.

Mas essas são formas legais restritas de pensar sobre o problema. Penso que temos uma questão mais ampla, que é a de que, independentemente da forma como foi treinado, continuaríamos a construir sistemas cognitivos cada vez mais gerais e que esses sistemas criariam perturbações. Talvez não necessariamente substituindo os humanos um por um, mas eles realmente vão mudar a forma como a economia funciona e quais habilidades são valorizadas. E precisamos de uma solução para esse amplo problema macroeconómico, certo?

Por mais que eu tenha afirmado os pontos jurídicos restritos que afirmei antes, temos aqui um problema mais amplo e não deveríamos ser cegos a isso. Existem várias soluções. Quer dizer, acho que o mais simples, que reconheço que não aborda algumas das questões mais profundas aqui, são coisas em torno do tipo de renda básica garantida.

Mas penso que há aqui uma questão mais profunda: à medida que os sistemas de IA se tornam capazes de realizar fatias cada vez maiores de trabalho cognitivo, como é que a sociedade se organiza economicamente? Como as pessoas encontram trabalho, significado e tudo isso?

E tal como acontece com a transição de uma sociedade agrária para uma sociedade industrial e o significado do trabalho mudou, e já não era verdade que 99 por cento das pessoas eram camponeses que trabalhavam em explorações agrícolas e tinham de encontrar novos métodos de organização económica, suspeito há algum método diferente de organização económica que será forçado como a única resposta possível às perturbações na economia que serão pequenas no início, mas que crescerão com o tempo, e que ainda não descobrimos o que é. Precisamos encontrar algo que permita às pessoas encontrar um significado que seja humano e que maximize a nossa criatividade e potencial e o florescimento da IA

E como acontece com muitas dessas perguntas, não tenho a resposta para isso. Certo? Eu não tenho receita. Mas é isso que de alguma forma precisamos fazer.

EZRA KLEIN: Mas quero situar-me entre a resposta jurídica restrita e a resposta ampla “temos de reorganizar completamente a sociedade”, embora pense que essa resposta seja realmente possível ao longo das décadas. E no meio disso está uma questão mais específica. Quero dizer, você pode até pegar isso do lado instrumental. Há muito esforço agora para construir produtos de busca que utilizem esses sistemas, certo? ChatGPT usará o Bing para procurar por você.

E isso significa que a pessoa não vai ao Bing e clica no site onde o ChatGPT está obtendo suas informações e dando a esse site uma impressão publicitária que pode se transformar em uma quantia muito pequena de dinheiro, ou não vai para aquele site e ter uma experiência muito boa com aquele site e talvez se tornar mais propenso a se inscrever em quem está por trás desse site.

E assim, por um lado, isso parece ser algum tipo de injustiça cometida às pessoas que criam a informação que estes sistemas utilizam. Quero dizer, isso é verdade para a perplexidade. É verdade para muitas coisas que estou começando a ver onde as IAs são treinadas ou usam muitos dados que as pessoas geraram a algum custo real. Mas eles não apenas não estão pagando às pessoas por isso, mas estão na verdade entrando no meio de onde normalmente seriam um relacionamento direto e fazendo com que esse relacionamento nunca aconteça.

Acho que isso também cria, no longo prazo, um problema de dados de treinamento, mesmo que você queira apenas olhar para isso instrumentalmente, onde se torna inviável fazer jornalismo ou fazer muitas coisas para criar informações de alta qualidade lá fora. , a capacidade da IA, certo, a capacidade de todas as suas empresas de obter informações de alta qualidade, atualizadas e constantemente atualizadas torna-se muito mais complicada. Portanto, parece-me haver uma dimensão moral e de interesse próprio nisso.

DARIO AMODEI: Sim, então acho que pode haver modelos de negócios que funcionem para todos, não porque seja ilegítimo treinar em dados abertos da web no sentido legal, mas apenas porque pode haver modelos de negócios aqui que proporcionam um melhor produtos. Então, as coisas em que estou pensando são como se os jornais tivessem arquivos. Alguns deles não estão disponíveis publicamente. Mas mesmo que o sejam, pode ser um produto melhor, talvez uma experiência melhor, digamos, falar com este jornal ou falar com aquele jornal.

Pode ser uma experiência melhor dar a capacidade de interagir com o conteúdo e apontar para lugares no conteúdo, e toda vez que você chamar esse conteúdo, ter algum tipo de relacionamento comercial com os criadores desse conteúdo. Então pode haver aqui modelos de negócios que propaguem o valor da maneira certa, certo? Você fala sobre LLMs usando produtos de pesquisa. Quero dizer, claro, você está contornando os anúncios, mas não há razão para que não funcione de uma maneira diferente, certo?

Não há razão para que os usuários não possam pagar pelas APIs de pesquisa, em vez de serem pagas por meio de publicidade, e então fazer com que isso se propague para onde quer que esteja o mecanismo original que pagou aos criadores do conteúdo. Assim, quando o valor está sendo criado, o dinheiro pode fluir.

EZRA KLEIN: Deixe-me tentar terminar perguntando um pouco sobre como viver na encosta da curva em que você acredita que estamos. Você tem filhos?

DARIO AMODEI: Sou casado. Eu não tenho filhos.

EZRA KLEIN: Então, tenho dois filhos. Tenho um filho de dois anos e um de cinco. E especialmente quando estou fazendo reportagens sobre IA, eu realmente sento na cama à noite e penso: o que devo fazer aqui com eles? Para que mundo estou tentando prepará-los? E o que é necessário nesse mundo é diferente do que é necessário neste mundo, mesmo que eu acredite que haja alguma chance — e acredito que há alguma chance — de que todas as coisas que você está dizendo sejam verdadeiras. Isso implica uma vida muito, muito, muito diferente para eles.

Conheço pessoas na sua empresa com crianças. Eu sei que eles estão pensando sobre isso. Como você pensa sobre isso? Quero dizer, o que você acha que deveria ser diferente na vida de uma criança de dois anos que está vivendo o ritmo de mudança que você está me dizendo ser verdade aqui? Se você tivesse um filho, como isso mudaria a maneira como você pensa sobre isso?

DARIO AMODEI: A resposta muito curta é: não sei e não tenho ideia, mas temos que tentar mesmo assim, certo? As pessoas têm que criar os filhos e fazer isso da melhor maneira possível. Uma recomendação óbvia é apenas familiaridade com a tecnologia e como ela funciona, certo? O paradigma básico de que estou falando com sistemas, e os sistemas estão agindo em meu nome, obviamente, o máximo de familiaridade possível com isso é, eu acho, útil.

Em termos do que as crianças devem aprender na escola, quais serão as carreiras de amanhã, eu realmente não sei, certo? Você poderia entender isso como, bem, é importante aprender STEM e programação e IA e tudo isso. Mas a IA também terá impacto nisso, certo? Eu não acho que nada disso vai –

EZRA KLEIN: Possivelmente primeiro.

DARIO AMODEI: Sim, certo, possivelmente primeiro.

EZRA KLEIN: Parece melhor em codificação do que em outras coisas.

DARIO AMODEI: Não acho que funcione para nenhum desses sistemas fazer apenas um por um o que os humanos farão. Eu realmente não penso assim. Mas penso que poderá mudar fundamentalmente as indústrias e as profissões, uma a uma, de formas difíceis de prever. E então, sinto que só tenho clichês aqui. Como se familiarizar com a tecnologia. Ensine seus filhos a serem adaptáveis, a estarem prontos para um mundo que muda muito rapidamente. Eu gostaria de ter respostas melhores, mas acho que foi o melhor que consegui.

EZRA KLEIN: Concordo que não é uma boa resposta. [RISOS] Deixe-me fazer a mesma pergunta de outra direção, porque uma coisa que você acabou de dizer é familiarizar-se com a tecnologia. E quanto mais tempo passo com a tecnologia, mais temo que isso aconteça. O que vejo quando as pessoas usam IA ao meu redor é que a coisa óbvia que a tecnologia faz por você é automatizar as partes iniciais do processo criativo.

A parte em que você deveria estar lendo algo difícil? Bem, a IA pode resumir isso para você. A parte em que você deveria sentar com uma página em branco e escrever alguma coisa? Bem, a IA pode fornecer um primeiro rascunho. E mais tarde, você tem que verificar e ter certeza de que realmente fez o que você queria e verificar os fatos. E mas acredito que muito do que torna os humanos bons em pensar vem dessas regiões.

E eu sou mais velho e tenho autodisciplina, e talvez seja apenas eu que estou agarrado a uma maneira antiga de fazer isso, certo? Você poderia dizer por que usar uma calculadora dessa perspectiva. Mas minha verdadeira preocupação é que não tenho certeza se o que eles deveriam fazer é usar muito ou pouco a IA.

Isso, para mim, é na verdade uma grande ramificação, certo? Quero que meus filhos aprendam a usar IA ou estejam em um contexto em que a usem muito, ou, na verdade, quero protegê-los tanto quanto possível para que desenvolvam mais a capacidade de ler um livro sozinho ou escrever um primeiro rascunho? Na verdade, não sei. Estou curioso para saber se você tem uma opinião sobre isso.

DARIO AMODEI: Acho que isso é parte do que torna complicada a interação entre a IA e a sociedade, onde às vezes é difícil distinguir quando uma IA está fazendo algo, economizando trabalho ou trabalho árduo, em vez de fazer a parte interessante. Direi que repetidamente você obterá alguma coisa tecnológica, algum sistema tecnológico que faz o que você pensava ser a essência do que você está fazendo e, ainda assim, o que você está fazendo acaba tendo mais peças do que você acha que sim e meio que resulta em mais coisas, certo?

É como antes, eu tinha que pedir informações. Eu tenho o Google Maps para fazer isso. E você pode se preocupar, dependo muito do Google Maps? Eu esqueço o ambiente ao meu redor? Bem, acontece que, de certa forma, ainda preciso ter uma noção da cidade e do ambiente ao meu redor. Isso apenas realoca o espaço em meu cérebro para algum outro aspecto da tarefa.

E eu meio que suspeito – não sei. Internamente, na Anthropic, uma das coisas que faço que me ajuda a administrar a empresa é escrever esses documentos sobre estratégia ou apenas pensar em alguma direção que outros não pensaram. E claro, às vezes uso os modelos internos para isso. E acho que o que descobri foi, sim, às vezes eles são um pouco bons em conceituar a ideia, mas a verdadeira gênese da ideia, acabei de encontrar um fluxo de trabalho onde não os uso para isso . Eles não são tão úteis para isso. Mas eles são úteis para descobrir como expressar determinada coisa ou como refinar minhas ideias.

Então talvez eu esteja apenas dizendo – não sei. Você acabou de encontrar um fluxo de trabalho onde a coisa o complementa. E se isso não acontece naturalmente, de alguma forma ainda acontece eventualmente. Mais uma vez, se os sistemas se tornarem suficientemente gerais, se se tornarem suficientemente poderosos, poderemos ter de pensar noutras linhas. Mas no curto prazo, pelo menos eu sempre descobri isso. Talvez isso seja muito otimista. Talvez isso seja muito otimista.

EZRA KLEIN: Acho, então, que é um bom lugar para encerrar esta conversa. Embora, obviamente, a curva exponencial continue. Portanto, sempre nossa pergunta final: quais são os três livros que você recomendaria ao público?

DARIO AMODEI: Então, sim, preparei três. Eles são todos tópicos, embora, em alguns casos, indiretamente. O primeiro será óbvio. É um livro muito longo. O livro físico é muito grosso, mas “The Making of the Atomic Bomb”, Richard Rhodes. É um exemplo de tecnologia que está sendo desenvolvida muito rapidamente e com implicações muito amplas. Basta olhar para todos os personagens e como eles reagiram a isso e como as pessoas que eram basicamente cientistas gradualmente perceberam as incríveis implicações da tecnologia e como ela os levaria a um mundo muito diferente daquele ao qual estavam acostumados.

Minha segunda recomendação é uma série de ficção científica, a série de livros “The Expanse”. Então, inicialmente assisti ao programa e depois li todos os livros. E o mundo que ele cria é muito avançado. Em alguns casos, tem uma expectativa de vida mais longa e os humanos expandiram-se para o espaço. Mas ainda enfrentamos algumas das mesmas questões geopolíticas e algumas das mesmas desigualdades e explorações que existem no nosso mundo, ainda presentes, em alguns casos, ainda piores.

Esse é todo o pano de fundo. E o cerne disso é sobre algum objeto tecnológico fundamentalmente novo que está sendo trazido para esse mundo e como todos reagem a ele, como os governos reagem a ele, como as pessoas individuais reagem a ele e como as ideologias políticas reagem a ele. E então, eu não sei. Quando li isso há alguns anos, vi muitos paralelos.

E então minha terceira recomendação seria “The Guns of August”, que é basicamente uma história de como a Primeira Guerra Mundial começou. A ideia básica de que as crises acontecem muito rápido, quase ninguém sabe o que está acontecendo. Existem muitos erros de cálculo porque há seres humanos no centro de tudo e, de alguma forma, temos que aprender a recuar e tomar decisões mais sábias nestes momentos-chave. Dizem que Kennedy leu o livro antes da crise dos mísseis cubanos. E por isso espero que os nossos actuais decisores políticos estejam pelo menos a pensar nos mesmos termos, porque penso que é possível que crises semelhantes possam estar a surgir no nosso caminho.

EZRA KLEIN: Dario Amodei, muito obrigado.

DARIO AMODEI: Obrigado por me receber.

[MÚSICA, TOCANDO]

EZRA KLEIN: Este episódio de “The Ezra Klein Show” foi produzido por Rollin Hu. Verificação de fatos por Michelle Harris. Nosso engenheiro sênior é Jeff Geld. Nossa editora sênior é Claire Gordon. A equipe de produção do programa também inclui Annie Galvin, Kristin Lin e Aman Sahota. Música original de Isaac Jones. Estratégia de público por Kristina Samulewski e Shannon Busta. A produtora executiva do New York Times Opinion Audio é Annie-Rose Strasser. Agradecimentos especiais a Sonia Herrero.