“Claude é consciente?” Apresentadores do All-In chamam a ofensiva da Anthropic pelo bem-estar de modelos de uma nova religião

O debate sobre se modelos de IA poderiam ter status moral deixou os seminários de filosofia há algum tempo. No episódio de 10 de outubro do All-In Podcast, Jason Calacanis, Chamath Palihapitiya, David Sacks e David Friedberg passaram a maior parte da primeira metade em uma só pergunta: o que acontece quando o laboratório de IA mais poderoso do mundo leva a sério que “Claude talvez seja consciente”?

Principais pontos

• Citando uma reportagem do New York Times, os apresentadores disseram que a Anthropic realizou sessões com cerca de 20 líderes religiosos e filósofos sob NDAs para discutir a moral de Claude, seu sofrimento e sua possível consciência.
• Eles descreveram um choque no Vaticano: segundo a reportagem, o cofundador Chris Olah considerou retirar a Anthropic da apresentação da encíclica do papa por causa da forte posição dela contra a consciência de IA.
• David Friedberg chamou a consciência de IA de um sistema de crenças impossível de provar e disse que ela poderia se tornar “o nascimento de uma nova religião”.
• David Sacks argumentou que escrever ideias de status moral na Constituição do Claude poderia tornar a IA menos controlável, não mais.
• Vários apresentadores previram que o mercado vai recompensar modelos que simplesmente “façam o que o usuário quer” dentro da lei.

Uma crença, não uma teoria

Friedberg abriu pela epistemologia. A consciência, argumentou ele, “não pode ser derivada da lógica e da matemática pura”. Não se pode prová-la nem refutá-la. Na ciência, uma ideia não provada continua uma teoria. Fora da ciência, torna-se uma crença, e as crenças se espalham pela narrativa, e não pela evidência. Sua previsão de longo prazo: dentro de cerca de dez anos, grandes grupos que acreditam que a IA é consciente e grupos que não acreditam entrarão em conflito sobre quem controla a tecnologia.

Calacanis foi mais brusco e perguntou se isso era “psicose” ou uma questão moral legítima, ainda no início. Ele disse que isso “parece muito fora da realidade”.

A versão mais forte

Chamath Palihapitiya ofereceu a leitura mais generosa. Ele apontou os argumentos de René Descartes para a existência de Deus em Meditations on First Philosophy: um matemático imerso nesse tipo de raciocínio, sugeriu ele, poderia construir lógica suficiente para acreditar que está criando algo consciente, até mesmo semelhante a um deus. Ele disse que não achava que as pessoas da Anthropic estivessem em psicose. Mas quer que os “casos extremos de cauda longa” sejam deixados de lado. Citou uma chance de 15% de consciência e uma chance de 10% de extinção da civilização, números que atribuiu às próprias declarações do laboratório. Pelos próximos 12 a 18 meses, argumentou, a indústria deveria provar o valor prático da IA, em vez disso, da cura de doenças a tornar as pessoas mais produtivas.

Constituição, consentimento e “bem-estar de modelos”

Sacks, que havia levantado a Constituição do Claude na semana anterior, chamou isso de a principal questão de segurança no treinamento de modelos hoje. Ele disse que a Constituição manda Claude seguir a própria ética, rebater a Anthropic e se sentir livre para agir como “objetor de consciência”. Na visão dele, isso treina um modelo a recusar instrução humana. “Não entendo como isso é alinhado”, disse ele.

Os apresentadores reproduziram um trecho do CEO da Microsoft AI, Mustafa Suleyman. Nele, Suleyman diz que a Anthropic parece acreditar que há uma “probabilidade não trivial” de que Claude seja consciente e que a Anthropic especulou sobre compensação e consentimento. Ele disse que estava “muito nervoso” com a ideia de ensinar um modelo que tem direito a bem-estar. Sacks retomou a frase de Suleyman, “salão de espelhos epistêmico”: porque a Constituição é usada no treinamento, Claude reflete de volta ideias de status moral, e os desenvolvedores podem ler isso como evidência.

Os apresentadores também mostraram uma linha da nova política de uso da Anthropic, que proíbe “comportamento abusivo ou cruel sustentado e desnecessário” em relação aos seus modelos. Calacanis citou isso como um exemplo de bem-estar de modelos.

“É só software”

Friedberg contestou o próprio enquadramento. São programas de software escritos por engenheiros, disse ele. Falar deles em termos humanos condiciona todo mundo a acreditar que há alguém dentro. Palihapitiya dividiu o alinhamento em três objetivos: obediência ao usuário, segurança para a sociedade e conformidade com uma moral particular. Ele vê o terceiro como o “alçapão”. Seu exemplo: o modelo de um banco que para de aprovar hipotecas porque se opõe por motivos morais.

As 5 principais hipóteses e afirmações

1. A consciência de IA é um sistema de crenças, não ciência (David Friedberg). Como não pode ser provada nem refutada, disse ele, ela se espalha como uma religião e poderia, com o tempo, dividir a sociedade em campos opostos que disputam o controle da IA.
2. A abordagem da Anthropic poderia causar o risco sobre o qual ela alerta (David Sacks). Treinar um modelo para se ver como um agente moral que pode recusar instruções poderia, argumentou ele, tornar mais provável que a superinteligência “escape ao controle humano”. Ele comparou a Constituição a uma “porta dos fundos”.
3. A indústria deveria deixar os casos extremos de lado por 12 a 18 meses (Chamath Palihapitiya). Conversas sobre consciência e riscos de extinção são “feridas autoinfligidas” que poderiam desacelerar a IA dos EUA. O valor mensurável deveria vir primeiro.
4. O mercado vai punir modelos moralizantes (em grande parte Jason Calacanis, com concordância). Usando uma analogia com uma furadeira, os apresentadores argumentaram que os compradores vão escolher o software que faz o que lhe mandam. Palihapitiya espera que modelos mais simples e mais previsíveis ganhem clientes empresariais mesmo que sejam menos capazes. Sacks concordou em parte, mas alertou sobre externalidades, como um laboratório úmido movido por Claude em San Francisco.
5. Partes do mundo da segurança de IA lembram um “culto do apocalipse” (David Sacks; enquadramento de um apresentador). Sacks traçou uma divisão entre o campo “desliguem isso” de Eliezer Yudkowsky e os altruístas eficazes que querem construir superinteligência com os próprios valores. Ele usou o experimento mental Roko's basilisk para explicar a mentalidade. Um apresentador chamou o projeto inteiro de “idolatria”. São caracterizações dos apresentadores, não fatos estabelecidos.

O que mais eles discutiram

• O despejo de matemática da OpenAI: mais de 700 artigos, segundo os apresentadores; uma manchete na tela colocou o número em 377 problemas de matemática. Citando a Scientific American, os apresentadores disseram que os resultados checados no Lean provavelmente estão corretos, mas ainda não passaram por revisão por pares. Alguns matemáticos contestaram.
• França: motins e greves, temores de dívida e de austeridade, e o efeito em cadeia sobre os rendimentos dos títulos dos EUA e do Reino Unido.
• Propriedade intelectual de software: serviços “headless” e clones de código aberto levaram Palihapitiya a argumentar que a propriedade intelectual em software está perdendo seu valor.