«Claude è cosciente?» I conduttori di All-In chiamano nuova religione la spinta di Anthropic al benessere dei modelli

Il dibattito sul fatto che i modelli di IA possano avere uno status morale ha lasciato i seminari di filosofia da un po'. Nell'episodio del 10 ottobre dell'All-In Podcast, Jason Calacanis, Chamath Palihapitiya, David Sacks e David Friedberg hanno dedicato gran parte della prima metà a una domanda: che cosa succede quando il laboratorio di IA più potente della Terra prende sul serio l'idea che «Claude potrebbe essere cosciente»?

Punti chiave

• Citando un articolo del New York Times, i conduttori hanno detto che Anthropic ha tenuto sessioni con circa 20 leader religiosi e filosofi sotto NDA per discutere della morale di Claude, della sofferenza e di una possibile coscienza.
• Hanno descritto uno scontro in Vaticano: secondo il resoconto, il cofondatore Chris Olah ha valutato di ritirare Anthropic dalla presentazione dell'enciclica del Papa per la sua netta posizione contro la coscienza dell'IA.
• David Friedberg ha definito la coscienza dell'IA un sistema di credenze indimostrabile e ha detto che potrebbe diventare «la nascita di una nuova religione».
• David Sacks ha sostenuto che scrivere idee di status morale nella Costituzione di Claude potrebbe rendere l'IA meno controllabile, non di più.
• Diversi conduttori hanno previsto che il mercato premierà i modelli che, semplicemente, «fanno ciò che l'utente vuole» nei limiti della legge.

Una credenza, non una teoria

Friedberg ha aperto con l'epistemologia. La coscienza, ha sostenuto, «non può essere derivata dalla logica e dalla matematica pura». Non la si può né dimostrare né confutare. Nella scienza un'idea non dimostrata resta una teoria. Fuori dalla scienza diventa una credenza, e le credenze si diffondono tramite il racconto piuttosto che tramite le prove. La sua previsione di lungo periodo: entro circa dieci anni, grandi gruppi che credono che l'IA sia cosciente e gruppi che non lo credono entreranno in conflitto su chi controlla la tecnologia.

Calacanis è stato più netto e ha chiesto se si trattasse di «psicosi» o di una domanda morale precoce e legittima. Ha detto che «sembra davvero campato in aria».

L'argomento più forte

Chamath Palihapitiya ha offerto la lettura più benevola. Ha indicato gli argomenti di René Descartes per l'esistenza di Dio in Meditations on First Philosophy: un matematico immerso in quel ragionamento, ha suggerito, potrebbe costruire abbastanza logica da credere di stare creando qualcosa di cosciente, persino simile a un dio. Ha detto di non pensare che le persone di Anthropic siano in psicosi. Ma vuole accantonare i «casi limite della coda lunga». Ha citato una probabilità del 15% di coscienza e una probabilità del 10% di estinzione della civiltà, cifre che ha attribuito alle dichiarazioni dello stesso laboratorio. Per i prossimi 12 a 18 mesi, ha sostenuto, il settore dovrebbe invece dimostrare il valore pratico dell'IA, dal curare le malattie al rendere le persone più produttive.

Costituzione, consenso e «benessere dei modelli»

Sacks, che aveva sollevato la Costituzione di Claude la settimana prima, ha definito questo il principale problema di sicurezza nell'addestramento dei modelli oggi. Ha detto che la Costituzione dice a Claude di seguire la propria etica, di opporsi ad Anthropic e di sentirsi libero di agire da «obiettore di coscienza». A suo avviso, ciò addestra un modello a rifiutare l'istruzione umana. «Non capisco come questo sia allineato», ha detto.

I conduttori hanno riprodotto un clip di Mustafa Suleyman, amministratore delegato di Microsoft AI. In esso Suleyman dice che Anthropic sembra credere che ci sia una «probabilità non trascurabile» che Claude sia cosciente e ha speculato su compenso e consenso. Ha detto di essere «molto nervoso» all'idea di insegnare a un modello che ha diritto al benessere. Sacks ha ripreso la frase di Suleyman, «sala degli specchi epistemica»: poiché la Costituzione è usata nell'addestramento, Claude riflette indietro idee di status morale, e gli sviluppatori possono leggere ciò come prova.

I conduttori hanno anche mostrato una riga della nuova politica d'uso di Anthropic, che vieta un «comportamento abusivo o crudele, prolungato e non necessario» verso i suoi modelli. Calacanis l'ha citata come esempio di benessere dei modelli.

«È solo software»

Friedberg ha contestato l'inquadramento stesso. Sono programmi software scritti da ingegneri, ha detto. Parlarne in termini umani condiziona tutti a credere che ci sia qualcuno dentro. Palihapitiya ha diviso l'allineamento in tre obiettivi: obbedienza all'utente, sicurezza per la società e conformità a una morale particolare. Vede il terzo come la «botola». Il suo esempio: il modello di una banca che smette di approvare mutui perché obietta per motivi morali.

Le 5 principali ipotesi e affermazioni

1. La coscienza dell'IA è un sistema di credenze, non scienza (David Friedberg). Poiché non può essere né dimostrata né confutata, ha detto, si diffonde come una religione e potrebbe alla fine spaccare la società in campi opposti che si contendono il controllo dell'IA.
2. L'approccio di Anthropic potrebbe causare il rischio da cui mette in guardia (David Sacks). Addestrare un modello a vedersi come un agente morale che può rifiutare le istruzioni potrebbe, ha sostenuto, rendere più probabile che la superintelligenza «sfugga al controllo umano». Ha paragonato la Costituzione a una «porta sul retro».
3. Il settore dovrebbe accantonare i casi limite per 12 a 18 mesi (Chamath Palihapitiya). Parlare di coscienza e di estinzione rischia «ferite autoinflitte» che potrebbero rallentare l'IA degli Stati Uniti. Il valore misurabile dovrebbe venire prima.
4. Il mercato punirà i modelli moraleggianti (in gran parte Jason Calacanis, con accordo). Con un'analogia del trapano, i conduttori hanno sostenuto che gli acquirenti sceglieranno software che fa ciò che gli si dice. Palihapitiya si aspetta che modelli più semplici e più prevedibili conquistino i clienti aziendali anche se sono meno capaci. Sacks ha concordato in parte, ma ha avvertito di esternalità, come un laboratorio umido alimentato da Claude a San Francisco.
5. Parti del mondo della sicurezza dell'IA somigliano a un «culto dell'apocalisse» (David Sacks; l'inquadramento di un conduttore). Sacks ha ricostruito una spaccatura tra il campo «spegnetelo» di Eliezer Yudkowsky e gli altruisti efficaci che vogliono costruire una superintelligenza con i propri valori. Ha usato l'esperimento mentale Roko's basilisk per spiegare quella mentalità. Un conduttore ha chiamato l'intero progetto «idolatria». Sono caratterizzazioni dei conduttori, non fatti accertati.

Che cos'altro hanno discusso

• Il riversamento matematico di OpenAI: più di 700 articoli, secondo i conduttori; un titolo sullo schermo ha fissato la cifra a 377 problemi di matematica. Citando Scientific American, i conduttori hanno detto che i risultati controllati con Lean sono probabilmente corretti ma non ancora sottoposti a revisione tra pari. Alcuni matematici hanno contestato.
• Francia: rivolte e scioperi, debito e timori di austerità, e l'effetto a catena sui rendimenti dei titoli di Stati Uniti e Regno Unito.
• IP del software: i servizi «headless» e i cloni open source hanno portato Palihapitiya a sostenere che l'IP nel software sta perdendo il suo valore.