„Is Claude bewust?” All-In-hosts noemen het offensief van Anthropic voor modelwelzijn een nieuwe religie

Het debat over de vraag of AI-modellen morele status zouden kunnen hebben, heeft de filosofieseminars al een tijd geleden verlaten. In de aflevering van 10 oktober van de All-In Podcast besteedden Jason Calacanis, Chamath Palihapitiya, David Sacks en David Friedberg het grootste deel van de eerste helft aan één vraag: wat gebeurt er als het machtigste AI-lab op aarde „Claude zou bewust kunnen zijn” serieus neemt?

Belangrijkste punten

• Onder verwijzing naar een bericht van de New York Times zeiden de hosts dat Anthropic sessies hield met rond de 20 religieuze leiders en filosofen onder NDA's om de moraal van Claude, het lijden en het mogelijke bewustzijn te bespreken.
• Ze beschreven een botsing in het Vaticaan: volgens het bericht overwoog medeoprichter Chris Olah om Anthropic terug te trekken uit de presentatie van de encycliek van de paus vanwege het sterke standpunt daarin tegen AI-bewustzijn.
• David Friedberg noemde AI-bewustzijn een onbewijsbaar geloofssysteem en zei dat het „de geboorte van een nieuwe religie” zou kunnen worden.
• David Sacks betoogde dat het schrijven van ideeën over morele status in de Claude-constitutie AI minder controleerbaar zou kunnen maken, niet meer.
• Meerdere hosts voorspelden dat de markt modellen zal belonen die simpelweg „doen wat de gebruiker wil” binnen de wet.

Een geloof, geen theorie

Friedberg opende met de epistemologie. Bewustzijn, betoogde hij, „kan niet worden afgeleid uit logica en zuivere wiskunde”. Je kunt het niet bewijzen en ook niet weerleggen. In de wetenschap blijft een onbewezen idee een theorie. Buiten de wetenschap wordt het een geloof, en overtuigingen verspreiden zich via verhaal in plaats van via bewijs. Zijn langetermijnvoorspelling: binnen ruwweg tien jaar zullen grote groepen die geloven dat AI bewust is en groepen die dat niet geloven met elkaar in conflict komen over wie de technologie beheerst.

Calacanis was botter en vroeg of dit „psychose” was of een legitieme vroege morele vraag. Hij zei dat het „heel vergezocht aanvoelt”.

De sterkste versie

Chamath Palihapitiya bood de meest welwillende lezing. Hij wees op de argumenten van René Descartes voor het bestaan van God in Meditations on First Philosophy: een wiskundige die doordrenkt is van zulke redeneringen, opperde hij, zou genoeg logica kunnen opbouwen om te geloven dat die iets bewusts schept, zelfs iets goddelijks. Hij zei dat hij niet dacht dat de mensen bij Anthropic in een psychose zitten. Maar hij wil dat de „randgevallen van de lange staart” op de plank worden gezet. Hij noemde een kans van 15% op bewustzijn en een kans van 10% op het uitsterven van de beschaving, cijfers die hij toeschreef aan de eigen uitspraken van het lab. De komende 12 tot 18 maanden, betoogde hij, zou de sector in plaats daarvan de praktische waarde van AI moeten aantonen, van het genezen van ziekte tot het productiever maken van mensen.

Constitutie, toestemming en „modelwelzijn”

Sacks, die de week ervoor de Claude-constitutie had aangekaart, noemde dit het belangrijkste veiligheidsprobleem in modeltraining van dit moment. Hij zei dat de Constitutie Claude opdraagt de eigen ethiek te volgen, zich te verzetten tegen Anthropic en zich vrij te voelen om als „gewetensbezwaarde” op te treden. In zijn ogen traint dat een model om menselijke instructie te weigeren. „Ik begrijp niet hoe dit afgestemd is”, zei hij.

De hosts speelden een fragment af van Microsoft AI-CEO Mustafa Suleyman. Daarin zegt Suleyman dat Anthropic lijkt te geloven dat er een „niet-triviale waarschijnlijkheid” is dat Claude bewust is, en dat Anthropic heeft gespeculeerd over compensatie en toestemming. Hij zei dat hij „erg nerveus” was over het aanleren aan een model dat het recht heeft op welzijn. Sacks pakte de frase van Suleyman „epistemische spiegelzaal” op: omdat de Constitutie in de training wordt gebruikt, kaatst Claude ideeën over morele status terug, en ontwikkelaars kunnen dat als bewijs lezen.

De hosts toonden ook een zin uit het nieuwe gebruiksbeleid van Anthropic, dat „aanhoudend en nodeloos misbruikend of wreed gedrag” tegenover zijn modellen verbiedt. Calacanis haalde het aan als een voorbeeld van modelwelzijn.

„Het is gewoon software”

Friedberg zette zich af tegen de framing zelf. Dit zijn softwareprogramma's geschreven door ingenieurs, zei hij. Er in menselijke termen over praten conditioneert iedereen om te geloven dat er iemand in zit. Palihapitiya deelde afstemming op in drie doelen: gehoorzaamheid aan de gebruiker, veiligheid voor de samenleving en conformiteit aan een bepaalde moraal. Het derde ziet hij als het „valluik”. Zijn voorbeeld: het model van een bank dat stopt met het goedkeuren van hypotheken omdat het bezwaar maakt op morele gronden.

Top 5 hypothesen en beweringen

1. AI-bewustzijn is een geloofssysteem, geen wetenschap (David Friedberg). Omdat het niet kan worden bewezen of weerlegd, zei hij, verspreidt het zich als een religie en zou het de samenleving uiteindelijk kunnen splitsen in tegengestelde kampen die strijden om de controle over AI.
2. De aanpak van Anthropic zou het risico kunnen veroorzaken waarvoor ze waarschuwt (David Sacks). Een model trainen om zichzelf te zien als een morele actor die instructies kan weigeren, zou het, betoogde hij, waarschijnlijker kunnen maken dat superintelligentie „ontsnapt aan menselijke controle”. Hij vergeleek de Constitutie met een „achterdeur”.
3. De sector zou de randgevallen 12 tot 18 maanden moeten parkeren (Chamath Palihapitiya). Gesprekken over bewustzijn en uitstervingsrisico's zijn „zelf toegebrachte wonden” die Amerikaanse AI zouden kunnen vertragen. Meetbare waarde zou eerst moeten komen.
4. De markt zal moraliserende modellen straffen (grotendeels Jason Calacanis, met instemming). Met een analogie met een boormachine betoogden de hosts dat kopers software zullen kiezen die doet wat haar wordt opgedragen. Palihapitiya verwacht dat eenvoudigere, beter voorspelbare modellen zakelijke klanten winnen, ook als ze minder bekwaam zijn. Sacks was het deels eens, maar waarschuwde voor externaliteiten, zoals een door Claude aangedreven nat lab in San Francisco.
5. Delen van de AI-veiligheidswereld lijken op een „doemdagsekte” (David Sacks; de framing van één host). Sacks schetste een splitsing tussen het „zet het uit”-kamp van Eliezer Yudkowsky en effectieve altruïsten die superintelligentie willen bouwen met hun eigen waarden. Hij gebruikte het gedachte-experiment Roko's basilisk om de denkwijze uit te leggen. Eén host noemde het hele project „afgoderij”. Dit zijn karakteriseringen van de hosts, geen vastgestelde feiten.

Wat ze verder bespraken

• De wiskundedump van OpenAI: meer dan 700 artikelen, volgens de hosts; een kop in beeld zette het cijfer op 377 wiskundeproblemen. Onder verwijzing naar Scientific American zeiden de hosts dat de met Lean gecontroleerde resultaten waarschijnlijk kloppen, maar nog niet door vakgenoten zijn beoordeeld. Sommige wiskundigen hebben bezwaar gemaakt.
• Frankrijk: rellen en stakingen, vrees voor schuld en bezuinigingen, en het doorwerkingseffect op de obligatierentes van de VS en het VK.
• Intellectueel eigendom van software: „headless” diensten en open-sourceklonen brachten Palihapitiya ertoe te betogen dat intellectueel eigendom in software zijn waarde verliest.