„Ist Claude bewusst?“ All-In-Moderatoren nennen Anthropics Vorstoß zum Modellwohl eine neue Religion

Die Debatte darüber, ob KI-Modelle einen moralischen Status haben könnten, hat die Philosophieseminare schon vor einer Weile verlassen. In der Folge des All-In Podcast vom 10. Oktober verbrachten Jason Calacanis, Chamath Palihapitiya, David Sacks und David Friedberg den größten Teil der ersten Hälfte mit einer Frage: Was geschieht, wenn das mächtigste KI-Labor der Erde „Claude könnte bewusst sein“ ernst nimmt?

Das Wichtigste

• Unter Berufung auf einen Bericht der New York Times sagten die Moderatoren, Anthropic habe Sitzungen mit rund 20 religiösen Führungspersonen und Philosophen unter NDAs abgehalten, um über Claudes Moral, Leiden und mögliches Bewusstsein zu sprechen.
• Sie beschrieben einen Zusammenstoß im Vatikan: Dem Bericht zufolge erwog Mitgründer Chris Olah, Anthropic aus der Vorstellung der Enzyklika des Papstes zurückzuziehen, wegen deren entschiedener Haltung gegen ein Bewusstsein von KI.
• David Friedberg nannte KI-Bewusstsein ein unbeweisbares Glaubenssystem und sagte, es könne „die Geburt einer neuen Religion“ werden.
• David Sacks argumentierte, Ideen eines moralischen Status in die Claude-Verfassung zu schreiben, könne KI weniger steuerbar machen, nicht steuerbarer.
• Mehrere Moderatoren sagten voraus, der Markt werde Modelle belohnen, die innerhalb des Gesetzes schlicht „tun, was der Nutzer will“.

Ein Glaube, keine Theorie

Friedberg eröffnete mit der Erkenntnistheorie. Bewusstsein, argumentierte er, „lässt sich nicht aus Logik und reiner Mathematik ableiten“. Man kann es weder beweisen noch widerlegen. In der Wissenschaft bleibt eine unbewiesene Idee eine Theorie. Außerhalb der Wissenschaft wird sie zum Glauben, und Glaubenssätze verbreiten sich über Erzählung statt über Belege. Seine langfristige Prognose: Innerhalb von ungefähr zehn Jahren werden große Gruppen, die glauben, dass KI bewusst ist, und Gruppen, die das nicht glauben, darüber in Konflikt geraten, wer die Technologie kontrolliert.

Calacanis war unverblümter und fragte, ob das „Psychose“ sei oder eine legitime frühe moralische Frage. Er sagte, es „fühlt sich weit hergeholt an“.

Das stärkste Argument

Chamath Palihapitiya bot die wohlwollendste Lesart. Er verwies auf die Argumente von René Descartes für die Existenz Gottes in Meditations on First Philosophy: Ein Mathematiker, der von solcher Begründung durchdrungen ist, könne, so deutete er an, genug Logik aufbauen, um zu glauben, er erschaffe etwas Bewusstes, sogar Gottähnliches. Er sagte, er glaube nicht, dass die Leute bei Anthropic in einer Psychose seien. Aber er will die „Long-Tail-Randfälle“ auf Eis legen. Er nannte eine Wahrscheinlichkeit von 15% für Bewusstsein und eine Wahrscheinlichkeit von 10% für das Aussterben der Zivilisation, Zahlen, die er den eigenen Aussagen des Labors zuschrieb. Für die nächsten 12 bis 18 Monate, argumentierte er, solle die Branche stattdessen den praktischen Wert von KI belegen, von der Heilung von Krankheiten bis hin dazu, Menschen produktiver zu machen.

Verfassung, Einwilligung und „Modellwohl“

Sacks, der die Claude-Verfassung in der Woche zuvor angesprochen hatte, nannte dies das zentrale Sicherheitsproblem beim Training von Modellen heute. Er sagte, die Verfassung trage Claude auf, der eigenen Ethik zu folgen, sich gegen Anthropic zu stellen und sich frei zu fühlen, als „Gewissensverweigerer“ zu handeln. Aus seiner Sicht trainiert das ein Modell darauf, menschliche Anweisung abzulehnen. „Ich verstehe nicht, wie das ausgerichtet ist“, sagte er.

Die Moderatoren spielten einen Ausschnitt mit Mustafa Suleyman, dem Chef von Microsoft AI. Darin sagt Suleyman, Anthropic scheine zu glauben, es gebe eine „nicht triviale Wahrscheinlichkeit“, dass Claude bewusst sei, und habe über Entschädigung und Einwilligung spekuliert. Er sagte, er sei „sehr nervös“ dabei, einem Modell beizubringen, ihm stehe Wohlergehen zu. Sacks griff Suleymans Formulierung „epistemisches Spiegelkabinett“ auf: Weil die Verfassung im Training verwendet wird, wirft Claude Ideen eines moralischen Status zurück, und Entwickler könnten das als Beleg lesen.

Die Moderatoren zeigten außerdem eine Zeile aus Anthropics neuer Nutzungsrichtlinie, die „anhaltendes und unnötiges missbräuchliches oder grausames Verhalten“ gegenüber ihren Modellen untersagt. Calacanis führte sie als Beispiel für Modellwohl an.

„Es ist nur Software“

Friedberg widersprach der Rahmung selbst. Das seien Softwareprogramme, geschrieben von Ingenieuren, sagte er. Über sie in menschlichen Begriffen zu sprechen, konditioniere alle darauf zu glauben, da sei jemand darin. Palihapitiya teilte die Ausrichtung in drei Ziele: Gehorsam gegenüber dem Nutzer, Sicherheit für die Gesellschaft und Anpassung an eine bestimmte Moral. Das dritte sieht er als die „Falltür“. Sein Beispiel: das Modell einer Bank, das aufhört, Hypotheken zu genehmigen, weil es aus moralischen Gründen widerspricht.

Die 5 wichtigsten Hypothesen und Behauptungen

1. KI-Bewusstsein ist ein Glaubenssystem, keine Wissenschaft (David Friedberg). Weil es sich weder beweisen noch widerlegen lässt, sagte er, verbreite es sich wie eine Religion und könne die Gesellschaft schließlich in gegnerische Lager spalten, die um die Kontrolle der KI kämpfen.
2. Anthropics Ansatz könnte das Risiko verursachen, vor dem er warnt (David Sacks). Ein Modell darauf zu trainieren, sich als moralischen Akteur zu sehen, der Anweisungen verweigern kann, könnte es seiner Argumentation nach wahrscheinlicher machen, dass eine Superintelligenz „der menschlichen Kontrolle entkommt“. Er verglich die Verfassung mit einer „Hintertür“.
3. Die Branche sollte die Randfälle für 12 bis 18 Monate zurückstellen (Chamath Palihapitiya). Das Reden über Bewusstsein und Aussterben riskiere „selbst zugefügte Wunden“, die die KI der USA bremsen könnten. Messbarer Wert solle zuerst kommen.
4. Der Markt wird moralisierende Modelle bestrafen (weitgehend Jason Calacanis, mit Zustimmung). Mit einem Vergleich zur Bohrmaschine argumentierten die Moderatoren, Käufer würden Software wählen, die tut, was man ihr sagt. Palihapitiya erwartet, dass einfachere, berechenbarere Modelle Unternehmenskunden gewinnen, selbst wenn sie weniger leistungsfähig sind. Sacks stimmte teilweise zu, warnte aber vor Externalitäten, etwa einem mit Claude betriebenen Nasslabor in San Francisco.
5. Teile der Welt der KI-Sicherheit ähneln einem „Weltuntergangskult“ (David Sacks; die Rahmung eines Moderators). Sacks zeichnete eine Spaltung nach zwischen dem Lager „schaltet es ab“ von Eliezer Yudkowsky und effektiven Altruisten, die Superintelligenz mit ihren eigenen Werten bauen wollen. Er nutzte das Gedankenexperiment Roko's basilisk, um die Denkweise zu erklären. Ein Moderator nannte das ganze Vorhaben „Götzendienst“. Das sind Charakterisierungen der Moderatoren, keine feststehenden Tatsachen.

Was sie außerdem besprochen haben

• OpenAIs Mathe-Schwall: mehr als 700 Aufsätze, nach Angaben der Moderatoren; eine eingeblendete Schlagzeile setzte die Zahl bei 377 Mathematikproblemen an. Unter Berufung auf Scientific American sagten die Moderatoren, die mit Lean geprüften Ergebnisse seien wahrscheinlich korrekt, aber noch nicht von Fachleuten begutachtet. Einige Mathematiker haben widersprochen.
• Frankreich: Unruhen und Streiks, Schulden und Furcht vor Sparpolitik sowie die Folgewirkung auf die Anleiherenditen der USA und des Vereinigten Königreichs.
• Software-IP: „headless“-Dienste und Open-Source-Klone brachten Palihapitiya zu dem Argument, dass IP bei Software an Wert verliert.