«¿Es Claude consciente?» Los presentadores de All-In llaman nueva religión al impulso de Anthropic por el bienestar de los modelos

El debate sobre si los modelos de IA podrían tener estatus moral dejó los seminarios de filosofía hace tiempo. En el episodio del 10 de octubre del All-In Podcast, Jason Calacanis, Chamath Palihapitiya, David Sacks y David Friedberg dedicaron la mayor parte de la primera mitad a una pregunta: ¿qué ocurre cuando el laboratorio de IA más poderoso de la Tierra se toma en serio que «Claude podría ser consciente»?

Puntos clave

• Citando un reportaje del New York Times, los presentadores dijeron que Anthropic organizó sesiones con alrededor de 20 líderes religiosos y filósofos bajo NDAs para hablar de la moral de Claude, del sufrimiento y de una posible consciencia.
• Describieron un choque en el Vaticano: según el informe, el cofundador Chris Olah consideró retirar a Anthropic de la presentación de la encíclica del Papa por su postura firme contra la consciencia de la IA.
• David Friedberg llamó a la consciencia de la IA un sistema de creencias indemostrable y dijo que podría convertirse en «el nacimiento de una nueva religión».
• David Sacks sostuvo que escribir ideas de estatus moral en la Constitución de Claude podría hacer la IA menos controlable, no más.
• Varios presentadores predijeron que el mercado premiará a los modelos que, simplemente, «hagan lo que el usuario quiere» dentro de la ley.

Una creencia, no una teoría

Friedberg abrió con la epistemología. La consciencia, argumentó, «no puede derivarse de la lógica y de las matemáticas puras». No se puede ni demostrar ni refutar. En la ciencia, una idea no demostrada sigue siendo una teoría. Fuera de la ciencia se convierte en una creencia, y las creencias se propagan por el relato más que por la evidencia. Su pronóstico a largo plazo: dentro de aproximadamente diez años, grandes grupos que creen que la IA es consciente y grupos que no lo creen entrarán en conflicto por quién controla la tecnología.

Calacanis fue más tajante y preguntó si esto era «psicosis» o una pregunta moral temprana y legítima. Dijo que «se siente muy disparatado».

El argumento más fuerte

Chamath Palihapitiya ofreció la lectura más benévola. Señaló los argumentos de René Descartes a favor de la existencia de Dios en Meditations on First Philosophy: un matemático empapado de ese razonamiento, sugirió, podría construir suficiente lógica para creer que está creando algo consciente, incluso semejante a un dios. Dijo que no creía que la gente de Anthropic esté en una psicosis. Pero quiere aparcar los «casos límite de cola larga». Citó una probabilidad del 15% de consciencia y una probabilidad del 10% de extinción de la civilización, cifras que atribuyó a las propias declaraciones del laboratorio. Durante los próximos 12 a 18 meses, argumentó, la industria debería demostrar en cambio el valor práctico de la IA, desde curar enfermedades hasta hacer a las personas más productivas.

Constitución, consentimiento y «bienestar de los modelos»

Sacks, que había sacado la Constitución de Claude la semana anterior, llamó a esto el principal problema de seguridad en el entrenamiento de modelos hoy. Dijo que la Constitución le dice a Claude que siga su propia ética, que se oponga a Anthropic y que se sienta libre de actuar como «objetor de conciencia». A su juicio, eso entrena a un modelo para rechazar la instrucción humana. «No entiendo cómo esto está alineado», dijo.

Los presentadores reprodujeron un fragmento de Mustafa Suleyman, director ejecutivo de Microsoft AI. En él, Suleyman dice que Anthropic parece creer que hay una «probabilidad no trivial» de que Claude sea consciente y ha especulado sobre compensación y consentimiento. Dijo que estaba «muy nervioso» por enseñar a un modelo que tiene derecho al bienestar. Sacks retomó la frase de Suleyman, «sala de espejos epistémica»: como la Constitución se usa en el entrenamiento, Claude devuelve ideas de estatus moral, y los desarrolladores pueden leer eso como evidencia.

Los presentadores mostraron también una línea de la nueva política de uso de Anthropic, que prohíbe la «conducta abusiva o cruel, sostenida e innecesaria» hacia sus modelos. Calacanis la citó como un ejemplo de bienestar de los modelos.

«Solo es software»

Friedberg rechazó el encuadre mismo. Son programas de software escritos por ingenieros, dijo. Hablar de ellos en términos humanos condiciona a todos a creer que hay alguien dentro. Palihapitiya dividió la alineación en tres objetivos: obediencia al usuario, seguridad para la sociedad y conformidad con una moral particular. Ve el tercero como la «trampilla». Su ejemplo: el modelo de un banco que deja de aprobar hipotecas porque objeta por motivos morales.

Las 5 hipótesis y afirmaciones principales

1. La consciencia de la IA es un sistema de creencias, no ciencia (David Friedberg). Como no se puede demostrar ni refutar, dijo, se propaga como una religión y podría acabar dividiendo a la sociedad en bandos opuestos que luchen por el control de la IA.
2. El enfoque de Anthropic podría causar el riesgo del que advierte (David Sacks). Entrenar a un modelo para que se vea como un agente moral que puede rechazar instrucciones podría, argumentó, hacer más probable que la superinteligencia «escape al control humano». Comparó la Constitución con una «puerta trasera».
3. La industria debería aparcar los casos límite durante 12 a 18 meses (Chamath Palihapitiya). Hablar de consciencia y de extinción arriesga «heridas autoinfligidas» que podrían frenar la IA de Estados Unidos. El valor medible debería ir primero.
4. El mercado castigará a los modelos que moralizan (en gran medida Jason Calacanis, con acuerdo). Con una analogía del taladro, los presentadores argumentaron que los compradores elegirán software que haga lo que se le dice. Palihapitiya espera que modelos más simples y más predecibles ganen a los clientes empresariales aunque sean menos capaces. Sacks coincidió en parte, pero advirtió de externalidades, como un laboratorio húmedo impulsado por Claude en San Francisco.
5. Partes del mundo de la seguridad de la IA se parecen a un «culto del fin del mundo» (David Sacks; el encuadre de un presentador). Sacks trazó una división entre el campo del «apágalo» de Eliezer Yudkowsky y los altruistas efectivos que quieren construir superinteligencia con sus propios valores. Usó el experimento mental Roko's basilisk para explicar la mentalidad. Un presentador llamó a todo el proyecto «idolatría». Son caracterizaciones de los presentadores, no hechos establecidos.

Qué más comentaron

• El volcado matemático de OpenAI: más de 700 artículos, según los presentadores; un titular en pantalla situó la cifra en 377 problemas de matemáticas. Citando a Scientific American, los presentadores dijeron que los resultados comprobados con Lean son probablemente correctos, pero aún no han pasado por revisión de pares. Algunos matemáticos han replicado.
• Francia: disturbios y huelgas, deuda y temor a la austeridad, y el efecto en cadena sobre los rendimientos de los bonos de Estados Unidos y el Reino Unido.
• IP de software: los servicios «headless» y los clones de código abierto llevaron a Palihapitiya a sostener que la IP en el software está perdiendo su valor.