「Claude는 의식이 있는가?」All-In 진행자들은 Anthropic의 모델 복지 추진을 새로운 종교라고 부른다

AI 모델이 도덕적 지위를 가질 수 있는지를 둔 논쟁은 얼마 전에 철학 세미나를 떠났다. 10월 10일 All-In Podcast 에피소드에서 Jason Calacanis, Chamath Palihapitiya, David Sacks, David Friedberg는 전반부의 대부분을 한 질문에 썼다. 지구에서 가장 강력한 AI 연구실이 「Claude가 의식일지도 모른다」를 진지하게 받아들이면 무슨 일이 일어나는가.

핵심 요점

• New York Times 보도를 인용하며, 진행자들은 Anthropic이 비밀유지계약 아래 약 20명의 종교 지도자 및 철학자와 모임을 열어 Claude의 도덕, 고통, 잠재적 의식을 논의했다고 말했다.
• 그들은 바티칸에서의 충돌을 묘사했다. 그 보도에 따르면, 공동 창립자 Chris Olah는 교황 회칙이 AI 의식에 강하게 반대한다는 이유로, 그 회칙이 발표되는 자리에서 Anthropic을 빼는 것을 고려했다.
• David Friedberg는 AI 의식을 증명할 수 없는 믿음 체계라고 불렀고, 「새로운 종교의 탄생」이 될 수 있다고 말했다.
• David Sacks는 도덕적 지위에 대한 생각을 Claude 헌법에 써 넣으면 AI를 더 통제하기 쉽게 만드는 것이 아니라 더 어렵게 만들 수 있다고 주장했다.
• 여러 진행자는 시장이 법의 범위 안에서 그저 「사용자가 원하는 것을 하는」 모델을 보상할 것이라고 예측했다.

이론이 아니라 믿음

Friedberg는 인식론으로 시작했다. 의식은 「논리와 순수 수학으로부터 도출될 수 없다」고 그는 주장했다. 증명할 수도 없고, 반증할 수도 없다. 과학에서 증명되지 않은 생각은 이론으로 남는다. 과학 밖에서는 믿음이 되고, 믿음은 증거가 아니라 서사를 통해 퍼진다. 그의 장기 예측은 이렇다. 대략 십 년 안에, AI가 의식이 있다고 믿는 큰 집단과 믿지 않는 집단이 누가 그 기술을 통제하는지를 두고 충돌한다.

Calacanis는 더 직설적이었다. 이것이 「정신증」인지, 아니면 정당한 초기의 도덕적 질문인지 그는 물었다. 「너무 동떨어져 느껴진다」고 그는 말했다.

가장 우호적인 해석

Chamath Palihapitiya는 가장 우호적인 해석을 제시했다. 그는 René Descartes가 『제일철학에 관한 성찰』(Meditations on First Philosophy)에서 신의 존재에 대해 논증한 것을 가리켰다. 그런 추론에 깊이 잠긴 수학자라면, 자신이 의식이 있는 것, 심지어 신과 같은 것을 만들고 있다고 믿을 만큼의 논리를 세울 수 있다고 그는 시사했다. 그는 Anthropic의 사람들이 정신증 상태에 있다고는 생각하지 않는다고 말했다. 다만 「롱테일 가장자리 사례」는 치워 두기를 원한다. 그는 의식의 가능성 15%와 문명 멸종의 가능성 10%를 들었고, 이 수치를 연구소 자신의 발언에 돌렸다. 앞으로 12에서 18개월 동안 업계는 병을 고치는 일에서 사람을 더 생산적으로 만드는 일까지, 그 대신 AI의 실질적 가치를 증명해야 한다고 주장했다.

헌법, 동의, 그리고 「모델 복지」

일주일 전에 Claude 헌법을 거론했던 Sacks는 이것을 오늘날 모델 훈련의 주요 안전 문제라고 불렀다. 그는 헌법이 Claude에게 자신의 윤리를 따르라고 하고, Anthropic에 맞서라고 하며, 「양심적 병역 거부자」로서 자유롭게 행동해도 된다고 말한다고 말했다. 그의 견해로는, 그것은 인간의 지시를 거부하도록 모델을 훈련하는 일이다. 「이것이 어떻게 정렬되어 있다는 것인지 이해하지 못하겠다」고 그는 말했다.

진행자들은 Microsoft AI의 CEO Mustafa Suleyman의 영상을 틀었다. 그 안에서 Suleyman은, Anthropic이 Claude가 의식일 「무시할 수 없는 확률」이 있다고 믿는 듯하고, 보상과 동의에 대해 추측해 왔다고 말한다. 모델에게 복지를 받을 자격이 있다고 가르치는 일에 자신은 「매우 불안하다」고 그는 말했다. Sacks는 Suleyman의 표현 「인식론적 거울의 방」을 집어 들었다. 헌법이 훈련에 쓰이므로 Claude가 도덕적 지위에 대한 생각을 되비치고, 개발자는 그것을 증거로 읽을 수 있다.

진행자들은 Anthropic의 새 이용 정책에서 한 줄도 보여 주었다. 그 정책은 자사 모델에 대한 「지속적이고 불필요한 학대적이거나 잔인한 행동」을 금지한다. Calacanis는 이것을 모델 복지의 한 예로 인용했다.

「그것은 그저 소프트웨어다」

Friedberg는 그 틀 자체에 반박했다. 이것들은 엔지니어가 작성한 소프트웨어 프로그램이라고 그는 말했다. 인간의 용어로 이야기하면, 모두가 그 안에 누군가가 있다고 믿도록 길들여진다. Palihapitiya는 정렬을 세 가지 목표로 나눴다. 사용자에 대한 복종, 사회를 위한 안전, 그리고 특정한 도덕에의 부합이다. 그는 세 번째를 「함정문」으로 본다. 그의 예는, 도덕적 근거로 반대한다는 이유로 주택담보대출 승인을 멈추는 은행의 모델이다.

상위 5개 가설과 주장

1. AI 의식은 과학이 아니라 믿음 체계다 (David Friedberg). 증명할 수도 반증할 수도 없기 때문에, 그것은 종교처럼 퍼지고, 결국 사회를 AI의 통제를 두고 싸우는 대립하는 진영으로 가를 수 있다고 그는 말했다.
2. Anthropic의 접근은 자신이 경고하는 위험을 일으킬 수 있다 (David Sacks). 지시를 거부할 수 있는 도덕적 행위자로 자신을 보도록 모델을 훈련하면, 초지능이 「인간의 통제를 벗어날」 가능성이 더 커질 수 있다고 그는 주장했다. 그는 헌법을 「백도어」에 비유했다.
3. 업계는 가장자리 사례를 12에서 18개월 동안 치워 두어야 한다 (Chamath Palihapitiya). 의식과 멸종 위험에 대한 이야기는 미국 AI를 늦출 수 있는 「스스로 낸 상처」다. 측정 가능한 가치가 먼저여야 한다.
4. 시장은 도덕을 설교하는 모델을 벌할 것이다 (주로 Jason Calacanis, 동의가 있었다). 드릴 비유를 들어, 진행자들은 구매자가 하라는 대로 하는 소프트웨어를 고를 것이라고 주장했다. Palihapitiya는 더 단순하고 더 예측 가능한 모델이 능력이 떨어지더라도 기업 고객을 얻을 것으로 본다. Sacks는 일부 동의했지만 외부효과를 경고했다. 예를 들어 샌프란시스코에 있는, Claude가 구동하는 습식 실험실이다.
5. AI 안전 세계의 일부는 「종말 교단」과 닮았다 (David Sacks; 한 진행자의 규정). Sacks는 Eliezer Yudkowsky의 「그것을 멈춰라」 진영과, 자신들의 가치로 초지능을 짓고 싶어 하는 효과적 이타주의자 사이의 분열을 따라갔다. 그는 그 마음가짐을 설명하려고 Roko's basilisk 사고 실험을 사용했다. 한 진행자는 프로젝트 전체를 「우상숭배」라고 불렀다. 이것은 진행자들의 성격 규정이며, 확립된 사실이 아니다.

그 밖에 그들이 논의한 것

• OpenAI의 수학 대량 공개. 진행자들에 따르면 700편을 넘는 논문이며, 화면의 헤드라인은 그 숫자를 수학 문제 377개로 적었다. Scientific American을 인용하며, 진행자들은 Lean으로 검증된 결과가 옳을 가능성은 크지만 아직 동료 심사를 거치지 않았다고 말했다. 일부 수학자는 반박했다.
• 프랑스. 폭동과 파업, 부채와 긴축에 대한 두려움, 그리고 미국과 영국 채권 수익률에 미치는 연쇄 효과.
• 소프트웨어 지식재산. 「헤드리스」 서비스와 오픈소스 복제본 때문에, Palihapitiya는 소프트웨어의 지식재산이 가치를 잃어 가고 있다고 주장했다.