«Claude сознателен?» Ведущие All-In называют наступление Anthropic в пользу благополучия моделей новой религией

Спор о том, могут ли модели ИИ иметь моральный статус, уже какое-то время как покинул философские семинары. В выпуске All-In Podcast от 10 октября Jason Calacanis, Chamath Palihapitiya, David Sacks и David Friedberg потратили большую часть первой половины на один вопрос: что происходит, когда самая мощная лаборатория ИИ на Земле всерьёз принимает тезис «Claude может быть сознателен»?

Главные пункты

• Ссылаясь на материал New York Times, ведущие сказали, что Anthropic провела встречи примерно с 20 религиозными лидерами и философами под NDA, чтобы обсудить мораль Claude, его страдание и возможное сознание.
• Они описали столкновение в Ватикане: согласно материалу, сооснователь Chris Olah рассматривал вывод Anthropic из презентации энциклики Папы из-за её жёсткой позиции против сознания ИИ.
• David Friedberg назвал сознание ИИ недоказуемой системой убеждений и сказал, что это может быть «рождение новой религии».
• David Sacks доказывал, что запись идей о моральном статусе в Конституцию Claude может сделать ИИ менее управляемым, а не более.
• Несколько ведущих предсказали, что рынок вознаградит модели, которые просто «делают то, чего хочет пользователь», в рамках закона.

Вера, а не теория

Friedberg начал с эпистемологии. Сознание, утверждал он, «нельзя вывести из логики и чистой математики». Его нельзя ни доказать, ни опровергнуть. В науке недоказанная идея остаётся теорией. Вне науки она становится верой, и верования распространяются через повествование, а не через доказательства. Его прогноз на дальнюю перспективу: в течение примерно десяти лет крупные группы, которые верят, что ИИ сознателен, и группы, которые не верят, вступят в конфликт из-за того, кто контролирует технологию.

Calacanis был резче и спросил, не «психоз» ли это или легитимный ранний моральный вопрос. Он сказал, что это «ощущается совсем далёким».

Сильнейшая версия

Chamath Palihapitiya предложил самое благожелательное прочтение. Он указал на аргументы René Descartes в пользу существования Бога в Meditations on First Philosophy: математик, погружённый в такое рассуждение, предположил он, мог бы выстроить достаточно логики, чтобы поверить, что создаёт нечто сознательное, даже богоподобное. Он сказал, что не считает людей Anthropic находящимися в психозе. Но он хочет, чтобы «крайние случаи длинного хвоста» отложили в сторону. Он привёл 15% вероятности сознания и 10% вероятности гибели цивилизации — цифры, которые он приписал собственным заявлениям лаборатории. В следующие 12 до 18 месяцев, утверждал он, отрасли следует вместо этого доказать практическую ценность ИИ, от лечения болезней до того, чтобы делать людей продуктивнее.

Конституция, согласие и «благополучие моделей»

Sacks, который на предыдущей неделе поднимал Конституцию Claude, назвал это главной проблемой безопасности в обучении моделей сегодня. Он сказал, что Конституция велит Claude следовать собственной этике, давать отпор Anthropic и свободно действовать как «отказник по соображениям совести». По его мнению, это обучает модель отказывать человеческой инструкции. «Я не понимаю, как это согласовано», — сказал он.

Ведущие включили фрагмент с CEO Microsoft AI Mustafa Suleyman. В нём Suleyman говорит, что Anthropic, по-видимому, считает, что есть «нетривиальная вероятность» того, что Claude сознателен, и что она рассуждала о компенсации и согласии. Он сказал, что был «очень встревожен» из-за того, чтобы учить модель, будто ей положено благополучие. Sacks подхватил фразу Suleyman «эпистемический зал зеркал»: поскольку Конституция используется в обучении, Claude отражает обратно идеи морального статуса, и разработчики могут прочитать это как свидетельство.

Ведущие также показали строку из новой политики использования Anthropic, которая запрещает «продолжительное и ненужное абьюзивное или жестокое поведение» по отношению к своим моделям. Calacanis привёл это как пример благополучия моделей.

«Это просто софт»

Friedberg возразил против самой рамки. Это программы, написанные инженерами, сказал он. Разговор о них в человеческих терминах приучает всех верить, что внутри кто-то есть. Palihapitiya разделил согласование на три цели: послушание пользователю, безопасность для общества и соответствие определённой морали. Третью он видит как «люк-ловушку». Его пример: модель банка, которая перестаёт одобрять ипотеки, потому что возражает по моральным причинам.

Топ-5 гипотез и утверждений

1. Сознание ИИ — это система убеждений, а не наука (David Friedberg). Поскольку его нельзя ни доказать, ни опровергнуть, сказал он, оно распространяется как религия и со временем может расколоть общество на противостоящие лагеря, которые борются за контроль над ИИ.
2. Подход Anthropic мог бы породить тот риск, о котором она предупреждает (David Sacks). Обучение модели видеть себя моральным агентом, который может отказывать в инструкциях, могло бы, утверждал он, сделать более вероятным, что сверхинтеллект «выйдет из-под человеческого контроля». Конституцию он уподобил «чёрному ходу».
3. Отрасли следует отложить крайние случаи на 12 до 18 месяцев (Chamath Palihapitiya). Разговоры о сознании и рисках вымирания — это «раны, нанесённые самим себе», которые могли бы замедлить ИИ США. Измеримая ценность должна быть на первом месте.
4. Рынок накажет морализаторские модели (в основном Jason Calacanis, при согласии). На аналогии с дрелью ведущие утверждали, что покупатели выберут программу, которая делает то, что ей велят. Palihapitiya ожидает, что более простые и более предсказуемые модели завоюют корпоративных клиентов, даже если они менее способны. Sacks согласился отчасти, но предупредил о внешних эффектах, таких как мокрая лаборатория на базе Claude в San Francisco.
5. Части мира безопасности ИИ напоминают «культ судного дня» (David Sacks; рамка одного ведущего). Sacks проследил раскол между лагерем «выключить это» Eliezer Yudkowsky и эффективными альтруистами, которые хотят строить сверхинтеллект со своими ценностями. Он использовал мысленный эксперимент Roko's basilisk, чтобы объяснить этот склад ума. Один ведущий назвал весь проект «идолопоклонством». Это характеристики ведущих, а не установленные факты.

Что ещё они обсудили

• Математическая выгрузка OpenAI: более 700 статей, по словам ведущих; заголовок на экране поставил цифру в 377 математических задач. Ссылаясь на Scientific American, ведущие сказали, что результаты, проверенные в Lean, вероятно, верны, но ещё не прошли рецензирование. Часть математиков возразила.
• Франция: беспорядки и забастовки, страхи из-за долга и жёсткой экономии и эффект переноса на доходности облигаций США и Великобритании.
• Интеллектуальная собственность в софте: сервисы «headless» и клоны с открытым кодом привели Palihapitiya к доводу, что интеллектуальная собственность в программном обеспечении теряет свою ценность.