“Claude bilinçli mi?” All-In sunucuları Anthropic’in model refahı hamlesine yeni bir din diyor

Yapay zekâ modellerinin ahlaki bir statüsü olup olamayacağı tartışması, felsefe seminerlerini bir süredir terk etti. All-In Podcast’in 10 Ekim bölümünde Jason Calacanis, Chamath Palihapitiya, David Sacks ve David Friedberg ilk yarının büyük bölümünü tek bir soruya ayırdı: dünyanın en güçlü yapay zekâ laboratuvarı “Claude bilinçli olabilir”i ciddiye aldığında ne olur?

Öne çıkanlar

• New York Times haberine dayanarak sunucular, Anthropic’in gizlilik sözleşmeleri altında yaklaşık 20 dini lider ve felsefeciyle Claude’un ahlakı, acısı ve olası bilinci üzerine oturumlar düzenlediğini söyledi.
• Vatikan’da bir çatışma anlattılar: habere göre kurucu ortak Chris Olah, Papa’nın genelgesinin yapay zekâ bilincine karşı sert tutumu nedeniyle Anthropic’i sunumdan çekmeyi düşünmüş.
• David Friedberg, yapay zekâ bilincini kanıtlanamaz bir inanç sistemi olarak niteledi ve bunun “yeni bir dinin doğuşu” olabileceğini söyledi.
• David Sacks, ahlaki statü fikirlerini Claude Anayasası’na yazmanın yapay zekâyı daha denetlenebilir değil, daha az denetlenebilir kılabileceğini savundu.
• Birkaç sunucu, piyasanın yasa içinde yalnızca “kullanıcının istediğini yapan” modelleri ödüllendireceğini öngördü.

Bir inanç, teori değil

Friedberg epistemolojiyle açtı. Bilinç, savına göre, “mantık ve saf matematikten türetilemez”. Ne kanıtlanabilir ne çürütülebilir. Bilimde kanıtlanmamış bir fikir teori olarak kalır. Bilimin dışında inanca dönüşür ve inançlar kanıtla değil anlatıyla yayılır. Uzun vadeli öngörüsü: kabaca on yıl içinde, yapay zekânın bilinçli olduğuna inanan büyük gruplarla inanmayanlar, teknolojinin kontrolü için karşı karşıya gelecek.

Calacanis daha açık konuştu ve bunun “psikoz” mu yoksa meşru erken bir ahlak sorusu mu olduğunu sordu. “Çok uçta duruyor” dedi.

En hayırlı okuma

Chamath Palihapitiya en hoşgörülü okumayı sundu. René Descartes’ın Meditations on First Philosophy (İlk Felsefe Üzerine Meditasyonlar) kitabındaki Tanrı’nın varlığı argümanlarına işaret etti: böyle bir akıl yürütmeye dalmış bir matematikçi, önerisine göre, bilinçli, hatta tanrısal bir şey yarattığına inanacak kadar mantık kurabilir. Anthropic’tekilerin psikozda olduğunu düşünmediğini söyledi. Ama “uzun kuyruklu uç durumların” rafa kalkmasını istiyor. Bilincin yüzde 15, uygarlığın yok olmasının yüzde 10 ihtimalinden söz etti; bu rakamları laboratuvarın kendi açıklamalarına bağladı. Önümüzdeki 12 ila 18 ayda, savına göre, sektör hastalığı tedavi etmekten insanları daha üretken kılmaya kadar yapay zekânın pratik değerini kanıtlamalı.

Anayasa, rıza ve “model refahı”

Bir önceki hafta Claude Anayasası’nı gündeme getiren Sacks, bunu bugün model eğitimindeki asıl güvenlik meselesi olarak niteledi. Anayasa’nın Claude’a kendi etiğini izlemesini, Anthropic’e karşı çıkmasını ve “vicdani retçi” gibi davranmakta özgür hissetmesini söylediğini belirtti. Ona göre bu, modele insan talimatını reddetmeyi öğretir. “Bunun nasıl hizalı olduğunu anlamıyorum” dedi.

Sunucular, Microsoft AI CEO’su Mustafa Suleyman’ın bir klibini oynattı. Klipte Suleyman, Anthropic’in Claude’un bilinçli olduğuna dair “önemsiz olmayan bir olasılık” bulunduğuna inandığını ve tazminat ile rıza üzerine spekülasyon yaptığını söylüyor. Bir modele refaha hakkı olduğunu öğretmenin kendisini “çok tedirgin” ettiğini belirtti. Sacks, Suleyman’ın “epistemik ayna koridoru” ifadesini aldı: Anayasa eğitimde kullanıldığı için Claude ahlaki statü fikirlerini geri yansıtıyor ve geliştiriciler bunu kanıt sanabilir.

Sunucular, Anthropic’in yeni kullanım politikasından bir satır da gösterdi. Satır, modellere yönelik “sürekli ve gereksiz kötüye kullanma ya da zalimce davranış”ı yasaklıyor. Calacanis bunu model refahına örnek gösterdi.

“Bu yalnızca yazılım”

Friedberg çerçevenin kendisine itiraz etti. Bunlar mühendislerin yazdığı yazılım programları, dedi. Onlardan insan terimleriyle söz etmek, herkesi içinde birinin olduğuna inanmaya alıştırır. Palihapitiya hizalamayı üç hedefe ayırdı: kullanıcıya itaat, toplum için güvenlik ve belirli bir ahlaka uyum. Üçüncüsünü “tuzak kapı” olarak görüyor. Örneği: ahlaki gerekçeyle ipotek onaylamayı durduran bir banka modeli.

İlk 5 hipotez ve iddia

1. Yapay zekâ bilinci bir inanç sistemidir, bilim değil (David Friedberg). Kanıtlanamadığı ya da çürütülemediği için, dedi, bir din gibi yayılır ve sonunda toplumu yapay zekânın kontrolü için çarpışan karşı kamplara bölebilir.
2. Anthropic’in yaklaşımı uyardığı riski doğurabilir (David Sacks). Bir modeli, talimatları reddedebilen ahlaki bir özne olarak görmeye eğitmek, savına göre, süper zekânın “insan kontrolünden çıkması”nı daha olası kılabilir. Anayasa’yı bir “arka kapı”ya benzetti.
3. Sektör uç durumları 12 ila 18 ay rafa kaldırmalı (Chamath Palihapitiya). Bilinç ve yok oluş riski konuşması, ABD yapay zekâsını yavaşlatabilecek “kendi kendine açılmış yaralar”dır. Ölçülebilir değer önce gelmeli.
4. Piyasa ahlak dersi veren modelleri cezalandıracak (büyük ölçüde Jason Calacanis, katılımla). Bir matkap benzetmesiyle sunucular, alıcıların kendisine söyleneni yapan yazılımı seçeceğini savundu. Palihapitiya, daha basit ve daha öngörülebilir modellerin daha az yetenekli olsalar da kurumsal müşterileri kazanmasını bekliyor. Sacks kısmen katıldı ama San Francisco’da Claude ile çalışan bir ıslak laboratuvar gibi dışsallıklar konusunda uyardı.
5. Yapay zekâ güvenliği dünyasının bazı parçaları bir “kıyamet tarikatı”nı andırıyor (David Sacks; bir sunucunun çerçevesi). Sacks, Eliezer Yudkowsky’nin “kapatın” kampı ile kendi değerleriyle süper zekâ kurmak isteyen etkin özgeciler arasındaki ayrımı izledi. Bu zihniyeti açıklamak için Roko's basilisk düşünce deneyini kullandı. Bir sunucu tüm projeye “putperestlik” dedi. Bunlar sunucuların nitelemeleridir, yerleşik olgular değil.

Başka neleri konuştular

• OpenAI’nin matematik yığını: sunuculara göre 700’den fazla makale; ekrandaki bir başlık rakamı 377 matematik problemine indirdi. Scientific American’a dayanarak sunucular, Lean ile kontrol edilen sonuçların muhtemelen doğru olduğunu ama henüz hakem denetiminden geçmediğini söyledi. Bazı matematikçiler itiraz etti.
• Fransa: ayaklanmalar ve grevler, borç ve kemer sıkma kaygıları, ABD ve Birleşik Krallık tahvil getirilerine yansıyan etki.
• Yazılım fikri mülkiyeti: “arayüzsüz” hizmetler ve açık kaynak klonları, Palihapitiya’yı yazılımda fikri mülkiyetin değerini yitirdiği savına götürdü.