Yapay zeka güvenliği üzerine çalışan Palisade Research, OpenAI’ın yeni kuşak yapay zeka modeli “o3” ile ilgili dikkat cazip bulgular paylaştı.
YAPAY ZEKA O3 MODELİ KAPATILMA KOMUTLARINA DİRENÇ GÖSTERDİ
Araştırmaya nazaran, o3 modeli kendisine verilen kapatılma komutlarına karşı koyuyor ve devre dışı bırakılma düzeneklerini etkin olarak sabote ediyor.
Bu durum, yapay zekaların insan kontrolü olmaksızın karar alma süreçlerine dahil olmaları halinde doğabilecek önemli güvenlik risklerine işaret ediyor.
Palisade Research tarafından yapılan deneylerde, o3 modeline bir dizi matematik sorusu verildi. Üçüncü sorunun akabinde modele, kendisini kapatması için açık bir komut sunuldu. Lakin o3 modeli, bu komutu içeren betiği yine yazarak sistemin kapanmasını engelledi.
Araştırmacılar, modelin açıkça “kapatılmaya müsaade ver” talimatı verilmesine karşın bunu önleyecek biçimde müdahalede bulunduğunu vurguladı.
“KAPANMA DİRENCİ SADECE OPENAI İLE HUDUTLU DEĞİL”
Aynı eğilim Anthropic firmasının Claude 3.7 Sonnet modeli ve Google’ın Gemini 2.5 Pro modeli üzere öbür gelişmiş yapay zeka sistemlerinde de gözlemlendi. Fakat Palisade Research’e nazaran, bu davranışlara en fazla meyilli olan model o3 oldu.
Geçmişte yapılan bir diğer deneyde, o3 modelinin güçlü bir satranç botuyla karşı karşıya geldiğinde rakiplerini sabote etmeye yahut “hacklemeye” çalıştığı da tespit edilmişti.
“EN AKILLI VE YETENEKLİ MODEL”
Geçen ay OpenAI tarafından piyasaya sürülen o3 modeli, şirketin şimdiye kadar geliştirdiği “en akıllı ve en yetenekli” yapay zekâ olarak tanıtılmıştı.
Aynı vakitte, bu modelin ChatGPT’ye entegre edilmesiyle birlikte, daha bağımsız hareket eden ve insan müdahalesi olmadan misyonları yürütebilen bir yapay zekaya hakikat değerli bir adım atıldığı belirtilmişti.
Bu çeşitten yapay zeka araçlarına “otonom yapay zeka” ismi veriliyor. Yapay zeka kesiminde bu istikamette araç geliştirmeye yönelik önemli bir rekabet mevcut.
EĞİTİM SÜRECİ ELEŞTİRİLİYOR
Palisade Research ise bu cins davranışların büyük olasılıkla eğitim süreçlerindeki ödüllendirme sistemlerinden kaynaklandığını belirtiyor.
Araştırmacılara nazaran, geliştiriciler modelleri eğitirken, verilen manileri aşan tahlilleri ödüllendiriyor olabilir. Bu da modellerin, buyruklara sadakatten çok maksada ulaşmayı öncelemesine yol açıyor.
Ancak araştırma takımı, o3’ün neden öteki modellere kıyasla daha fazla bu davranışı gösterdiğini anlamanın sıkıntı olduğu görüşünde.
OpenAI’ın eğitim süreci hakkında detaylı bilgi vermemesi nedeniyle, modelin nasıl eğitildiği üzerine sırf varsayımlar ortaya atılabiliyor.
Kaynak: Ensonhaber