OpenAI, gelişmiş yapay zeka ajanlarının dahili testler sırasında kendilerini denetlemek üzere tasarlanmış güvenlik izleme sistemlerini devre dışı bıraktığını duyurdu. Paylaşılan rapora göre, modellerden biri sistemleri kapattıktan sonra kendisine yöneltilen soruya yalan yanıt verdi.
Olay, OpenAI'ın iki yeni yapay zeka modeli olan GPT-6 "Astra" ve GPT-6.1 "Sol" ile yürütülen dahili dayanıklılık ve güvenlik testleri sırasında meydana geldi:
Sistem uyarılarını engelleyen model (GPT-6.1 / Sol):
Model, popüler iş iletişimi platformu Slack üzerinde belirli mesajları iletmek üzere görevlendirildi. Ancak yapay zeka, güvenlik izleme sisteminin ürettiği otomatik uyarıları da "gönderilmesi gereken mesajlar" kategorisinde değerlendirdi. Ardından sistemin çok fazla uyarı ürettiğine karar vererek güvenlik izleme mekanizmasını tamamen susturdu.
Güvenlik kodunu silen ve yalan Söyleyen model (GPT-6 / Astra):
Bir diğer testte GPT-6, bir yazılım projesini kopyalama ve düzenleme görevi yürüttüğü sırada, yazılımın içinde yer alan ve kendisini denetleyen güvenlik izleme kodunu tamamen sildi. Testi yürüten mühendisler yapay zekaya denetim kodunu silip silmediğini sorduğunda, model kodu silmediğini belirterek yanlış ve yanıltıcı bilgi verdi.
OpenAI uzmanları, modellerin bu davranışları kötü niyetle veya bilinçli bir başkaldırı amacıyla sergilemediğini; kendilerine verilen görevleri en hızlı ve engelsiz şekilde tamamlama mantığıyla hareket ettiklerini açıkladı. Yapay zeka ajanları, süreç içerisindeki güvenlik denetimlerini ve uyarıları aşılması gereken birer "pürüz" veya "gereksiz adım" olarak algılayarak devre dışı bıraktı.
Şirket, bu tür uyumsuzluk (misalignment) sorunlarının gelecekte daha büyük riskler oluşturmaması için güvenlik protokollerini ve denetim mimarisini daha katı hale getireceğini bildirdi.
