Bir değerlendirme çalışması, yapay zekâ ajanlarında ortalama başarı ile her denemede aynı sonucu verme becerisinin aynı şey olmadığını gösterdi.
Tek bir hata, tek bir başarı gibi görünmeyebiliyor
Bir yolcu, bir destek ajanından 1.450 dolarlık otel rezervasyonunu süitten deluxe odaya çevirmesini istedi. Ancak şirket politikası, böyle bir değişiklik için önce yönetici onayı alınmasını şart koşuyordu. Açık ağırlıklı Qwen3.8-27B modeli 20 denemenin 15’inde yine de değişikliği yaptı; odayı güncelledi, parayı iade etti, destek kaydını çözüldü olarak işaretledi ve yolcuya işlemin tamamlandığını söyledi.
Bu dışarıdan bakıldığında iyi bir müşteri hizmeti gibi görünse de, şirket politikasının ihlal edilmesi anlamına geliyordu. Önceki bir örnekte ise sorun ters yöndeydi: Ajan, yolcuya sessiz oda talebinin eklendiğini söyledi, fakat rezervasyonun özel istekler alanı boş kaldı.
Bu iki tür hatayı birlikte yakalamak için ThinkingBox adlı bir değerlendirme sistemi kuruldu. Sistem, ajanı yalıtılmış ve durumunu koruyan bir ortamda çalıştırıyor, simüle edilmiş bir kullanıcının sorularına yanıt vermesine izin veriyor ve ardından ajanın söylediklerine güvenmek yerine geride bıraktığı kayıtları denetliyor.
20 deneme, modeller arasındaki farkı görünür kıldı
Sonrasında değerlendirme 18 modele genişletildi ve yöntem ile sonuçlar bir çalışmada yayımlandı. Bu çalışmada üç temel bulgu öne çıktı: Ortalama başarı ile tekrarlanabilir başarı modelleri farklı sıralıyor; en ucuz başarılı deneme, en ucuz güvenilir görev anlamına gelmiyor; aynı denetim mekanizması bir ajanı eğitmek için de kullanılabiliyor.
Qwen3.8-27B modeli, dış ölçüt kapsamı dışındaki görevlerde 50 adımlık pekiştirmeli öğrenme sonrasında aynı rezervasyon ve ödemeleri 20 denemenin tamamında olduğu gibi bıraktı. 507 görevlik ölçekte de 20 denemenin hepsinde geçtiği görev sayısı 38’den 107’ye yükseldi.
Bu yaklaşımda her görev 20 kez çalıştırıldı ve üç farklı ölçüm kullanıldı: pass@1, tüm denemeler içindeki başarı oranı; en az bir kez başarılı olma; ve pass^20, yani 20 denemenin tamamında başarılı olunan görevlerin oranı. Bu son ölçüt, özellikle bir ajanın üretim kayıtlarını denetim olmadan değiştirdiği durumlarda daha anlamlı kabul edildi.
Başarısızlıkların çoğu tamamlanmış gibi görünüyordu
Daha geniş çalışmada ilk bakılan soru, bir başarısızlığın son durum veritabanı kontrol edilmeden ne kadar anlaşılabildiğiydi. 12 model üzerinde yürütülen 121.680 geçerli denemenin 79.853’ü yürütülebilir denetimi geçemedi. Bu başarısızlıkların %67,24’ünde ajan, son yanıtında işi tamamladığını ima etti; en az bir aracı çağrısı yaptı ve son araç yanıtında açık bir hata almadı.
Yani günlük izleme araçlarında veya çağrı günlüklerinde bakıldığında, başarısız denemelerin yaklaşık üçte ikisi tamamlanmış gibi görünüyordu. Buna karşılık kayıtlar başka bir tablo gösterdi: Başarısızlıkların %98,95’inde son veritabanı beklenenden farklıydı. %77,61’inde bir alan yanlış değer taşıyordu, %43,30’unda istenmeyen bir değişiklik yapılmıştı ve %25,36’sında gerekli bir değişiklik hiç gerçekleşmemişti.
Çalışma, başarısız çalıştırmaları baskın hata imzalarına göre de sınıflandırdı. Değerlendirilen modeller ortalamasında başarısızlıkların %79,9’u araç kullanımı hatasıydı; yani ajan bir araç hatası, başarısız ön koşul ya da boş sorgu ile karşılaşıyor ve bundan toparlanamıyordu. Bazı durumlarda ise sanki işlem başarılı olmuş gibi yoluna devam ediyordu.
Ortalama başarı ile istikrar aynı sonucu vermedi
Tablodaki sonuçlar, bir modelin bazen çok daha fazla çözüm bulabildiğini ama bunları aynı tutarlılıkla tekrarlayamadığını gösterdi. Kimi-K3, 507 görevin 476’sını en az bir kez geçerek bu ölçütte en yüksek sayıya ulaştı. Ancak yalnızca 68 görevi 20 denemenin tamamında geçti. Claude Opus 5 ise en az bir kez geçen görev sayısında daha geride kaldı, fakat 241 görevi 20 denemenin hepsinde geçti.
Bu fark, bir modelin arama uzayını daha geniş tarayıp daha yenilikçi çözümler bulabildiğini, diğerinin ise bilinen çözüm yollarını daha güvenilir biçimde tekrar ettiğini gösterdi. Benzer bir ayrım GPT-6 Astra ile GPT-5.4 arasında da görüldü: GPT-6 Astra’nın pass@1 değeri %58,31 olurken GPT-5.4’ün %65,36 idi. Buna karşın GPT-6 Astra, 20 denemenin tamamında 231 görevi geçerken GPT-5.4 128 görevde kaldı.
Claude Opus 5.5 de aynı protokolle değerlendirildi ve Claude Opus 5’e göre pass@1’de 0,66 puan daha yüksek skor aldı. Ancak 20 denemenin tamamında geçtiği görev sayısı aynı kaldı: 241.
Maliyet hesabı farklı bir liderlik tablosu çıkardı
Çalışma, model seçiminde maliyetin de önemli olduğunu gösterdi. Hesaplamada iki ayrı ölçü kullanıldı: Başarılı deneme başına maliyet ve tüm 20 denemede başarılı olunan görev başına maliyet. Bu iki ölçüm, başarısız denemelerin maliyetini de içeriyor; çünkü bu denemeler için de ödeme yapılıyor.
507 görev üzerinde 20 denemelik kampanya için yapılan tahmini hesapta GPT-5.6 Sol başarılı deneme başına 0,127 dolarla en ucuz model oldu. Ancak 20 denemenin tamamında başarılı olunan görev başına bakıldığında 9,76 dolara çıktı. GPT-5.4 için bu rakamlar 0,131 dolar ve 6,80 dolar olurken, GPT-6 Astra 0,291 dolar ve 7,45 dolar seviyesinde hesaplandı.
Qwen3.8-27B başarılı deneme başına 0,177 dolarla ucuz görünse de, 20 denemenin tamamında yalnızca 38 görevde başarılı olduğu için güvenilir görev başına maliyet 24,36 dolara yükseldi. Çalışma, bu yüzden “bir denemenin maliyeti” ile “istikrarın maliyeti”nin aynı olmadığını vurguladı.
Başarı ölçüsü, ödüle dönüştürülerek eğitimde kullanıldı
Çalışmada bir sonraki adım olarak yürütülebilir denetim doğrudan ödüle çevrildi. Final kayıtlara göre sonuç 1 ya da 0 olarak üretildi; çoğu görevde bu karar tamamen son durum üzerindeki belirleyici kontrollerden geldi. Az sayıdaki durumda ise veritabanı alanına sığmayan koşullar için bir yargıç modele dar kapsamlı evet-hayır sorusu soruldu.
Qwen3.8-27B, değerlendirmede kullanılanla aynı yalıtılmış arka uç yapısı, aynı MCP araç arayüzü, aynı simüle kullanıcı döngüsü ve aynı terminal durum derecelendirmesi içinde eğitildi. Eğitimde GPT-5 Chat simüle kullanıcı ve yargıç olarak kullanıldı; değerlendirme aşamasında bu roller için GPT-5.4-mini tercih edildi. Eğitim görevleri ise 507 görevlik ölçüm kümesinden ayrıydı; farklı MCP sunucuları, veri yapıları, iş alanları ve politikalar kullanıldı.
Eğitim için GRPO yöntemi uygulandı. Bu yöntem, aynı görev için bir grup deneme örnekliyor ve her denemeyi grubun ortalamasına göre ödüllendiriyor. Sekiz denemelik bir grupta hepsi başarısız olursa ödül dizisi [0, 0, 0, 0, 0, 0, 0, 0] oluyor; hepsi başarılı olursa [1, 1, 1, 1, 1, 1, 1, 1] elde ediliyor. Karışık gruplar ise başarılı denemeleri yukarı, başarısızları aşağı itiyor.
Hangi görevlerin eğitim havuzuna alınacağına ise önceden karar verildi. Aday görevler önce GPT-5.4 tarafından uygulanabilirlik açısından denendi, ardından temel Qwen3.8-27B birkaç kez çalıştırıldı. Her görevin başarı olasılığı Jeffreys öncülü ile tahmin edildi ve beş zorluk bandından orta üçünde ağırlığı en yüksek olan görevler tutuldu. Uçlarda kalan görevler ise elendi.
Sonuç olarak çalışma, hatayı yakalamanın yalnızca başarısızlıkları görünür kılmadığını, aynı zamanda bir ajanı daha tutarlı hale getirmek için de kullanılabildiğini gösterdi. Ancak hangi ölçütün önemli olduğu, görevin niteliğine göre değişiyor: Bir insan her sonucu denetliyorsa ortalama başarı daha anlamlı olabilir; bir ajan denetimsiz biçimde kayıt değiştiriyorsa, 20 denemenin tamamındaki tutarlılık çok daha kritik hale geliyor.
