Kontrol Değil, Bağlam
Ajanınızın istemindeki her kural bir hatayla başladı.
Birisi kötü bir davranış gördü, bir kural yazdı, devam etti. Bir başkası aynısını yaptı. Üçüncü kişi, model bir Salı günü tuhaf bir şey yaptığı için "asla X yapma" diye ekledi. Kimse hiçbir şeyi silmedi.
Altı ay sonra, ajan gerçek görevi düşünmekten çok, kural kitabında yolunu bulmak için bağlam penceresini harcıyor.
Bu, kontrol odaklı düşüncedir. Ve bence bu, ekiplerin yapay zeka ajanları oluştururken yaptığı en büyük tasarım hatalarından biri.
Daha Büyük Bir Deseni Gösteren Küçük Bir Örnek
Zamanlanmış bir görevle tetiklenen bir ajanın, çalışmanın içinden yeni zamanlanmış görevler oluşturmasıyla ilgili bir sorunla karşılaştık. Sonsuz özyineleme, ama gerçek dünyada yan etkilerle.
Yanıt vermenin iki yolu var.
Kontrol tarzı: Yasakla. Zamanlamaların zamanlama oluşturmasını engelleyen kod yaz. Bir istem kuralı ekle: "Bir zamanlamanın içinde asla zamanlama oluşturma." Gönder.
Bağlam tarzı: Ajana gerçekte ne olduğunu anlat.
3:00 Pasifik saatinde zamanlanmış bir görev tarafından tetiklendiniz. Zamanlama Kimliği: sched_29x8f. Zamanlanmış bir çalışma, kullanıcının başlangıçta yetkilendirdiği tanımlı kapsamda izole bir yürütmedir. Yeni bir zamanlanmış görev oluşturmak, bu kapsamı orijinal yetkilendirmenin ötesine taşır.
İlk yaklaşım bir davranışı yamalar. İkincisi, ajana durumu modelleme imkânı verir.
Artık yakın soruları da değerlendirebilir: 3 AM'de bildirim göndermeli miyim? Kullanıcının açıkça istemediği bir takip süreci oluşturmalı mıyım? Orijinal çalışmanın kapsamını aşan bir şeyi değiştirmeli miyim?
Kurala gerek yok. Ajan bunu kendi başına çözdü.
Birçok ekip, aslında ihtiyaçları bağlamken kontrole yöneliyor.
Aynı Ayrım İstemlerin İçinde de Görülür
Bu sadece sistem düzeyinde uygulama ile ilgili değil. Bağlam ve kontrol ayrımı istemlerin içinde de var.
Bağlam tarzı istem: çoğunlukla gerçekler, minimum yorum:
Zamanlanmış bir görev nedeniyle çalışıyorsun. 3:00 Pekin saatinde tetiklendi. Görev Kimliği: sched_29x8f. Kullanıcı bu çalışmayı belirli bir kapsam için yetkilendirdi.
Kontrol tarzı istem: yorumlu, kuralcı:
Zamanlama oluşturmakta kaçın. Kullanıcıyı X aracıyla bilgilendirmelisin. Y'yi asla yapma, Z olmadıkça.
Bazen kuralcı talimatlar faydalı olabilir. Ama çoğu zaman eksik gerçeklerin telafisidirler. Ve bu şekilde telafi etmeye başladığınızda, alışkanlık haline gelir.
İstemler Nasıl Bürokrasiye Dönüşür
Bu, daha derin bir başarısızlık biçimidir.
Bir ekip bir sorun görür ve bir kural ekler. Sonra bir tane daha. Sonra bir tane daha. Her biri yerel bir sorunu yamalar, ama birlikte bir vekil sistemi oluştururlar.
Bezos bu deseni 2016 hissedar mektubunda tanımladı: iyi süreç, müşterilere hizmet edebilmeniz için size hizmet eder. Ama dikkatli olmazsanız süreç, amacın kendisi olur.
Ajan sistemlerinde de tam olarak bu olur.
Kural, amaç değildir. Kural, istediğiniz sonucun bir vekilidir. Ve vekiller birikir. Biri, daha fazlasını gerektiren uç durumlar yaratır. Kısa sürede ajan, kimsenin tam olarak hatırlamadığı tarihsel nedenlerle eklenmiş talimat katmanları arasında mantık yürütür.
İnsan organizasyonlarında bu bürokrasiye dönüşür. Ajan sistemlerinde ise yara iziyle dolu dev bir isteme dönüşür.
Gerçekler Eskir. Yorumlar Çürür.
"Bu çalışma 3'te zamanlanmış bir görevle tetiklendi" gibi bir gerçek stabildir. Hangi model okursa okusun doğru kalır: Claude, GPT, Gemini, gelecek çeyrekte çıkan her neyse.
"Alt zamanlamalar oluşturmaktan kaçınmalısın" gibi bir ifade kırılgandır. Yoruma bağlıdır. Bir durumda yardımcı olurken, başka bir durumda sessizce yanlış sonuç verebilir.
Model değiştirdiğinizde, isteminizdeki her yorum potansiyel bir mayındır. Yeni modelin farklı mantık eğilimleri vardır ve özenle ayarlanmış "kaçın" ifadeniz onun için tamamen farklı bir anlama gelebilir.
Ama ortam, izinler, kapsam ve kısıtlamalarla ilgili sağlam gerçekler, modeller ve uç durumlar arasında genellikle genellenebilir. Bu yüzden gerçekler daha iyi yapı malzemesidir.
Model-Tuhaflığı Tuzağı
Bu, kontrol sorununun belki de en sinsi versiyonu: ekipler geçici model kusurlarını kalıcı sistem yapısına dönüştürüyor.
Bir model dar bir durumda kötü davranır. Ekip bir korkuluk ekler: bir istem yaması, bir kod kontrolü, yalnızca belirli bir hata modunu durdurmak için var olan tuhaf bir dal.
Bu yama, tuhaflığın süreceği varsayımıdır. Neredeyse hiç sürmez.
Üç ay sonra model değişir. Orijinal davranış kaybolur. Ama yama kalır. Kimse onu kaldırmak istemez, çünkü belki bir nedeni vardı.
Sistem istemlerinin nasıl miras koduna dönüştüğü budur.
Bunu soyut olarak ifade ettiğimizde tehlikeyi kolayca fark ederiz. Ama pratikte, Sonnet'in mevcut mantık eğilimlerini tekrar tekrar istemde yamamak, aynı desenin kılık değiştirmiş halidir.
Kararlı sistem davranışını belgelemek değerlidir. Bir modelin mantık eğilimlerini yamamak ise bir koşu bandıdır. Model, yamalarınızı sürdürebileceğinizden daha hızlı değişecektir.
İyi Bir Test Durumu: İzin Reddedildi
Bu ayrımı araç teşhislerinde net şekilde görebilirsiniz. Bir ajan bir izin hatasıyla karşılaştığında:
Kontrol tarzı:
TOKEN eksik. Düzeltmek için "zero permissions request gmail.send" çalıştırın.
Doğrudan, ama ajan hiçbir şey öğrenmez. Bir dahaki sefere farklı bir izin hatasıyla karşılaşırsa, takılır kalır.
Bağlam tarzı:
process.env.GMAIL_TOKEN → mevcut zero connectors inspect gmail → bağlı zero permissions inspect gmail.send → reddedildi
Seçenekler:
- Kullanıcıdan gmail.send için onay iste
- Varsa önceden yetkilendirilmiş bir yolu kullan
Ajan artık token'ın mevcut olduğunu, bağlayıcının çalıştığını ve belirli iznin reddedildiğini biliyor. Sistem durumunu anlıyor ve kural yazarının öngörmediği yeni durumlar hakkında mantık yürütebiliyor.
Heuristik
Tekrar tekrar şuna dönüyorum:
Bir istemde "yapma", "kaçın" veya "asla" yazmak üzereyseniz, durun. Sorun: Bu kural hangi gerçeğin telafisi?
Genellikle eksik bir gerçek vardır. Ajan, hangi ortamda olduğunu, kullanıcının neyi yetkilendirdiğini, hangi eylemlerin geri döndürülemez olduğunu veya bu çalışmanın neden normal bir sohbetten farklı olduğunu anlamıyordur.
O gerçeği yazın. Kuralı silin.
Bazen yine de kısıtlama isteyeceksiniz, özellikle yıkıcı eylemler, para hareketi veya güvenlik sınırlarında. Sert kontroller hâlâ önemlidir.
Ama birçok istem kuralı gerçek sınır değildir. Eksik anlayışın telafisidir. Ve tam da bunlar birikir ve çürür.
Amaç
Amaç, bir kontrol listesini ezberleyen bir ajan değildir.
Amaç, açık sınırlar içinde iyi kararlar verecek kadar durumunu anlayan bir ajandır.
Bir felsefe, davranışı kuralları üst üste koyarak kontrol eder. Diğeri, dünyayı anlaşılır kılarak davranışı iyileştirir.
İlki bürokrasiye, ikincisi ise anlayışa yönelir.
Bağlam oluşturun. Yara izlerini silin. Düşünebilen ajanlar gönderin.
