Stripe Radar, yaptığı işte mükemmeldir: Para hareket ettiği anda bir işlemi puanlar. Ancak para hareket etmediği an, tam da bizim sorunumuzun yaşandığı yerdir.
Biz 7 günlük ücretsiz deneme sunuyoruz. Başlatmak için kullanıcı bir kart kaydediyor ama asla ücretlendirilmiyor — arka planda bu bir Stripe SetupIntent’idir, ödeme değildir. Ücretlendirme olmadığı için ücretlendirme anı olayı da yoktur; bu da Radar’ın en güçlü kurallarının, en kritik anda — sahte bir hesabın oluşturulup deneme kredilerini tüketmeye başladığı anda — değerlendirme yapamayacağı anlamına gelir.
Bu, dolandırıcılıkla tek seferlik sohbetlerde mücadele etmekten, kendi ürünümüz Zero üzerine kurulu, otomatik ve dakikada bir çalışan bir dolandırıcılık katmanına geçişimizin hikâyesidir.
Radar harika. "Harika" demek "mükemmel" demek değildir.
Stripe Radar, yaptığı işte gerçekten iyidir. Yıllık $1 trilyon ödeme hacmi üzerinde eğitilmiş modelleri, daha önce gördükleri bir kartı 92% oranında tanır ve Stripe, Radar’ın kullanan işletmelerde dolandırıcılığı ortalama 32% oranında azalttığını bildirir.
Ancak o sayıyı tekrar okuyun: azaltır, yok etmez. 32% ortalama bir azalma büyük bir rakamdır — fakat hâlâ önemli bir dolandırıcılık baskısının kapınıza dayandığı anlamına gelir ve Stripe bunun nedenini açıkça belirtir. Kendi ifadeleriyle, "yanlış pozitifleri azaltmak genellikle daha fazla gerçek dolandırıcılığın gözden kaçmasına yol açar." Sızıntı modelin bir hatası değildir; gerçek müşterilerinizi engellememenin bilinçli bir maliyetidir. Her dolandırıcılık ekibi, ne kadarını geçireceğine bilerek karar verir.
Deneme odaklı bir ürün için, bu sızıntı başlıkta yazan rakamdan daha büyüktür — çünkü Radar’ın en güçlü kısmı hiç devreye girmez.
Neden bir kapı yalnızca azaltabilir
Bir ücretlendirme motorunun dolandırıcılığı azaltabilmesinin ama asla tamamen bitiremeyeceğinin daha derin bir nedeni var ve bu Stripe’ın modelleriyle ilgili değil — zamanlama ve bilgiyle ilgili. Kart eklendiği anda, müşteri henüz hiçbir şey yapmamıştır. Giriş geçmişi yok, ürün davranışı yok, öğrenilecek bir kullanım kalıbı yok — sadece bir kart ve birkaç ağ sinyali. Radar, en az veriye sahip olduğu anda, en ince kanıt dilimiyle en iyi tahminini yapar.
Gerçek sınır budur. Bir kapıyı ayarlayabilirsiniz, ama henüz var olmayan veriyi ona veremezsiniz. Bir kötüye kullanıcının müşteriyle ayrışmasını sağlayan bilgi, çoğunlukla kapı kararını verdikten sonra oluşur.
Aşama 1: Sohbet penceresinde yangın söndürmek
İlk tepkimiz tamamen manueldi. Bir kötüye kullanım dalgası geldiğinde, biri ajanımızla bir sohbet başlatır ve olayı canlı olarak yönetirdi: Son kayıtları çeker, kartlara bakar, kalıbı bulur, hesapları elle kapatırdık.
İşe yaradı, ama ölçeklenmedi. Her olay sıfırdan başlardı. Bilgi — bu çete nasıl görünüyor, hangi sinyaller güvenilir — bir kişinin kafasında ve bir sohbet dizisinde kalır, pencere kapandığında yok olurdu.
Ayrıca huninin iyi tarafında pahalı bir ders aldık: Gerçek kullanıcıları geri kazanmak isterken, dikkatsizce bir dolandırıcı adrese gönderilen bir e-posta gerçek zarara yol açıyor — adresin aktif olduğunu doğruluyor. Kuracağımız her otomasyonun gerçek bir potansiyel müşteriyle sahte olanı ayırt edebilmesi gerekiyordu.
Aşama 2: Radar ile ön kapıyı güçlendirmek
Sonraki adımımız, elimizden gelen her şeyi Radar’a taşımak oldu — kart ekleme adımında engelleme listeleri ve hız kuralları, gördüğümüz baskıya göre ayarlandı. Doğru ilk adımdı ve en kaba saldırıları durdurdu.
Ama iki sınır hızla ortaya çıktı. Birincisi Stripe’ın kendisinin de belirttiği gibi: Ücretlendirme motoru bir denge ayarıdır, duvar değil — yükseltirseniz gerçek müşterileri engellersiniz, düşürürseniz daha fazla dolandırıcılık geçer. İkincisi ise yapısal ve denemelere özgü: o 32% ücretlendirme anında kazanılır ve bir SetupIntent denemesinde puanlanacak bir ücret yoktur. Kaydedilen ödeme yöntemlerinde Radar’ı açıkça etkinleştirmezseniz, motor hiç çalışmaz — ve çalışsa bile, bir SetupIntent’te yalnızca Block, Allow ve 3DS kuralları geçerlidir. "Review" (İnceleme) eylemi, yani bir insanın ikinci kez bakmasını sağlayan, asla tetiklenmez.
Yani yığındaki en iyi performans gösteren katman, varsayılan olarak, en çok ihtiyaç duyduğumuz anda devre dışı kalıyor. Radar ön kapıda bir kapı. Bizim arkasında devriye gezene ihtiyacımız vardı.
Aşama 3: Zero ile kurulan ikinci katman
Kayıttan sonra, bilgi tablosu tersine döner. Hesap iz bırakmaya başlar — ve bu izlerin en zengini, ödeme sağlayıcısının asla göremediği bir sistemde yaşar: kimlik sağlayıcımız Clerk.
Zero’ya buna erişim verdik. Clerk, Stripe’ın bilemeyeceği şeyleri bilir: Hesabın nasıl oluşturulduğu, kayıt yöntemi ve e-posta, arkasındaki oturum ve cihaz, o günün diğer kayıtlarına göre tam zamanlaması. Stripe kartı bilir. Hiçbiri tek başına tüm hikâyeyi anlatmaz — ama ajan ikisini de okuyup aralarında ilişki kurabilir. Kapıda görünmeyen kötüye kullanım, yan yana bakınca barizleşir: Giriş kimliğiyle faturalama kimliği örtüşmeyen, birkaç dakika arayla benzerleriyle birlikte oluşturulmuş yepyeni bir hesap. Bu sistemler arası ilişkiyi ücretlendirme anı kapısı kuramaz — ama her iki sistemin üzerinde oturan bir ajan kurabilir.
Bu daha zengin kanıt tabanında, canlı kayıt ve faturalama verisine karşı her birkaç dakikada bir planlanmış Zero görevleri çalıştırıyoruz. Üç ilke bunları şekillendiriyor:
1. Sadece kapı değil, devriye de gez. Tek bir anı değerlendirmek yerine, ajan kısa döngülerle tüm son kayıtları tarar, hesap verisi ve ödeme metadatasını ilişkilendirerek ön kapıdan geçen hesapları ortaya çıkarır.
2. Yanıtı güvene göre katmanla. Her sinyal aynı eylemi hak etmez. Yüksek güvenli kalıplar otomatik olarak işlenir — hesap askıya alınır ve denemesi anında iptal edilir, çünkü eylem geri alınabilir ve beklemenin maliyeti gerçektir. Daha düşük güvenli sinyaller asla otomatik işlenmez; bir insanın incelemesi için rapora eklenir. Güvenli yerde kararlı, riskli yerde temkinli.
3. İnsan denetim izi bırak. Her otomatik eylem, onu tetikleyen tam sinyali kaydeder, böylece saniyeler içinde incelenip geri alınabilir. Denetlenemeyen otomasyon, güvenilemeyen otomasyondur.
Aynı titizliği huninin dost tarafına da uyguladık. Ayrı bir görev, gerçek terk edilmiş ödeme kullanıcılarını bulur ve bir insanın onaylaması için taslak bir geri kazanım e-postası hazırlar — kasıtlı olarak ağır bir dolandırıcılık filtresinin arkasında, böylece kötü bir adresi asla doğrulamayız. Aynı motor, zıt amaç.
Ekonomiye etkisi
Devriye devreye girdiğinde, rakamlar hemen değişti. %90’lık dilimdeki kayıtlara bakın — gerçek zararı veren ağır hesaplar. Bunların ilk saatlerinde yaktığı deneme işlem gücü yaklaşık $4’den yaklaşık $0.25’e düştü — 94%’lük bir azalma. Aynı zaman dilimindeki tüm yeni kayıtlar ortalamasında, hesap başına kayıp yaklaşık 85% azaldı.
Değişimin şekli her şeyi anlatıyor. Çoğu kayıt bize hiçbir maliyet getirmedi; kayıp her zaman yalnızca deneme kredilerini tüketmek için var olan uzun, ağır bir kuyrukta yoğunlaşmıştı. Devriye huniyi daraltmadı — o kuyruğu kesti. Daha az kayıt değil. Daha temiz kayıtlar.
Neden bir ajan, script değil?
Bir cron işi yazabilirdik. Yazmadık, tek bir nedenle: tehdit bir sürüm döngüsünden daha hızlı değişiyor. Bir saldırgan taktik değiştirdiğinde, bir görevin talimatlarını sade bir dille güncelliyoruz ve yeni mantık bir sonraki çalıştırmada canlı — dağıtım yok, şema değişikliği yok, bilet yok. "Kurallar" bir prompt, prompt ise saldırgan kadar hızlı değiştirilebiliyor.
Gerçek ders bu. Radar, ücretlendirme anı riskleri için doğru araç ve ona sıkı sıkıya güveniyoruz. Ama deneme odaklı bir işin, hiçbir ücretlendirme aracıyla kapatılamayacak yapısal bir kör noktası var — ve çözüm daha büyük bir kural motoru değil. Tehdit hızında yeniden programlayabileceğiniz, hızlı, denetlenebilir, her zaman açık ikinci bir katman.
Deneme odaklı ekipler için çıkarımlar
- Ücretlendirme olmayan anlarınızı haritalayın. Kullanıcıya ödeme puanlanmadan önce değer sağladığınız her yer, ücretlendirme aracı için görünmez bir boşluktur.
- Katman ekleyin, değiştirmeyin. Radar’ı ön kapıda tutun. Arkasına sürekli bir kayıt sonrası devriye ekleyin.
- Sistemler arasında ilişki kurun. Ödeme sağlayıcınız ve kimlik sağlayıcınızın her biri tablonun yarısını tutar. Dolandırıcılık, örtüşmede görünür olur.
- Eylemlerinizi güvene göre katmanlayın ve her birini kaydedin. Yalnızca eylemin geri alınabilir ve sinyalin güçlü olduğu yerde otomatik işlem yapın; diğerlerini insana yönlendirin.
- Uyum hızını optimize edin. Dolandırıcılıkta, kurallarını en hızlı değiştiren ekip kazanır.
Her zaman açık bir ajan kendi yığınınızda neleri otomatikleştirebilir, merak ediyor musunuz? Zero’yu keşfedin.
Notlar: Radar verileri Stripe’ın kendi yayınladığı rakamlardır (stripe.com/radar; "A primer on machine learning for fraud detection"). Kayıp rakamları, kayıt sonrası ilk saatlerde yeni kayıt başına işlem maliyetini, lansman öncesi ve sonrası eşleşen zaman dilimlerinde, dahili hesaplar hariç tutularak ölçer; lansman sonrası örneklem hâlâ erken ve zamanla netleşecektir.
