Who Is Really in the Product Loop: AI, Product Teams, or Both?

Merve Erdem (Senior Product Team Manager @Commencis) ve Melikcan Şirvan (Senior PM @Commencis), Mercury adlı mobil bankacılık agent çözümünü tanıttı.

Demo — Nazlı personası: 15 yıllık bir beyaz yakalının mobil bankacılık senaryoları: finansal özet, kardeşine para gönderme, yatırım hesapları, ev kredisi. Tüm bu deneyim Mercury sohbet arayüzü üzerinden kesintisiz şekilde ilerliyor.

3 katmanlı mimari:

• Arayüz Katmanı (Interface Layer): Metin tabanlı sohbet arayüzü ve yönetim panelinden eklenen UI bileşenleri (karusel, aksiyon düğmeleri); sistem, bağlama göre hangi arayüzü nerede kullanacağına kendi karar veriyor
• Zekâ Katmanı (Intelligence Layer): Modüler agent'ların orkestre edildiği; niyet anlama, guardrail yönetimi ve belleğe (memory) alınacak verilere karar verilen katman
• Entegrasyon Katmanı (Integration Layer): MCP'ler, banka API'ları ve deterministik araç katmanı

Test ve metrikler:

• Golden Dataset'ler — her senaryo için kabul edilebilir cevap kümesi hazırlanıp sistemin çıktısıyla karşılaştırılıyor
• Güven eşikleri — AI'ın bir öneri yapması için gereken minimum güven yüzdesi
• Guardrail'lar araçların testine bırakılmıyor; QA ekibi manuel olarak test ediyor
• Geri bildirim metriği, elde tutma (retention) ve dönüşüm birlikte değerlendiriliyor

Zorluklar: Deterministik düşünceden olasılıksal düşünceye geçiş, piksel düzeyinde kontrolün kaybı ve bir AI çıktısının hata mı, halüsinasyon mu yoksa kabul edilebilir bir aralık mı olduğuna karar vermek.

Sunuma buradan erişebilirsiniz: Sunum (216.6 MB Keynote)