Bir fikirle yola çıktınız; zaman, emek ve para yatırdınız, sonunda da canlıya geçtiniz. Sırada, bu özelliğin performansını ölçmek var. Ancak çoğu zaman yüzeysel metrikler, sığ ölçümler ve varsayımlarla yetiniyoruz. Bu da, özelliğin potansiyelini doğru değerlendirmemizi engelliyor. Bu içerikte, özellik performansını takip etmek için daha derinlikli bir bakış açısı sunuyoruz. Bu bakış açısını ise RAAEE çerçevesiyle yapılandırıyoruz. Tüm sorularınızın yanıtı içeriğin devamında!
İçindekiler:
- RAAEE Çerçevesi Nedir?
- Reach (Erişim) ve Özellik Performansı için Önemi
- Attractiveness (Çekicilik) Nedir ve Özellik Başarısında Neden Etkilidir?
- Adoption (Benimsenme) ile Özelliğin Performansını Ölçme
- Effectiveness (Etkililik) Özelliğin Başarısı Hakkında Ne Söyler?
- Engagement (Bağlılık) ile Özellik Performansı Takibinin Son Adımı
- Yapay Zeka RAAEE Çerçevesi Hakkında Konuşuyor!
RAAEE Çerçevesi Nedir?
RAAEE çerçevesi, bir özelliğin performansını takip etmek ve değerlendirmek için kullanılan bir modeldir. Bu model, CTR gibi basit metriklerin takibinden farklı olarak, özellik performansını daha detaylı bir şekilde ele alır. Rappi’nin eski CPO’su ve Monzo’nun yeni Head of Product’ı Charles Carette tarafından ortaya atılan bu yaklaşım, yalnızca kullanım oranını ölçmekle kalmaz; özelliğin görünürlüğünü, nasıl kullanıldığını ve kullanıcıya gerçekten fayda sağlayıp sağlamadığını da inceler. Bu çerçevenin beş öğesini ve özellik performansını ölçmek açısından ne ifade ettiklerini aşağıdaki tabloda özetleyebiliriz:
Reach (Erişim) ve Özellik Performansı için Önemi
Canlıya aldığınız bir özellik, ne kadar inovatif ve faydalı olursa olsun, kullanıcıya ulaşmadığı sürece başarısız sayılır. Ancak özellik performansını takip ederken çoğu zaman erişim başarısı göz ardı edilir. Bunun temel nedeni, özelliğin kullanıcıya zaten ulaştığını varsaymamızdır. Oysa özellikle belirli bir hedef kitleye sunulmak üzere yapılan ayarlar veya render hataları gibi nedenlerle, özelliğin sayfada hiç görünmemesi mümkündür. Bu nedenle, özellik performansını takip etmeye erişim kriteriyle başlıyoruz. Erişimi ölçmek için, kaç oturumun ya da kaç gerçek kullanıcının bu özelliğe eriştiğine bakarız. Formülü ise şöyle:
(Özelliği görüntüleyen kullanıcı sayısı / Toplam aktif kullanıcı sayısı) × 100
Örneğin:
- Özelliği görüntüleyen kullanıcı sayısı: 10.000
- Toplam aktif kullanıcı sayısı: 50.000
10.000 / 50.000 × 100 = %20
Yani, özelliğin erişimi %20 demektir. Bu durumda aktif kullanıcıların %20’si bu özellikle etkileşime geçme fırsatı bulmuş. Geriye kalan %80’lik kesim ise büyük olasılıkla:
- bir kontrol grubunda yer alıyor,
- henüz uygulamayı açmamış,
- ya da özelliğin yer aldığı bölüme hiç denk gelmemiş olabilir.
şeklinde yorumlayabiliriz.
Attractiveness (Çekicilik) Nedir ve Özellik Başarısında Neden Etkilidir?
Çerçevemizin ikinci kriteri, kullanıcı isteğinin bir yansımasıdır: Kullanıcı, gördüğü ve fark ettiği bu özellikle etkileşime geçiyor mu? Eğer cevabımız “hayır” ise, bu özellik kullanıcının ilgisini çekmiyor demektir. Eğer “evet” ise, özelliğin gerekli ilgiyi çektiğini ve kullanıcıyı bir aksiyon almaya ittiğini anlarız. Ancak altını çizmek gerekir ki, özellik görünür değilse, ilgi çekmesi de mümkün değildir. Çekilicik kriterinin formülüne yakından bakacak olursak:
(Özellikle etkileşime geçen kullanıcı sayısı/özelliği gören kullanıcı sayısı) x100
Eğer elimizde 3.000 / 10.000 = 30% gibi bir sonuç varsa, bu özelliği gören kullanıcıların %30’unun, gerek tıklama gerek kaydırma gibi bir etkileşimde bulunduğunu gösterir.
Adoption (Benimsenme) ile Özelliğin Performansını Ölçme
Benimsenmeyi ölçerken sorumuz şu: Özelliği görmüş olsun ya da olmasın, tüm kullanıcıların kaçı bu özelliği kullanmış? Dikkat etmemiz gereken nokta, benimsenmenin çekicilikten farkıdır. Çekicilik, özelliği görenlerin etkileşimi ve ilgisini ölçerken, benimsenme tüm kullanıcı tabanına odaklanır. Bu da özelliğin ürüne ne kadar entegre olduğunu ortaya koyar. Eğer yalnızca belli bir kullanıcı grubuna açıksa veya niş bir hizmet sunuyorsa, düşük benimsenme oranları gayet doğaldır. Ancak herkesin erişime açık olan özelliğin benimsenme oranı düşükse, bu tehlikeli bir duruma işaret eder. Bu noktada şu üç soruya yanıt aramalıyız:
- Özellik kolay bulunabiliyor mu?
- Değer önerisi net mi?
- Özellik ürüne yeterince entegre mi?
Formülü ise: (Özellikle etkileşime geçen kullanıcı sayısı/aktif kullanıcı sayısı) x100
Effectiveness (Etkililik) Özelliğin Başarısı Hakkında Ne Söyler?
Özelliğin etkililiği, kullanıcıya ne kadar faydalı ve optimize edilmiş bir deneyim sunduğunu anlatır. Önceki metriklerde, özelliğin kullanıcıyı nasıl çektiğine odaklanıyorduk; ancak bu metrikle, özelliğin genel olarak ne kadar etki yarattığını ölçüyoruz. Eğer kullanıcılar özelliği kullanıyor ancak hedeflenen işlemi tamamlamıyorsa, bu, özelliğin yeterince etkili olamadığı ve beklenen faydayı sağlayamadığı anlamına gelir. Ancak bu durumun tek nedeni ürünün kullanıcıya gerekli değeri sunmaması değildir; aynı zamanda bilgi mimarisindeki eksiklikler, sayfa yüklenme hızı veya kullanılabilirlik sorunları da etkili olabilir. Formüle gelirsek:
(Hedeflenen aksiyonu almış kullanıcı sayısı/özellikle etkileşime geçmiş kullanıcı sayısı)x100
Özellikle etkileşime geçmiş 3000 kullanıcıdan 1500’ü özelliğin gerektirdiği işlemi yerine getirmiş, (örneğin hızlı satın alma butonuna tıklamış, bilgileri onaylamış ve satın alımı gerçekleştirmiş) olabilir. Bu da kullanıcıların %50’sinin özelliğin gerçek değerinden faydalandığını gösterir.
Engagement (Bağlılık) ile Özellik Performansı Takibinin Son Adımı
Özelliğin benimsenmesi, başarılı sayılması için yeterli değildir. Asıl, özelliği benimseyen kullanıcıların ilgili davranışta sık sık, tekrar tekrar bulunması başarının anahtarıdır. Bağlılık kriterini ölçmek içinse:
- İlgili işlemi en az bir kere gerçekleştiren sayısı: 500
- En az 5 kere gerçekleştiren sayısı: 200
gibi örüntüleri takip edebiliriz.
Yapay Zeka RAAEE Çerçevesi Hakkında Konuşuyor!
Ürünlerde birçok özellik, gerçekten işe yarayıp yaramadığı anlaşılmadan hayata geçirilir. RAAEE çerçevesi (Reach, Attractiveness, Adoption, Effectiveness, Engagement), bir özelliğin sadece kullanılıp kullanılmadığını değil, kimlerin nasıl kullandığını ve ne kadar değer yarattığını anlamamıza yardımcı olur. Görülme (Reach), ilgi çekme (Attractiveness), benimsenme (Adoption), değer sağlama (Effectiveness) ve tekrar kullanım (Engagement) sorularını yanıtlamak, ürün iç görüsünün temelini oluşturur. Bu beş metriği doğru şekilde ölçmeden optimizasyona veya yeni geliştirmelere geçmek verimsizdir. Ölç, anla, sonra iyileştir.
.png)
