İlk metrikler: neyi ölçmeli, neyi boş vermeli?

Ürünü yayına aldın ve ilk sabah yaptığın şey analitik paneline bakmak oldu. Ziyaretçi sayısı, kayıt sayısı, ülkeler, tarayıcılar, ortalama oturum süresi... Bir sürü sayı var ama hiçbiri sana bu hafta ne yapman gerektiğini söylemiyor.

Erken dönemde sorun genellikle eksik veri değil, fazla ve yanlış veri. Bu yazıda ilk aylarda gerçekten bakman gereken birkaç sayıyı ve görmezden gelebileceklerini topladık.

Dayanaklarımız Y Combinator Startup School'da Adora Cheung'un hedef belirleme ve Ilya Volodarsky'nin analitik dersleri, Paul Graham'ın büyüme üzerine denemesi, Eric Ries'in gösteriş metrikleri yazısı, Looker kurucusu Lloyd Tabb'in First Round Review röportajı ve Hacker News'teki tartışmalar.

Önce "neyi öğrenmek istiyorum?" sorusu

Hacker News'te "Girişiminizin analitik düzeni ne?" diye soran birine gelen en sert cevap, neyi analiz ettiğini bilmiyorsan bir analitik düzeninin de anlamsız olduğuydu. Kulağa kaba gelse de doğru bir başlangıç noktası.

Aracı seçmeden önce şu soruyu cevapla: Bu ay hangi kararı vermek için veriye ihtiyacım var? İlk sürümde bu kararlar genelde şunlardır:

İnsanlar sayfaya gelip kayıt oluyor mu?
Kayıt olanlar ürünün asıl işini en az bir kez yapıyor mu?
Yapanlar bir hafta sonra geri geliyor mu?
Biri para ödüyor mu?

Bu dört soruya cevap verebiliyorsan, ilk dönem için yeterli bir ölçüm düzenin var demektir.

Gösteriş metrikleri: iyi hissettiren ama yol göstermeyen sayılar

Eric Ries 2009'da yazdığı yazıda "hit" sayısını gösteriş metriğinin tipik örneği olarak ele alıyor. Ona göre bu sayı insanları değil teknik bir olayı sayıyor, kişi başına değil toplam olarak veriliyor ve neyin buna yol açtığını söylemiyor. Ries'in bu konudaki kuralı kısa: "metrics are people, too" (metrikler de insandır). Yani bir sayının arkasında kaç gerçek kişi olduğunu bilmiyorsan, o sayı sana pek bir şey söylemez.

Lloyd Tabb da First Round Review'daki röportajında aynı ayrımı yapıyor. İndirme, toplam kullanıcı ve gelir artışı gibi büyük ve yüzeysel sayıların yatırımcıya ve basına iyi göründüğünü, ama işi yönetmek için yol göstermediğini söylüyor. Verdiği uyarıcı örnek, 2014'te günlük aktif kullanıcıyı kovalayıp 33 milyona ulaşan ve 49 milyon dolar yatırım alan, ama kazandığı kadar hızlı kullanıcı kaybeden bir işe alım platformu.

Solo bir kurucu için tipik gösteriş metrikleri şunlar:

Toplam kayıt sayısı (hiç geri gelmeyenler dahil)
Sayfa görüntülenme sayısı
Sosyal medya takipçisi
Bekleme listesindeki kişi sayısı
Bir lansman günündeki ziyaretçi zirvesi

Bunlara bakmak yasak değil. Ama karar verirken bunlara güvenme.

Hacker News'te gösteriş metrikleri üzerine bir tartışmada bir yorumcu kullanışlı bir teknik öneriyor: Her metriği, onu aşırı zorladığında bozulmasını beklediğin ikinci bir metrikle eşleştir. Örneğin kayıt artışını, kayıt başına harcadığın parayla birlikte izle. Bir başka yorumcu da Goodhart Yasası'nı hatırlatıyor: Bir ölçü hedefe dönüşünce iyi bir ölçü olmaktan çıkar.

Bir ana sayı, en fazla üç yardımcı

Adora Cheung, Startup School'daki dersinde her girişimin, şirketin sağlığını en iyi gösteren tek bir ana metrik seçmesini öneriyor. Yanına 3 ila 5 yardımcı metrik koyuyor, ama 3'e yakın olmasını tercih ediyor. Ana metriğin kullanıcıya sağlanan değeri ve tekrar eden değeri yansıtmasını istiyor.

Cheung'a göre en iyi ana metrik gelir. Aktif kullanıcıyı ise reklamla para kazanan ya da güçlü ağ etkisi olan ürünler için mantıklı buluyor. Paul Graham da "Startup = Growth" denemesinde aynı sırayı veriyor: En iyi ölçü gelir. Henüz ücret almayan bir girişim için en yakın ikinci ölçü aktif kullanıcı sayısı.

Türkiye'den birkaç örnek:

Pastaneler için sipariş formu aracı: Ana sayı, aracı kullanan pastanelerin aylık ödemesi. Henüz ücret almıyorsan: o hafta en az bir sipariş alan pastane sayısı.
Serbest çevirmenler için teklif şablonu: Ana sayı, o hafta en az bir teklif gönderen kullanıcı sayısı.
Oto servisler için bakım hatırlatma aracı: Ana sayı, o hafta gönderilen hatırlatma sonucu randevuya dönen müşteri sayısı.

Dikkat et: Hiçbirinde "kayıt sayısı" yok. Hepsi kullanıcının ürünle gerçekten bir sonuç aldığı anı sayıyor.

Aktivasyon: değeri ilk ne zaman aldı?

Aktivasyon, yeni kullanıcının ürünün vaat ettiği değeri ilk kez yaşadığı an. Lloyd Tabb buna "hizmetin en erken anı" diyebileceğimiz bir yerden bakıyor ve onu ölçmeyi öneriyor. Araç paylaşımı örneğinde, aylık aktif yolcu sayısından çok, aracın yolcuyu ne kadar sürede aldığının tekrar kullanımı daha iyi öngördüğünü söylüyor. Kötü bir ilk deneyimin müşteriyi kalıcı olarak kaybettirebileceğini de vurguluyor.

Kendi ürünün için aktivasyonu tek bir olayla tanımla:

Bir yoga stüdyosu için ders programı aracında: ilk dersin takvime eklenip öğrencilere paylaşılması.
Bir e-ticaret satıcısı için stok takip aracında: ilk ürünün stok uyarısının kurulması.

Sonra tek bir oranı izle: Kayıt olanların yüzde kaçı bu olaya ulaştı? Oran düşükse sorun genelde kayıttan sonraki ilk ekrandadır. Rehber'deki "yayında" kontrol listesi boş açılan ekran sorununu ayrıca anlatıyor.

Elde tutma: haftalık grup tablosu

Ilya Volodarsky, Startup School'daki analitik dersinde üç temel metrik öneriyor: haftalık kayıt, elde tutma grupları ve gelir. Kayıtları organik olanlar ve davetle gelenler olarak ayırmayı, organik büyümenin daha önemli olduğunu da söylüyor.

Elde tutma için yöntemi şöyle: Kullanıcıları kayıt oldukları haftaya göre grupla ve her grubun sonraki haftalarda ne kadarının geri geldiğine bak. Volodarsky, bu eğrinin kabaca yüzde 20 ila 30 civarında düzleşmesini ürün-pazar uyumunun işareti olarak görüyor. Uyumu olmayan ürünlerde eğrinin sıfıra doğru indiğini söylüyor. Bu aralığı kesin bir eşik değil, onun deneyiminden gelen kaba bir referans olarak gör.

Önemli bir ayrıntı daha veriyor: Ölçtüğün sıklık, kullanıcının ürünü doğal olarak kullanma sıklığına uymalı. Airbnb'yi insanlar yılda bir kullanır, Facebook'u her gün. Aylık fatura kesilen bir muhasebe aracında "günlük aktif kullanıcı" ölçmek anlamsız. Orada doğru soru, kullanıcının ertesi ay yine fatura kesip kesmediği.

İlk sürümde bunun için pahalı bir araca ihtiyacın yok. Veritabanında her kullanıcının kayıt tarihini ve çekirdek eylemi en son yaptığı tarihi tutarsan, haftalık tabloyu bir tablolama programında elle de çıkarabilirsin.

Büyüme oranı: toplam değil oran

Paul Graham, YC sürecinde iyi bir büyüme oranının haftada yüzde 5 ila 7 olduğunu, haftada yüzde 10'a ulaşmanın olağanüstü sayıldığını yazıyor. Haftada yüzde 1'lik büyümeyi ise girişimin henüz ne yaptığını çözemediğinin işareti olarak görüyor. Adora Cheung da benzer aralıklar veriyor.

Bu rakamları kendini kötü hissetmek için değil, düşünme biçimini değiştirmek için kullan. Graham'ın asıl vurgusu şu: "Ayda yüz yeni müşteri" bir oran değil. Önemli olan, yeni müşterilerin mevcut müşterilere oranı. Her ay sabit sayıda yeni müşteri geliyorsa büyüme aslında yavaşlıyor demektir.

Mesai sonrası ürün geliştiren biri için bu oranlar her zaman gerçekçi olmayabilir. Yine de haftalık bakmak işe yarar. Cheung'un önerisi, haftalık hedefi görünür bir yere asmak, her hafta güncellemek ve hedefi kaçırdığında en büyük engeli bulmak. Engeli bulamıyorsan daha fazla kullanıcıyla konuşmak.

Sayılar küçükken: konuş

İlk dönemde sayılar o kadar küçüktür ki istatistik bir şey söylemez. On kullanıcının üçü geri geldiyse bu yüzde 30 eder, ama bir kişinin fikrini değiştirmesi oranı ciddi biçimde oynatır.

Hacker News'te altı yıldır ürünü yayında olan, ayda bin aktif kullanıcısı ve aylık 300 dolar civarı geliri olan bir solo kurucu, kullanıcılarından cevap alamadığını anlatıyor. Ona gelen önerilerden biri, metriklerine bakıp en aktif yüzde 10'luk kullanıcıları bulmak ve onlarla doğrudan iletişime geçmekti. Bir başka yorumcu daha fazla kayıt tutmak yerine kullanıcıları doğrudan aramayı, onları veri kaynağı gibi değil insan gibi görmeyi önerdi.

Metrik ile konuşma birbirinin alternatifi değil. Sayılar sana nerede sorun olduğunu söyler, konuşmalar neden olduğunu. Müşteriyle nasıl konuşacağını Rehber'deki müşteri görüşmesi yazısı anlatıyor.

Gizliliğe saygılı ölçüm

Hacker News'teki analitik düzeni tartışmasında bir yorumcu, Google Analytics kullanırken çerez onayı sormazsan Avrupa'daki veri koruma kuralları nedeniyle başın derde girebileceğini yazıyor. Bu yüzden daha sade ve gizlilik odaklı bir araç kullandığını, ihtiyacı olan kayıtları ise kendisi tuttuğunu anlatıyor.

Plausible gibi gizlilik odaklı araçlar bu boşluğu dolduruyor. Plausible'ın veri politikasına göre araç çerez kullanmıyor, ham IP adresini saklamıyor ve tekil ziyaretçiyi her gün yenilenip silinen bir anahtarla sayıyor. Böylece aynı ziyaretçi günler arasında takip edilemiyor.

Türkiye'de kişisel veri ve çerez konusunda Kişisel Verileri Koruma Kurumu'nun "Çerez Uygulamaları Hakkında Rehber" adlı bir yayını var. Hangi aracı seçersen seç, kullanıcı bazında ne topladığını bil, aydınlatma metnine yaz ve çerez onayı gerekip gerekmediğini bu rehberden ve bir hukukçudan kontrol et.

Bu bölüm hukuki tavsiye değildir. Kendi durumun için bir avukata danış.

Bu hafta yapılacak

Ana sayını tek cümleyle yaz. Ücret alıyorsan gelir, almıyorsan çekirdek eylemi yapan aktif kullanıcı sayısı.
Aktivasyon olayını tanımla ve kayıt olanların yüzde kaçının buna ulaştığını hesapla.
Veritabanında kayıt tarihi ve son çekirdek eylem tarihini tuttuğundan emin ol. İlk haftalık elde tutma tablonu elle çıkar.
Takip ettiğin her sayının yanına, onu bozabilecek bir eş sayı yaz.
En aktif beş kullanıcına kişisel bir mesaj at ve ürünü neden kullandıklarını sor.

Sık sorulanlar

Hangi analitik aracını kullanmalıyım?

İlk sürümde sayfa ziyaretleri için gizlilik odaklı basit bir araç, ürün içi olaylar için de veritabanındaki kendi kayıtların çoğu zaman yeter. Ilya Volodarsky'nin Startup School'da saydığı geniş araç listesi büyüyen ekipler için. Önce hangi soruyu cevaplamak istediğine karar ver, aracı sonra seç.

Kaç kullanıcıdan sonra sayılar anlam kazanır?

Bunun için kaynaklarda net bir eşik yok. Az kullanıcıyla oranlar çok oynak olur. O dönemde sayıları yön bulmak için kullan, kararları kullanıcı konuşmalarıyla destekle.

Ücret almıyorsam ana metriğim ne olmalı?

Paul Graham ve Adora Cheung'un önerisine göre gelir yoksa en yakın ölçü aktif kullanıcı. "Aktif"in ne demek olduğunu kendi ürününe göre tanımla: Çekirdek eylemi ürünün doğal kullanım sıklığında yapan kişi.

Gösteriş metriklerini hiç mi paylaşmayayım?

Paylaşabilirsin, özellikle herkesin önünde üretiyorsan. Lloyd Tabb da bu sayıların yatırımcı ve ortaklar için işe yarayabileceğini söylüyor. Sadece kendi kararlarını bunlara göre verme.

Dayanak

Startup School Week 2 Recap: Michael Seibel, Adora Cheung, and Ilya Volodarsky — Y Combinator: Cheung'un ana metrik ve haftalık hedef önerileri, Volodarsky'nin haftalık kayıt, elde tutma grupları ve kullanım sıklığı notları
Startup = Growth — Paul Graham: haftalık büyüme oranları, gelir ve aktif kullanıcı, toplam sayı yerine oran
Why vanity metrics are dangerous — Eric Ries: "hit" örneği ve gösteriş metriklerinin sorunları
I'm Sorry, But Those Are Vanity Metrics — First Round Review: Lloyd Tabb'in gösteriş ve netlik metrikleri ayrımı, ilk deneyimin önemi, işe alım platformu örneği
Vanity Metrics — Hacker News tartışması: metrikleri eşleştirme önerisi ve Goodhart Yasası
Ask HN: What's your startup's analytics setup? (2023) — Hacker News: "neyi analiz ediyorsun" sorusu, çerez onayı ve gizlilik odaklı araçlar
Ask HN: How best to get early feedback from users? — Hacker News: küçük kullanıcı tabanında en aktif kullanıcılarla doğrudan konuşma önerisi
Data policy — Plausible Analytics: çerezsiz ölçüm, IP saklamama, günlük yenilenen anahtar
Çerez Uygulamaları Hakkında Rehber — Kişisel Verileri Koruma Kurumu: Türkiye'de çerez uygulamaları için resmi rehber