Optimizely Intelligence Cloud: Daha Akıllı ve Daha Hızlı A/B Testi İçin Stats Engine Nasıl Kullanılır?

Optimizely Stats Engine ve A/B Test Stratejileri

İşletmenizin test etmesine ve öğrenmesine yardımcı olacak bir deneme programı çalıştırmak istiyorsanız, büyük olasılıkla Optimizely Zeka Bulutu – ya da en azından ona baktınız. Optimizely, oyundaki en güçlü araçlardan biridir, ancak bu tür herhangi bir araç gibi, nasıl çalıştığını anlamazsanız yanlış kullanabilirsiniz. 

Optimizely'yi bu kadar güçlü yapan nedir? Özellik setinin temelinde, üçüncü taraf bir araçtaki en bilgili ve sezgisel istatistik motoru yer alır ve sonuçlarınızı yanlış yorumladığınızdan endişelenmenize gerek kalmadan önemli testleri canlı hale getirmeye daha fazla odaklanmanıza olanak tanır. 

Tıpta geleneksel bir kör çalışma gibi, A / B testi rastgele farklı gösterecek tedaviler sitenizin farklı kullanıcılara daha sonra her tedavinin etkinliğini karşılaştırmak için. 

İstatistikler daha sonra bu tedavinin uzun vadede ne kadar etkili olabileceği konusunda çıkarımlarda bulunmamıza yardımcı olur. 

Çoğu A/B test aracı, iki tür istatistiksel çıkarsamadan birine dayanır: Sıkça kullanılan istatistikler veya Bayes istatistikleri. Her okulun çeşitli artıları ve eksileri vardır - Sık sık istatistikler, bir deneyi çalıştırmadan önce sabitlenecek bir örneklem büyüklüğü gerektirir ve Bayes istatistikleri, iki örnek vermek gerekirse, etki için herhangi bir tek rakam belirtmek yerine esas olarak iyi yön kararları vermeyi önemser. Optimizely'nin süper gücü, bugün piyasadaki tek araç olmasıdır. her iki dünyanın en iyisi yaklaşım.

Sonuç? Optimizely, kullanıcıların deneyleri daha hızlı, daha güvenilir ve daha sezgisel olarak çalıştırmasını sağlar.

Ancak bundan tam olarak yararlanmak için perde arkasında neler olduğunu anlamak önemlidir. İşte Optimizely'nin yeteneklerini bir profesyonel gibi kullanmanızı sağlayacak 5 içgörü ve strateji.

Strateji #1: Tüm Metriklerin Eşit Oluşturulmadığını Anlayın

Çoğu test aracında, genellikle gözden kaçan bir sorun, testinizin bir parçası olarak ne kadar çok metrik ekler ve izlerseniz, rastgele şans nedeniyle bazı yanlış sonuçlar görme olasılığınız o kadar artar (istatistiklerde buna "çoklu test sorunu" denir). ”). Optimizely, sonuçlarını güvenilir tutmak için, bunun olma ihtimalini olabildiğince düşük tutmak için bir dizi kontrol ve düzeltme kullanır. 

Optimizely'de testleri kurmaya gittiğinizde bu kontroller ve düzeltmelerin iki etkisi vardır. İlk olarak, sizin olarak belirlediğiniz metrik Birincil Metrik diğer her şey sabitken istatistiksel anlamlılığa en hızlı şekilde ulaşacaktır. İkincisi, bir denemeye ne kadar çok metrik eklerseniz, sonraki metriklerinizin istatistiksel anlamlılığa ulaşması o kadar uzun sürer.

Bir deney planlarken, karar verme sürecinizde hangi metriğin Gerçek Kuzey'iniz olacağını bildiğinizden emin olun, bunu Birincil Metriğiniz yapın. Ardından, fazla gereksiz veya teğet olan her şeyi kaldırarak metrik listenizin geri kalanını yalın tutun.

Strateji #2: Kendi Özel Niteliklerinizi Oluşturun

Optimizely, deneme sonuçlarınızı bölümlere ayırmanız için size birkaç ilginç ve yararlı yol sunma konusunda harikadır. Örneğin, belirli tedavilerin masaüstünde mobil cihazlarda daha iyi performans gösterip göstermediğini inceleyebilir veya trafik kaynakları arasındaki farklılıkları gözlemleyebilirsiniz. Bununla birlikte, deneme programınız olgunlaştıkça, yeni segmentleri hızla isteyeceksiniz - bunlar, tek seferlik ve abonelik satın alımları için segmentler gibi kullanım durumunuza özel veya "yeni ve geri gelen ziyaretçiler" (ki, Açıkçası, bunun neden kutudan çıkarılmadığını hala çözemiyoruz).

İyi haber şu ki, Optimizely'nin Project Javascript alanı aracılığıyla, Optimizely'ye aşina olan mühendisler, ziyaretçilerin atanabileceği ve segmentlere ayrılabileceği çok sayıda ilginç özel nitelik oluşturabilir. Cro Metrics'te, Proje Javascript'leri aracılığıyla tüm müşterilerimiz için yüklediğimiz bir dizi stok modülü ("yeni ve geri gelen ziyaretçiler" gibi) oluşturduk. Bu yetenekten yararlanmak, yürütmelerine yardımcı olacak doğru teknik kaynaklara sahip olgun ekipler ile denemenin tüm potansiyelini gerçekleştirmek için mücadele eden ekipler arasında önemli bir farklılaştırıcıdır.

Strateji #3: Optimizely'nin İstatistik Hızlandırıcısını Keşfedin

Sıklıkla abartılan bir test aracı özelliği, bir deneme boyunca trafiğinizin tahsis edildiği yeri dinamik olarak değiştiren bir tür makine öğrenimi algoritması olan "çok silahlı haydutları" kullanma yeteneğidir ve "kazanan" etkinliğe olabildiğince çok ziyaretçi gönderir. mümkün olduğunca varyasyon. Çok silahlı haydutlarla ilgili sorun, sonuçlarının uzun vadeli performansın güvenilir göstergeleri olmamasıdır, bu nedenle bu tür deneyler için kullanım durumu, satış promosyonları gibi zamana duyarlı durumlarla sınırlıdır.

Bununla birlikte, Optimizely, daha yüksek planlardaki kullanıcılara sunulan farklı türde bir haydut algoritmasına sahiptir – İstatistik Hızlandırıcı (artık Haydutlar içinde “Öğrenmeyi Hızlandır” seçeneği olarak bilinir). Bu kurulumda, trafiği dinamik olarak en yüksek performans gösteren varyasyona tahsis etmeye çalışmak yerine, Optimizely, trafiği istatistiksel olarak en hızlı şekilde anlama olasılığı en yüksek varyasyonlara dinamik olarak tahsis eder. Bu şekilde daha hızlı öğrenebilir ve geleneksel A/B testi sonuçlarının tekrarlanabilirliğini koruyabilirsiniz.

Strateji #4: Metrik Adlarınıza Emojiler Ekleyin

İlk bakışta, bu fikir muhtemelen yersiz, hatta anlamsız geliyor. Ancak, doğru deneme sonuçlarını okuduğunuzdan emin olmanın önemli bir yönü, kitlenizin soruyu anlayabildiğinden emin olmakla başlar. 

Bazen en iyi çabalarımıza rağmen, metrik adları kafa karıştırıcı hale gelebilir (bekle - bu metrik, sipariş kabul edildiğinde veya kullanıcı teşekkür sayfasına ulaştığında etkinleşir mi?) sayfa toplam bilişsel aşırı yüklenmeye yol açar.

Metrik isimlerinize (hedefler, yeşil onay işaretleri, hatta büyük para çantası bile işe yarayabilir) emojiler eklemek, çok daha taranabilir sayfalara neden olabilir. 

Bize güvenin – sonuçları okumak çok daha kolay olacak.

Strateji #5: İstatistiksel Önem Düzeyinizi Yeniden Düşünün

Sonuçlar, bir Optimizely denemesi bağlamında ulaştığında kesin kabul edilir İstatistiksel anlamlılık. İstatistiksel anlamlılık, zor bir matematiksel terimdir, ancak esas olarak, gözlemlerinizin yalnızca rastgele bir şans değil, iki popülasyon arasındaki gerçek bir farkın sonucu olması olasılığıdır. 

Optimizely'nin rapor edilen istatistiksel anlamlılık seviyeleri, adı verilen matematiksel bir kavram sayesinde “her zaman geçerlidir”. sıralı test – bu aslında onları, çok erken okursanız her türlü "gözetleme" sorununa eğilimli olan diğer test araçlarından çok daha güvenilir kılar.

Test programınız için ne düzeyde istatistiksel önem taşıdığınızı düşünmeye değer. Bilim camiasının %95'i genel kabul görse de, aşıları değil, web sitesindeki değişiklikleri test ediyoruz. Deneysel dünyada bir başka yaygın seçenek: %90. Ancak deneyleri daha hızlı yürütmek ve daha fazla fikri test etmek için biraz daha belirsizliği kabul etmeye istekli misiniz? %85 veya hatta %80 istatistiksel anlamlılık kullanıyor olabilir misiniz? Risk-ödül bakiyeniz konusunda kasıtlı olmak, zamanla üstel temettüler ödeyebilir, bu yüzden bunu dikkatlice düşünün.

Optimizely Intelligence Cloud Hakkında Daha Fazla Bilgi Edinin

Bu beş hızlı ilke ve içgörü, Optimizely'yi kullanırken akılda tutmak için inanılmaz derecede yardımcı olacaktır. Herhangi bir araçta olduğu gibi, tüm sahne arkası özelleştirmelerini iyi anladığınızdan emin olmak için kaynar, böylece aracı verimli ve etkili bir şekilde kullandığınızdan emin olabilirsiniz. Bu anlayışlar ile aradığınız güvenilir sonuçlara ihtiyacınız olduğu anda ulaşabilirsiniz. 

Ne düşünüyorsunuz?

Bu site spam'i azaltmak için Akismet'i kullanıyor. Yorum verilerinizin nasıl işlendiğini öğrenin.