本次的文章輸出主要有兩個目的：第一讓自己略顯浮躁的心沉淀下來；第二對于自己腦海中交互設(shè)計的「原則、定律、模型、法則、效應(yīng)、注意事項等」進行一次整理和探索。

上篇：

A/B test

文中實例已經(jīng)上線

1. 概念

A / B 測試（也稱為分割測試或桶測試），是為了同一個優(yōu)化目標制定了不同的方案，讓相同數(shù)據(jù)的用戶分為兩部分，一部分用戶路徑為 A 方案，一部分用戶路徑為 B 方案，之后統(tǒng)計不同方案下的點擊率、轉(zhuǎn)化率等數(shù)據(jù)進行分析。

AB 測試這項技術(shù)最早被應(yīng)用于美國的互聯(lián)網(wǎng)市場，進入國內(nèi)市場也不過 6、7 年時間。2000 年左右，以谷歌為首的互聯(lián)網(wǎng)企業(yè)開始采用 AB 測試的方法，運用數(shù)據(jù)幫助企業(yè)做決策管理，降低試錯成本，促進業(yè)務(wù)增長。2010 年以后，AB 測試開始出現(xiàn)產(chǎn)品化的趨勢，并成為企業(yè)決策的一項重要工具。

通過不同方案的數(shù)據(jù)表現(xiàn)，去確定那個方案更加的合理，利用用戶反饋數(shù)據(jù)去決定設(shè)計目標走向。互聯(lián)網(wǎng)產(chǎn)品的更新迭代速度很快，在如此快速的迭代環(huán)境下，無論是產(chǎn)品的優(yōu)化方向，還是決策的制定，都需要有數(shù)據(jù)來說話。

互聯(lián)網(wǎng)發(fā)展到今天，更加注重用數(shù)據(jù)反饋去進行決策，隨著互聯(lián)網(wǎng)紅利的消失，運營成本的逐步上升。越來越多的產(chǎn)品運營開始關(guān)注數(shù)據(jù)驅(qū)動的精細化運營方法，期望通過精細化運營在一片紅海中繼續(xù)獲得確定的用戶增長，而 A/B 測試就是一種有效的精細化運營手段。

2. 目的

引自：火山引擎

先驗結(jié)論 科學決策

結(jié)合統(tǒng)計學原理，通過分組實驗，前置驗證收益，使決策有據(jù)可依

保證體驗 降低風險

分流出小部分流量進行測試，防止錯誤決策對整體用戶產(chǎn)生負面影響

復(fù)利效應(yīng) 持續(xù)增長

確保每個決策都帶來正向收益，持續(xù)循環(huán)，最終實現(xiàn)指數(shù)級增長

科學職能的評估策略

科學智能的評估策略 ，依托經(jīng)典統(tǒng)計學&貝葉斯原理，提供概率分布、漏斗轉(zhuǎn)換、多種留存分析等

3. 模型

工作實例，該測試進行了兩周。

①UI 模型

A 方案：拼團購買按鈕+單獨購買按鈕+加入購物車按鈕

B 方案：團購按鈕+加入購物車按鈕

方案產(chǎn)生原因：PM 覺得在電商項目中詳情頁到下單完成中應(yīng)該盡量減少界面跳轉(zhuǎn)，降低流程的復(fù)雜化。UI 同學（主要是我）覺得這樣的流程不合理，且視覺上和其余不可拼團的常規(guī)按鈕差異化太大、會導(dǎo)致按鈕很小、點擊區(qū)域過小........

②交互模型

變量：下方購買按鈕分為兩種不同的交互方案。

A 方案用戶路徑

B 方案用戶路徑

當用戶從商品入口點擊進入后會被分流為兩部分一部分處于方案 A，一部分處于方案 B，點擊按鈕后觸發(fā)記錄，之后的用戶路徑也會記錄下來。之后通過整體的數(shù)據(jù)對于去查看方案 A 和 B，時間大約會持續(xù)一周到兩周到時間節(jié)點，期間也會一直觀察數(shù)據(jù)。

要點：時間越長，用戶量越大，數(shù)據(jù)越可靠，需要根據(jù)公司所能承擔的時間去綜合查看時間點。

要點：注意控制變量，要保持變量的唯一性。例如本次測試中除了變量“按鈕”之外區(qū)域的元素內(nèi)容是完全一致的。

要點：盡量保證測試群體的一致和同時投入這兩個方案。

4. 多層級 A/B Test

未進行商品詳情測試，直接使用待用商品詳情圖的，僅做展示說明。

變量一：詳情頁下方按鈕分為 A 組和 B 組（上述內(nèi)容）

變量二：A 組（詳情頁內(nèi)容有商品描述+商品詳情圖） B 組（詳情頁內(nèi)容僅有商品描述）

產(chǎn)生變量二因素：歐美主流電商產(chǎn)品詳情頁內(nèi)容只有商品描述而無商品詳情圖，部分電商也會有商品詳情圖。調(diào)研顯示國外用戶會更加傾向于簡單明了的闡述。

分層級展示

變量：按鈕設(shè)計一方案，按鈕設(shè)計二方案，詳情頁內(nèi)容一方案，詳情頁內(nèi)容二方案。

流量分配

我么設(shè)定按鈕設(shè)計方案一為“A”按鈕設(shè)計方案二為“B”詳情頁內(nèi)容方案一為“C”詳情頁內(nèi)容方案二為“D”

在進入詳情頁時總流量為 100%，進入后流量分為兩部分一部分 C 和 D 各自獲取 50%，之后在 C 和 D 的方案下再次劃分出 A 和 B，把 C 和 D 的流量分為四份。分別為 C-A 百分 25，C-B 百分之 25，D-A 百分之 25，D-B 百分之 25.分層測試的原理就是在保證變量的唯一性的情況下，評分上層流量。分層實驗多見于在成熟的產(chǎn)品進行的測試，只有更加合理的進行測試才能夠得到更真實的數(shù)據(jù)。

如下圖所示

5. 數(shù)據(jù)分析

實際的應(yīng)用場景中我們不會單一的去查看 A/B 方案組的不同數(shù)據(jù)去下結(jié)論，還會根據(jù)按鈕的點擊次數(shù)、頁面跳轉(zhuǎn)、用戶頁面停留時間、下單滯留頁面、下單返回頁面等情況去查看。案例中以拋棄了這些情況下去分析。

一般情況下 A/B 測試會出現(xiàn)下列兩種不同的情況（數(shù)據(jù)接近占多數(shù)這個時候就需要我們結(jié)合多種不同的數(shù)據(jù)去分析）

數(shù)據(jù)接近：

數(shù)據(jù)差異大：

當數(shù)據(jù)差異較大時，我么應(yīng)先檢測流程看是否流程出錯或者中間環(huán)節(jié)有錯誤，之后再去定義。

當數(shù)據(jù)差異較小時，尤其是數(shù)據(jù)接近時除了去參考其余數(shù)據(jù)之外，我么可以再次進行對照實驗或者延長實驗時間，這樣得出來的最后數(shù)據(jù)會更加趨于真實。

6. 流程

建立假設(shè)：進行測試需要先明確實驗的目標和預(yù)期值以及實驗時間點。

創(chuàng)建測試：對目標進行拆解和分析，確定變量和測試流程。開始生成 A/B 測試，定義本次測試的時間長短和測試核心指標。

流量分配：給不同的方案進行相應(yīng)的流量分配，遵循均勻、隨機、用戶群、樣本充足。

數(shù)據(jù)分析：通過數(shù)據(jù)的收集和用戶反饋，建立分析模型，進行數(shù)據(jù)分析。

得出結(jié)論：分析結(jié)束后，根據(jù)分析結(jié)果對照那個方案更加合理。建立本次 A/B 測試的數(shù)據(jù)模型，方便后期優(yōu)化方案重新測試。

7. 數(shù)據(jù)埋點

獲取數(shù)據(jù)最重要的便是數(shù)據(jù)埋點

數(shù)據(jù)分析是我們獲得需求的來源之一，通過對數(shù)據(jù)的比對，對數(shù)據(jù)趨勢的分析，能讓我們發(fā)現(xiàn)哪些環(huán)節(jié)存在問題，哪些環(huán)節(jié)有提高空間。同時，數(shù)據(jù)分析也是檢驗功能是否有效，是否受歡迎的重要佐證。只有進行了數(shù)據(jù)埋點才可以進行A/B測試。

全方位了解用戶從哪里來

廣告、公眾號、小程序、二維碼，用戶從哪來？

不同媒體、不同活動，哪個渠道的拉新效率最高？

多維度分析用戶使用行為

用戶主要訪問了哪些頁面？使用了什么功能？

用戶次日、7 日留存如何？頁面訪問時長多久？

實時查看用戶分享回流效果

哪個頁面被分享次數(shù)最多？帶了多少回流？

哪個用戶最樂于裂變分享？分享帶來的流量質(zhì)量如何？

自由定義核心業(yè)務(wù)指標

用戶的年齡、性別、分布是什么樣的？不同人群，行為是否有差異？

用戶訪問商品頁、查看詳情、加購物車、支付，逐步的轉(zhuǎn)化率如何？

參加活動的用戶，是晚上活躍度高，還是早上活躍度高?

數(shù)據(jù)埋點需要 PM 調(diào)動整個團隊去完成的一項工作，對于整個的埋點過程，我尚且處于探索的過程中，有時候甚至不需要 UI 的參與，UI 的參與最多參與到買點碼的設(shè)定和方案的討論。日后有機會可以詳細給大家介紹一下（希望有機會）。