如果你公司的產(chǎn)品數(shù)據(jù)反映出用戶(hù)下單完成率很低、如果你公司年度目標(biāo)是提升銷(xiāo)售額、如果用戶(hù)反映下單流程太復(fù)雜，...作為產(chǎn)品、設(shè)計(jì)、運(yùn)營(yíng)，你應(yīng)該怎么做才能夠?yàn)橛脩?hù)、為公司業(yè)務(wù)解決這些問(wèn)題？你需要找到針對(duì)這些問(wèn)題的優(yōu)化點(diǎn)，并且做優(yōu)化實(shí)驗(yàn)，通過(guò)數(shù)據(jù)的反饋來(lái)持續(xù)優(yōu)化產(chǎn)品。

本文以 Keep 為例子，進(jìn)行「提升用戶(hù)關(guān)注率」的增長(zhǎng)實(shí)驗(yàn)，出發(fā)點(diǎn)是為了長(zhǎng)期促進(jìn)平臺(tái)用戶(hù)的活躍程度和互動(dòng)。

以下是本文大綱：

第一步：明確實(shí)驗(yàn)?zāi)繕?biāo)和類(lèi)型

• 明確實(shí)驗(yàn)?zāi)繕?biāo)
• 明確實(shí)驗(yàn)類(lèi)型

第二步：用數(shù)據(jù)支持實(shí)驗(yàn)假設(shè)

• 從三類(lèi)數(shù)據(jù)中尋找證據(jù)支持假設(shè)
• 最佳時(shí)間中的 Lift 模型
• 沒(méi)有定量和定型數(shù)據(jù)，怎么做實(shí)驗(yàn)假設(shè)

第三步：提出實(shí)驗(yàn)假設(shè)

• 實(shí)驗(yàn)假設(shè)的模板
• 針對(duì) Keep 優(yōu)化的幾個(gè)實(shí)驗(yàn)假設(shè)

第四步：對(duì)實(shí)驗(yàn)假設(shè)進(jìn)行優(yōu)先級(jí)排序

• ICE模型打分法
• 用ICE模型為 Keep 的實(shí)驗(yàn)假設(shè)做優(yōu)先級(jí)排序

第五步：設(shè)計(jì)一場(chǎng)實(shí)驗(yàn)

• 確認(rèn)實(shí)驗(yàn)假設(shè)
• 選擇實(shí)驗(yàn)指標(biāo)
• 確定實(shí)驗(yàn)受眾
• 設(shè)計(jì)實(shí)驗(yàn)版本

第六步：根據(jù)數(shù)據(jù)分析和應(yīng)用結(jié)果

• 分析結(jié)果及評(píng)可信度
• 使用置信區(qū)間提高結(jié)果可信度
• 根據(jù)實(shí)驗(yàn)結(jié)果決定下一步

第一步：明確實(shí)驗(yàn)?zāi)繕?biāo)和類(lèi)型

1. 明確實(shí)驗(yàn)?zāi)繕?biāo)

出發(fā)點(diǎn)決定目標(biāo)。我們?cè)谧雒總€(gè)優(yōu)化方案的時(shí)候，都應(yīng)該從實(shí)際的業(yè)務(wù)問(wèn)題和用戶(hù)反饋出發(fā)，而不是從自己的想法出發(fā)。

“我覺(jué)得用戶(hù)需要這個(gè)功能”

“領(lǐng)導(dǎo)說(shuō)了，就用這種交互方式”

“這個(gè)界面太難看了，要改”

當(dāng)聽(tīng)到這種自主代入用戶(hù)而產(chǎn)生的想法時(shí)，應(yīng)該思考：「公司現(xiàn)在的目標(biāo)是什么？當(dāng)前支撐這個(gè)目標(biāo)最應(yīng)該實(shí)現(xiàn)的功能是什么？」「什么交互方式才適用于用戶(hù)，在相同業(yè)務(wù)邏輯和用戶(hù)使用場(chǎng)景下，有沒(méi)有原理支撐和數(shù)據(jù)論證？數(shù)據(jù)從哪來(lái)？」「界面難看，是個(gè)人感官還是用戶(hù)使用過(guò)程中產(chǎn)生了困難而提出反饋？」

以 Keep 作為例子來(lái)說(shuō)，這次優(yōu)化是從業(yè)務(wù)角度出發(fā)，目的是長(zhǎng)期促進(jìn)平臺(tái)用戶(hù)的活躍程度和互動(dòng)。所以實(shí)驗(yàn)?zāi)繕?biāo)是提升用戶(hù)的關(guān)注率，即提升單點(diǎn)轉(zhuǎn)化率。

常見(jiàn)的產(chǎn)品優(yōu)化目標(biāo)有：提升單點(diǎn)轉(zhuǎn)化率、提升全漏斗轉(zhuǎn)化率、對(duì)比新舊版本的指標(biāo)、新功能探索、提升留存率、個(gè)人化等等。

2. 明確實(shí)驗(yàn)類(lèi)型

上述提到的常見(jiàn)優(yōu)化目標(biāo)可以劃分為兩個(gè)類(lèi)型：簡(jiǎn)單實(shí)驗(yàn)和復(fù)雜實(shí)驗(yàn)。

• 提升單點(diǎn)轉(zhuǎn)化率和全漏斗轉(zhuǎn)化率都屬于簡(jiǎn)單實(shí)驗(yàn)，用文案測(cè)試、設(shè)計(jì)測(cè)試、單頁(yè)面測(cè)試、路徑測(cè)試等方法就可以實(shí)現(xiàn)。
• 對(duì)比新舊版本指標(biāo)和新功能探索、提升留存率等，則屬于復(fù)雜實(shí)驗(yàn)，需要新版本上線或者使用算法來(lái)進(jìn)行。

第二步：用數(shù)據(jù)支持實(shí)驗(yàn)假設(shè)

1. 從三類(lèi)數(shù)據(jù)中尋找證據(jù)支持假設(shè)

這三類(lèi)數(shù)據(jù)分別是「定量數(shù)據(jù)」、「定性數(shù)據(jù)」、「最佳實(shí)踐」。

定量數(shù)據(jù)可以幫助我們發(fā)現(xiàn)問(wèn)題；定性數(shù)據(jù)可以幫助我們了解這個(gè)問(wèn)題是怎么發(fā)生的；最佳實(shí)踐告訴我們?cè)趺锤谋容^好。

定量數(shù)據(jù)是指轉(zhuǎn)化率計(jì)算、用戶(hù)分群、點(diǎn)擊熱圖、路徑分析、場(chǎng)景細(xì)查、漏斗分析等。

定性數(shù)據(jù)是指用戶(hù)可用性研究、用戶(hù)問(wèn)卷或訪談、錄屏和點(diǎn)擊錄像、實(shí)時(shí)聊天和產(chǎn)品內(nèi)彈窗等。

最佳實(shí)踐是指Lift模型、用戶(hù)心理學(xué)、文案寫(xiě)作最佳實(shí)踐、UX和設(shè)計(jì)最佳實(shí)踐、路徑設(shè)計(jì)最佳實(shí)踐。

2. 最佳實(shí)踐中的 Lift 模型

Lift 模型的原理就是基于數(shù)據(jù)認(rèn)識(shí)的基礎(chǔ)，在營(yíng)銷(xiāo)信息中找出問(wèn)題，設(shè)計(jì)有關(guān)解決這些問(wèn)題的假設(shè)來(lái)提高產(chǎn)品效益，得出改進(jìn)問(wèn)題的結(jié)果，從而提升轉(zhuǎn)換率。

影響Lift模型的6個(gè)因素分別是價(jià)值主張、相關(guān)性、清晰度、緊迫性、焦慮性、注意力分散。

價(jià)值主張是載體；相關(guān)性、清晰度、緊迫性是推動(dòng)因素；焦慮性和注意力分散是阻礙因素。下面這張圖會(huì)幫助你了解這六個(gè)因素的關(guān)系：

要達(dá)到目的，我們應(yīng)該加強(qiáng)推動(dòng)因素的強(qiáng)度，降低阻礙因素的影響：

強(qiáng)化價(jià)值主張

明確有力的營(yíng)銷(xiāo)口號(hào)，用戶(hù)可以精準(zhǔn)感知到自己能獲得怎樣的好處

放大相關(guān)性

落地頁(yè)、轉(zhuǎn)化頁(yè)符合用戶(hù)預(yù)期，與你的價(jià)值主張緊密關(guān)聯(lián)

提升清晰度

體驗(yàn)流程清晰流暢，用戶(hù)清晰知道下一步應(yīng)該做什么，怎么操作

降低焦慮性

做減法，不要給用戶(hù)過(guò)多選擇，不要做不符合用戶(hù)預(yù)期、習(xí)慣的事

降低注意力分散

減少視覺(jué)干擾、信息噪音，只為一個(gè)核心目的服務(wù)

制作緊迫性

營(yíng)造饑餓感促使用戶(hù)決策，善于利用稟賦效應(yīng)、損失厭惡等用戶(hù)心理

3. 沒(méi)有定量和定性數(shù)據(jù)，怎么做實(shí)驗(yàn)假設(shè)

如果有定量和定性數(shù)據(jù)，實(shí)驗(yàn)會(huì)更準(zhǔn)確。但是目前我缺乏 Keep 的這些數(shù)據(jù)，所以采用了其他方法去做實(shí)驗(yàn)假設(shè)。

• 梳理 Keep 的產(chǎn)品結(jié)構(gòu)，找到現(xiàn)有的關(guān)注路徑有哪些；
• 按照關(guān)注行為倒推關(guān)鍵觸點(diǎn)，并分析用戶(hù)在什么場(chǎng)景下會(huì)關(guān)注其他用戶(hù)；
• 從關(guān)鍵行為歸納引起關(guān)注行為的種類(lèi)，找出可干涉的修改點(diǎn)。
• 對(duì)于可干涉的修改點(diǎn)，在其他產(chǎn)品中找相應(yīng)的參考。

第三步：提出實(shí)驗(yàn)假設(shè)

1. 實(shí)驗(yàn)假設(shè)的模板

經(jīng)過(guò)分析和參考，此刻你應(yīng)該產(chǎn)生了好幾種假設(shè)。為了能夠清晰描述實(shí)驗(yàn)假設(shè)，你的假設(shè)必須包含明確的指標(biāo)和時(shí)間限制，要解析背后的原因，并且可以被證偽。這是一個(gè)常見(jiàn)的假設(shè)模板：如果具體的改動(dòng)，預(yù)計(jì)某指標(biāo)可以提升x%，因?yàn)樯顚拥脑颉袛?shù)據(jù)支持的假設(shè)。

比如“在新浪微博的首頁(yè)投放廣告可以引流用戶(hù)到天貓旗艦店”這個(gè)假設(shè)應(yīng)該寫(xiě)成：「在新浪微博首頁(yè)投放關(guān)于該產(chǎn)品的廣告，可以在投放后的三周內(nèi)為品牌的天貓旗艦店引流 500 位用戶(hù)，因?yàn)檫@個(gè)廣告清晰介紹了產(chǎn)品的功效。」

2. 針對(duì) Keep 優(yōu)化的幾個(gè)實(shí)驗(yàn)假設(shè)

第四步：對(duì)實(shí)驗(yàn)假設(shè)進(jìn)行優(yōu)先級(jí)排序

1. ICE模型打分法

使用 ICE 模型打分法，可以直觀看到實(shí)驗(yàn)假設(shè)的優(yōu)先級(jí)排序。ICE 模型是一個(gè)從預(yù)期影響（Impact）、成功概率（Confidence）、容易程度(Ease)三個(gè)方面為實(shí)驗(yàn)設(shè)想打分的模型。預(yù)期影響指的是實(shí)驗(yàn)?zāi)軌蚋采w的用戶(hù)數(shù)和實(shí)驗(yàn)的成功后能夠提升多少指標(biāo)；成功概率指的是能否在數(shù)據(jù)中找到足夠有力的洞察支持；容易程度是指實(shí)現(xiàn)這個(gè)假設(shè)需要多少成本。綜合三個(gè)方面的打分，評(píng)分最高的則優(yōu)先級(jí)最高。

2. 用ICE模型為KEEP的實(shí)驗(yàn)假設(shè)做優(yōu)先級(jí)排序

第五步：設(shè)計(jì)一場(chǎng)實(shí)驗(yàn)

1. 確認(rèn)實(shí)驗(yàn)假設(shè)

如果用戶(hù)在某個(gè)文章或動(dòng)態(tài)上停留5秒以上，“關(guān)注”按鈕變亮變大，提示用戶(hù)可以關(guān)注此博主，預(yù)計(jì)某指標(biāo)可以提升到 6 %，因?yàn)樵摳淖兺怀隽岁P(guān)注按鈕，能吸引用戶(hù)的注意力。

2. 選擇實(shí)驗(yàn)指標(biāo)

實(shí)驗(yàn)指標(biāo)分為核心指標(biāo)、輔助指標(biāo)和反向指標(biāo)。

核心指標(biāo)，一般選取一個(gè)，是決定實(shí)驗(yàn)成敗的關(guān)鍵指標(biāo)。找核心指標(biāo)的時(shí)候，你需要思考這些問(wèn)題：實(shí)驗(yàn)的最終目標(biāo)是什么？你最想要影響的指標(biāo)是什么？哪個(gè)指標(biāo)能夠告訴你實(shí)驗(yàn)組的改動(dòng)是成功的？

輔助指標(biāo)，一般選取不超過(guò)十個(gè)，它是監(jiān)測(cè)其他實(shí)驗(yàn)可能影響到的重要指標(biāo)，幫助你全面了解實(shí)驗(yàn)結(jié)果。常見(jiàn)的輔助指標(biāo)是漏斗細(xì)分步驟轉(zhuǎn)化率、重要的下游指標(biāo)和其他關(guān)鍵用戶(hù)指標(biāo)。

反向指標(biāo)，一般是一至兩個(gè)，作用是提示實(shí)驗(yàn)可能的負(fù)面影響。常見(jiàn)的反向指標(biāo)有NPS、郵件退訂率、頁(yè)面退出率、其他按鈕點(diǎn)擊率、應(yīng)用刪除率、Push退訂率、訂單取消率、其他頁(yè)面訪問(wèn)率等。

3. 確定實(shí)驗(yàn)受眾

實(shí)驗(yàn)受眾包含兩個(gè)內(nèi)容，一是實(shí)驗(yàn)對(duì)象，二是實(shí)驗(yàn)樣本數(shù)。

實(shí)驗(yàn)對(duì)象可以選擇所有用戶(hù)都進(jìn)入試驗(yàn)，或只有符合特定條件的用戶(hù)才能進(jìn)入試驗(yàn)。如果選擇特定用戶(hù)群體進(jìn)行實(shí)驗(yàn)，會(huì)幫助生成更精細(xì)的產(chǎn)品優(yōu)化方案。通常會(huì)通過(guò)第三方A/B測(cè)試的工具來(lái)進(jìn)行設(shè)置。

實(shí)驗(yàn)樣本數(shù)是指確認(rèn)結(jié)果統(tǒng)計(jì)顯著性所需要的最小樣本數(shù)。統(tǒng)計(jì)顯著性是指對(duì)照組和實(shí)驗(yàn)組之間的轉(zhuǎn)化率有多大可能是真實(shí)存在而不是隨機(jī)誤差引起的。一般建議至少要求95%的統(tǒng)計(jì)顯著。在這里推薦一個(gè)估算所需樣本數(shù)的工具：云眼。https://www.eyeofcloud.com

那么，怎么決定實(shí)驗(yàn)的時(shí)長(zhǎng)呢？實(shí)驗(yàn)時(shí)長(zhǎng)=所需總樣本數(shù)/實(shí)驗(yàn)頁(yè)面每天的訪問(wèn)數(shù)。

4. 設(shè)計(jì)實(shí)驗(yàn)版本

實(shí)驗(yàn)版本取決于實(shí)驗(yàn)假設(shè)的數(shù)量，只選擇高質(zhì)量的實(shí)驗(yàn)假設(shè)能夠減少實(shí)驗(yàn)成本。不同的實(shí)驗(yàn)類(lèi)型也會(huì)影響到版本數(shù)。如果是優(yōu)化實(shí)驗(yàn)，每個(gè)版本只改變單一的變量，可以明確改動(dòng)的影響。如果是探索實(shí)驗(yàn)，則可以同時(shí)改變多個(gè)變量，設(shè)計(jì)全新的版本。

第六步：根據(jù)數(shù)據(jù)分析和應(yīng)用結(jié)果

1. 分析結(jié)果及評(píng)估可信度

以下是實(shí)驗(yàn)在3天和14天時(shí)的數(shù)據(jù)情況。根據(jù)這些數(shù)據(jù)，從樣本分流是否均勻、核心指標(biāo)是否達(dá)到統(tǒng)計(jì)顯著、輔助指標(biāo)是否和核心指標(biāo)趨勢(shì)一致、反向指標(biāo)是否有異常等角度來(lái)分析結(jié)果的可信度。

我的判斷是兩個(gè)數(shù)據(jù)都不可信。其實(shí)14天的數(shù)據(jù)情況，有人判斷結(jié)果是可信的。這個(gè)沒(méi)有絕對(duì)的對(duì)錯(cuò)，只有對(duì)數(shù)據(jù)的要求是不是十分嚴(yán)謹(jǐn)。我判斷不可信的原因是，我認(rèn)為分流的樣本誤差達(dá)到4%，不夠嚴(yán)謹(jǐn)。

2. 使用置信區(qū)間提高結(jié)果可信度

置信區(qū)間是指由樣本統(tǒng)計(jì)量所構(gòu)造的總體參數(shù)的估計(jì)區(qū)間。在統(tǒng)計(jì)學(xué)里面，一個(gè)概率樣本的置信區(qū)間是對(duì)這個(gè)樣本的某個(gè)總體參數(shù)的區(qū)間估計(jì)。利用置信區(qū)間的計(jì)算，可以提高實(shí)驗(yàn)結(jié)果的可信度。劉津老師的 UGD lab 制作了一個(gè)置信區(qū)間計(jì)算的微信小程序，感興趣可以搜索小程序的名字：A/B測(cè)試計(jì)算器。

假設(shè) 14 天時(shí)的數(shù)據(jù)為樣本分流均勻后的結(jié)果，驗(yàn)證時(shí)間足夠，反向指標(biāo)數(shù)據(jù)逐漸趨同，在實(shí)驗(yàn)結(jié)果可信的情況下，可以增加置信區(qū)間計(jì)算，再次確認(rèn)結(jié)果是否可信。

3. 根據(jù)實(shí)驗(yàn)結(jié)果決定下一步

判斷實(shí)驗(yàn)是否成功，要注意指標(biāo)判斷的標(biāo)準(zhǔn)、兩種觀測(cè)周期的變化外以及產(chǎn)生的四種狀態(tài)：統(tǒng)計(jì)顯著的指標(biāo)大幅度或小幅度提升，則實(shí)驗(yàn)組勝；統(tǒng)計(jì)顯著的指標(biāo)下降或無(wú)差別，則對(duì)照組勝。

如果實(shí)驗(yàn)成功，應(yīng)該將實(shí)驗(yàn)產(chǎn)品化，放大實(shí)驗(yàn)的影響。如果實(shí)驗(yàn)失敗，則考慮放棄還是繼續(xù)迭代。

備注：本文中所有與 keep 相關(guān)的界面，均為 keep 軟件的截圖，其中為了展示實(shí)驗(yàn)的效果而做了部分界面的調(diào)整。實(shí)驗(yàn)中的數(shù)據(jù)均為虛構(gòu)，如有雷同，實(shí)屬巧合。本文的重點(diǎn)在于如何科學(xué)地做好一場(chǎng) A/B 測(cè)試，請(qǐng)勿過(guò)分解讀數(shù)據(jù)。

歡迎關(guān)注作者微信公眾號(hào)：「一點(diǎn)牙線」