前段時間在項目復(fù)盤會上，業(yè)務(wù)方向設(shè)計團隊提出一個值得深思的問題。

如何衡量和驗證設(shè)計的效果？

我認為這是一個很好的問題，之前我在與其他設(shè)計師朋友交流時，也嘗試請教過他們這個問題：你是如何衡量和驗證你的設(shè)計效果的？

我得到了五花八門的答案，有的人拿業(yè)務(wù)數(shù)據(jù)來說話，有的人用客戶反饋來答復(fù)，有的人則坦言需要靠老板來進行評估。

也許這些答案在各自的環(huán)境和場景下都具備一定的合理性，但因為他們的場景并沒有與我當前的業(yè)務(wù)場景契合，所以他們的方法無法為我所用。

于是我開始思考究竟怎樣的衡量和驗證方法，能夠應(yīng)用在我當前的業(yè)務(wù)場景內(nèi)。絕大多數(shù)設(shè)計崗位存在的意義是為了達成目標或解決問題。那如何判斷設(shè)計目標或問題是通過我的設(shè)計方案來解決的，解決方案好不好？設(shè)計的價值又是如何被量化的？是否有客觀的評價方式？

相信很多人會回答我，可以通過數(shù)據(jù)來進行量化。的確可以通過數(shù)據(jù)來進行設(shè)計價值量化，但新的問題也來了：

• 在方案設(shè)計之前，我如何知道需要監(jiān)測哪些數(shù)據(jù)來輔助驗證設(shè)計效果？
• 在拿到數(shù)據(jù)之后，我又該怎樣通過數(shù)據(jù)來判斷我設(shè)計的效果究竟是好還是壞？

帶著問題，我查閱了一些資料，參考了 Google 產(chǎn)品團隊定義的 UX 指標，發(fā)現(xiàn)數(shù)據(jù)指標可以通過用戶體驗質(zhì)量和產(chǎn)品目標兩步來確定。

用戶體驗質(zhì)量簡單來說即你想要觀測設(shè)計的哪些維度的效果。產(chǎn)品目標則是基于你想要觀測的這些方面，按照「目標 → 標志 → 指標」的順序確定數(shù)據(jù)指標。結(jié)合這種方法來制定數(shù)據(jù)指標，思路會更加清晰明了，總體過程會呈現(xiàn)出這樣一個矩陣。

Part 1

用戶體驗質(zhì)量

表格左列代表著待考量的用戶體驗質(zhì)量維度，他們通常分為如下五類：

1. 情感

用于衡量用戶使用產(chǎn)品時的態(tài)度和感受，例如用戶對本次功能的滿意程度、用戶對操作流程感知的易用性程度等。

1.1 功能滿意度

（滿意人數(shù)-貶損人數(shù)）/總測試人數(shù)

舉例說明

滿意人數(shù)指打 9-10 分的人；貶損人數(shù)指打 0-6 分的人數(shù)。如果一個產(chǎn)品的滿意人數(shù)有 70 人，貶損人數(shù)有 30 人，那么滿意度為（70-30）/100=40%

數(shù)據(jù)用途

功能滿意度用以測算用戶對當前產(chǎn)品或功能的滿意程度。

1.2 Feedback 問題占比

通過反饋平臺收集的相關(guān)活動、功能或界面的問題反饋數(shù)/總反饋數(shù)

舉例說明

在某任務(wù)上線一周后收到的 3000 條反饋中，有 800 名用戶反饋新的界面不會操作或不好用，那么說明占比 26%的反饋人群對本次設(shè)計存在不滿意點。

數(shù)據(jù)用途

Feedback 問題占比用以直觀評估用戶操作過程中的感受，多數(shù)以主觀感受反饋為主，需要結(jié)合進一步調(diào)研來確定問題發(fā)生在哪里，以便于進一步的優(yōu)化。

2. 參與

用于衡量用戶對新產(chǎn)品或新功能的參與度，例如每位用戶每周對新功能的訪問次數(shù)或每位用戶每天在產(chǎn)品內(nèi)花費的時長。如下羅列的指標類型能夠用于衡量設(shè)計在場景轉(zhuǎn)化中發(fā)揮的作用。

2.1 活躍用戶數(shù)

一段時間內(nèi)訪問的已登錄用戶數(shù)，通常分為日活（DAU）和月活（MAU）。一個用戶一天通過相同的渠道多次訪問產(chǎn)品，DAU 仍只算一個；在一月內(nèi)多次訪問產(chǎn)品，MAU 仍只算一個。

舉例說明

10 月 15 日上線新功能或新活動，一共有 300 萬個登錄用戶訪問了平臺（包含通過其他渠道鏈接進入），則 10 月 15 日當天的 DAU 為 300 萬（去重）；截至 11 月 15 日共有 1800 萬個登錄用戶訪問了平臺，則該 30 天的 MAU 為 1800 萬（去重）。

數(shù)據(jù)用途

活躍用戶數(shù)用于衡量產(chǎn)品對用戶的粘性。方便產(chǎn)品和設(shè)計人員了解產(chǎn)品的每日用戶情況，了解產(chǎn)品的用戶變化趨勢。

2.2 頁面訪問次數(shù)（PV）和人數(shù)（UV）

PV=運營活動/頁面/功能曝光在用戶視野內(nèi)的次數(shù)。

UV= 運營活動/頁面/功能曝光在視野內(nèi)的用戶數(shù)，一個終端只算一個 UV。

舉例說明

用戶進入首頁，則只算一次訪問次數(shù)，用戶刷新頁面/退出重進時訪問次數(shù)累加。

用戶進入首頁，則只算一個展現(xiàn) UV，退出重新進來 UV 不累計。一個用戶在 00:00-24:00 內(nèi)多次進入首頁，則 UV 只算一個。

數(shù)據(jù)用途

頁面訪問次數(shù)（PV）用于判斷該活動/頁面/功能被用戶查看的次數(shù)；頁面訪問人數(shù)（UV）用于判斷有多少個用戶查看過該活動/頁面/功能。
這兩個指標能夠用于衡量頁面入口的設(shè)計是否足夠引人注目。

2.3 點擊次數(shù)和人數(shù)

點擊次數(shù)=點擊行為發(fā)生的次數(shù)（不去重）

點擊人數(shù)=有點擊行為的用戶數(shù)（去重）

舉例說明

10 月 15 日有 400 萬人訪問首頁，其中 10 萬人點擊首頁中的某按鈕，則該按鈕的點擊人數(shù)為 10 萬；10 萬人點擊了 12 萬次，則點擊次數(shù)為 12 萬。

數(shù)據(jù)用途

點擊人數(shù)和點擊次數(shù)用于了解用戶的使用行為，用于輔助判斷 PV/UV 點擊率和人均點擊次數(shù) 3 處數(shù)據(jù)。

2.4 PV 點擊率和 UV 點擊率

PV 點擊率=點擊次數(shù)/頁面訪問次數(shù)（PV）

UV 點擊率=點擊人數(shù)/頁面訪問人數(shù)（UV）

舉例說明

100 個用戶訪問了首頁，其中只有 10 個用戶點擊了首頁上的篩選項，但是每人平均點擊了 5 次，那么 UV 點擊率為 10%，但 PV 點擊率為 50%，說明篩選內(nèi)容并不是對所有用戶都合適，但對那些多次點擊的部分用戶而言，會覺得篩選的內(nèi)容很符合他們的需求。

如果 100 個人都點擊了，那么 UV 點擊率為 100%，說明篩選內(nèi)容對所有用戶都比較適合。

數(shù)據(jù)用途

PV 點擊率和 UV 點擊率用于衡量頁面或功能中的內(nèi)容對用戶的吸引程度。

2.5 人均點擊次數(shù)

點擊次數(shù)/點擊人數(shù)。

舉例說明

例如 10 月 16 這天有 10 萬人點擊了篩選按鈕，其中一共點擊了 12 萬次，那么人均點擊次數(shù)為 12/10=1.2 次。

數(shù)據(jù)用途

通過人均點擊次數(shù)可以判斷交互/視覺的設(shè)計要求是否足夠引人注目，也可以用于衡量該功能對用戶而言是否為強需求。

2.6 平均停留時長

所有用戶的停留時長總和/用戶數(shù)。

舉例說明

所有用戶在某任務(wù)頁的停留時長為 100 萬小時，一共在某任務(wù)頁停留的用戶有 200 萬，則平均停留時長為 0.5 小時。

數(shù)據(jù)用途

平均停留時長用來衡量頁面吸引度，對內(nèi)容頁來說，停留時間越長，用戶粘性越強。當然也有反面場景，比如登錄注冊的表單填寫， 停留時間越長，說明體驗越差。

2.7 人均使用時長

用戶平均每天停留在產(chǎn)品的時間。

舉例說明

10 月 16 日有 100 萬個用戶一共在某產(chǎn)品使用了 50 萬個小時，則 10 月 16 日的人均使用時長為 0.5 個小時。

數(shù)據(jù)用途

用來衡量用戶使用產(chǎn)品的深度，判斷用戶使用產(chǎn)品的粘性和依賴度。用戶對產(chǎn)品的使用時長越高，說明對產(chǎn)品越依賴。

3. 接納

用于衡量上線產(chǎn)品或功能的新用戶增長程度。例如功能上線后最近 7 天創(chuàng)建的帳戶數(shù)或使用該功能的新用戶占比。這對于新產(chǎn)品功能或正在重新設(shè)計的產(chǎn)品特別有用。

3.1 新用戶留存數(shù)

一段時間內(nèi)再次訪問的新用戶數(shù)，通常分為次日留存、7 天留存、30 天留存指標。

舉例說明

如下虛擬數(shù)據(jù)，1 月，新增用戶有 80 人。到 2 月時，1 月新增的 80 人中的 75 人再度訪問了產(chǎn)品，則第二個月的新用戶留存數(shù)為 75 人，流失數(shù)為 5 人。

數(shù)據(jù)用途

用來衡量產(chǎn)品的用戶粘性和產(chǎn)品的留存用戶規(guī)模。留存用戶數(shù)可以很好地展示留存用戶數(shù)的人數(shù)規(guī)模，并幫助了解新增用戶對產(chǎn)品的使用粘性。

3.2 新用戶留存率

某周期內(nèi)新用戶留存數(shù)/某周期內(nèi)第一天訪問的新增用戶總數(shù)，一般周期為次日、7 日或者 30 日。

舉例說明

接 3.1 案例，1 月新增用戶 80 人，2 月留存人數(shù) 75 人，1 月新增用戶在 2 月的留存率為 75/80=93.75%。

數(shù)據(jù)用途

• 日留存率通常用來衡量產(chǎn)品粘性；
• 周留存率通常用于判斷產(chǎn)生的忠實用戶數(shù)；
• 月留存率通常用于衡量版本迭代的效果，例如產(chǎn)品改版后，月留存率提升了，且其他變量沒有變化時，說明設(shè)計改版成功。
• 通過留存率可以很宏觀的判斷產(chǎn)品的用戶粘性是上升還是下降，這也是產(chǎn)品體驗最直觀的數(shù)據(jù)。

3.3 新用戶流失率

某周期內(nèi)新用戶流失數(shù)/某周期內(nèi)第一天訪問的新增用戶總數(shù)，一般周期為次日、7 日或者 30 日。

舉例說明

接 3.1 和 3.2 案例，1 月新增用戶 80 人，1 月新增用戶在 2 月的留存率為 75/80=93.75%，新用戶流失率為（100-93.75）%=6.25%。

數(shù)據(jù)用途

用戶流失率可用于追蹤之前是什么情況導致流失數(shù)據(jù)情況，便于進一步優(yōu)化產(chǎn)品問題。

4. 保留

用于衡量上線產(chǎn)品或功能的老用戶穩(wěn)定程度，具體包含現(xiàn)有用戶的留存率和流失率。例如在上線 7 天內(nèi)產(chǎn)生的活躍用戶在上線 30 天后是否仍然在活躍？

4.1 老用戶留存數(shù)

一段時間內(nèi)再次訪問的老用戶數(shù)，通常分為次日留存、7 天留存、30 天留存指標。

4.2 老用戶留存率

某周期內(nèi)老用戶留存數(shù)/某周期內(nèi)老用戶總數(shù)，一般周期為次日、7 日或者 30 日。

4.3 老用戶流失率

某周期內(nèi)老用戶流失數(shù)/某周期內(nèi)老用戶總數(shù)，一般周期為次日、7 日或者 30 日。

5. 完成

用于衡量流程設(shè)計的合理性，通常適用于產(chǎn)品中非常注重任務(wù)的區(qū)域。例如某任務(wù)的完成率和 UV 轉(zhuǎn)化率。

5.1 完成率

完成的操作次數(shù)/開始操作的次數(shù)

舉例說明

10 月 15 日上線某任務(wù)，用戶點擊領(lǐng)取任務(wù)按鈕 10 萬次，最終完成提交按鈕 2 萬次，則完成率為 2/10= 20%

數(shù)據(jù)用途

完成率可用于衡量操作流程的順暢度。完成率是產(chǎn)品設(shè)計中重要的指標之一，完成率越高，說明產(chǎn)品的操作體驗越好。

5.2 UV 轉(zhuǎn)化率

必要流程中的下一步環(huán)節(jié)操作人數(shù)/上一步環(huán)節(jié)操作人數(shù)。通常環(huán)節(jié)越多，UV 轉(zhuǎn)化率越低，流失率越高。

舉例說明

10 月 15 日上線某任務(wù)，當日從任務(wù)入口點擊進入該任務(wù)頁的人數(shù)為 1 萬人，點擊 Yes/No 選項的人數(shù)為 7000 人，那么該環(huán)節(jié)的轉(zhuǎn)化率為 7000/10000=70%，流失率為 30%；最終點擊 Submit 按鈕完成提交的人數(shù)為 4000 人，那么該環(huán)節(jié)的轉(zhuǎn)化率為 4000/7000=57%，流失率為 43%。

數(shù)據(jù)用途

UV 轉(zhuǎn)化率可用于針對產(chǎn)品中某些關(guān)鍵路徑的轉(zhuǎn)化率的分析，以確定各環(huán)節(jié)的優(yōu)劣、是否存在優(yōu)化的空間等。對于業(yè)務(wù)流程相對規(guī)范、周期較長、環(huán)節(jié)較多的流程分析,能夠直觀地發(fā)現(xiàn)和說明問題所在。

5.3 頁面跳出率

退出當前頁并在 30 分鐘內(nèi)未再次打開的用戶數(shù)/在當前頁面的總?cè)藬?shù)

舉例說明

用戶通過首頁進入某任務(wù)頁，然后跳出并在 30 分鐘內(nèi)未再次打開的用戶有 1 萬人，假設(shè)進入該任務(wù)頁的 UV 為 5 萬人，則跳出率 1/5 =20%

數(shù)據(jù)用途

頁面跳出率用于衡量頁面的內(nèi)容質(zhì)量或交互質(zhì)量。

Part 2

產(chǎn)品目標

表格橫向代表從業(yè)務(wù)維度的思路梳理：

1. 目標

簡單說就是，你希望設(shè)計上線后，在哪個方面達到什么樣的結(jié)果。比如產(chǎn)品首頁內(nèi)的篩選功能，在完成指標的關(guān)鍵目標是：用戶更快速地找到最相關(guān)的任務(wù)。

2. 標志

目標確定了，那什么信號標志著設(shè)計達到了或沒達到目標呢？

比如某頁面在完成指標的成功標志是用戶篩選后找到了自己想要的任務(wù)并進入了任務(wù)界面。失敗標志是用戶篩選后沒有找到自己想要的任務(wù)，在篩選環(huán)節(jié)流失了。

能判斷是否達到目標的標志可能有很多，這時候要結(jié)合實際情況取舍。比如這種標志追蹤起來方便嗎？它能隨你的設(shè)計變動而觀察到明顯的變化嗎？

3. 指標

指標比標志更加落地。例如，「用戶篩選后找到了自己想要的任務(wù)并進入了任務(wù)界面」這一標志用指標來體現(xiàn)就是「從篩選按鈕到任務(wù)界面的 UV 轉(zhuǎn)化率」。

通過「目標 → 標志 → 指標」流程，結(jié)合用戶體驗質(zhì)量指標，就能清楚地知道要驗證設(shè)計的哪些方面，需要關(guān)注哪些數(shù)據(jù)來達到目的。

Part 3

提防數(shù)據(jù)陷阱

1. 尋找正確的數(shù)據(jù)目標

有一位作家打算重新設(shè)計他的個人網(wǎng)站，用來宣傳他將要寫的新書。

在設(shè)計網(wǎng)站時他做了個 AB 兩個方案。A 方案在網(wǎng)頁上非常詳細地介紹了將要寫的這本書，然后留了一個可填寫聯(lián)系方式的輸入框；B 方案則沒有任何關(guān)于書的介紹，僅放置了一個可填寫聯(lián)系方式的輸入框，并只寫了「如果你是設(shè)計師，你應(yīng)該對這本書感興趣。請?zhí)顚懩愕穆?lián)系方式」一段提示。

最終 A 方案只收到了 33 個聯(lián)系方式，而沒有任何介紹性內(nèi)容的 B 方案卻收到了 77 個聯(lián)系方式。那么，從這個實驗結(jié)果可以推斷出 B 方案更好嗎？

事實上可能并不是。

這位設(shè)計師設(shè)計網(wǎng)站的初衷是為了宣傳預(yù)售他的新書，衡量完成指標的標志是「有多少人對這本書感興趣且可能會購買它」而不是「收到更多聯(lián)系方式」，而聯(lián)系方式數(shù)量的數(shù)據(jù)無法成為「有多少人對這本書感興趣且可能會購買它」的成功標志，因此「B 方案比 A 方案更好」的結(jié)論也并不成立。

因此希望大家用以上表格來整理數(shù)據(jù)目標，就是為了避免從一開始搞錯了目標，那么再精確的數(shù)據(jù)統(tǒng)計也只能得到誤導性的結(jié)論。

2. 理解業(yè)務(wù)的數(shù)據(jù)價值

我們會發(fā)現(xiàn)一個有趣的現(xiàn)象，當我們在談?wù)撘患夜净蛞粋€產(chǎn)品是否夠成功時，基本是基于單一的數(shù)字，比如某 APP 有 2 億日活，它很棒；某平臺有 3000 萬產(chǎn)量，它很厲害等等。

和那些盲目喊著要擴大用戶數(shù)和規(guī)模的產(chǎn)品不一樣，對解題產(chǎn)品來說，有人在真正花時間解答題目，才是一件意義重大的事情，因此相對單純的生產(chǎn)數(shù)量數(shù)據(jù)，它更應(yīng)該關(guān)注生產(chǎn)員或質(zhì)檢員的產(chǎn)出質(zhì)量。假如解題產(chǎn)品的日均產(chǎn)量很高，但用戶在任務(wù)界面上平均停留時長很短，那么我并不覺得這是一件值得高興的事，因為生產(chǎn)和質(zhì)檢的結(jié)果可能會有很多問題。

我之前常常在想一個問題，為什么有些公司內(nèi)部會如此熱衷于推廣 OKR 用以取代 KPI，直到進入頭條后我才發(fā)現(xiàn)原本 KPI 式的價值觀常常給人帶來誤區(qū)：數(shù)字即規(guī)模，規(guī)模就是一切。但我們可以看到，許多產(chǎn)品因用戶數(shù)量的驟增曾備受矚目，用各種運營手段在前期積累了出大量注冊用戶，但最終大批量流失，走向沒落。數(shù)字很重要，用戶數(shù)也很重要，但相比這些，我們更應(yīng)該通過思路梳理，來幫助我們想清楚對于我們的產(chǎn)品來說核心價值是什么、究竟什么樣的數(shù)據(jù)才是最重要的。

3. 數(shù)據(jù)不是萬能的

數(shù)據(jù)不是萬能的。它就像問卷調(diào)查、用戶訪談等任何用戶體驗研究方法一樣有著其局限性。數(shù)據(jù)只能告訴你 What，卻不能告訴你 Why。

Data can only make a good design great, but can never make a bad design good.

數(shù)據(jù)可以用于支撐設(shè)計師的某項決定，但數(shù)據(jù)無法代替設(shè)計的直覺，更無法代替深入的用戶研究、可用性測試和設(shè)計同理心。

參考文獻：

• [1] 如何理解 DAU 和 MAU 這兩個數(shù)據(jù)？- Aaron 余樂的回答 - 知乎
  https://www.zhihu.com/question/24007425/answer/130382392
• [2] 數(shù)據(jù)分析｜計算用戶留存率 - 狗哥的文章 - 知乎
  https://zhuanlan.zhihu.com/p/123292172
• [3]Google HEART 模型：助力設(shè)計成果評估，提升用戶體驗 - 人人都是產(chǎn)品經(jīng)理
  http://www.woshipm.com/user-research/1726864.html

歡迎關(guān)注作者微信公眾號：「今日頭條UED」