正如蝴蝶效應理論所描述的那樣，即使是微小的變化也可能在系統(tǒng)中引發(fā)巨大的連鎖反應，而我們作為設(shè)計師，往往需要在復雜的產(chǎn)品生態(tài)中，探尋那些微小變化與最終顯著成果之間的關(guān)聯(lián)。

本文旨在探討在眾多可能的改進中，哪些是可能有效提升核心業(yè)績指標的？如何洞察并定位那些能夠?qū)嵸|(zhì)性提升關(guān)鍵指標的產(chǎn)品痛點和機會點并進行長期有效監(jiān)測？從而使設(shè)計師們更好地理解設(shè)計決策與業(yè)務結(jié)果之間的復雜聯(lián)系。

更多相關(guān)干貨：

一、工具和方法的探索

1. 工具/方法的分析與選取

探索業(yè)務的改進措施與核心指標變化之間的關(guān)系，可以考慮以下幾種數(shù)據(jù)分析方法

1. 實驗設(shè)計（A/B 測試）：A/B 測試是評估產(chǎn)品變更效果的經(jīng)典方法。通過將用戶隨機分配到控制組和實驗組，可以比較不同設(shè)計或策略變化對核心業(yè)務指標（如轉(zhuǎn)化率、用戶留存率等）的影響。這種方法可以直接觀察到特定變更對業(yè)務指標的影響，有助于做出基于數(shù)據(jù)的決策。
2. 回歸分析：如果數(shù)據(jù)中包含多個變量可能影響業(yè)務指標，回歸分析可以幫助識別和量化這些變量對目標變量（如 NPS）的影響。線性回歸、邏輯回歸或多元回歸等技術(shù)可以用于此目的。
3. 時間序列分析：如果業(yè)務指標隨時間變化，時間序列分析可以幫助識別趨勢、季節(jié)性模式或周期變化。這對于理解長期策略如何影響業(yè)務指標特別有用。
4. 用戶反饋和定性分析：除了定量分析，收集和分析用戶反饋，對于理解設(shè)計改變?nèi)绾斡绊懹脩魸M意度和 NPS 也很重要?？梢酝ㄟ^用戶訪談、焦點小組或調(diào)查來收集這些數(shù)據(jù)。

但是實施 A/B 測試需要一定的技術(shù)支持和資源，且當時研究并不關(guān)注數(shù)據(jù)隨時間變化而產(chǎn)生的影響，因此選擇回歸分析，去利用已有的數(shù)據(jù)分析并量化多個變量之間的關(guān)系就較為適合。

2. 相關(guān)分析的定義

那什么是回歸分析呢？回歸分析的主要作用是用來評估變量間的關(guān)系，同時建立一個用于預測或解釋變量之間關(guān)系的模型。例如，線性回歸分析可以用來預測一個變量（因變量）如何隨另一個變量（自變量）的變化而變化。

而回歸分析是相關(guān)分析的一種，是相關(guān)分析的變形。其中相關(guān)分析是統(tǒng)計學中用于評估兩個或多個變量之間關(guān)系強度和方向的方法。它不僅可以檢測變量間的關(guān)系是否存在，還可以評估這種關(guān)系的強度。最常用的相關(guān)分析方法是皮爾遜相關(guān)系數(shù)，它測量的是兩個變量之間的線性相關(guān)性。

3. 相關(guān)分析應用場景

在互聯(lián)網(wǎng)產(chǎn)品和服務領(lǐng)域，相關(guān)分析和回歸分析被廣泛用于理解用戶行為、優(yōu)化產(chǎn)品功能、提高用戶體驗和驅(qū)動業(yè)務增長。如對用戶參與度與留存率分析，可以分析用戶參與度（如頁面瀏覽次數(shù)、app 內(nèi)活動頻率）與用戶留存率之間的關(guān)系。這有助于識別哪些特定的用戶行為與高用戶忠誠度相關(guān)聯(lián)。對 APP 設(shè)計與轉(zhuǎn)化率分析，探討網(wǎng)站設(shè)計元素（如布局、顏色方案、導航簡易性）與用戶轉(zhuǎn)化率（如注冊、購買）之間的關(guān)系，分析網(wǎng)站各個設(shè)計元素如何共同影響轉(zhuǎn)化率，以指導網(wǎng)站優(yōu)化。 在市場營銷領(lǐng)域，可以分析廣告投放效果，通過研究廣告曝光次數(shù)與點擊率或轉(zhuǎn)化率之間的關(guān)聯(lián)性，幫助評估廣告投放的有效性，也可以預測在不同用戶群體、不同平臺上的廣告投放效果，以優(yōu)化廣告策略和預算分配等等。然而，需要注意的是，數(shù)據(jù)的質(zhì)量和分析方法的正確應用對于得到有價值的洞見至關(guān)重要。

二、分析方法的應用與實踐

相關(guān)分析和回歸分析方法在數(shù)據(jù)分析中應用比較普遍，但如何將分析方法和產(chǎn)品行為數(shù)據(jù)相關(guān)聯(lián)應用較少。所以一方面需要探索適用線上產(chǎn)品分析的思路與方法，另一方面也需要驗證這樣的思路和方法的可靠性。

于是我們先嘗試把它應用到解決某業(yè)務上的問題，一是看方法是否能跑得通，也就是能不能通過方法本身的校驗，二是看通過分析結(jié)果能不能洞察到合理的結(jié)論，三是看得到的結(jié)論實際應用到設(shè)計中，是否能帶來如預期一樣的效果。

本部分的分享重點是通過案例說明回歸分析和相關(guān)分析方法的應用過程及結(jié)果。因為業(yè)務信息不方便詳細介紹，以下部分指標、數(shù)據(jù)等已處理過，非真實情況。

1. 觀點預設(shè)

首先我們需要明確目標，這些可能來自業(yè)務目標或者遇到的困難、設(shè)計目標或者遇到的困難等等。

比如我們做的某業(yè)務的核心目標是提升 NPS、留存、連接轉(zhuǎn)化率等指標。為了提升 NPS，上線了提升信息真實性的功能，設(shè)計的目標是提升用戶對信息真實性的感知。但是問題是，導致 NPS 波動的原因非常多，且很復雜，無論提升了信息真實性，還是提升了用戶對信息真實性的感知，都不能說明 NPS 是否提升，也不能說明 NPS 提升和這些有關(guān)。

再如，為了提升連接轉(zhuǎn)化率，我們在核心路徑大類-列表-詳情做了非常多的努力，這里面哪些是切實有效能夠提升連接轉(zhuǎn)化率的，我們一般通過 A/B 測來評定。但是有很多設(shè)計點的改動較為細微，且不是所有的功能或者設(shè)計都有機會通過嚴格控制變量來獲得驗證結(jié)果，并且功能和界面都是比較主觀的，沒有最好的，總會有更好的方案。所以一方面有很多設(shè)計點可能是有提升空間的，但是沒有辦法發(fā)現(xiàn)，另外一方面總會出現(xiàn)一些爭議，比如為了提升連接轉(zhuǎn)化率，要不要把看起來沒什么用處的圖片放到描述后面。

2. 分析方案策劃

確定了目標，我們需要研究和預測不同變量之間的關(guān)系,為后續(xù)產(chǎn)品優(yōu)化提供支持？所以選定了相關(guān)分析、一元線性回歸、多元線性回歸，三個方法都能達到我們想要的效果。通過線性回歸能了解變量間量化的關(guān)系，預測未來的變化趨勢，即自變量提升 1%能導致因變量多大的變化。這個也可以應用在產(chǎn)品營銷策略、定價策略等場景。相關(guān)分析能獲得的信息相對少一些，但是也能定性的了解到兩個變量之間是否顯著正相關(guān)。

我們試驗了相關(guān)分析、一元線性回歸、多元線性回歸三個不同的分析方法，因為線上產(chǎn)品變量之間耦合比較嚴重，且在進行分析過程中發(fā)現(xiàn)部分自變量之間共線性嚴重且殘差存在自相關(guān)，不符合線性回歸的數(shù)據(jù)要求。所以最后采用了相關(guān)分析，這個結(jié)果和一元線性回歸的結(jié)果是一樣的，能普遍適用到所有場景，能得到的結(jié)論也比較多。

3. 數(shù)據(jù)采集

和用戶調(diào)研能收集到單一用戶所有維度的信息，所以采用用戶維度的信息進行分析不同，線上產(chǎn)品很難收集到單個用戶所有的行為數(shù)據(jù)，所以我們采用了聚合數(shù)據(jù)，采用同一段時間內(nèi)不同天的核心數(shù)據(jù)和預設(shè)相關(guān)的用戶行為數(shù)據(jù)。比如近 30 天每天的 NPS 和為了提升真實性的模塊的展現(xiàn)率、點擊率，近 30 天每天的連接率和連接相關(guān)模塊的展現(xiàn)率、點擊率。（但這有一個風險點在于，這中數(shù)據(jù)處理方式的前提是我們假設(shè)時間對變量是沒有任何影響的）

4. 數(shù)據(jù)分析

在試算后選取了相關(guān)分析的方法，然后就用 SPSS 交叉分析各用戶行為和核心數(shù)據(jù)的相關(guān)性。這里我們分析了用戶行為和所有核心指標的相關(guān)性，因為某個用戶行為可能和 A 指標顯著正相關(guān)，但是和 B 指標顯著負相關(guān)，這里如果只看其中某個方面，就會獲得錯誤的結(jié)論，之后所做的事情也都會白費。

5. 洞察

分析相關(guān)得到的結(jié)果是否符合預期，針對不符合預期的部分，分析原因、列出優(yōu)化 todo，符合預期的看能否有應用場景。比如前面提到為了提升 NPS 做的相關(guān)功能模塊，有一個模塊的點擊率和 NPS 顯著負相關(guān)，這不符合我們設(shè)計的初衷，于是我們發(fā)現(xiàn)這個模塊確實有設(shè)計不合理的部分，造成用戶對要傳達的信息有誤解，所以在修正錯誤的信息傳達方式后，我們發(fā)現(xiàn)這個模塊的點擊率變成了和 NPS 不相關(guān)了，雖然距離我們希望的和 NPS 正相關(guān)的結(jié)果還有距離，還需要繼續(xù)改進，但是我們改進了對 NPS 有負向影響的因素，近期 NPS 的提升就是由很多個類似這樣的改動，積累起來的。

6. 上線驗證

應用相關(guān)分析/回歸分析結(jié)論，設(shè)計優(yōu)化方案，推動上線，驗證猜測，同時驗證相關(guān)分析方法有效性。

還是以某業(yè)務的應用為例，列舉幾個應用場景。

①驗證設(shè)計方案對核心指標提升的作用，改善副作用部分：比如發(fā)現(xiàn)某模塊和 NPS 顯著負相關(guān)，走查發(fā)現(xiàn)該模塊確實有表意問題，在改進后該模塊和 NPS 變?yōu)椴幌嚓P(guān)，減少一個 NPS 的負向影響因子。

也可以制定體驗優(yōu)化優(yōu)先級，優(yōu)先優(yōu)化使用量較高且對核心指標呈副作用的模塊：比如 A 模塊使用率較高，和 NPS 顯著正相關(guān)，但是和收入指標顯著負相關(guān)，B 模塊使用率較低，和 NPS 顯著負相關(guān)，我們綜合以上信息，給體驗優(yōu)化的優(yōu)先級排序就是優(yōu)先 A 模塊，其次是 B 模塊。

②驗證點擊率較高的功能，對核心指標的作用，放大其正向作用：比如發(fā)現(xiàn)圖片展現(xiàn)率、點擊率和連接轉(zhuǎn)化率顯著正相關(guān)，對圖片模塊進行走查發(fā)現(xiàn)可以提高圖片展示效果，在改進后連接轉(zhuǎn)化率明顯提升。

③驗證設(shè)定的幾個滿意度指標，和 NPS 是否正相關(guān)，是否值得持續(xù)監(jiān)控：比如在這之前的幾個滿意度指標是根據(jù)用戶調(diào)研、產(chǎn)品經(jīng)驗等主觀信息總結(jié)歸納出來的，在回歸分析后發(fā)現(xiàn)各個滿意度指標和 NPS 都是顯著正相關(guān)的，也驗證了觀測滿意度變化趨勢能解釋部分情況下 NPS 的變化。

④確定因變量的影響因子，預測為了達成因變量的目標值，需要自變量增長多少：比如為了提升業(yè)務的 NPS，通過回歸分析得到多個 NPS 影響因子（用戶行為）和 NPS 的公式，從而得知，為了提升 NPS10%，需要提升 NPS 影響因子，也就是引導 10%k1 用戶多做出某個或某些行為。

7. 注意事項

①在策劃環(huán)節(jié)，根據(jù)目標和業(yè)務、產(chǎn)品的實際情況，需要選擇合適的分析方法。

②數(shù)據(jù)采集需要注意：

• 數(shù)據(jù)質(zhì)量：相關(guān)分析和回歸分析的結(jié)果受到數(shù)據(jù)質(zhì)量的影響。互聯(lián)網(wǎng)數(shù)據(jù)通常是大規(guī)模、高維度的，但其中可能存在缺失值、異常值、重復值等問題。這些問題會影響相關(guān)性和回歸模型的準確性和可靠性。eg.因單個用戶行為不全，采用每天的用戶行為數(shù)據(jù)
• 數(shù)據(jù)量：樣本數(shù)據(jù)需大于等于 30 組；實操因時間太長可能會因業(yè)務改版波動較大
• 偏差問題：在互聯(lián)網(wǎng)中，數(shù)據(jù)收集和采樣的方式可能存在偏差。例如，用戶行為數(shù)據(jù)可能受到用戶自身行為偏好和行為模式的影響，導致相關(guān)性和回歸模型的結(jié)果存在偏差。因此，在分析和解釋結(jié)果時，需要考慮潛在的偏差問題。

③數(shù)據(jù)分析環(huán)節(jié)：在回歸分析中，多個自變量之間可能存在高度相關(guān)性，即多重共線性。這會導致回歸系數(shù)估計不準確，難以解釋自變量對因變量的獨立貢獻。

④洞察環(huán)節(jié)：

因果關(guān)系：相關(guān)分析只能描述變量之間的關(guān)系，不能確定因果關(guān)系。在互聯(lián)網(wǎng)中，變量之間的相關(guān)性可能是由于其他未觀察到的因素所引起的。因此，在進行相關(guān)分析時，需要謹慎解釋結(jié)果，避免將相關(guān)性誤解為因果關(guān)系。

洞察與解釋：我們在洞察的時候需要結(jié)合常識、經(jīng)驗去理解、解釋分析的結(jié)果和上線驗證的結(jié)果；同時也需要考慮互聯(lián)網(wǎng)產(chǎn)品的特殊性，如頁面層級結(jié)構(gòu)關(guān)系等，可能會影響對結(jié)論的理解。

⑤所有數(shù)據(jù)分析僅是作為一種參考，不能迷信，最后確定的產(chǎn)品優(yōu)化仍需結(jié)合實際情況綜合看待。

三、未來展望

當然現(xiàn)有采用的研究方法還有很多不足，在數(shù)據(jù)層面上，我們可以結(jié)合用戶反饋、訪談或案例研究，去提供定性的洞見，幫助理解數(shù)據(jù)背后的用戶行為和偏好，同時收集更多元化的數(shù)據(jù)，包括不同用戶群體、不同市場環(huán)境的數(shù)據(jù)，可以幫助驗證研究結(jié)果的普適性；在機制層面，建立動態(tài)跟蹤機制，持續(xù)監(jiān)測改進措施對核心指標的影響，以便及時調(diào)整策略。

希望未來通過這些方法的應用和結(jié)合，可以更全面、深入地理解業(yè)務改進措施與核心指標之間的關(guān)系，從而為制定有效的業(yè)務策略提供更強的數(shù)據(jù)支持。

歡迎關(guān)注「58UXD」的微信公眾號：