編者按:從 KPI 到 北極星指標(biāo),設(shè)計(jì)和產(chǎn)品團(tuán)隊(duì)都非常著迷這種殺手級關(guān)鍵性指標(biāo)。但是沉迷這種單一指標(biāo)可能會(huì)帶來負(fù)面的影響,這就是 NNGroup 的這篇文章 要探討的「坎貝爾定律」:
前言:當(dāng)犧牲其他指標(biāo)來作為代價(jià)來優(yōu)化某一指標(biāo)的時(shí)候,就可能存在面臨這一指標(biāo)劣化的風(fēng)險(xiǎn)。就像 Facebook 的丑聞所呈現(xiàn)出來結(jié)果那樣,最終的結(jié)果可能是同時(shí)辜負(fù)了他們的用戶和原本的商業(yè)目標(biāo)。
在科技和商業(yè)領(lǐng)域當(dāng)中,最經(jīng)常被錯(cuò)誤引用的一句話就是「如果你無法衡量,就無法管理」。類似這樣的表達(dá)方式,通常意味著如果你需要改進(jìn)某個(gè)產(chǎn)品、某個(gè)功能,就需要制定一個(gè)精確的度量來捕捉和跟蹤,讓我們確定改進(jìn)的效果。
實(shí)際上我們經(jīng)常做這樣的事情,比如用單一KPI來衡量某個(gè)產(chǎn)品的成功與失敗,用某個(gè)參數(shù)來作為核心指標(biāo)等等。
有趣的地方在于,這句話的引用其實(shí)和原文的含義是完全相反的:
「假定一件事物無法度量就無法被管理,這種想法是錯(cuò)誤的,實(shí)際上它更像是一個(gè)代價(jià)高昂的迷思?!埂?W. Edwards Deming (The New Economics).
原始的版本和我們經(jīng)常聽到的說法之間差異,實(shí)際上反映出了一件事情:依賴單一指標(biāo)來評估某項(xiàng)業(yè)務(wù)是極為危險(xiǎn)的,因?yàn)榇嬖谝环N或者多種操控這一指標(biāo)的方式,而這些方式可以和原本度量毫無關(guān)聯(lián)。而這正是「坎貝爾定律」所描述的現(xiàn)象。
坎貝爾定律:如果一種指標(biāo)在制定決策的時(shí)候越重要,就越可能被操縱。
用更加通俗的方式來描述坎貝爾定律就是,當(dāng)使用單一指標(biāo)來決定某個(gè)事物的成敗的時(shí)候,人們可能會(huì)嘗試優(yōu)化自己的行為來貼近或者「塑造」這一指標(biāo),而這種試圖「貼合結(jié)果」的方式,最終會(huì)帶來荒謬和危險(xiǎn)的結(jié)果。這種行為可以說是在「管理指標(biāo)」(更通俗的說法是「制造數(shù)據(jù)」),而不是真正解決潛在的問題。
一個(gè)經(jīng)典的案例其實(shí)就是「應(yīng)試教育」——參加過任何標(biāo)準(zhǔn)化考試的人應(yīng)該都清楚這件事情,而針對 SAT 或者 GRE 這類標(biāo)準(zhǔn)化考試的批評者一般也是拿這個(gè)來說事兒——這類考試無法衡量知識(shí)和潛力,更多的是衡量個(gè)人為考試而學(xué)習(xí)的能力。
而在法律領(lǐng)域,同樣有類似的定律,古德哈特定律——「當(dāng)某項(xiàng)措施本身成為目標(biāo)的時(shí)候,它就不再是一個(gè)好的措施」。而有意思的是,無論是坎貝爾定律還是古德哈特定律,都出自于社會(huì)科學(xué)領(lǐng)域的研究者,他們能夠提出這兩個(gè)定律,很大程度上,是當(dāng)大家面對復(fù)雜行為的時(shí)候使用單一指標(biāo)來替代全面細(xì)致的權(quán)衡剖析這一情況的沮喪。
在我們?nèi)粘I詈凸ぷ髦?,能夠找到大量關(guān)聯(lián)到坎貝爾定律的「反向激勵(lì)」的案例。
醫(yī)療和保健行業(yè)通常對于各項(xiàng)指標(biāo)非常的著迷,有時(shí)候甚至?xí)_(dá)到荒謬乃至于有害的程度。接下來要說的,是一個(gè)在醫(yī)療機(jī)構(gòu)工作的護(hù)士所分享的案例。
這個(gè)醫(yī)療保健機(jī)構(gòu)有一項(xiàng)績效衡量指標(biāo),是患者在接聽電話的時(shí)候必須等待多長時(shí)間。這一機(jī)構(gòu)的員工被推動(dòng)改進(jìn)這一指標(biāo),試圖盡量減少患者等候的時(shí)長,從這一出發(fā)點(diǎn)來看,這個(gè)指標(biāo)和目標(biāo)是合理的,對不對?
其實(shí),患者長時(shí)間等待,主要的原因是接線員需要時(shí)間來溝通和聯(lián)系患者對應(yīng)的醫(yī)生活在護(hù)士,并且在連接上之后,接通他們,而當(dāng)接線員將線路切換到醫(yī)生線路的時(shí)候,患者的電話會(huì)切換進(jìn)入「等候狀態(tài)」。而有一位經(jīng)理發(fā)現(xiàn),如果接線員在接通電話,獲得患者需求的時(shí)候,不讓電話切入「等候狀態(tài)」,而是單純的靜音處理,然后讓接線員直接去對應(yīng)的科室去找到醫(yī)生,那么在技術(shù)上,這個(gè)「等候狀態(tài)」時(shí)長指標(biāo)直接就為0了。
實(shí)際上,這位經(jīng)理因?yàn)檫@一指標(biāo)的「優(yōu)化」二獲得了大量的獎(jiǎng)金,很多同事都會(huì)向他請教如何改善這一指標(biāo)的。
然而實(shí)際上,他的這種處理機(jī)制對于用戶體驗(yàn)而言,基本上是 0 優(yōu)化,毫無提升,甚至有可能因?yàn)樾枰泳€員親自去接洽導(dǎo)致患者實(shí)際的等候時(shí)長比計(jì)劃中更長。
如果你使用過諸如 Airbnb、Uber 這類服務(wù),那么你很有可能會(huì)在這個(gè)過程中感受到坎貝爾定律的力量。這類服務(wù)通常會(huì)使用 5 星評分制,用來評估用戶的滿意度,如果司機(jī)或者房東的評分低于某一閾值,可能就會(huì)被關(guān)閉繼續(xù)運(yùn)營的權(quán)限。因此,通常而言司機(jī)和房東都會(huì)盡量提高高質(zhì)量的服務(wù),但是與此同時(shí),他們還會(huì)以各種方式來盡力請求/要求客戶來他們打滿分來操縱這一指標(biāo)。
比如我的同事最近使用了 Airbnb 的服務(wù),在結(jié)束后收到房東的細(xì)心你:
「如果你喜歡這套工具并且愿意留下 5 星評價(jià),那么這對我將會(huì)有極大的幫助。Airbnb 實(shí)際上有權(quán)限刪除評分低于 4.4 星的房源,因此每一次 5 星評價(jià)對我而言都會(huì)有極大的幫助,能夠讓我更好地服務(wù)于同您一樣的優(yōu)質(zhì)住戶?!?/p>
通過這種解釋,房東以一種相對柔和的方式向我的同事施壓,要求她給出五星好評,而不是誠實(shí)的評價(jià)。
這種基于情感上的評分挾持在很多不同的國家和文化中都會(huì)發(fā)生。最典型的一個(gè)案例是中國的熱門購物平臺(tái)上,用戶經(jīng)常會(huì)「被迫」提供高分評價(jià)。許多淘寶商家會(huì)要求客戶提供五星好評,其中最常見的方式是提供好評優(yōu)惠券和好評返現(xiàn),甚至還催生了專門騷擾差評用戶的服務(wù),同樣也誕生了專職的「差評師」。
雖然坎貝爾定律影響了很多行業(yè),但是在數(shù)字設(shè)計(jì)領(lǐng)域顯得尤其「邪惡」。
下面的故事是由一名產(chǎn)品設(shè)計(jì)師所分享的。由于她想匿名,所以以下將會(huì)使用化名 Keily。Keily 供職于一家目前地位領(lǐng)先的一家流媒體服務(wù)供應(yīng)商,她分管的業(yè)務(wù)為訂閱服務(wù)。盡管這家公司提供的服務(wù)頗為現(xiàn)代,但是該公司的企業(yè)文化和舊有的有線電視臺(tái)非常接近,這一點(diǎn)主要體現(xiàn)在他們的業(yè)務(wù)指標(biāo)上。
這家公司非常關(guān)注用戶的留存率——訂閱者訂閱的時(shí)間越長,這家公司所賺取的利潤就越高。因此,這家公司的領(lǐng)導(dǎo)層認(rèn)為減少用戶取消訂閱的比例,能夠保持利潤增長。
Keily 注意到一些奇怪的設(shè)計(jì),當(dāng)用戶打算取消流媒體服務(wù)甚至注銷賬戶的時(shí)候,這個(gè)帳號就會(huì)進(jìn)入一種名為「Saving」(留存)的狀態(tài),在這種情況下,用戶并不會(huì)徹底注銷帳號。這種設(shè)計(jì)的方式,旨在讓用戶停下來,三思之后再做決策。原本想借助這個(gè)指標(biāo)來細(xì)分和判斷用戶的特征和屬性,但是它在實(shí)際應(yīng)用過程中產(chǎn)生了令人意想不到的后果——它促使公司的設(shè)計(jì)師讓注銷帳號的過程變的極其不友好甚至非常困難。
在進(jìn)行用戶測試的是,Keily 注意到用戶在嘗試取消服務(wù)和注銷帳號的時(shí)候,時(shí)常會(huì)進(jìn)入不知所措的狀態(tài),隨后放棄注銷甚至?xí)驗(yàn)槁闊└纱噙B取消服務(wù)都放棄了。而這些帳號隨后就被劃分到了「Saving」這個(gè)分類當(dāng)中。然而實(shí)際上,這些帳號最終也沒有留存下來,因?yàn)橛脩粝泳€上注銷太麻煩了,直接打電話給公司來注銷帳號。
最后,這個(gè)看起來不錯(cuò)的「設(shè)計(jì)」是以鬧劇收場的:
因?yàn)檫@一惱人功能而生氣的用戶,絕對不會(huì)向其他的任何朋友推薦這家公司的服務(wù)了
對公司而言,成本更高了。因?yàn)橛脩舨辉僭诰€注銷帳號,導(dǎo)致電話服務(wù)這邊更加忙碌,成本了相應(yīng)的服務(wù)成本和支出。
用戶仍然注銷了賬戶,那些所謂的留存帳號也沒有留存下來。
Keily 試圖將這一問題反饋給公司的高層,她爭辯說只有公司試圖站在用戶的角度來解決用戶的問題,用戶才能真心實(shí)意地認(rèn)可公司,相反使用提高注銷成本的方式來降低取消訂閱率,用戶只會(huì)更加討厭這家公司。領(lǐng)導(dǎo)層不想聽她的說法,所以 Keily 直接辭職了,并且前往一家用戶體驗(yàn)設(shè)計(jì)上更加成熟穩(wěn)妥的公司工作。
Facebook 對于如何增加產(chǎn)品的參與度有著相當(dāng)程度的癡迷。當(dāng)然 Facebook 這個(gè)案例這也是近年來最值得研究的案例之一。
正如同 Frances Haugen 在報(bào)答中所寫的那樣,F(xiàn)acebook 的企業(yè)文化非常重視激勵(lì)用戶提升中在 Facebook 平臺(tái)上的參與感,根據(jù) Haugen 的說法他們是「基于這一指標(biāo)來作出決策」。公司的領(lǐng)導(dǎo)層將日活躍用戶量(DAU)置于倫理和道德的優(yōu)先級之上。
根據(jù)他的說法,F(xiàn)acebook 的領(lǐng)導(dǎo)層喜歡使用算法來增加 DAU,即使有證據(jù)表明這樣的做法對于用戶上有害的,Haugen 指責(zé) Facebook 以用戶本身的身心狀況惡化為代價(jià)來提升 DAU:
- 培養(yǎng)用戶成癮性的習(xí)慣行為
- 導(dǎo)致青少年飲食失調(diào)
- 增加極端政治性的內(nèi)容
- 傳播謠言
盡管 Facebook 并沒有真正偽造或者操作 DAU 指標(biāo),但是不惜一切代價(jià)地為了維持指標(biāo),而摒棄原有的意圖,哪怕以犧牲用戶和公司本身的健康為代價(jià)。即使 DAU 的數(shù)據(jù)并沒有偽造,但是背后的邏輯和狀況都是完全契合坎貝爾定律的——癡迷于指標(biāo)以至于扭曲抵達(dá)目標(biāo)的手段和方式,在這種情況下,它直接犧牲了用戶體驗(yàn)和長期價(jià)值。
Facebook 是一個(gè)極端的案例,由于它的受眾規(guī)模極大,當(dāng)公司出現(xiàn)這種癡迷指標(biāo)犧牲體驗(yàn)的時(shí)候,帶來的后果和影響是極為可怕的。但是這是整個(gè)設(shè)計(jì)領(lǐng)域和科技行業(yè)當(dāng)中普遍的存在,類似的情況比比皆是。雖然絕大多數(shù)的公司和產(chǎn)品并不會(huì)遭受 Facebook 這種規(guī)模的道德責(zé)難,但是這種廣泛存在的問題依然會(huì)帶來災(zāi)難性的結(jié)果。
UX 行業(yè)從業(yè)者總會(huì)不可避免地面臨這個(gè)問題。那么要怎么規(guī)避單一指標(biāo)癡迷所潛藏的危險(xiǎn)呢?
首先,要認(rèn)識(shí)到一件事情,任何一個(gè)指標(biāo),在全面而準(zhǔn)確地描述整個(gè)世界的能力上,都是極為有限的。你所關(guān)注的每一個(gè)指標(biāo),都反映了你認(rèn)為重要的事物。
你所選擇的指標(biāo)就是你所尋求的目標(biāo)和結(jié)果的信號,它們并不能反映整個(gè)全貌。不能因?yàn)橹笜?biāo)本身可以量化就認(rèn)為數(shù)據(jù)一定是準(zhǔn)確沒有偏差的,因?yàn)閿?shù)據(jù)的搜集過程哪里都可能出現(xiàn)問題。
之前一直流行的「北極星指標(biāo)」就是典型,它放大了單個(gè)指標(biāo)的影響力,同樣也放大了單個(gè)指標(biāo)的危險(xiǎn),給整個(gè)產(chǎn)品甚至公司帶來潛在風(fēng)險(xiǎn)。
其次,將多個(gè)指標(biāo)整合到一起,更加全面地對你的產(chǎn)品、服務(wù)進(jìn)行評估。滿意度評級可能是一個(gè)有用的指標(biāo),但是如果能夠?qū)⑺袨橹笜?biāo)(比如任務(wù)時(shí)長、成功率等)或者其他的分析指標(biāo)結(jié)合起來使用,能夠更加準(zhǔn)確地判斷。想玩弄扭曲一個(gè)指標(biāo)有時(shí)候不復(fù)雜,但是想要修改全部指標(biāo)就很難了。
第三,永遠(yuǎn)不要僅僅依靠單一指標(biāo)來進(jìn)行決策。確定定性指標(biāo)需要進(jìn)行多方驗(yàn)證,比如使用用戶訪談、可用性測試、實(shí)地測量和日記研究等方式共同決策,這可以幫助你了解設(shè)計(jì)決策的細(xì)微差別,否則,如果你僅僅依靠被動(dòng)搜集的分析數(shù)據(jù),可能會(huì)錯(cuò)過很多關(guān)鍵的信息。
最后,將數(shù)據(jù)視作為輔助決策的工具,不要讓單一數(shù)據(jù)成為決策的唯一依據(jù)。不要為了樹木失去森里,密切關(guān)注真正重要的是事情——長期積極的用戶關(guān)系,幫助用戶增加價(jià)值,不去損害用戶的生活,讓產(chǎn)品成為用戶真正的幫手。
定量指標(biāo)對于設(shè)計(jì)而言確實(shí)是非常重要的。但是犧牲一些其他指標(biāo)來有意識(shí)「優(yōu)化」單一指標(biāo),可能會(huì)讓業(yè)務(wù)和用戶雙雙受到影響。以上的案例都證明了將短期利益置于長期用戶關(guān)系之上帶來的負(fù)面影響。
復(fù)制本文鏈接 文章為作者獨(dú)立觀點(diǎn)不代表優(yōu)設(shè)網(wǎng)立場,未經(jīng)允許不得轉(zhuǎn)載。
發(fā)評論!每天贏獎(jiǎng)品
點(diǎn)擊 登錄 后,在評論區(qū)留言,系統(tǒng)會(huì)隨機(jī)派送獎(jiǎng)品
2012年成立至今,是國內(nèi)備受歡迎的設(shè)計(jì)師平臺(tái),提供獎(jiǎng)品贊助 聯(lián)系我們
AI輔助海報(bào)設(shè)計(jì)101例
已累計(jì)誕生 753 位幸運(yùn)星
發(fā)表評論 為下方 3 條評論點(diǎn)贊,解鎖好運(yùn)彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓