徹底的設(shè)計(jì)改版最好使用 A/B 測(cè)試來(lái)驗(yàn)證，而 MVT（多變量測(cè)試）則表示不同的 UI 元素之間是如何相互影響的，并支持對(duì)設(shè)計(jì)的漸進(jìn)式改進(jìn)。

在優(yōu)化設(shè)計(jì)的方法中，A/B 測(cè)試受到了廣泛的關(guān)注。MVT（多變量測(cè)試）是 A/B 測(cè)試的一種替代方法，但大家對(duì)這種方法的了解并不多，通常認(rèn)為這種方式太耗時(shí)不值得等待。 雖然多變量測(cè)試有其局限性，但是它的很多優(yōu)點(diǎn)是 A/B?測(cè)試無(wú)法比擬的。

一、多變量測(cè)試（MVT）

假設(shè)你要優(yōu)化一個(gè)線上的產(chǎn)品詳情頁(yè)，目的是大幅提升用戶將產(chǎn)品加入購(gòu)物車(chē)的轉(zhuǎn)化率，你要考慮到以下幾個(gè)可能的變化：

• 使用產(chǎn)品視頻代替產(chǎn)品圖片；
• 將主要操作按鈕的文案從「立即購(gòu)買(mǎi)」更改為「添加到購(gòu)物車(chē)」。

多變量測(cè)試可以幫助你確定在多個(gè)設(shè)計(jì)優(yōu)化方案中，哪幾個(gè)方案組合起來(lái)對(duì)于轉(zhuǎn)化率的效果最好。

首先，我們來(lái)解釋一些術(shù)語(yǔ)。

變量

一個(gè)存在多種設(shè)計(jì)方案的 UI 元素（如圖片或標(biāo)題）。在我們的電商示例中，變量是產(chǎn)品的視覺(jué)展示和操作按鈕的文案。

變體

變量的各個(gè)設(shè)計(jì)版本。產(chǎn)品圖像和產(chǎn)品視頻代表了視覺(jué)展示變量的兩個(gè)變體：「添加購(gòu)物車(chē)」和「立即購(gòu)買(mǎi)」文案是操作按鈕的變體。

變化

最終設(shè)計(jì)包含每個(gè)變量的變體，以便與其他變化進(jìn)行比較。在我們的例子中，將有4個(gè)設(shè)計(jì)變化，對(duì)應(yīng)于變量變體的所有可能的組合：圖片×加入購(gòu)物車(chē)，圖片×立即購(gòu)買(mǎi)，視頻×加入購(gòu)物車(chē)，視頻×立即購(gòu)買(mǎi)。

定義：多變量測(cè)試（MVT）是一種設(shè)計(jì)優(yōu)化方法，在用戶界面中測(cè)試多個(gè)指定變量的變體，目標(biāo)是最大化提升轉(zhuǎn)化率（主要的轉(zhuǎn)化，比如完成一個(gè)訂單；或者微轉(zhuǎn)化，比如與頁(yè)面上的一個(gè)功能交互）。這種方法能確定變體的哪種組合會(huì)產(chǎn)生最高轉(zhuǎn)化的設(shè)計(jì)方案（就指定的轉(zhuǎn)化目標(biāo)而言）。

在多變量測(cè)試中，測(cè)試了2個(gè)或多個(gè)設(shè)計(jì)元素（變量）。其中每個(gè)變量都可以有多個(gè)變體。例如，在上面的頁(yè)面中，我們可以測(cè)試2個(gè)變量：產(chǎn)品的視覺(jué)展示（有2種設(shè)計(jì)變量：圖片和視頻）和主要操作按鈕的文案（有2種變體：「立即購(gòu)買(mǎi)」和「加入購(gòu)物車(chē)」）。

二、多變量測(cè)試（MVT）與 A/B 測(cè)試的區(qū)別

多變量測(cè)試通常被認(rèn)為是 A/B 測(cè)試的一種類(lèi)型，盡管它的設(shè)置和強(qiáng)度有些不同。以下是他們之間的相似點(diǎn)和不同點(diǎn)：

• 這兩種方法的測(cè)試原理類(lèi)似，都是通過(guò)將線上網(wǎng)站或應(yīng)用程序中的流量，拆分并引導(dǎo)到有差異的頁(yè)面來(lái)測(cè)試其中的不同。
• 針對(duì)某個(gè)具體的設(shè)計(jì)目標(biāo)，兩種方法都可以用來(lái)衡量哪種設(shè)計(jì)方案（即，變化）可以產(chǎn)生最高轉(zhuǎn)化率。
• 在 A/B 測(cè)試中，被測(cè)方案可能不會(huì)僅僅是一些小的細(xì)節(jié)變化，而是完全不同的兩種方案對(duì)比。例如，你可以有兩個(gè)布局完全不同的頁(yè)面、不同的副本、不同的導(dǎo)航、不同的視覺(jué)設(shè)計(jì)等等。A/B測(cè)試的結(jié)果將表明，一個(gè)變化的性能優(yōu)于另一個(gè)，但是你不知道這是因?yàn)槟愕母北靖?，視覺(jué)設(shè)計(jì)更好，還是布局更好（或者整體效果更好）。

相反，如果使用多變量測(cè)試，你可能總會(huì)將功勞歸于一個(gè)特定變體或變體組合。 因此，舉例來(lái)說(shuō)，你可能會(huì)發(fā)現(xiàn)，產(chǎn)品視頻在轉(zhuǎn)化過(guò)程中所產(chǎn)生的影響要比更改操作按鈕文案的效果要好得多，這會(huì)為你提供進(jìn)一步的策略和設(shè)計(jì)見(jiàn)解（例如，它可能會(huì)告訴你投資優(yōu)秀產(chǎn)品視頻制作是值得的）。

三、多變量測(cè)試（MVT）測(cè)量元素之間的相互作用

讓我們回到一開(kāi)始的電商示例。你可能想知道，兩個(gè)連續(xù)的 A/B 測(cè)試是否會(huì)產(chǎn)生與多變量測(cè)試相同的結(jié)果。具體來(lái)說(shuō)，我們假設(shè)你先運(yùn)行 A/B 測(cè)試來(lái)比較視頻與圖片，假設(shè)視頻獲勝。接下來(lái)，在獲勝的變更（即視頻）上，你可以在兩個(gè)可能的按鈕文案之間運(yùn)行另一個(gè) A/B 測(cè)試，并且證明「立即購(gòu)買(mǎi)」的文案更好。難道這個(gè)結(jié)果不等同于多變量測(cè)試嗎？

答案是：不一定。因?yàn)榭赡苁沁@樣一種情況，最佳組合可能是：圖片×立即購(gòu)買(mǎi)，但是你并不會(huì)測(cè)試該版本。

使用多變量測(cè)試（而不是 A/B 測(cè)試）的主要優(yōu)點(diǎn)是：能夠確定頁(yè)面上的各種元素之間是如何交互的。只有通過(guò)測(cè)試各種變體的每一個(gè)組合，你不僅可以發(fā)現(xiàn)視覺(jué) A 的性能優(yōu)于視覺(jué) B，而且 C 按鈕的性能優(yōu)于按鈕 D，而且你還可以發(fā)現(xiàn)這些變體的最佳組合。

四、多變量測(cè)試（MVT）的局限性

每種變化組合產(chǎn)生的變體會(huì)像兔子一樣繁殖。即使在非常簡(jiǎn)單的電商示例中也有4種設(shè)計(jì)變化可供比較，它們對(duì)應(yīng)兩個(gè)2個(gè)變量之間的所有可能的組合。為操作變量（例如，購(gòu)買(mǎi)）添加另外1個(gè)變體可能會(huì)產(chǎn)生另外2個(gè)變化 ，這2個(gè)變化是通過(guò)將此變體與直觀表示變量的2個(gè)變體組合而生成的。 （一般來(lái)說(shuō)，變化的數(shù)量是將每個(gè)變量的變體數(shù)量相乘而獲得的，所以，如果你有2個(gè)變量，這兩個(gè)變量有3個(gè)變體，則會(huì)得到2×3=6個(gè)變化。）

有2個(gè)變量，每個(gè)變量都有2個(gè)變體，在多變量測(cè)試中就會(huì)有4個(gè)用以表示這些變體的所有可能組合的設(shè)計(jì)變化。

1. 在多變量測(cè)試中，需要測(cè)試的大量變化導(dǎo)致了該方法的最大局限性

與 A/B 測(cè)試相比，運(yùn)行多變量測(cè)試通常需要更多的流量，才能達(dá)到統(tǒng)計(jì)意義。這是因?yàn)樘砑拥奖容^中的每個(gè)變化都會(huì)導(dǎo)致實(shí)時(shí)流量被分成更小的部分，因此，為每個(gè)設(shè)計(jì)選項(xiàng)收集足夠的數(shù)據(jù)點(diǎn)也需要很長(zhǎng)的時(shí)間。（然而，請(qǐng)記住，運(yùn)行測(cè)試所需的時(shí)間不僅取決于總體流量，而且還取決于實(shí)驗(yàn)?zāi)繕?biāo)轉(zhuǎn)化率的預(yù)期變化，因?yàn)楦蟮母倪M(jìn)比微小的差別更容易衡量。）通常，在更多的變化中分割實(shí)時(shí)流量會(huì)導(dǎo)致測(cè)試時(shí)間過(guò)長(zhǎng)。

2. MVT（多變量測(cè)試）的另一個(gè)限制是，所有變體的組合必須在一起才有意義

例如，在頁(yè)面上測(cè)試一張圖片和一個(gè)標(biāo)題的變體時(shí)，請(qǐng)勿寫(xiě)出涉及圖片變體細(xì)節(jié)的標(biāo)題（例如「美妙的溫泉度假」與「美妙的海灘度假」以及相應(yīng)的照片）， 因?yàn)槊總€(gè)標(biāo)題都會(huì)在一個(gè)變更中同每張圖片進(jìn)行測(cè)試。 這種類(lèi)型的實(shí)驗(yàn)最好設(shè)置為 A/B 測(cè)試，這樣可以更好地控制組合。

使用多變量測(cè)試來(lái)優(yōu)化設(shè)計(jì)，而不是完全改變它。

多變量測(cè)試是對(duì)設(shè)計(jì)進(jìn)行漸進(jìn)式改進(jìn)的好方法，而不是對(duì)設(shè)計(jì)進(jìn)行大規(guī)模重新設(shè)計(jì)的好方法。 因?yàn)樗竽阕R(shí)別頁(yè)面上某些感興趣的元素，以測(cè)試該變量的多個(gè)變體，所以你無(wú)法輕易地比較各種變化中的根本變化。

對(duì)于主要的設(shè)計(jì)優(yōu)化，要在原始版本和提議的新版本之間運(yùn)行 A/B 測(cè)試以找出哪個(gè)更好。然后，使用多變量測(cè)試來(lái)優(yōu)化獲勝設(shè)計(jì)的各種元素，始終保持迭代！

五、啟示

如果你的目標(biāo)是進(jìn)行實(shí)質(zhì)性的重新設(shè)計(jì)（比如重新設(shè)計(jì)主要的布局），那么使用 A/B 測(cè)試來(lái)比較這個(gè)新設(shè)計(jì)和當(dāng)前的設(shè)計(jì)，會(huì)比 MVT （多變量測(cè)試）更合適。一旦發(fā)現(xiàn)性能更高的設(shè)計(jì)，就可以使用多變量測(cè)試來(lái)進(jìn)一步優(yōu)化獲勝布局中的特定元素。

歡迎關(guān)注譯者微信公眾號(hào)：「熊貓?jiān)O(shè)計(jì)院」

原文地址：《Multivariate vs. A/B Testing: Incremental vs. Radical Changes》?Aurora Harley

「優(yōu)化設(shè)計(jì)的用研方法」

• 《想驗(yàn)證你的設(shè)計(jì)？最簡(jiǎn)單最實(shí)用的A/B測(cè)試幫你搞定》
• 《用研丨超全面的移動(dòng)電商A/B測(cè)試入門(mén)指南》
• 《比A/B Test更高效！交互設(shè)計(jì)中的設(shè)計(jì)方案記分對(duì)比法》

================明星欄目推薦================

優(yōu)優(yōu)教程網(wǎng)： UiiiUiii.com 是優(yōu)設(shè)旗下優(yōu)質(zhì)中文教程網(wǎng)站，分享了大量PS、AE、AI、C4D等中文教程，為零基礎(chǔ)設(shè)計(jì)愛(ài)好者也準(zhǔn)備了貼心的知識(shí)樹(shù)專(zhuān)欄。開(kāi)啟免費(fèi)自學(xué)新篇章，按照我們的專(zhuān)欄一步步學(xué)習(xí)，一定可以迅速上手并制作出酷炫的視覺(jué)效果。

設(shè)計(jì)導(dǎo)航：國(guó)內(nèi)人氣最高的設(shè)計(jì)網(wǎng)址導(dǎo)航，設(shè)計(jì)師必備： http://hao.uisdc.com