不適合做AB實(shí)驗的場(chǎng)景下，如何做出有品質(zhì)的產(chǎn)品決策？

雖然AB實(shí)驗是一種很直接、公正又簡(jiǎn)單的產(chǎn)品驗證方式，但在現實(shí)中無(wú)法做A/B Test的情況又蠻常見(jiàn)，這種情況下該如何做出合理的產(chǎn)品決策呢？本文作者整理了一些AB實(shí)驗之外的產(chǎn)品驗證方法或流程，希望能給你帶來(lái)一些幫助。

雖然AB實(shí)驗是一種很直接、公正又簡(jiǎn)單的產(chǎn)品驗證方式，能夠協(xié)助 PM 們通過(guò)數據進(jìn)行決策，但在現實(shí)中其實(shí)「無(wú)法做 A/B Test」的情況又蠻常見(jiàn)，在這些情況下我們該怎么依然有憑有據的做出合理產(chǎn)品決策呢？

我整理了一些AB實(shí)驗以外的產(chǎn)品驗證方法或流程，希望能幫助大家通過(guò)數據決策。

01 哪些狀況不適合AB實(shí)驗？遇到這些狀況該怎么辦？

除了公司沒(méi)資源沒(méi)有實(shí)驗架構、老板不給時(shí)間這些原因以外，這四種情況也不太適合做AB實(shí)驗，以下隨場(chǎng)景附上推薦的解決方案：

狀況一：流量太低

當產(chǎn)品每天只有千位甚至百位活躍用戶(hù)，A/B Test 分組下去一組只剩幾百甚至幾十人，這樣的情況通常不適合做那種改一點(diǎn)按鈕顏色、改一點(diǎn)文字翻譯的小步快跑 A/B Test，因為如同大家所知，樣本太少時(shí)并不容易達成統計上的顯著(zhù)。

推薦方法：定性研究為根基的「大步跑」

一個(gè) A/B Test 若樣本數多、產(chǎn)品改動(dòng)的影響大、時(shí)間跑得長(cháng)，就越容易達成統計上顯著(zhù)。所以其實(shí)低流量也不是什么問(wèn)題，只是那些線(xiàn)上樣本計算機會(huì )跟你說(shuō)「你的實(shí)驗只要跑 5487 天就會(huì )有顯著(zhù)結果哦！」。

現實(shí)中我們當然不可能乖乖等 5487 天，通常都希望在幾周內可以看到結果，才好做下一步的產(chǎn)品規劃，所以這個(gè)時(shí)候我們可以盡量把產(chǎn)品改動(dòng)的規模擴大做大，放棄小步快跑來(lái)個(gè)大步跑，若帶來(lái)的影響夠大，自然也會(huì )更容易達成統計上的顯著(zhù)。你可以試試這樣做：

Step 1：為了降低大改帶來(lái)的風(fēng)險，執行扎實(shí)徹底的用戶(hù)研究。

Step 2：規劃大改動(dòng)（例如整頁(yè)信息架構調整，前后流程調整等等）。

Step 3：改動(dòng)上線(xiàn)后通過(guò)其他反饋工具來(lái)做驗證，例如使用 NPS 工具，在產(chǎn)品內嵌入簡(jiǎn)單的問(wèn)卷表單，與客服協(xié)作獲得反饋等。還是可以試著(zhù)跑跑看 A/B Test，如果效果不錯影響面夠大也是可以獲得統計上顯著(zhù)的。

Step 4：若還是想得到量化信息，可以考慮在未來(lái)產(chǎn)品流量提升之后，進(jìn)行 Blackout Experiment 來(lái)觀(guān)測。所謂 Blackout，就是將某個(gè)已上線(xiàn)的改動(dòng)或功能在實(shí)驗中暫時(shí)關(guān)掉，看看這些改動(dòng)或功能是否真的有影響。

除了這種「扎實(shí)版大步跑」以外也有一些其他方法手段，我會(huì )在下一大段落中一并分享其他在低流量產(chǎn)品身上也能使用的產(chǎn)品實(shí)驗設計方法，有興趣的朋友可以滑動(dòng)到底下閱讀。

狀況二：ToB 產(chǎn)品

當你的產(chǎn)品用戶(hù)非一般消費者、而是天天要用你的產(chǎn)品工作的「專(zhuān)業(yè)使用者」或企業(yè)，比如說(shuō)用 POS 系統點(diǎn)餐的餐廳店員、用飯店管理工具后臺確認訂房付款狀況的飯店柜臺等等，他們已經(jīng)習慣按鈕顏色、位置、功能，需要一致的體驗，可能也經(jīng)不起你三天一小改五天一大改、無(wú)法預期的產(chǎn)品實(shí)驗。

推薦方法：利用 Beta program 進(jìn)行快速回饋與溝通

可以試著(zhù)和幾個(gè)關(guān)鍵用戶(hù)討論看看他們是否愿意加入「新功能搶先用的」 Beta program，以他們?yōu)橹饕脩?hù)研究對象、訪(fǎng)談、規劃與開(kāi)發(fā)產(chǎn)品，開(kāi)發(fā)后的新功能與改動(dòng)再先利用 Beta program 上線(xiàn)，以獲取早期回饋。

等到這些功能與改動(dòng)比較成熟穩定，再開(kāi)始對其他用戶(hù)做中大型規模的 A/B Test 來(lái)做最后的驗證。這樣的話(huà)就可以降低對用戶(hù)的干擾程度，也較好對 Beta program 用戶(hù)們做預期管理。

狀況三：新產(chǎn)品

新產(chǎn)品除了跟流量低的產(chǎn)品有相同問(wèn)題以外，相較于成熟產(chǎn)品，MVP 和理想的商業(yè)模式通常差比較遠，產(chǎn)品本身體驗和用戶(hù)真正的需求落差也可能更大，在這個(gè)時(shí)候若還堅持每次只改動(dòng)一個(gè)變量、慢慢用 A/B Test 當成唯一驗證手段，或許也不是最有效率的方式。

推薦方法：定性研究與規律用戶(hù)測試為王

在新產(chǎn)品的階段，基本上和狀況一的低流量一樣，需要更多市場(chǎng)研究、用戶(hù)研究、競品研究等信息來(lái)提供洞見(jiàn)，以及通過(guò)反饋工具與客服狀況來(lái)了解上線(xiàn)后的效果。

尤其在 MVP 開(kāi)發(fā)階段，由于產(chǎn)品根本還沒(méi)上線(xiàn)也毫無(wú) A/B Test 的可能性，建議安排規律的（每個(gè)月或甚至每周）User Testing，利用手邊的原型去獲得早期回饋再來(lái)做產(chǎn)品調整，就不用等到上線(xiàn)之后才崩潰的發(fā)現都做得不對。

另外以早期產(chǎn)品來(lái)說(shuō)，除了易用性與功能，也建議要持續驗證整個(gè)產(chǎn)品的商業(yè)模式，打好基礎，同時(shí)收集能夠應用在未來(lái)產(chǎn)品路途上的信息。

狀況四：難以測量的體驗或易用性提升

在大部分情況下，提升易用性、增加便利性還是可以被測量的，但我之前曾遇過(guò)一個(gè)我真的不知如何測量的狀況：我們想改善照片編輯 App 的操作手勢，我和設計師在長(cháng)按、雙點(diǎn)擊、一長(cháng)一短點(diǎn)擊這種常見(jiàn)手勢該搭配什么對應功能之間糾結，長(cháng)按該把照片往底部推？還是編輯照片？還是拉到最上層？這個(gè)其實(shí)我到現在還沒(méi)想到可以跑 A/B Test 的方法（有想法的朋友歡迎跟我分享），因為這件事的驗證牽涉到用戶(hù)手勢意圖，是數據很難告訴我們的信息。

推薦方法：大樣本定性研究

一般的用戶(hù)研究會(huì )測試五位用戶(hù)左右，因為根據研究計算，只要測試五位用戶(hù)就可以看出行為模式、涵蓋大部分的痛點(diǎn)。這里我所謂的大樣本是指比平常用戶(hù)研究數量還多兩三倍的d研究，之前的經(jīng)驗是我們從咖啡廳、路上、辦公室等地對 10–20 位用戶(hù)做了易用性測試，確實(shí)記錄每個(gè)動(dòng)作、手勢、使用流程與背后的動(dòng)機和意圖，再畫(huà)成表格比較優(yōu)缺點(diǎn)。

在做這件事情的時(shí)候一定要很小心，確保：

受測者涵蓋你的目標用戶(hù)區隔

詢(xún)問(wèn)的方式不帶引導性

詳細記錄比較用戶(hù)的意圖以獲得最公正的信息。

02 六招低流量產(chǎn)品也適用的產(chǎn)品實(shí)驗設計方法

如果你的產(chǎn)品整體其實(shí)有些流量，但你只負責一部分的產(chǎn)品或注重某個(gè)國家或區域，這里提供六個(gè)步驟幫助你設計一個(gè)「測得出結果」的 A/B Test：

1. 找流量

哪里有流量就往哪里實(shí)驗！可以合并不同的用戶(hù)區隔增加樣本數，或者選擇在產(chǎn)品流量較大的頁(yè)面做實(shí)驗。（以電商為例，可以盡量在流量較多的如落地頁(yè)、搜索結果頁(yè)驗證你的產(chǎn)品假設，避開(kāi)那些結算流程的末端）

2. 將統計功效（Statistical Power）納入優(yōu)先級的考量

在排優(yōu)先級時(shí)，選擇樣本數多、Base conversion 低、預估影響力大這些「能夠被 A/B Test 驗證的」功能?？梢岳镁€(xiàn)上的統計樣本計算機，先設定自己「最多可以接受實(shí)驗跑多久」的目標再反過(guò)來(lái)計算需要的樣本數。記得在做這件事情之前，要先向伙伴說(shuō)明為何實(shí)驗很重要、為何統計顯著(zhù)很重要等等，讓團隊都可以理解排序背后的意義。

3. 以創(chuàng )造更大效益為目標擴大改動(dòng)規模

停止那些改一點(diǎn)按鈕顏色、改一點(diǎn)文字翻譯的小步快跑 A/B Test，以創(chuàng )造更大效益為目標，花時(shí)間去研究怎么開(kāi)發(fā)中大型但有意義的改動(dòng)。但同樣的這個(gè)做法風(fēng)險也比較高，記得搭配扎實(shí)的事前準備與研究來(lái)使用。

4. 把時(shí)間和資源移到開(kāi)發(fā)前的研究與早期驗證

既然數據還無(wú)法提供證據，那就用定性研究與反饋來(lái)了解用戶(hù)行為與動(dòng)機，這些洞見(jiàn)同時(shí)也可以成為產(chǎn)品長(cháng)大后很好的實(shí)驗素材。

5. 延長(cháng)實(shí)驗時(shí)間

如果可以接受，也可以將實(shí)驗時(shí)間設定比較長(cháng)，一樣可以用上面提過(guò)的樣本計算機得出合理 Runtime。但記得跑多久這件事一定要在實(shí)驗開(kāi)跑前就規劃好，一旦確定，就算提早看到成效也不要把實(shí)驗提早結束，也不要為了看到結果就無(wú)限延長(cháng)，因為那都很有可能是錯誤的結果。

6. 重新思考目標指標

如果 A/B Test 中的主指標一直不見(jiàn)效，有可能是因為指標本身很難撼動(dòng)，可以試著(zhù)找找其他較容易觀(guān)察成效的先行指標。但這件事情跟方法五一樣，也最好在實(shí)驗前就先規劃好，不然如果只是到處翻找顯著(zhù)改善的數據指標，一樣很有可能是錯誤的。

03 結語(yǔ)

其實(shí)在不能做 A/B Test 的情況下，許多的替代方案都是結合定性研究、反饋收集來(lái)獲得決策需要的「證據」。

一個(gè)有品質(zhì)的產(chǎn)品決策，最重要的就是有清晰的脈絡(luò )與有說(shuō)服力的原因來(lái)告訴你的團隊、你的主管和你的用戶(hù)「為什么」這是個(gè)正確的決定，而這些原因都必須要被某種公正證據支撐著(zhù)。PM 或設計師所要做的，其實(shí)也就是因應不同狀況、找到對的工具、收集足夠的信息來(lái)做合理決策。

就說(shuō)這么多。

作者：駱齊；*：產(chǎn)品經(jīng)理駱齊

本文由 @產(chǎn)品經(jīng)理駱齊 原創(chuàng )發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉載。

題圖來(lái)自Unsplash，基于CC0協(xié)議。