火山引擎DataTester：A/B測試，讓企業(yè)擺脫廣告投放“亂燒錢(qián)”
“我曉得在告白上的投資有一半是無(wú)用的，但問(wèn)題是我不曉得是哪一半?！?/p>
——零售富翁約翰·沃納梅克
那句典范名言，被稱(chēng)為告白界的哥特巴赫料想，它道出了告白效果權衡的難點(diǎn)，同樣也擊中了無(wú)數告白主的痛點(diǎn)——企業(yè)有一半告白費都是被浪費掉的。
告白投放的效果良多時(shí)候常與形而上學(xué)畫(huà)上等號，但卻也是公域營(yíng)銷(xiāo)不成或缺的一環(huán)?？茖W(xué)的權衡告白的效果，適時(shí)做出戰略調整優(yōu)化轉化率，不斷既是業(yè)界的重點(diǎn)、熱點(diǎn)、難點(diǎn)。
若何讓企業(yè)在告白投放上的每1塊錢(qián)都花在刀刃上？火山引擎DataTester或答應以交出一份高分答卷。
DataTester是字節跳動(dòng)內部應用多年的A/B嘗試平臺，2020年通偏激山引擎面向外部企業(yè)開(kāi)放辦事。平臺自成立至今，承載了字節500余個(gè)營(yíng)業(yè)線(xiàn)的A/B嘗試使命，累計已開(kāi)展過(guò)150多萬(wàn)次嘗試。
告白嘗試是DataTester的一大特色才能之一。DataTester基于本身在因果揣度和統計科學(xué)方面的深入積淀，連系字節內部用戶(hù)增長(cháng)以及告白算法建立的諸多理論，摸索出了良多行之有效的告白效果權衡辦法和提拔戰略。
本文將分享DataTester在告白投放場(chǎng)景下的理論經(jīng)歷。
為什么A/B嘗試能提拔告白投放效率？
在互聯(lián)網(wǎng)時(shí)代，企業(yè)該若何做好告白營(yíng)銷(xiāo)，持續驅動(dòng)盈利增長(cháng)呢？
從對字節跳動(dòng)多年的營(yíng)業(yè)總結來(lái)看，理論給出的辦法論指向是：50%靠創(chuàng )意，50%靠營(yíng)銷(xiāo)科學(xué)。
在告白投放的場(chǎng)景下，一線(xiàn)告白優(yōu)化師凡是會(huì )創(chuàng )建多個(gè)方案，去測試差別的告白素材效果。那套辦法看似科學(xué)，現實(shí)上卻問(wèn)題多多：
告白方案過(guò)量，會(huì )對流量形成彼此擠壓爭搶?zhuān)髁繜o(wú)法均勻分配，就難以獲取科學(xué)的效果比照數據；
告白受寡沒(méi)有實(shí)現隔離，若是統一用戶(hù)能夠看到多組告白，則測試成果無(wú)法包管科學(xué)性；
告白方案過(guò)多，會(huì )搶占貴重的營(yíng)銷(xiāo)經(jīng)費配額，并浪費告白優(yōu)化師大量人力。
那些問(wèn)題招致告白投放時(shí)，企業(yè)浪費了大量的時(shí)間精神和金錢(qián)，也未必能得到科學(xué)量化的的有效結論。
圖源：視覺(jué)中國
而通過(guò)科學(xué)的A/B嘗試，能夠確保在告白投放中，實(shí)現精準的流量分配、受寡隔離，獲取最為科學(xué)的數據統計成果；與此同時(shí)，在多個(gè)告白方案創(chuàng )建的過(guò)程中，性能優(yōu)勝的A/B嘗試平臺可撐持計劃的智能化設置，節約大量人力。
告白計劃設想：可按照A/B嘗試的效果選出更佳計劃；
告白效果驗證：通過(guò)A/B嘗試能夠達成“快準穩”的效果檢測，讓斗膽立異、快速試錯成為可能；
告白問(wèn)題定位：通過(guò)A/B嘗試能夠快速定位投放效果欠安的問(wèn)題原因，制止低效而高貴的錯誤迭代。
總結來(lái)說(shuō)，科學(xué)的AB嘗試平臺，可以確保告白在計劃設想、人群選擇、渠道定位等每個(gè)決策環(huán)節，都能獲得正向的收益，從而在告白投放時(shí)，產(chǎn)生正向反應越滾越大的復利效應。
字節跳動(dòng)的告白優(yōu)化經(jīng)歷分享
字節跳動(dòng)副總裁、算法和數據手藝負責人楊震原曾在火山引擎A/B測試開(kāi)放日中講述過(guò)，“字節跳動(dòng)成立之初，今日頭條就在做戰略保舉類(lèi)的A/B測試。201*年正式成立了撐持大規模產(chǎn)物試驗的A/B測試平臺（DataTester），之后陸續接入抖音、西瓜視頻等全線(xiàn)營(yíng)業(yè)，把A/B測試應用在產(chǎn)物定名、交互設想、保舉算法、用戶(hù)增長(cháng)、告白優(yōu)化和市場(chǎng)活動(dòng)等方方面面的決策上?！?/p>
字節是一家有著(zhù)深摯A/B嘗試基因的公司，告白嘗試是DataTester全域營(yíng)銷(xiāo)場(chǎng)景下的重要一環(huán)。
針對企業(yè)在營(yíng)銷(xiāo)場(chǎng)景上的諸多痛點(diǎn)，如人工嘗試操做繁瑣，告白效果難度量、優(yōu)化無(wú)從下手；效果數據來(lái)源分離，人工闡發(fā)費時(shí)吃力；投放嚴峻依靠人工經(jīng)歷，一線(xiàn)優(yōu)化師通宵盯盤(pán)、精疲力盡...等等問(wèn)題，DataTester供給了全套的告白優(yōu)化處理計劃：
嘗試智能化調優(yōu)：基于業(yè)界一流統計學(xué)專(zhuān)家的算法模子，按照告白效果動(dòng)態(tài)分配流量，實(shí)現收益更大化；
打通前后鏈路數據：撐持支流告白渠道的監測才能，實(shí)現了后鏈路數據的打通，助力更科學(xué)的效果歸因；
打通人群數據：撐持與CDP人群辦理平臺深度打通，告白可實(shí)現基于用戶(hù)標簽和人群畫(huà)像的精準投放；
跨渠道告白投放才能：集成包羅巨量引擎在內的支流告白投放平臺，實(shí)現一站式告白素材創(chuàng )意辦理、批量告白創(chuàng )建投放、多渠道告白效果監測；
集成建站平臺：與多個(gè)建站東西深度合做，打造告白落地頁(yè)搭建和A/B嘗試創(chuàng )建的無(wú)縫體驗，大幅降低嘗試門(mén)檻。
點(diǎn)擊查看大圖：DataTester全域營(yíng)銷(xiāo)場(chǎng)景處理計劃
針對詳細差別的場(chǎng)景，DataTester供給了拆分比照嘗試、落地頁(yè)優(yōu)化嘗試等多種嘗試類(lèi)型，便利用戶(hù)愈加便利地基于嘗試停止迭代：
素材拆分比照嘗試：判別更有爆款潛力的告白素材
人群拆分比照嘗試：判別與產(chǎn)物告白更婚配的人群
增效度量嘗試：通過(guò)人群分流+問(wèn)卷投放兩種形式連系，評估品宣效果
H5落地頁(yè)優(yōu)化嘗試：判別營(yíng)銷(xiāo)頁(yè)面轉化效率
DataTester告白嘗試的幾種細分類(lèi)型
DataTester 告白嘗試的特色優(yōu)勢
基于10年的手藝經(jīng)歷打磨，DataTester A/B嘗試平臺已經(jīng)做得極為易用，告白投放嘗試撐持通過(guò)可視化的手動(dòng)拖拽等形式，自主編纂嘗試版本，并獲取數據陳述。
沒(méi)有研發(fā)團隊的企業(yè)，以及沒(méi)有代碼經(jīng)歷的告白闡發(fā)師，也能夠快速上手利用。
告白嘗試做為DataTester在全域營(yíng)銷(xiāo)場(chǎng)景的重要處理計劃之一，也打磨出了一些獨具優(yōu)勢的核心才能。
爆款告白智能創(chuàng )做才能
“爆款素材稀缺”、“起量難”是告白主最常見(jiàn)的痛點(diǎn)。做為信息流告白的核心——素材的優(yōu)良水平，是決定告白能否起量的關(guān)鍵。
近年來(lái)創(chuàng )意素材的消費數量發(fā)作性增長(cháng)，在巨量引擎平臺中，每天新增的視頻告白創(chuàng )意素材有70萬(wàn)條，還不包羅平臺上的存量素材數量。
DataTester與火山引擎的智能創(chuàng )做云合做打通，可供給10余款簡(jiǎn)單易用的創(chuàng )做東西，無(wú)需人工剪輯，智能批量化生成各類(lèi)具有“爆款基因”的告白素材。用戶(hù)不需要有各類(lèi)專(zhuān)業(yè)軟件的利用才能，即可創(chuàng )建告白素材并開(kāi)啟A/B嘗試。
分流手藝深度交融告白算法
跟著(zhù)數據驅動(dòng)科學(xué)增長(cháng)的理念在國內漸火，市道上聲稱(chēng)能“幫忙告白主對告白投放停止算法優(yōu)化”的三方辦事商越來(lái)越多，此中不乏聲稱(chēng)可以停止A/B嘗試的廠(chǎng)商。
然而，基于A(yíng)/B嘗試的根本原理，實(shí)正科學(xué)可信的A/B嘗試離不開(kāi)對流量的精準控造和科學(xué)分流。但當今支流大型告白平臺，因為在告白保舉算法中嵌入嘗試分流的手藝復雜性，很少可以做到向三方供給完整的分流才能。
因而，市道上大都三方辦事商供給的所謂告白投放A/B嘗試才能，更可能是徒有其表，噱頭成分偏多，其數據誤差之大其實(shí)不足以支持得出可信的嘗試結論。
如圖為極度簡(jiǎn)化版的告白平臺分發(fā)流程，大型告白平臺的現實(shí)流程會(huì )復雜得多。
火山引擎DataTester基于字節跳動(dòng)在抖音、今日頭條等信息流產(chǎn)物中的多年理論經(jīng)歷，摸索出了良多行之有效的告白效果科學(xué)度量和提拔戰略，能夠完成面向大規模人群的精準分流。
人群隔離：DataTester可確保嘗試中的差別嘗試對象不會(huì )展現給統一用戶(hù)，一個(gè)用戶(hù)最多只能看到嘗試中的一個(gè)方案告白計劃；
合作公允：DataTester可為多種告白方案供給公允的合作情況，制止嘗試入彀劃彼此擠壓、搶量，讓每一個(gè)告白計劃都獲得同等量級的曝光時(shí)機；
陳述置信：在搜集到充沛的嘗試數據之后，DataTester將智能化生成闡發(fā)陳述，并確保數據具有統計效力，以切確披露在嘗試中獲勝的告白方案或素材。
告白頁(yè)搭建可無(wú)縫跟尾A/B嘗試
告白網(wǎng)站或落地頁(yè)轉化率，是會(huì )因為頁(yè)面上元素的細微不同，而產(chǎn)生龐大差距的。例如按鈕位置的交換、顏色的改動(dòng)、挨次的調整等，均能形成轉化率的增長(cháng)或降低。此時(shí)，A/B嘗試就是驗證更優(yōu)版本的科學(xué)東西。
DataTester已與橙子建站等多個(gè)告白落地頁(yè)建站平臺深度合做，在企業(yè)完成告白落地頁(yè)搭建后，即可無(wú)縫開(kāi)啟A/B嘗試，大幅降低嘗試創(chuàng )建門(mén)檻。
嘗試智能流量調優(yōu)才能
開(kāi)啟嘗試前，哪一個(gè)版本的計劃表示更好凡是未知。傳統的A/B嘗試平臺，依賴(lài)于統計顯著(zhù)性的典范假設查驗，為對照版本和嘗試版天職配等額流量，一般不允許在嘗試期間變動(dòng)每個(gè)子版本的流量。
因而此類(lèi)嘗試缺陷比力明顯 —— 即使已發(fā)現嘗試版本明顯優(yōu)于對照版本，嘗試期間還需要在對照版本上繼續破費時(shí)間流量，曲至整場(chǎng)嘗試完畢。
而DataTester除去供給上述“常規嘗試”才能外，也同時(shí)可供給“MAB嘗試”嘗試類(lèi)型選擇。
“MAB嘗試”是智能調優(yōu)嘗試，嘗試計劃能夠間接在線(xiàn)吉印通行，DataTester將按照實(shí)時(shí)數據反應，智能調理嘗試計劃的流量分配，給告白收益效果好的計劃傾斜更多的流量，幫忙企業(yè)收益更大化。
與傳統的A/B嘗試比擬，以下幾種場(chǎng)景適用MAB智能流量調優(yōu)嘗試：
促銷(xiāo)優(yōu)惠：此類(lèi)場(chǎng)景更存眷進(jìn)步轉化率。MAB智能?chē)L試在促銷(xiāo)期間，會(huì )將更多流量發(fā)送給效果較好的變體，而將較少流量發(fā)送給效果欠佳的變體，幫忙企業(yè)盡快拿到收益點(diǎn)；
推送戰略：推送案牘/題目為生命周期較為短暫的內容。固定的活動(dòng)期間后，會(huì )失去相關(guān)性。因而接納MAB智能?chē)L試，能夠使戰略更大程度地盡快闡揚效用；
落地頁(yè)優(yōu)化：同時(shí)上線(xiàn)幾種差別版本的落地頁(yè)計劃，實(shí)時(shí)優(yōu)化落地頁(yè)的點(diǎn)擊和轉化率。
結語(yǔ)
DataTester交融了字節跳動(dòng)了多年在營(yíng)業(yè)增長(cháng)、轉化、產(chǎn)物迭代，戰略?xún)?yōu)化，運營(yíng)提效等環(huán)節的增長(cháng)理念，是一款性能強大、利用便利的A/B嘗試產(chǎn)物。
在告白投放場(chǎng)景上，DataTester基于多年的打磨和迭代，可撐持告白從造做到投放，到最末效果搜集的全鏈路場(chǎng)景嘗試需求，并可以與字節系產(chǎn)物及平臺深度打通、彼此連系應用。
此外，DataTester也可以深度耦合保舉、搜刮、UI、產(chǎn)物功用等其他多種營(yíng)業(yè)場(chǎng)景需求，為營(yíng)業(yè)供給科學(xué)的決策根據。目前，火山引擎DataTester已經(jīng)辦事了美的、得到、凱叔講故事等在內的上百家標桿客戶(hù)，將成熟的 " 數據驅動(dòng)增長(cháng) " 經(jīng)歷賦能給各行業(yè)。
????點(diǎn)擊“閱讀原文”，免費試用火山引擎DataTester
