近日，火山引擎AB測試與智能優(yōu)化平臺DataTester，對其MAB(Multi-armed Bandit)功能進行了升級，以更好地滿足企業(yè)營銷決策的需求。MAB是一種通過不斷嘗試不同的選擇來找到最優(yōu)決策的算法，廣泛應用于營銷領域。DataTester的MAB功能已經在內部和外部得到了成功的驗證。此次升級后，該功能將更加符合業(yè)務使用場景，幫助企業(yè)更快地找到最佳的營銷策略。
在營銷活動中，落地頁是用戶點擊廣告后進入的頁面，是營銷活動的重要環(huán)節(jié)之一。MAB算法可以通過動態(tài)調整進入到各個落地頁的流量，從而提高轉化率和投資回報率。
DataTester的MAB功能在設計之初就考慮到了實際應用場景。如果活動的投放落地頁很多，同時活動周期比較短，需要快速引來更多的流量完成支付轉化，那么MAB是合適的。如果活動會持續(xù)較長時間，想先用流量測試落地頁方案，則選用傳統(tǒng)的AB實驗合適。
通過MAB算法，動態(tài)調整進入到各個落地頁的流量，轉化率高的落地頁將拿到更高的流量。因此，在最終整體收益上，會超越每個方案隨機分流量。這部分就是MAB動態(tài)調優(yōu)的超額收益。
在正式開啟調優(yōu)之前，業(yè)務團隊需要完成流量方案的設計。明確目標需要明確營銷活動的目標，例如提高轉化率、提高用戶留存率、提高下單率等;設計實驗在確定策略后，就可以具體設計不同的落地頁版本，測試不同策略的效果。
在火山引擎DataTester產品中，針對落地頁可選擇的調優(yōu)場景為「可視化優(yōu)化」和「多鏈接調優(yōu)」兩種場景，如果落地頁變化內容較少、研發(fā)資源緊張，「可視化優(yōu)化」可以快速生成不同的落地頁版本測試;如果已經有設計好的落地頁，那么可以使用「多鏈接調優(yōu)」。
MAB智能調優(yōu)實驗創(chuàng)建頁面
MAB智能調優(yōu)實驗的創(chuàng)建也非常簡單，根據(jù)實驗設計方案將基本的信息依次按照提示創(chuàng)建好后，就可以將不同的營銷落地頁的url輸入在不同的實驗版本中，調優(yōu)開始后，DataTester將會按照不同落地頁的轉化，動態(tài)調整流量。
MAB智能調優(yōu)實驗創(chuàng)建頁面
當調優(yōu)開始后之后會看到哪些數(shù)據(jù)呢?
常規(guī)實驗更關注的是優(yōu)勝組的選擇，而MAB實驗相更關注的是，整個實驗期間整體核心指標達到最優(yōu)，所以實驗報告首先會關注整體收益的情況。比如落地頁的核心調優(yōu)指標為App的啟動轉化，那么報告中會呈現(xiàn)整個調優(yōu)過程中MAB相對于AB實驗，到底提高了多少收益。
智能調優(yōu)實驗整體收益提升折線圖
除整體收益提升外，企業(yè)通常還需要觀察一些明細數(shù)據(jù)。DataTester同時提供了核心指標明細表、核心指標明細圖和實驗流量分配圖，便于分析更多內容。比如下圖，核心指標絕對趨勢圖中，版本指標之間的大小關系對應到流量分配圖上的流量分配，該時刻核心指標越大的版本，會在流量分配圖上呈現(xiàn)越多的流量。
核心指標明細絕對趨勢圖
實驗流量分配趨勢圖
“核心指標明細絕對趨勢圖”顯示了不同實驗版本在各時間點的表現(xiàn)，有助于發(fā)現(xiàn)哪個版本在整體表現(xiàn)上更優(yōu)秀;“實驗流量分配趨勢圖”則展示了各版本在不同時間點的流量分配情況，這有助于了解哪些版本更受用戶歡迎。通過這些數(shù)據(jù)企業(yè)將可以更好地理解用戶需求和市場變化，從而制定更有效的營銷策略。
此次DataTester升級后的MAB功能，將為企業(yè)營銷決策提供更強大的支持，幫助企業(yè)快速找到最佳的營銷策略，實現(xiàn)更高的投資回報率。
據(jù)了解，火山引擎DataTester源自字節(jié)跳動AB實驗的長期沉淀，2023年中數(shù)據(jù)顯示，字節(jié)已通過DataTester累計做過240萬余次AB實驗，日新增實驗 4000余個，同時運行實驗5萬余個。DataTester目前服務了包括美的、得到、博西家電、凱叔講故事等在內的上百家企業(yè)，為業(yè)務的用戶增長、轉化、產品迭代、運營活動等各個環(huán)節(jié)提供科學的決策依據(jù)，將成熟的“數(shù)據(jù)驅動增長”經驗賦能給各行業(yè)。
