选择小范围试验的核心,是先确定一个可隔离的变量,再选一个能够独立衡量结果的市场或渠道,最后用预先设定的判断标准决定是否扩大。不要同时改素材、受众、出价和落地页,否则即使数据变化也无法知道原因。
假设你准备在某个海外市场推广一款工具类应用,手里有两版视频素材:A版强调省时间,B版强调省钱。你想知道哪一版更值得放大投放。这里的试验对象是素材,不是整个推广计划。
可以按下面的步骤执行:
小范围不等于随便选一个小地方。它需要满足三个条件:能独立投放、能独立统计、结果能代表你下一步想扩大的范围。
如果两个方案分别投在两个语言不同的市场,安装成本差异可能来自市场本身,而不是方案本身。这时比较依据就不成立。
常见错误有四个。第一,样本量太小就下结论,例如每版只跑了很少的展示量。第二,观察时间不同,A版跑了一天,B版跑了三天。第三,中途改了出价或受众,导致前后不可比。第四,只看安装成本,忽略注册或付费等后续指标。
判断时可以先问:两个方案除了被比较的变量,还有没有其他差异?如果答案是“有”,这次试验只能作为参考,不能当作确定结论。
假设试验目标是比较两版素材,可以这样记录:
方案A:展示量、点击量、安装量、注册量、主要指标值
方案B:展示量、点击量、安装量、注册量、主要指标值
比较时先看展示量是否接近,再看主要指标差异是否稳定。如果A版在展示量接近的情况下,安装成本和注册完成率都更好,可以把A版作为下一步扩大的候选。如果两版差异很小,或者数据波动大,应延长观察或增加样本,而不是直接选一个。
先写下这次试验要比较的唯一变量、试验范围、主要指标和判断阈值,再开始投放。跑完后按同一张表对比,符合阈值就扩大,不符合就换变量重新设计一次小范围试验。