问「留存为什么掉了」,通用助手会把所有可能原因列一遍。真正有用的是先查哪个——口径没验就去猜产品,全是白费。
你说「我觉得是渠道问题」,它就顺着往下分析。没人告诉你样本量不够、相关不是因果、这个结论不成立。
你贴一份数据让它分析,缺的部分它会用常识填。在要拿去汇报的结论里,这比不回答更危险。
你只跟主办说话。工序在页边干活,各自有固定的交付格式——他们互相不聊天,只对主办负责。
我们 App 上个月次日留存从 38% 掉到 31%,产品没发版,投放预算也没变。可能是什么原因?
现在不能直接归因。「没发版、预算没变」只排除了两个表面变量。先核对口径排除假跌,再拆到每日 cohort 看是突变还是渐变,然后拆人群与来源——最后才轮到产品因素。
工序回来了:总预算没变,但低留存渠道占比上升了——每个渠道内部都没恶化,整体却掉了。
专业的差别不在知道多少,在知道先看哪个、什么时候该停下来说「这个结论不成立」。
这个 A/B 每组 3000 人、差异 0.6 个百分点,还不足以支撑上全量的决定。要么再跑够样本,要么承认这次没测出来。
每份结论底下都留着这样的缺口。宁可交一份有洞的东西,也不给你一份看起来完整、其实有一块是猜的。拿去汇报的结论,知道哪里不知道,比多知道一点更重要。