如何在营销组织里试点 AI:挑一条定义良好的工作流、点名一位负责人、记录一条基线、并在任何东西运行之前商定决策规则。一次试点不是一次展示;它是一个被设计来产出一个决定的测试。如果你无法提前说出什么结果会让你停,你就不是在跑试点,你是在跑一次多了几步的演示。
大多数停滞的 AI 项目之所以停滞,是因为它们跳过了这一步。它们从兴趣直接到推广,或从兴趣到一个其实是伪装成试点的上市。试点是一个组织挣得规模化权利的地方,而它只有在被设计成可以失败时才管用。
为什么大多数试点失败
常见的失败是一个建来成功的试点。工作流因为容易而被选中,范围蔓延到触及一切,而成功是事后被定义为「团队喜欢它」。没人写下什么会算作失败,所以没有一个算。试点以掌声结束、没有任何可迁移的结论。
第二个失败是相反的:一个对冲得太多的试点,什么都测不了。它用合成数据、跑在一个没人在乎的副项目上、由对结果没有利害关系的人审阅。它无法失败,也无法教你任何东西,这使它浪费了试点唯一的用途。
挑一条工作流
挑一条窄、重复、可衡量的工作流,有清楚的开始和结束、以及一个已经感受到痛点的团队。好的候选是初稿创意生产、报告拼装或活动本地化这类。坏的候选是任何依赖十个其他团队、没有基线、或其实是一个披着任务外衣的战略问题的东西。
测试是你能否把这条工作流描述成一个输入、一个过程、一个输出。如果能,它可以被试点。如果不能,它需要先被设计、不是被试点。从最难、最含糊的工作流开始,是结论「AI 没用」最快的路径,而真正的问题是那个目标。
记录一条基线
一次没有基线的试点什么都证明不了,因为没有可对照的东西。在 AI 工作流运行之前,捕获少数几件要紧的事的当前数字:周期时间、资深审阅时间、错误或返修率、以及这条工作流所喂的业务结果。这是如何衡量 AI 营销影响里铺开的纪律,而它必须发生在试点之前、不是之后。
基线不需要完美;它需要存在。上礼拜记录的一个粗略数字,胜过下季度从记忆里重建的一个精确数字。如果你没有基线、也没时间建一个,把旧工作流再跑两个周期并记录它。那个延迟比一次没人能辩护其结果的试点更便宜。
在开始之前决定规则
在第一次运行之前写下决策规则:什么结果扩展试点、什么结果改变它、什么结果停止它。例如,如果周期时间降五分之一而没有错误率上升就扩展;如果速度改进但质量下降就改变;如果两者都不动就停止。具体的数字没有你在仍无偏见时承诺它们重要。
这是团队因为觉得官僚而跳过的步骤。它是让试点诚实的步骤。一旦你跑了工作流、看到一个结果,每种解读都变得自利;唯一的辩护是在你还不知道答案时写下的一条规则。
让人留在环里
一个完全移除人的试点测错了东西。你想学的是:一条 AI 辅助的工作流能否在每单位资深时间上产出更好的输出,而那需要一个你能衡量的审阅步骤。追踪人多常改变产出、以及审阅花多少时间,因为审阅步骤是 AI 原生工作流真实成本所在。
试点也应该给操盘手的判断留空间。如果工作流强制一条死板的路,你学到的是那条路是否管用,不是团队能否用更好的工具做更多。给试点留被改编的空间,并记录那些改编——它们是你所规模化的运营模式的种子。
在一页上设计试点
把试点设计保持短到每个人都能持有。下面的表是运行任何东西之前要做的决定的最小集合。
| 决定 | 写什么 |
|---|---|
| 工作流 | 唯一一个被测的输入-输出工作 |
| 负责人 | 一个点名的人,不是一个委员会 |
| 范围 | 谁在内、谁在外、什么被排除 |
| 基线 | 周期时间、审阅时间、错误率、结果 |
| 决策规则 | 扩展、改变或停止的结果 |
| 时长 | 测试的一个固定结束日期 |
如果你填不了这张表,试点没准备好。填它花一小时、省一个季度。
跑小一点,然后决定
用一个小团队在真实工作上跑试点,一个固定周期——四到八周通常足够看出工作流是否移动。让决策规则保持可见,每周复盘数字,并抵制在试点中途扩大范围的冲动。要点是学一件干净的事,不是一次修好一切。
结束时,做你写下的决定。如果它扩展,试点变成一个背后有真实基线的推广。如果它改变,你现在知道哪一部分失败了,那比一个含糊的成功更有价值。如果它停止,你为组织省了一年,并挣得了试下一个试点的可信度——诚实的失败是可得到的最便宜的结果。
治理是试点的一部分
即便一个小试点也需要一条数据边界和一个审阅步骤,所以在第一次运行之前商定它们,而不是中途发现它们。这是政策与治理工作中较轻的一端,而一个试点是测试你实际需要哪些控制的好地方。在这里被证明必要的控制,是值得规模化的;那些加摩擦却不抓任何东西的,可以去掉。
让试点的结果可迁移
一个教给一个团队某样没人能用的东西的试点,只成功了一半。从一开始就以一种能旅行的形式捕获你学到的东西:工作流最终的样子、管用的 prompt 和模板、你发现的失败模式、以及你做的决定。把试点的产出当作两样东西——一个决定和一个可复用的套件。
那个套件是把试点变成推广的东西。下一个团队不从零开始;它从一个能用的设计开始、并把它改编到自己的工作。套件只有在下一个团队能找到并读它时才管用,这就是为什么一个记忆层和工作流本身一样重要——我在没有记忆的 AI 只是一个昂贵的聊天机器人里指出的那点。这也是一个卓越中心(如果你有一个)挣得自己位置的地方,它持有套件和让它可用的标准。一次没有可迁移产出的试点,是一个必须被重复的实验,而那是最贵的一种。
试点的一个反指标
光速度会奉承几乎任何试点,所以把它配一个抓住隐藏成本的反指标。追踪人多常改变产出、审阅花多久、以及错误或返工率是否移动。一条把起草时间减半却把审阅时间翻倍的工作流,什么都没省;它把工作移给了一个更贵的人。诚实的衡量是每单位资深时间的输出、质量守住,而看到它的唯一方式是把审阅步骤和生产步骤一样仔细地记录。如果试点改进了标题数字、却恶化了反指标,你就找到了推广必须回答的真正问题。
FAQ
一次试点该跑多久?
在一个窄工作流上四到八周,通常足够看出周期时间和质量是否移动。更短,数字是噪声;更长,你在跑一次没决定要做的推广。在开始时就选好结束日期。
如果我们没有基线呢?
在开始之前把当前工作流再跑两个周期并记录数字。它感觉像延迟,但没有基线的试点产出你无法辩护的结果,那比等两周更糟。
谁该在试点里?
一个小团队,已经做这份工作、感受到痛点,加上会做决定的负责人。让领导者知情、而非嵌入;他们的存在改变行为、混淆结果。试点应该反映真实工作,不是一场为管理层的演出。
最好的第一个工作流是什么?
最重复、定义最好、最痛的那个。报告拼装、初稿生产、本地化是常见的好开始。避开任何需要十个团队对齐的东西,因为你会把试点花在协调上、而不是学习上。
简短版
通过测试一条工作流、带一位点名的负责人、一条基线、以及一条事先商定的决策规则来试点 AI。在真实工作上跑小一点,让人留在环里,做你写下的决定。执行指南展示试点在更宽工作流里的位置,面向团队负责人的车道把试点以及它导向的运营模式贯穿来做。
如果你跑过一次这样的,我想听听你的决策规则是什么——以及你是否真的遵循了它。
祝好, Chandler
本文提供简体中文版本。课程材料(视频、模板和配套指南)以英语和日语提供。本网站提供13种语言版本。