跳到正文
Chandler Nguyen
AI閱讀時間1分鐘

點樣喺 marketing 組織入面 pilot AI

一次 pilot,係對一條 workflow、帶一位點名嘅 owner、一條 baseline、以及一條喺開始前就 商定嘅決策規則,做一次有期限嘅測試。產出係一個決定——擴展、改變或停止——唔係一次 demo。 Pilot 喺你將佢建嚟俾人睇、而唔係用嚟決定嗰陣會失敗。

點樣喺 marketing 組織入面 pilot AI:揀一條定義良好嘅 workflow、點名一位 owner、記錄一條 baseline、並喺任何嘢運行之前商定決策規則。一次 pilot 唔係一次展示;佢係一個被設計嚟產出一個決定嘅測試。如果你無法提前講出咩結果會讓你停,你就唔係喺度跑 pilot,你係喺度跑一次多咗幾步嘅 demo。

大部分停滯嘅 AI project 之所以停滯,係因為佢哋跳過咗呢一步。佢哋由興趣直接到 rollout,或者由興趣到一個其實係偽裝成 pilot 嘅上市。Pilot 係一個組織賺得規模化權利嘅地方,而佢只有喺設計成可以失敗嗰陣先管用。

點解大部分 pilot 失敗

常見嘅失敗係一個建嚟成功嘅 pilot。條 workflow 因為容易而俾人揀,範圍蔓延到掂到一切,而成功係事後俾人定義為「團隊鍾意佢」。冇人寫低咩會算作失敗,所以冇一個算。Pilot 以掌聲結束、冇任何可遷移嘅結論。

第二個失敗係相反嘅:一個對沖得太多嘅 pilot,咩都測唔到。佢用合成數據、跑喺一個冇人在乎嘅副 project 上、由對結果冇利害關係嘅人 review。佢無法失敗,亦都教你唔到任何嘢,噉令佢嘥咗 pilot 唯一嘅用途。

揀一條 workflow

揀一條窄、重複、可 measure 嘅 workflow,有清楚嘅開始同結束、以及一個已經感受到痛點嘅團隊。好嘅候選係初稿 creative production、reporting 拼裝或 campaign localization 嗰類。壞嘅候選係任何依賴十個其他團隊、冇 baseline、或者其實係一個著住 task 外衣嘅策略問題嘅嘢。

個測試係你能否將條 workflow 描述成一個輸入、一個過程、一個輸出。如果得,佢可以被 pilot。如果唔得,佢需要先被設計、唔係被 pilot。由最難、最含糊嘅 workflow 開始,係結論「AI 冇用」最快嘅路徑,而真正嘅問題係嗰個目標。

記錄一條 baseline

一次冇 baseline 嘅 pilot 咩都證明唔到,因為冇可對照嘅嘢。喺 AI workflow 運行之前,捕捉少數幾件要緊嘅事嘅當前數字:cycle time、senior review 時間、錯誤或返修率、以及條 workflow 所餵嘅業務結果。呢個係點樣 measure AI marketing impact入面鋪開嘅紀律,而佢一定要發生喺 pilot 之前、唔係之後。

Baseline 唔需要完美;佢需要存在。上個禮拜記錄嘅一個粗略數字,勝過下季由記憶度重建嘅一個精確數字。如果你冇 baseline、又冇時間建一個,將舊 workflow 再跑兩個週期並記錄佢。嗰個延遲比一次冇人辯護得到佢結果嘅 pilot 更平。

喺開始之前決定規則

喺第一次運行之前寫低決策規則:咩結果擴展個 pilot、咩結果改變佢、咩結果停止佢。例如,如果 cycle time 跌五分一而冇錯誤率上升就擴展;如果速度改進但質素下降就改變;如果兩者都唔郁就停止。具體嘅數字冇你喺仍然冇偏見時承諾佢哋咁重要。

呢個係團隊因為覺得官僚而跳過嘅步驟。佢係令個 pilot 誠實嘅步驟。一旦你跑咗條 workflow、睇到一個結果,每種解讀都變得自利;唯一嘅辯護係喺你仲未知答案時寫低嘅一條規則。

令「人」留喺環入面

一個完全移除人嘅 pilot 測錯咗嘢。你想學嘅係:一條 AI 輔助嘅 workflow 能唔能夠喺每單位 senior 時間上產出更好嘅輸出,而噉需要一個你 measure 得到嘅 review 步驟。追蹤個人幾常改變個產出、以及 review 花幾多時間,因為 review 步驟係 AI 原生 workflow 真實成本所在。

Pilot 亦都應該俾 operator 嘅判斷留空間。如果條 workflow 強制一條死板嘅路,你學到嘅係嗰條路管唔管用,唔係團隊能唔能夠用更好嘅工具做更多。俾個 pilot 留俾人改編嘅空間,並記錄嗰啲改編——佢哋係你所規模化嘅 operating model 嘅種子。

喺一頁上設計個 pilot

將個 pilot 設計保持短到每個人都揸得住。下面張表係運行任何嘢之前要做嘅決定嘅最細集合。

決定寫咩
Workflow唯一一個被測嘅輸入-輸出工作
Owner一個點名嘅人,唔係一個委員會
範圍邊個在內、邊個在外、咩俾人排除
BaselineCycle time、review 時間、錯誤率、結果
決策規則擴展、改變或停止嘅結果
時長測試嘅一個固定結束日期

如果你填唔到呢張表,個 pilot 未準備好。填佢花一個鐘、慳一季。

跑細啲,然後決定

用一個細團隊喺真實工作上跑個 pilot,一個固定週期——四到八個禮拜通常足夠睇出條 workflow 郁唔郁。令決策規則保持可見,每週 review 啲數字,並抵制喺 pilot 中途擴大範圍嘅衝動。要點係學一件乾淨嘅事,唔係一次整好一切。

結束時,做你寫低嘅決定。如果佢擴展,個 pilot 變成一個背後有真實 baseline 嘅 rollout。如果佢改變,你而家知邊一部分失敗咗,噉比一個含糊嘅成功更有價值。如果佢停止,你為組織慳咗一年,並賺得咗試下一個 pilot 嘅可信度——誠實嘅失敗係可得到最平嘅結果。

Governance 係 pilot 嘅一部分

即便一個細 pilot 都需要一條數據邊界同一個 review 步驟,所以喺第一次運行之前商定佢哋,而唔係中途發現佢哋。呢個係政策同 governance工作中較輕嘅一端,而一個 pilot 係測試你實際需要邊啲控制嘅好地方。喺呢度被證明必要嘅控制,係值得規模化嘅;啲加摩擦卻捉唔到任何嘢嘅,可以去掉。

令 pilot 嘅結果可遷移

一個教到一個團隊某樣冇人用得到嘅嘢嘅 pilot,只成功咗一半。由一開始就以一種能旅行嘅形式捕捉你學到嘅嘢:條 workflow 最終嘅樣、管用嘅 prompt 同 template、你發現嘅失敗模式、以及你做嘅決定。將個 pilot 嘅產出當成兩樣嘢——一個決定同一個可複用嘅套件。

嗰個套件係將個 pilot 變成 rollout 嘅嘢。下一個團隊唔由零開始;佢由一個用得到嘅設計開始、並將佢改編到自己嘅工作。個套件只有喺下一個團隊搵得到同讀得到佢嗰陣先管用,呢個就係點解一個 memory layer 同 workflow 本身一樣重要——我喺冇 memory 嘅 AI 只係一個貴嘅 chatbot指出嗰點。呢個亦都係一個 centre of excellence(如果你有一個)賺得自己位置嘅地方,佢持有個套件同令佢可用嘅標準。一次冇可遷移產出嘅 pilot,係一個必須被重複嘅實驗,而嗰個係最貴嘅一種。

Pilot 嘅一個反指標

淨係速度會奉承幾乎任何 pilot,所以將佢配一個捉到隱藏成本嘅反指標。追蹤個人幾常改變個產出、review 花幾耐、以及錯誤或返工率有冇郁。一條將起草時間減半卻將 review 時間翻倍嘅 workflow,咩都冇慳;佢將份工作移咗俾一個更貴嘅人。誠實嘅衡量係每單位 senior 時間嘅輸出、質素守住,而睇到佢嘅唯一方式係將 review 步驟同 production 步驟一樣仔細咁記錄。如果個 pilot 改進咗標題數字、卻惡化咗反指標,你就搵到咗個 rollout 一定要答嘅真正問題。

FAQ

一次 pilot 該跑幾耐?

喺一條窄 workflow 上四到八個禮拜,通常足夠睇出 cycle time 同質素郁唔郁。更短,啲數字係雜訊;更長,你喺度跑一次冇決定要做嘅 rollout。喺開始時就揀好結束日期。

如果我哋冇 baseline 呢?

喺開始之前將當前 workflow 再跑兩個週期並記錄數字。佢感覺似延遲,但冇 baseline 嘅 pilot 產出你辯護唔到嘅結果,噉比等兩個禮拜更差。

邊個該喺 pilot 入面?

一個細團隊,已經做份工作、感受到痛點,加上會做決定嘅 owner。俾領導者知情、而非嵌入;佢哋嘅存在改變行為、混淆結果。個 pilot 應該反映真實工作,唔係一場為管理層嘅演出。

最好嘅第一個 workflow 係咩?

最重複、定義最好、最痛嗰個。Reporting 拼裝、初稿 production、localization 係常見嘅好開始。避開任何需要十個團隊對齊嘅嘢,因為你會將個 pilot 花喺協調上、而唔係學習上。

短版

通過測試一條 workflow、帶一位點名嘅 owner、一條 baseline、以及一條事先商定嘅決策規則嚟 pilot AI。喺真實工作上跑細啲,令「人」留喺環入面,做你寫低嘅決定。Execution 指南展示個 pilot 喺更寬 workflow 度嘅位置,面向 team lead 嘅 lane將個 pilot 以及佢所導向嘅 operating model 貫穿嚟做。

如果你跑過一次噉嘅,我好想聽下你嘅決策規則係咩——以及你有冇真係跟佢。

Cheers, Chandler


本文提供繁體中文(香港)版本。課程材料(影片、template同配套指南)以英語同日語提供。本網站提供13種語言版本。