Cách thí điểm AI trong một tổ chức marketing: chọn một quy trình được định nghĩa rõ, gọi tên một chủ sở hữu, ghi lại một mốc cơ sở, và đồng ý quy tắc quyết định trước khi bất cứ thứ gì chạy. Một thí điểm không phải một buổi trình diễn; nó là một kiểm nghiệm được thiết kế để tạo ra một quyết định. Nếu bạn không nói trước được kết quả nào sẽ khiến bạn dừng, bạn không đang chạy một thí điểm, bạn đang chạy một buổi demo với thêm vài bước.
Hầu hết chương trình AI bị đình trệ là vì chúng bỏ qua bước này. Chúng đi từ quan tâm đến triển khai, hoặc từ quan tâm đến một thí điểm thực ra là một lần ra mắt trá hình. Thí điểm là nơi một tổ chức giành được quyền mở rộng, và nó chỉ hiệu quả nếu nó được thiết kế để có thể thất bại.
Vì sao hầu hết thí điểm thất bại
Cách hỏng phổ biến là một thí điểm được xây để thành công. Quy trình được chọn vì nó dễ, phạm vi leo thang cho đến khi nó chạm vào mọi thứ, và thành công được định nghĩa sau khi xong là "đội thích nó." Không ai viết ra cái gì sẽ tính là một thất bại, nên không có gì là thất bại. Thí điểm kết thúc bằng tràng vỗ tay và không có kết luận nào chuyển giao được.
Cách hỏng thứ hai là ngược lại: một thí điểm được phòng ngừa kỹ đến mức nó không kiểm nghiệm gì. Nó dùng dữ liệu tổng hợp, chạy trên một dự án phụ không ai quan tâm, và được duyệt bởi những người không có phần lợi trong kết quả. Nó không thể thất bại, và nó không dạy bạn được gì, điều khiến nó lãng phí đúng thứ duy nhất mà một thí điểm tồn tại vì.
Chọn một quy trình
Chọn một quy trình hẹp, lặp lại, và đo được, với một điểm bắt đầu và kết thúc rõ ràng và một đội vốn đã cảm nhận nỗi đau. Ứng viên tốt là những thứ như sản xuất creative nháp đầu tiên, lắp báo cáo, hoặc bản địa hóa chiến dịch. Ứng viên xấu là bất cứ thứ gì phụ thuộc vào mười đội khác, không có mốc cơ sở, hoặc thực ra là một câu hỏi chiến lược khoác áo một nhiệm vụ.
Bài kiểm tra là liệu bạn mô tả được quy trình như một đầu vào, một tiến trình, và một đầu ra không. Nếu có, nó thí điểm được. Nếu không, nó cần được thiết kế trước, không phải thí điểm. Bắt đầu với quy trình khó nhất, mơ hồ nhất là cách nhanh nhất để kết luận rằng AI không hiệu quả, khi vấn đề thật là mục tiêu.
Ghi lại một mốc cơ sở
Một thí điểm không có mốc cơ sở không chứng minh được gì, vì không có gì để so sánh. Trước khi quy trình AI chạy, hãy ghi lại các con số hiện tại cho vài thứ quan trọng: thời gian chu kỳ, thời gian duyệt cấp cao, tỷ lệ lỗi hoặc sửa lại, và kết quả kinh doanh mà quy trình nuôi. Đây là kỷ luật được trình bày ở cách đo lường tác động marketing của AI, và nó phải xảy ra trước thí điểm, không phải sau.
Mốc cơ sở không cần hoàn hảo; nó cần tồn tại. Một con số thô ghi tuần trước thắng một con số chính xác tái dựng từ ký ức vào quý sau. Nếu bạn không có mốc cơ sở và không có thời gian xây một cái, hãy chạy quy trình cũ thêm hai chu kỳ và ghi lại. Sự trễ đó rẻ hơn một thí điểm mà kết quả không ai bảo vệ được.
Quyết định quy tắc trước khi bắt đầu
Viết quy tắc quyết định ra trước lần chạy đầu tiên: kết quả nào mở rộng thí điểm, kết quả nào thay đổi nó, và kết quả nào dừng nó. Ví dụ, mở rộng nếu thời gian chu kỳ giảm một phần năm mà tỷ lệ lỗi không tăng; thay đổi nếu tốc độ cải thiện nhưng chất lượng giảm; dừng nếu cả hai đều không dịch chuyển. Các con số cụ thể ít quan trọng hơn việc cam kết với chúng khi bạn còn chưa thiên lệch.
Đây là bước các đội bỏ qua vì nó có cảm giác quan liêu. Nó là bước khiến thí điểm trung thực. Một khi bạn đã chạy quy trình và thấy một kết quả, mọi cách diễn giải trở nên vụ lợi; cách bảo vệ duy nhất là một quy tắc được viết khi bạn chưa biết câu trả lời.
Giữ con người trong vòng lặp
Một thí điểm loại bỏ hoàn toàn con người kiểm nghiệm sai thứ. Thứ bạn muốn học là liệu một quy trình có AI hỗ trợ có thể tạo đầu ra tốt hơn trên mỗi đơn vị thời gian cấp cao không, và điều đó đòi hỏi một bước duyệt bạn đo được. Theo dõi tần suất con người thay đổi đầu ra và việc duyệt tốn bao nhiêu thời gian, vì bước duyệt là nơi chi phí thật của một quy trình AI-native sống.
Thí điểm cũng nên chừa chỗ cho phán đoán của người vận hành. Nếu quy trình buộc một con đường cứng nhắc, bạn sẽ học liệu con đường đó có hiệu quả, không phải liệu đội có làm được nhiều hơn với công cụ tốt hơn. Cho thí điểm chỗ để được thích ứng, và ghi lại các thích ứng — chúng là hạt giống của mô hình vận hành bạn mở rộng.
Thiết kế thí điểm trên một trang
Giữ thiết kế thí điểm đủ ngắn để mọi người nắm được. Bảng dưới đây là tập quyết định tối thiểu cần đưa ra trước khi bạn chạy bất cứ thứ gì.
| Quyết định | Viết ra gì |
|---|---|
| Quy trình | Một việc đầu-vào-đến-đầu-ra đang được kiểm nghiệm |
| Chủ sở hữu | Một người được gọi tên, không phải một hội đồng |
| Phạm vi | Ai trong, ai ngoài, cái gì bị loại trừ |
| Mốc cơ sở | Thời gian chu kỳ, thời gian duyệt, tỷ lệ lỗi, kết quả |
| Quy tắc quyết định | Kết quả mở rộng, thay đổi, hoặc dừng |
| Thời lượng | Một ngày kết thúc cố định cho kiểm nghiệm |
Nếu bạn không điền được bảng này, thí điểm chưa sẵn sàng. Điền nó mất một giờ và tiết kiệm một quý.
Chạy nhỏ, rồi quyết định
Chạy thí điểm với một đội nhỏ trên công việc thật, trong một khoảng thời gian cố định — bốn đến tám tuần thường đủ để thấy quy trình có dịch chuyển không. Giữ quy tắc quyết định thấy được, xem lại các con số hàng tuần, và chống lại ý muốn mở rộng phạm vi giữa thí điểm. Điểm mấu chốt là học một điều sạch sẽ, không phải sửa mọi thứ cùng lúc.
Cuối cùng, hãy đưa ra quyết định bạn đã viết ra. Nếu nó mở rộng, thí điểm trở thành một lần triển khai với một mốc cơ sở thật đằng sau. Nếu nó thay đổi, giờ bạn biết phần nào đã thất bại, điều giá trị hơn một thành công mơ hồ. Nếu nó dừng, bạn đã tiết kiệm cho tổ chức một năm và giành được uy tín để thử thí điểm kế tiếp — thất bại trung thực là kết quả rẻ nhất có được.
Quản trị là một phần của thí điểm
Kể cả một thí điểm nhỏ cũng cần một ranh giới dữ liệu và một bước duyệt, nên hãy đồng ý những thứ đó trước lần chạy đầu tiên thay vì phát hiện chúng giữa chừng. Đây là đầu nhẹ hơn của công việc chính sách và quản trị, và một thí điểm là chỗ tốt để kiểm nghiệm những kiểm soát nào bạn thực sự cần. Các kiểm soát tỏ ra cần thiết ở đây là những cái đáng mở rộng; các kiểm soát thêm ma sát mà không bắt được gì có thể bỏ.
Khiến kết quả thí điểm chuyển giao được
Một thí điểm dạy một đội điều không ai khác dùng được là thất bại một nửa. Từ đầu, hãy ghi lại những gì bạn học được ở một dạng chuyển đi được: quy trình như nó rốt cuộc đã thành, các prompt và template hiệu quả, các cách hỏng bạn tìm thấy, và quyết định bạn đã đưa ra. Coi đầu ra của thí điểm là hai thứ — một quyết định và một bộ công cụ tái sử dụng được.
Bộ công cụ đó là thứ biến một thí điểm thành một lần triển khai. Đội kế tiếp không bắt đầu từ số không; nó bắt đầu từ một thiết kế đã hoạt động và thích ứng nó cho công việc của mình. Bộ công cụ chỉ hoạt động nếu đội kế tiếp tìm được và đọc được nó, đó là lý do một tầng bộ nhớ quan trọng ngang với chính quy trình — điểm tôi nêu ở AI không có bộ nhớ chỉ là một chatbot đắt tiền. Đây cũng là nơi một trung tâm xuất sắc, nếu bạn có, giành được chỗ đứng của nó, bằng cách giữ bộ công cụ và các tiêu chuẩn khiến nó dùng được. Một thí điểm không có đầu ra chuyển giao được là một thực nghiệm phải được lặp lại, đó là loại đắt nhất.
Một chỉ số đối trọng cho thí điểm
Tốc độ một mình sẽ làm hài lòng gần như mọi thí điểm, nên hãy ghép nó với một chỉ số đối trọng bắt được chi phí ẩn. Theo dõi tần suất con người thay đổi đầu ra, việc duyệt tốn bao lâu, và liệu tỷ lệ lỗi hay làm lại có dịch chuyển không. Một quy trình giảm một nửa thời gian thảo trong khi gấp đôi thời gian duyệt không tiết kiệm được gì; nó dời công việc sang một người đắt hơn. Phép đo trung thực là đầu ra trên mỗi đơn vị thời gian cấp cao, với chất lượng được giữ, và cách duy nhất để thấy nó là ghi lại bước duyệt cẩn thận như bước sản xuất. Nếu thí điểm cải thiện con số tiêu đề và làm tệ đi chỉ số đối trọng, bạn đã tìm ra câu hỏi thật mà lần triển khai phải trả lời.
FAQ
Một thí điểm nên chạy bao lâu?
Bốn đến tám tuần trên một quy trình hẹp thường đủ để thấy thời gian chu kỳ và chất lượng có dịch chuyển không. Ngắn hơn thì các con số là nhiễu; dài hơn thì bạn đang chạy một lần triển khai mà chưa quyết định làm vậy. Chọn ngày kết thúc từ lúc bắt đầu.
Nếu chúng tôi không có mốc cơ sở thì sao?
Chạy quy trình hiện tại thêm hai chu kỳ và ghi lại các con số trước khi bắt đầu. Nó có cảm giác như một sự trễ, nhưng một thí điểm không có mốc cơ sở tạo ra một kết quả bạn không bảo vệ được, tệ hơn việc chờ hai tuần.
Ai nên ở trong thí điểm?
Một đội nhỏ vốn đã làm công việc đó và cảm nhận nỗi đau, cộng với chủ sở hữu sẽ đưa ra quyết định. Giữ lãnh đạo được thông tin thay vì nhúng vào; sự hiện diện của họ thay đổi hành vi và làm mờ kết quả. Thí điểm nên phản ánh công việc thật, không phải một màn trình diễn cho ban quản lý.
Quy trình đầu tiên tốt nhất là gì?
Cái lặp lại nhất, được định nghĩa rõ nhất, đau nhất. Lắp báo cáo, sản xuất nháp đầu tiên, và bản địa hóa là những khởi đầu tốt phổ biến. Tránh bất cứ thứ gì cần mười đội đồng thuận, vì bạn sẽ dành thí điểm cho việc phối hợp thay vì học hỏi.
Bản ngắn gọn
Thí điểm AI bằng cách kiểm nghiệm một quy trình với một chủ sở hữu được gọi tên, một mốc cơ sở, và một quy tắc quyết định được đồng ý trước. Chạy nó nhỏ trên công việc thật, giữ con người trong vòng lặp, và đưa ra quyết định bạn đã viết ra. Hướng dẫn Thực thi cho thấy thí điểm khớp ở đâu trong quy trình rộng hơn, và làn cho trưởng nhóm đi qua thí điểm và mô hình vận hành mà nó dẫn tới.
Nếu bạn đã chạy một cái như vậy, tôi muốn nghe quy tắc quyết định của bạn là gì — và liệu bạn có thực sự theo nó không.
Thân, Chandler
Bài viết này có sẵn bằng tiếng Việt. Tài liệu khóa học (video, template và hướng dẫn đi kèm) có bằng tiếng Anh, tiếng Nhật, tiếng Trung giản thể và tiếng Hàn. Trang web này có sẵn trong 13 ngôn ngữ.