Hãy đo những quyết định đã thay đổi và thời gian chu kỳ, không phải khối lượng đầu ra. Khối lượng đầu ra là một chỉ số phù phiếm ngay khoảnh khắc model khiến sản xuất trở nên rẻ: một đội có thể tăng gấp ba số tài sản và không học được gì, hoặc giao đúng số tài sản như cũ và học được rất nhiều. Các tín hiệu thực sự cho thấy AI đang hiệu quả là một quyết định di chuyển nhanh đến đâu, nó cần bao nhiêu lần duyệt, phiên bản có AI hỗ trợ thắng phiên bản cũ bao nhiêu lần, và kết quả kinh doanh nào theo sau.
Tôi đã chứng kiến các đội ăn mừng một bước nhảy về khối lượng nội dung như bằng chứng rằng chương trình AI của họ đang chạy, trong khi đầu ra lại là phần ít thú vị nhất của sự thay đổi. Đo lường là nơi một chương trình AI hoặc trở nên trung thực hoặc đi lạc, nên điều này đáng làm đúng trước khi bạn mở rộng bất cứ thứ gì.
Cái bẫy: đo thứ đã trở nên dễ
Bản năng mặc định là đo thông lượng. Chúng ta tạo bao nhiêu tài sản, ra mắt bao nhiêu thị trường, giao bao nhiêu báo cáo. Những con số này tăng dưới AI, và chúng thỏa mãn trong một bộ slide, nhưng chúng đo thứ AI khiến rẻ thay vì thứ bạn đang cố cải thiện.
Thông lượng có thể tăng vì những lý do chẳng liên quan gì đến giá trị. Nhiều biến thể hơn có thể nghĩa là nhiều tiếng ồn hơn nếu không có gì được kiểm nghiệm. Nhiều báo cáo hơn có thể nghĩa là nhiều cuộc họp không ai cần. Nhiều thị trường hơn có thể nghĩa là nhiều nơi bạn tầm thường. Câu hỏi mà một khung đo lường tốt trả lời không phải "chúng ta có tạo nhiều hơn không?" mà là "nhiều sản xuất hơn có chuyển thành quyết định tốt hơn và kết quả tốt hơn không?" Đó là những câu hỏi khác nhau, và chỉ câu thứ hai mới quan trọng.
Đo gì thay vào đó
Hãy đo mô hình vận hành, không phải dây chuyền sản xuất. Bốn nhóm tín hiệu bao phủ phần lớn. Tốc độ: thời gian chu kỳ từ brief đến khi lên sóng, và thời gian đến một quyết định. Nỗ lực: thời gian duyệt cấp cao cho mỗi đầu ra, vốn là chi phí thật của một quy trình AI-native. Chất lượng: tỷ lệ lỗi, tỷ lệ sửa lại, và tần suất công việc có AI hỗ trợ cần làm lại. Và kết quả: chi phí mỗi kết quả, và chỉ số kinh doanh mà công việc lẽ ra phải dịch chuyển.
Không cái nào xa lạ, và không cái nào cần công cụ mới. Điều khiến chúng khác các chỉ số cũ là chúng đo phán đoán và dòng chảy thay vì khối lượng. Một đội cắt được thời gian chu kỳ, giữ tỷ lệ lỗi phẳng, và giữ thời gian duyệt ở mức hợp lý đã thực sự cải thiện mô hình vận hành của mình, kể cả khi số tài sản không đổi.
Tín hiệu dẫn dắt và tín hiệu trễ
Hãy tách tín hiệu theo thời điểm. Tín hiệu trễ là kết quả kinh doanh — doanh thu, pipeline, mức tăng nhận diện thương hiệu, bất cứ thứ gì chiến dịch hướng tới — và nó là cái quan trọng, nhưng nó đến muộn và chịu ảnh hưởng của nhiều thứ. Các tín hiệu dẫn dắt là những tín hiệu vận hành: thời gian chu kỳ, thời gian duyệt, tỷ lệ sửa lại, số quyết định mỗi tuần. Chúng dịch chuyển trước và chúng nằm trong tầm kiểm soát của bạn.
Bạn cần cả hai, và bạn cần trung thực về quy kết. Thật cám dỗ khi nhận con số trễ về cho AI khi thị trường đã dịch chuyển. Khung trung thực là dùng tín hiệu dẫn dắt để chứng minh sự thay đổi vận hành, và dùng tín hiệu trễ với quy kết đàng hoàng — tính gia tăng, nhóm đối chứng, một thiết kế kiểm nghiệm — để lập luận về hiệu ứng kinh doanh. Kỷ luật báo cáo là thứ giữ hai cái đó không bị lẫn vào nhau.
Chỉ số đối trọng về chất lượng
Mọi chỉ số tốc độ cần một chỉ số đối trọng về chất lượng, nếu không đội sẽ tối ưu tốc độ bằng cách giao công việc tệ hơn. Nếu thời gian chu kỳ là tiêu đề, tỷ lệ lỗi và tỷ lệ sửa lại là lan can. Nếu thời gian duyệt là câu chuyện hiệu quả, đối trọng là liệu các lỗi lọt ra — vấn đề khách hàng hoặc người dùng cuối phát hiện — có tăng hay giảm.
Đây là kỷ luật quan trọng nhất trong đo lường công việc AI, vì AI khiến tốc độ dễ và chất lượng khó. Một đội báo cáo chu kỳ nhanh hơn mà không có chỉ số đối trọng về chất lượng không đo mô hình vận hành của mình; nó đo khả năng đẩy công việc ra cửa, vốn chính xác là hành vi tạo ra nợ duyệt.
Một khung đo lường đơn giản
Chọn một chỉ số vận hành chính — tôi sẽ bắt đầu với thời gian chu kỳ trên quy trình bạn đã thiết kế lại — và hai chỉ số đối trọng, tỷ lệ lỗi và thời gian duyệt. Thêm một kết quả kinh doanh mà quy trình phải ảnh hưởng, được đo bằng một thiết kế có thể quy kết trung thực. Báo cáo cả bốn cùng nhau, mỗi tháng, và coi bất kỳ dịch chuyển nào ở chỉ số chính đi kèm một chỉ số đối trọng tệ hơn là một cải thiện thất bại, không phải một thắng lợi.
Khung đó cố tình mỏng, vì khung mỏng mới được dùng. Một dashboard với hai mươi chỉ số sẽ bị bỏ qua. Bốn con số buộc sự đánh đổi tốc-độ-so-với-chất-lượng nổi lên bề mặt là đủ để chạy mô hình vận hành, và chúng tạo lý lẽ cho việc mở rộng bằng bằng chứng thay vì nhiệt huyết.
Đo lường trước khi mở rộng
Phần khó nhất của đo lường là có các con số trước khi bạn cần chúng. Phần lớn đội mở rộng một quy trình AI trước rồi cố tái dựng tác động của nó sau, đó là cách một chương trình đáng tin kết thúc với một tuyên bố không chứng minh được. Kỷ luật là đo lường quy trình ngay khoảnh khắc bạn xây nó: ghi lại thời gian chu kỳ, ghi lại bước duyệt, và bắt tỷ lệ lỗi từ đầu.
Nghe như chi phí phụ trội, và giai đoạn đầu đúng là vậy. Nhưng lựa chọn thay thế là một năm trôi qua mà không có mốc cơ sở và không có cách nào biết liệu quy trình có cải thiện hay chỉ thay đổi. Một bản ghi đơn giản — khi nào một brief vào, khi nào nó lên sóng, bao nhiêu lượt duyệt, cái gì sai — là đủ. Bạn không cần một nền tảng để bắt đầu; bạn cần thói quen ghi bốn con số trước khi mở rộng thứ tạo ra chúng.
Một ví dụ cụ thể
Hãy hình dung một vòng lặp creative paid social. Thời gian chu kỳ cũ đo bằng ngày: brief, thiết kế, duyệt, sửa lại, ra mắt. Sau khi chuyển sang quy trình model-first, bạn kỳ vọng nó giảm. Nhưng nếu thời gian duyệt tăng gấp đôi và số lần sửa lại thì không, bạn chưa cải thiện mô hình vận hành; bạn đã dời nút thắt.
Cách đọc trung thực đến từ việc nhìn cả bốn con số cùng nhau. Thời gian chu kỳ giảm, thời gian duyệt phẳng hoặc tăng nhẹ, tỷ lệ lỗi phẳng, và chất lượng đọc kết quả kiểm nghiệm tăng — đó là một cải thiện thật. Thời gian chu kỳ giảm, thời gian duyệt tăng mạnh, và số lần sửa lại tăng — đó là một đội giao nhanh hơn và tệ hơn, và các chỉ số đối trọng đã bắt được nó. Không có chúng, chỉ biểu đồ thời gian chu kỳ thôi đã trông như một thắng lợi.
Những sai lầm đo lường phổ biến
Ba sai lầm lặp lại. Đo khối lượng rồi gọi nó là tác động, điều làm hài lòng chương trình và không dạy được gì. Bỏ chỉ số đối trọng về chất lượng, điều cho phép tốc độ che giấu một sự suy giảm trong công việc. Và quy kết một dịch chuyển thị trường về AI mà không có thiết kế hỗ trợ tuyên bố đó, điều hiệu quả cho đến khi ai đó hỏi làm sao bạn biết.
Cách sửa cho cả ba là cùng một kỷ luật: chọn chỉ số vận hành, giữ chỉ số đối trọng gắn kèm, và rõ ràng về cái bạn quy kết được và không. Một tuyên bố khiêm tốn, bảo vệ được thắng một tuyên bố lớn, không thể bác bỏ, vì tuyên bố bảo vệ được sống qua quý tới còn cái lớn thì không.
Thứ Hai nên làm gì
Lấy quy trình bạn đã chuyển sang AI và viết ra thời gian chu kỳ, thời gian duyệt, và tỷ lệ lỗi của nó trong tháng vừa rồi. Nếu không viết được, đó là phát hiện đầu tiên: bạn đang chạy một quy trình AI-native mà không có đo lường để biết nó có tốt hơn không. Rồi chọn một kết quả kinh doanh và quyết định bạn sẽ quy kết một cách đáng tin một thay đổi ở đó thế nào. Làm điều đó trước chiến dịch kế tiếp, để việc đo lường tồn tại theo thiết kế thay vì như một lần tái dựng.
FAQ
Chúng tôi có nên đếm số giờ tiết kiệm được không?
Số giờ tiết kiệm là một tín hiệu nội bộ hữu ích nhưng là một tín hiệu đối ngoại nguy hiểm, vì nó phụ thuộc vào giả định về việc người ta làm gì với thời gian đó. Hãy đếm thời gian chu kỳ và thời gian duyệt, vốn quan sát được, và để số giờ rơi ra từ đó thay vì dẫn bằng nó.
Làm sao chứng minh AI gây ra kết quả?
Bằng một thiết kế lập trước khi làm: một nhóm đối chứng, một nhóm so khớp, hoặc một kiểm nghiệm nơi một điều kiện có AI hỗ trợ và một điều kiện không. Không có nó, bạn có thể cho thấy tương quan và cải thiện, nhưng bạn không thể tuyên bố quan hệ nhân quả. Lập thiết kế trước, hoặc chấp nhận tuyên bố yếu hơn.
Nếu kết quả kinh doanh dịch chuyển vì lý do không liên quan thì sao?
Hãy nói vậy. Dùng các chỉ số vận hành để chứng minh sự thay đổi quy trình và thẳng thắn rằng dịch chuyển kinh doanh là chung với thị trường. Tuyên bố quá mức là cách một chương trình AI mất uy tín khi quý tới phẳng lặng.
Bao lâu nên xem lại những chỉ số này?
Hàng tháng là đủ cho một quy trình ổn định, và hàng tuần khi bạn đang chủ động tinh chỉnh nó. Điểm mấu chốt là nhịp của cuộc trò chuyện, không phải dashboard. Một buổi xem xét hàng tháng cố định với bốn con số là toàn bộ hệ thống.
Bản ngắn gọn
Đo những quyết định đã thay đổi và thời gian chu kỳ, không phải khối lượng đầu ra. Dùng tín hiệu tốc độ, nỗ lực, chất lượng và kết quả, ghép mỗi chỉ số tốc độ với một chỉ số đối trọng về chất lượng, và quy kết kết quả kinh doanh một cách trung thực. Hướng dẫn Thực thi bàn phần còn lại của làn, và làn cho trưởng nhóm đi qua đo lường trong mô hình vận hành.
Nếu bạn đang đo chương trình AI của mình, tôi muốn nghe con số nào bạn thấy khó bảo vệ nhất — đó thường là con số trung thực.
Thân, Chandler
Bài viết này có sẵn bằng tiếng Việt. Tài liệu khóa học (video, template và hướng dẫn đi kèm) có bằng tiếng Anh, tiếng Nhật, tiếng Trung giản thể và tiếng Hàn. Trang web này có sẵn trong 13 ngôn ngữ.