Cách đánh giá các công cụ AI marketing: đánh giá chúng bằng quy trình chúng thay đổi và phán đoán chúng để nguyên, không bằng việc buổi demo ấn tượng đến đâu. Những câu hỏi quan trọng là liệu đầu ra có tốt hơn trên mỗi đơn vị thời gian cấp cao không, liệu chất lượng có giữ được khi bạn mở rộng không, và liệu đội có còn giải thích và bảo vệ được công việc không. Một công cụ cảm giác nhanh và lặng lẽ bào mòn phán đoán của đội là một lần mua tệ.
Đánh giá công cụ là nơi rất nhiều chương trình AI lặng lẽ đi sai, vì người mua thường so những buổi demo bóng bẩy thay vì kiểm nghiệm với chính công việc của mình. Buổi demo được tối ưu để gây ấn tượng; công việc được tối ưu để sống sót qua một tuần thật. Việc đánh giá nên trông giống công việc.
Vì sao demo đánh lừa
Một buổi demo của nhà cung cấp dùng đầu vào được chọn lọc và một kịch bản sạch, đó chính xác là điều kiện mà mọi công cụ trông đều tốt. Công việc của bạn lộn xộn hơn: brief nửa vời, quy tắc đặc thù khách hàng, dữ liệu ở ba nơi, và một hạn chót. Khoảng cách giữa demo và thực tế của bạn là nơi giá trị của công cụ hoặc giữ được hoặc sụp đổ.
Cách sửa là kiểm nghiệm với nguyên liệu của chính bạn trên một công việc thật, với những người thực sự sẽ dùng nó, và so kết quả với cách hiện tại. Một công cụ không vượt được quy trình hiện tại trên chính công việc của bạn chưa giành được chỗ đứng, dù nó trông ấn tượng đến đâu. Đây là cùng kỷ luật như thí điểm một quy trình, áp cho một quyết định mua.
Những tiêu chí quan trọng
Năm tiêu chí tách một công cụ cải thiện mô hình vận hành khỏi một cái chỉ thêm một gói thuê bao. Bảng dưới đây liệt kê chúng với câu hỏi cần hỏi và cách kiểm mỗi tiêu chí.
| Tiêu chí | Câu hỏi | Cách kiểm |
|---|---|---|
| Độ khớp quy trình | Nó có thay đổi một việc chúng ta làm không? | Gắn nó vào một bước hiện có |
| Chất lượng đầu ra | Kết quả có tốt hơn trên công việc của chúng ta không? | Chạy nó trên một brief thật |
| Phán đoán | Chúng ta có giải thích được nó đã làm gì không? | Soi đầu vào và lý lẽ |
| Quy mô | Chất lượng có giữ ở khối lượng không? | Kiểm ở mẫu gấp 10 lần |
| Điều khoản | Dữ liệu và chi phí có khớp không? | Đọc điều khoản dữ liệu và giá |
Hầu hết các đánh giá dừng ở demo, vốn chỉ nói về hai tiêu chí đầu và nói trong điều kiện lý tưởng. Các tiêu chí quyết định giá trị dài hạn là ba tiêu chí cuối, và chúng chỉ hiện ra khi bạn kiểm với nguyên liệu của mình ở khối lượng thực tế.
Bắt đầu từ quy trình
Đừng bao giờ đánh giá một công cụ trong trừu tượng. Bắt đầu từ một quy trình bạn đã vẽ bản đồ — một đầu vào, tiến trình, và đầu ra rõ ràng — và hỏi liệu công cụ có làm quy trình đó tốt hơn không. Một công cụ không có quy trình nào để sống trong đó là một món đồ chơi, dù nó có năng lực đến đâu. Đây là lý do việc đánh giá và thí điểm là cùng một bài tập nhìn từ các góc khác nhau: quy trình định nghĩa cái bạn kiểm.
Khi hai công cụ cùng khớp quy trình, yếu tố phá thế là chúng để lại bao nhiêu cho con người. Công cụ tạo một đầu ra rõ ràng, soi được để đội kiểm và sửa giá trị hơn cái tạo một kết quả bóng bẩy không ai giải thích được, vì cái đầu tin được còn cái sau phải chấp nhận bằng đức tin.
Bài kiểm tra phán đoán
Đây là tiêu chí hầu hết các đánh giá bỏ qua và là cái quan trọng nhất. Hỏi liệu công cụ để phán đoán của đội nguyên vẹn hay dần thay thế nó. Một công cụ thảo hoàn chỉnh đến mức người duyệt chỉ đóng dấu đầu ra không tiết kiệm thời gian; nó đang đổi phán đoán lấy tốc độ, và cái giá hiện ra sau như những lỗi không ai bắt. Tôi đã viết về động lực này ở cách công cụ AI lặng lẽ bào mòn phán đoán của người duyệt.
Bài kiểm tra là xem một người duyệt dùng công cụ. Họ tương tác với đầu ra, hay chấp nhận nó? Họ giải thích được vì sao nó đưa ra một lựa chọn không? Công cụ có làm nổi các giả định của nó, hay giấu chúng sau một kết quả sạch? Một công cụ tốt giữ con người trong vòng lặp lý luận; một công cụ bỏ qua lý luận là một trách nhiệm pháp lý khoác áo hiệu quả.
Xây so với mua
Hầu hết công cụ AI marketing nên được mua, vì các model nền cải thiện nhanh hơn mức bất kỳ đội nào xây được và tầng hàng hóa không phải nơi lợi thế của bạn sống. Chỉ xây những phần giữ tri thức đặc thù của bạn và mã hóa quy trình đặc thù của bạn — tầng bộ nhớ và các quy tắc duyệt — và mua phần còn lại.
Quy tắc thực tế là hỏi liệu giá trị của công cụ đến từ việc tốt hơn các lựa chọn thay thế hay từ việc nối vào một thứ chỉ bạn có. Nếu là cái đầu, mua nó và chấp nhận rằng đối thủ của bạn cũng mua được. Nếu là cái sau, xây nó, vì đó là phần sinh lời kép và ở lại là của bạn.
Chạy một thử nghiệm có cấu trúc
Cho mọi ứng viên nghiêm túc cùng một thử nghiệm: một quy trình thật, một khoảng thời gian cố định, cùng một thước đo đầu ra, và một quy tắc quyết định được đồng ý trước khi bắt đầu. So thời gian chu kỳ, thời gian duyệt, và tỷ lệ lỗi với cách hiện tại, và sẵn lòng kết luận rằng công cụ không giành được chỗ đứng. Thử nghiệm rẻ so với chi phí của một gói thuê bao cả năm cộng với món nợ quy trình mà một công cụ tệ tạo ra.
Cho những người sẽ dùng nó tham gia, không chỉ những người mua nó. Việc áp dụng là một phần của giá trị, và một công cụ đội kháng cự sẽ kém hơn demo của nó dù nó tốt đến đâu. Một thử nghiệm chạy với người dùng thật trên công việc thật trả lời cả câu hỏi chất lượng và câu hỏi áp dụng trong một lượt.
Điều khoản, dữ liệu, và tổng chi phí
Đọc điều khoản dữ liệu trước trang giá, vì câu hỏi dữ liệu là cái bạn không thể đảo ngược. Công cụ gửi nguyên liệu của bạn đi đâu, nó có huấn luyện trên đó không, ai truy cập được nó, và nó có thỏa mãn nghĩa vụ khách hàng và quy định của bạn không? Một công cụ không đáp ứng được những điều khoản đó không phải một ứng viên, dù chất lượng đầu ra của nó thế nào.
Tổng chi phí bao gồm gói thuê bao, thời gian tích hợp, thời gian duyệt nó thêm vào, và rủi ro nó đưa vào. Một công cụ rẻ hơn mà thêm thời gian duyệt có thể tốn hơn một cái đắt hơn mà loại bỏ nó. Hãy định giá toàn bộ thay đổi vận hành, không phải giấy phép.
Mô hình giá và khóa chặt
Mô hình giá nói cho bạn biết nhà cung cấp đang tối ưu cho cái gì, nên đọc nó như một tín hiệu, không chỉ một chi phí. Giá theo chỗ ngồi thưởng cho việc áp dụng và phạt quy mô; giá theo dùng lượng khớp với giá trị nhưng có thể tăng vọt khó lường; giá enterprise mua cam kết và giấu chi phí đơn vị. Khớp mô hình với cách bạn thực sự sẽ dùng công cụ, vì một cấu trúc giá khớp tồi với quy trình của bạn sẽ bóp méo hành vi của bạn theo thời gian.
Rồi xem việc rời đi khó thế nào. Một công cụ giữ dữ liệu, quy trình, hay thói quen của đội bạn trong một dạng độc quyền có một chi phí chuyển đổi là một phần giá thật của nó. Ưu tiên các công cụ xuất sạch và tích hợp qua giao diện mở, và giữ tầng bộ nhớ của bạn trong một thứ bạn kiểm soát, để một thay đổi nhà cung cấp là một lần di trú thay vì một lần xây lại.
Chỉ số đối trọng bắt được một lần mua tệ
Hầu hết các đánh giá theo dõi tốc độ, và tốc độ là thứ dễ làm giả nhất. Chỉ số đối trọng là việc làm lại: đầu ra quay lại để sửa bao nhiêu lần, và người duyệt có đang bắt được ít hơn trước không. Nếu thời gian chu kỳ giảm nhưng tỷ lệ sửa lại leo lên, công cụ đã dời công việc xuôi dòng thay vì loại bỏ nó, và khoản tiết kiệm là một ảo giác. Hỏi thẳng những người duyệt xem họ có còn đọc đầu ra kỹ không, vì một công cụ huấn luyện người ta đóng dấu đang lặng lẽ nâng tỷ lệ lỗi của bạn trong khi dashboard hiện màu xanh. Tín hiệu tốt nhất là một cặp: đầu ra cải thiện trên mỗi đơn vị thời gian cấp cao, và chất lượng giữ nguyên hoặc cải thiện trên một mẫu bạn thực sự đã kiểm. Một công cụ thắng ở cái đầu và thua ở cái sau chưa giành được chỗ đứng.
FAQ
Nên thử nghiệm bao nhiêu công cụ?
Một hai cái một lúc, trên cùng một quy trình, để so sánh sạch và đội không bị quá tải. Một danh sách rút gọn ba đến năm cái thì nghiên cứu được; các thử nghiệm có cấu trúc nên hẹp. Chiều sâu thắng chiều rộng trong đánh giá cũng như trong sử dụng.
Người dùng hay bộ phận mua nên chọn?
Cả hai, theo trình tự. Người dùng định nghĩa quy trình và chạy thử nghiệm; bộ phận mua kiểm điều khoản và tổng chi phí. Một quyết định chỉ do người mua sẽ bỏ lỡ việc áp dụng; một cái chỉ do người dùng sẽ bỏ lỡ các câu hỏi dữ liệu và chi phí. Không bên nào nên quyết một mình.
Tín hiệu mạnh nhất cho thấy một công cụ đáng giá là gì?
Nó loại bỏ một bước đội thực sự làm, cải thiện đầu ra trên mỗi đơn vị thời gian cấp cao, và giữ con người giải thích được kết quả. Nếu nó vượt cả ba trên chính công việc của bạn ở khối lượng, nó đã giành được chỗ đứng. Bất cứ gì dưới mức đó là một kết quả demo.
Bao lâu nên đánh giá lại?
Hàng năm cho bất cứ thứ gì quan trọng, và khi model nền thay đổi đáng kể. Thị trường công cụ dịch chuyển đủ nhanh để lựa chọn năm ngoái có thể không còn tốt nhất, nhưng chuyển đổi có một chi phí, nên hãy đánh giá lại thay vì thay liên tục. Mô hình vận hành, không phải tính mới, nên dẫn dắt thời điểm.
Bản ngắn gọn
Đánh giá công cụ AI marketing bằng độ khớp quy trình, chất lượng đầu ra, liệu chúng có bảo toàn phán đoán không, chúng giữ thế nào ở quy mô, và các điều khoản dữ liệu cùng chi phí của chúng. Kiểm chúng trên công việc của chính bạn với người dùng của chính bạn so với cách hiện tại, và mua tầng hàng hóa trong khi xây tầng bộ nhớ và duyệt. Hướng dẫn Thực thi bàn quy trình chúng cắm vào, và làn cho trưởng nhóm làm công cụ vào mô hình vận hành.
Nếu bạn đã chạy một đánh giá như vậy, tôi muốn nghe tiêu chí nào đã giết công cụ bạn muốn thích.
Thân, Chandler
Bài viết này có sẵn bằng tiếng Việt. Tài liệu khóa học (video, template và hướng dẫn đi kèm) có bằng tiếng Anh, tiếng Nhật, tiếng Trung giản thể và tiếng Hàn. Trang web này có sẵn trong 13 ngôn ngữ.