Incrementality वह माप है जो marketing के बिना नहीं होता। AI तीन जगह मदद करता है: बेहतर tests design करना, ज़्यादा और गंदे data से effects estimate करना, और यह पढ़ना कि effect audience या mix के किन हिस्सों में केंद्रित है। यह counterfactual नहीं देता। एक उचित control के बिना, एक model एक correlation को बड़े आत्मविश्वास के साथ causal जैसा सुनाएगा।
वह आख़िरी वाक्य पूरा जोखिम है। AI incrementality जैसा दिखने वाला number produce करना आसान बनाता है, और काम का सबसे मुश्किल हिस्सा अब भी यह तय करना है कि किसके सामने तुलना करें। जो teams यह step छोड़कर model पर कूदती हैं वे ऐसी elegant estimates पाती हैं जिन्हें वे defend नहीं कर सकतीं जब कोई obvious सवाल पूछे: किसके मुक़ाबले?
Incrementality असल में क्या मतलब है
Incrementality एक counterfactual सवाल का जवाब देती है: कितनी conversions, sales या brand outcomes marketing की वजह से हुए, बजाय वैसे भी होने के। जो लोग ad देखे बिना भी ख़रीदते वे incremental नहीं हैं, चाहे ad ने उन्हें कितना ही छुआ हो। Attribution credit गिनती है; incrementality causation मापती है, और ये अलग सवाल हैं जो अक्सर असहमत होते हैं।
इसीलिए अकेला attribution data incrementality स्थापित नहीं कर सकता। एक last-click report उस ad को credit देगी जिसे किसी ने click किया, लेकिन यह नहीं बता सकती कि वे वैसे भी convert करते या नहीं। यह जानने के लिए, आपको एक ऐसा group चाहिए जिसे marketing नहीं मिली और तुलना करने का एक तरीक़ा। वह group counterfactual है, और कोई भी model sophistication उसकी जगह नहीं लेती।
Attribution incrementality क्यों नहीं है
Attribution और incrementality अलग सवालों का जवाब देते हैं, और उन्हें मिलाना confident, ग़लत budget decisions produce करता है। Attribution उन conversions के लिए touchpoints में credit बाँटती है जो हुए; incrementality estimate करती है कि उनमें से कितने marketing पर निर्भर थे। एक channel attribution में मज़बूत दिख सकता है और लगभग शून्य incremental हो, या कमज़ोर दिखे और campaign उठा रहा हो।
व्यावहारिक implication यह है कि budget decisions के लिए incrementality का वज़न attribution से ज़्यादा होना चाहिए, और attribution मुख्य रूप से in-flight optimisation के लिए उपयोगी है। जब दोनों असहमत हों, experiment पर भरोसा करें। यह वह discipline है जो AI marketing impact कैसे मापें में व्यापक measurement frame में रखी गई है, और यह तब और ज़रूरी है जब AI analysis produce कर रहा हो।
Incrementality में AI के तीन काम
AI तीन जगह मदद करता है, और हर एक पर सटीक होना worth है, क्योंकि value और जोखिम हर बिंदु पर अलग हैं। Design: test structures, power calculations और candidate holdout designs एक human से तेज़ generate करना, फिर चुनाव एक व्यक्ति पर छोड़ना। Estimation: ऐसे models fit करना जो बड़े या sparse data से signal निकालें जहाँ साधारण comparisons fail होते हैं। और Segmentation: यह खोजना कि effect कहाँ केंद्रित है, ताकि एक blended average एक ऐसा channel न छिपाए जो सिर्फ़ एक audience के लिए काम करता है।
हर case में model एक causal design के अंदर एक tool है, उसका substitute नहीं। Design, विशेष रूप से, वह जगह है जहाँ judgement अब भी हावी है, क्योंकि एक ख़राब ढंग से design किया test model को estimate करने के लिए कुछ नहीं देता। AI designs propose कर सकता है; एक ऐसे human को चुनना है जो business समझता है ताकि वह असल में चल सके।
मुख्य methods और AI कहाँ मदद करता है
अलग-अलग incrementality methods अलग-अलग situations में फिट होती हैं, और AI की भूमिका method के हिसाब से बदलती है। नीचे की table आम तरीक़े map करती है।
| Method | कब फिट होती है | AI की भूमिका |
|---|---|---|
| Geo holdout | Channel-level, region-splittable | Design, effect estimation, heterogeneity |
| Switchback | Time-based, auction-driven | Design, sequential analysis |
| Ghost bids / PSA | Search और auction channels | Estimation, spend-response curves |
| Matched control | जब holdout असंभव हो | Matching, bias checks |
| MMM | Portfolio-level, always-on | तेज़ fitting, scenario testing |
जो method जितनी ज़्यादा एक designed counterfactual पर निर्भर हो, AI को अकेले design आविष्कार करने पर उतना कम भरोसा करना चाहिए। जो जितनी ज़्यादा data से estimate करने पर निर्भर हो, AI उतना ज़्यादा जोड़ता है। Situation के लिए method चुनने में table का इस्तेमाल करें, उसके default पर जाने के बजाय जिसे model सबसे आसानी से handle करता है।
Confident causation का ख़तरा
Failure mode एक model है जो observational data में एक relationship ढूँढता है और उसे incremental की तरह पेश करता है। Modern methods authoritative लग सकती हैं जबकि वे ऐसी मान्यताओं पर टिकी हों जो नहीं टिकतीं — parallel trends जो parallel नहीं हैं, contaminated controls, spend जो demand पर respond करता है, उसे cause करने के बजाय। Output एक causal estimate जैसा दिखता है और असल में एक sophisticated correlation है।
Defence यह है कि counterfactual स्पष्ट रखें और मान्यताएँ test करें। अगर design कहता है कि दो groups comparable हैं, check करें। अगर एक holdout साफ़ माना गया है, verify करें कि कोई और बदलाव एक तरफ़ नहीं लगा। और यह रिपोर्ट करने को तैयार रहें कि data सवाल का जवाब नहीं दे सकता, जो उस number से ज़्यादा उपयोगी जवाब है जिसे आप defend नहीं कर सकते।
Experiment और model को जोड़ना
सबसे मज़बूत measurement systems एक designed experiment को एक ऐसे model के साथ जोड़ती हैं जो उसका नतीजा बढ़ाता है। एक geo holdout आपको एक defined window में एक channel के लिए एक साफ़, credible estimate देता है; एक model उस estimate का इस्तेमाल channels और periods में एक व्यापक view calibrate करने के लिए करता है। Experiment causation को anchor करता है, और model जहाँ आप test नहीं चला सकते वहाँ coverage देता है।
यह जोड़ी उन channels को भी handle करने का तरीक़ा है जहाँ holdout अव्यावहारिक है। जहाँ model असली experiments के ख़िलाफ़ calibrated है वहाँ आप उस पर ज़्यादा भरोसा करते हैं और जहाँ नहीं वहाँ कम। समय के साथ, पिछले experiments की एक library वह evidence base बन जाती है जो always-on model को ईमानदार रखती है, और यह उसी तरह compound करती है जैसे एक client-memory layer करती है।
एक व्यावहारिक शुरुआती बिंदु
हर major channel के लिए counterfactual सवाल तय करके शुरू करें: आप किसके सामने तुलना करेंगे, और क्या आप वह तुलना असल में चला सकते हैं? जहाँ चला सकें, एक holdout चलाएँ और उसे anchor मानें। जहाँ न चला सकें, एक matched control या एक model इस्तेमाल करें, और estimate को कमज़ोर label करें। फिर उस frame के अंदर design, estimation और segmentation के लिए AI इस्तेमाल करें, और हर estimate को उसके method और उसके confidence के साथ report करें।
फिर model के increments को अगले experiment से compare करने की आदत बनाएँ। जब वे अलग हों, experiment जीतता है और model recalibrate होता है। वह loop ही estimate के ढेर को एक भरोसेमंद measurement system में बदलती है, और यह वही discipline है चाहे AI शामिल हो या नहीं।
Attribution decay और यह क्यों मायने रखती है
एक report और एक फ़ैसले के बीच का अंतर नया नहीं; मैंने इस पर सालों पहले लिखा reporting पर समय बर्बाद न करें में, और AI number produce करना आसान बनाता है बिना उसे ज़्यादा causal बनाए। Attribution data उन कारणों से decay होता है जिनका campaign से कोई लेना-देना नहीं: privacy बदलाव, identifier loss, measurement gaps, और platform-side modelling जो holes को estimates से भरती है। जैसे decay बढ़ती है, attribution सच से और दूर जाती है, जो ठीक वह पल है जब teams उस पर ज़्यादा झुकती हैं क्योंकि साफ़ signals ग़ायब हैं। Incrementality तब ज़्यादा क़ीमती हो जाती है जब attribution कमज़ोर होती है, कम नहीं।
यह अब tests में invest करने का व्यावहारिक कारण है। Counterfactual वह अकेला measurement है जो किसी व्यक्ति को internet पर track करने पर निर्भर नहीं; यह groups compare करने पर निर्भर है। Decay होती attribution की दुनिया में, test-based estimate ही टिकाऊ है, और model की भूमिका उसे plan में उससे आगे बढ़ाना है जहाँ तक एक अकेला experiment अकेले पहुँच सकता। Corollary यह है कि अपनी estimates को date करें। दो साल पहले का एक incrementality number आज के बारे में एक fact नहीं; auction, audience और creative सब बदल चुके। Rolling basis पर दोबारा test करें और पुरानी estimates को truths के बजाय priors मानें। जो measurement system कभी expire न हो वह एक चुपचाप पुराना measurement system है।
FAQ
क्या AI हमें बिना test के incrementality बता सकता है?
नहीं। यह observational data से estimate कर सकता है, और estimate ऐसी मान्यताओं पर टिका होता है जिन्हें एक test verify करेगा। एक counterfactual के बिना, आप एक correlation पढ़ रहे हैं और उसे causation कह रहे हैं, चाहे method कितनी भी sophisticated हो। AI का इस्तेमाल एक designed test को support करने के लिए करें, उसे replace करने के लिए नहीं।
क्या हमें attribution इस्तेमाल करना बंद कर देना चाहिए?
नहीं, लेकिन उसे demote करें। Attribution in-flight optimisation और conversion तक के रास्ते को समझने के लिए उपयोगी है। Budget decisions के लिए, incrementality का वज़न ज़्यादा होना चाहिए, और जब दोनों असहमत हों, experiment पर भरोसा करें।
Incrementality tests कितनी बार चलाने चाहिए?
इतनी बार कि model anchor हो जाए, आमतौर पर हर major channel पर rolling basis पर, एक साथ सब नहीं। हर साफ़ experiment always-on view को recalibrate करता है और हर जगह confidence बढ़ाता है। एक साल में कुछ अच्छे tests, अच्छे से designed, कमज़ोर tests की लगातार धारा को हराते हैं।
अगर हम holdout न चला सकें?
एक matched control, एक switchback, या एक model इस्तेमाल करें, और estimate को कमज़ोर बताएँ। Method और confidence साफ़ label करें, और कमज़ोर estimate पर निर्भर किसी भी फ़ैसले को अस्थायी मानें। Limitation पर स्पष्ट होना हर estimate को बराबर पेश करने से ज़्यादा credible है।
Short version
Incrementality वह मापती है जो marketing के बिना नहीं होता, और AI tests design करने, effects estimate करने और यह खोजने में मदद करता है कि वे कहाँ केंद्रित हैं। यह कभी counterfactual नहीं देता, तो एक control रखें और हर estimate को उसके method के साथ label करें। AI marketing impact कैसे मापें वाला लेख operating metrics cover करता है, और Execution guide measurement को व्यापक workflow में रखता है। for team leads track इसे operating model के ज़रिए चलाती है।
अगर आप incrementality चलाते हैं, तो मैं सुनना चाहूँगा कि किस method पर आप सबसे कम भरोसा करते हैं — आमतौर पर वही ईमानदार जवाब होता है।
शुभकामनाओं सहित, Chandler
यह लेख हिंदी में उपलब्ध है, लेकिन कोर्स सामग्री (वीडियो, टेम्पलेट्स और सपोर्टिंग गाइड्स) अंग्रेज़ी, जापानी, सरलीकृत चीनी और कोरियाई में उपलब्ध है। यह साइट 13 भाषाओं में उपलब्ध है।