مفاهیم و مقدمات A/B Testing

قرار است چند نکته مهم را برجسته کنم و توجه شما را به موضوع A/B Testing جلب کنم. می‌خواهم 4 سرنخ به شما دهم و شما آن‌ها را مطالعه کنید زیرا با 1 ساعت حرف زدن چیز زیادی متوجه نمی‌شوید؛ امیدوارم سرنخ‌های خوبی به شما دهم.

چرا تعاریف مهم هستند؟

تعاریف بسیار مهم هستند به این دلیل که بدون اینکه درباره تعاریف به توافق برسیم ممکن است در فهم مطلب دچار مشکل شویم، اگر در گوگل سرچ کنید What's The Important Of Definitions توضیحاتی به شما ارائه می‌دهد که کمک می‌کند فهم مشترکی دربارۀ کلمۀ این موضوع داشته باشیم.دانستن Definitions و اینکه بدانید دربارۀ چه چیزی صحبت می‌کنیم، بسیار اهمیت دارد.

تعریف A/B Testing در سایت Optimizely

با توجه به اهمیت Definitions بیایید ابتدا ببینیم این A/B Testing که می‌گوییم یعنی چه؟

این لینک‌هایی که انتخاب کردم و لینکش در بخش منابع قرار داده شد، سرنخ‌هایی هستند که باید مطالعه کنید و اطلاعات بیشتری کسب کنید.

اگر به سایت Optimizely که یکی از مهم‌ترین ابزارهای مربوط به A/B Testing روی وب‌سایت‌ها است مراجعه کنید، توضیحی دربارۀ A/B Testing می‌دهد و A/B Testing و Split Testing را یکی می‌داند. بعدا می‌بینیم که بعضی از افراد Split Testing را جدا و متفاوت می‌بینند. پس فقط روی کلمه A/ B Testing تمرکز نکنید و کلمات Split Testing و Bucket Testing را سرچ کنید.

Optimizely می‌گوید A/B Testing برای وب‌سایت یا اپلیکیشن است و برای یک هدف مشخص 2 تا چند صفحه درست می‌کند که ببیند کدام بهتر عمل می‌کند. این صفحات را به شکل رندوم به مخاطب نشان می‌دهیم و بعد با تحلیل‌های آماری سعی می‌کنیم ببینیم کدام برای رساندن ما به هدفی که داریم، موثرتر است.

اگر دقت کنید، می‌بینید که به شکل مستتر در این تعریف، A/ B Testing بخشی از فرآیندهای CRO یا Conversion Rate Optimization است، یعنی در قسمتی از آن فرآیند‌های تعریف شده، سعی می‌کند نرخ تبدیل را برای رسیدن به یک هدف که تعیین کردیم، بهبود ببخشد. در بحث User Journey و Funnel Optimization یا بهینه‌سازی قیف مشتری، بهبود سفر مشتری، Customer Journey ،Bio Journey از روش‌های A/B Testing برای بهبود دادن به فرآیند CRO استفاده می‌شود.

با یک تعریف نمی‌توانیم فهم درستی دربارۀ موضوعی مثل A/B Testing به‌خصوص در حوزه‌ای مثل کسب‌و‌کار‌های آنلاین داشته باشیم.

کسب‌و‌کار‌های آنلاین یک مشکل حاد دارند این است که چون عمر کمی حدود 20 سال دارد و کسب‌و‌کار آنلاین فعالیت خود را از سال 90_91 شروع کرده‌اند، تعاریف مانند یکدیگر نیستند و هرکسی تعاریف خاص خود را دارد.

تعریف A/B Testing در سایت Crazyegg.com 

سایت Crazyegg.com که کار اصلی آن‌ها هیپ‌مپ دادن و رکورد رفتار مخاطب روی وب‌سایت است.

نمونۀ ابزار Crazyegg و هات‌جار در ایران، ابزار Mouseflow را داریم که می‌توانیم برای دامنه‌های Ir استفاده کنیم که هزینه‌ نسبتا کم و امکانات فوق‌العاده‌ای دارد.

Crazyegg تعریف خوبی از A/B Testing دارد: A/B Testing آن‌طوری که Optimizely می‌گوید فقط برای Web Page نیست بلکه حتی Email یا هر دارایی دیجیتال روی فقط یک پارامتر متغیر، یکی از این‌ها را تغییر دهید و دو حالت درست کنید، این تست A/B Testing نام دارد. تاکید Crazyegg روی این است که A/B Testing نمی‌تواند Multi Valued باشد، یعنی چند تا متغیر را با هم تست کنید، بلکه فقط یک متغیر با دو یا چند حالت.

منظور از دارایی دیجیتال چیست؟ همۀ صفحات اینستاگرام، تلگرام، صفحات Social، SEO، Email Marketing و لیست سئو Asset است.

انواع پارامترها: Subject، زمان ارسال، لیست، Segmentation، متن و تصاویر که بعدا به آن می‌پردازیم.

تعریف Hubspot از A/B Testing

هاب‌اسپات معتقد است که A/B Testing با Split Testing یکی هستند. یک آزمون در حوزه مارکتینگ هستند و تغییرات را مثل Crazyegg روی یک پارامتر نمی‌داند. این تعریف با تعاریف Crazyegg و Optimizely متفاوت است، به‌گونه‌ای ترکیبی از این دو است.

تعریف Digital Magazine Marketing از A/B Testing

اگر دیجیتال مارکتینگ مگزین را بخوانید، A/ B Testing را خیلی خوب توصیف کرده است: روش A/ B Testing چیزی (ابزار، متد یا روشی) است که روش علمی را در بحث مارکتینگ قرار می‌دهد و اجازه شهودی کار کردن را می‌گیرد. با کلیک روی سایت Digital Magazine Marketing در بخش منابع می‌توانید مطالعه بیشتری داشته باشید.

کم‌کم باید معنی A/B Testing در ذهن شما شکل گرفته باشد. اما یک سری به سایت Mailchimp بزنیم و مواردی را مطالعه کنیم.

A/B Testing را روی چه مواردی انجام می‌دهیم؟

• Email Campaigns

• Individual Emails

• Multimedia Marketing Strategies

• Paid Internet Advertising

• Newsletters

• Website Design

همه جا می‌توان A/B Testing را انجام داد.

روی چه پارامترهایی می‌توان A/B Testing انجام داد؟

• Color Scheme (تم رنگی)

• Layout (لایه یا ساختار)

• Number And Type Of Imagine (چه تعداد عکس و چه نوع عکسی بگذاریم)

• Heading And Subheadings

• Product Pricing

• Special Offers

• Call-to-action Button Design

نکته: اگر بروید و دوباره Optimizely را ببینید یک بحث درباره Multivariate مطرح می‌کند، می‌گوید Multivariate Testing یعنی در آن واحد چند متغیر را به‌طور همزمان تست و اندازه‌گیری کنیم. ترکیب‌های مختلف طراحی را تست کنیم تا اینکه به یک هدف غایی و مناسب برسیم.

در بخش تئوریک ماجرا تعریف و اختلاف نظر درباره A/B Testing زیاد است. اما نظر عادل طالبی چیست؟

A/B Testing از دیدگاه عادل طالبی

به نظر من موضوع را خیلی پیچیده نکنیم، درست است که در دانشگاه، سطح‌های آکادمی و منابع تئوری خیلی بحث باشد. اما در نظر بگیرید که ما می‌خواهیم بیزینس کنیم و به Goalهایی که تعریف کرده‌ایم برسیم.

از نظر من A/B Testing یعنی انتخاب یکی از بین دو یا چند حالت ممکن و متصور (یعنی اول باید حالت ممکن باشد و بعد به عقل ما رسد) و بعد براساس انتخاب مشتریان بالقوه یا مخاطبان هدف (یعنی چند گزینه بگذاریم و مشتری انتخاب کند).

البته من یک اختلاف نظر خیلی جدی با خیلی از مباحث آکادمیک دارم، در مباحث آکادمیک معمولا A/B Testing را همزمان یا سنکرون می‌گیرند. برای مثال می‌خواهند بدانند که صفحه A بهتر است یا B، بنابراین دوتا ورژن از این صفحات درست می‌کنند و همزمان به نفر اول سبد خرید اول و به نفر دوم سبد خرید دوم را نمایش می‌دهند و ...

نظر من این است که A/B Testing می‌تواند غیرهمزمان باشد، در اکثر موارد ما از نظر تکنولوژی نمی‌توانیم همزمانی داشته باشیم، یا امکانات فنی و برنامه‌نویس نداریم یا از ابزارهایی مثل Optimizely و ... نمی‌توانیم استفاده کنیم.

من خودم این کار را انجام می‌دهم. یک هفته A را می‌گذارم و یک هفته B را. هرچند از نظر علمی و آکادمیک و تئوری این دو در زمان‌های مختلف اندازه‌گیری شده‌اند و داده‌های آن‌ها پایه و اساس علمی ندارد، اما به‌عنوان یک بیزینس‌من، می‌توانم از داده‌هایی که به‌دست می‌آورم برای تصمیم‌های بعدی استفاده کنم، بنابراین من به غیر همزمان هم قائل هستم.

در بحث A/B Testing ما یک حالت داریم که گزینه‌های ممکن را به شکل تصادفی و همزمان در برابر مخاطبان قرار می‌دهیم و آن‌ها انتخاب می‌کنند. حالت دیگری هم داریم آن هم این است که اول یک حالت و بعد از یک مدت حالت دیگر را قرار می‌دهیم (یعنی دو تا بازه زمانی انتخاب می‌کنیم). بخش عمده‌ای از منابع A/B Testing را فقط سایت می‌دانند ولی من به هیچ عنوان فقط در سایت نمی‌بینم و در تمام دارایی‌ها یا Asset مارکتینگ به‌خصوص در بحث دیجیتال مارکتینگ می‌دانم.

کاربرد A/B Testing در بخش‌های مختلف دیجیتال مارکتینگ

• سئو: چه کلماتی به‌کار ببریم که گوگل بیشتر به آن بها بدهد، در کدام سایت‌ها بک‌لینک بذاریم گوگل سایت ما را سریع‌تر بالا می‌آورد، رپورتاژ آگهی در تصویر بهتر است یا در تسنیم یا در فارس؟

• در ایمیل مارکتینگ: برای سنجه‌ Open Rate، چند درصد افراد ایمیل من را باز کرده‌اند. اگر Goal ما Open Rate باشد، Subject، شخصی سازی، Time (چه ساعتی، چه روزی و ...)، Segment ،From، ایموجی‌هایی که جدیدا در Title قرار می‌دهند.

اگر ایمیل باز شود چه A/B Testingهایی در محتوا داریم؟

تعداد متغیرها، تعداد عکس، محل قرارگیری، Layout، لحن، با چه پرسونا و ادبیاتی نوشته شده است و... . ممکن است در متن ایمیل 10-12 تا پارامتر مختلف شامل فونت، رنگ، هدینگ‌ها، Call To Actionها، میکروکپی‌ها و ... را به راحتی شناسایی کنیم.

در حالتی که تعداد زیادی پارامتر در یک ابزار وجود دارد A/B Testing به چه چیزی تبدیل می‌شود؟ Multivariable اتفاق می‌افتد، با توجه به تعریف متدها و روش‌هایی که وقتی چند پارامتر داریم چگونه می‌توان با ترکیبی از این‌ها به نتیجه بهتری برسیم، که در ادامه بیشتر راجع‌به آن صحبت می‌کنیم.

• در پوش نوتیفیکیشن یا Web Push: در گذشته ابزارهایی مانند OneSignal که برای ایران در حال حاضر تحریم است، در نمونه‌های ایرانی چابک و نجوا را داریم و این‌ها در موبایل Push Notification و در سایت Web Push می‌شود که با تایید کردن از طرف کاربران شما می‌توانید Notification ارسال کنید.

حال در Push Notification چگونه می‌شود A/B Testing انجام داد؟ با پرسونالیزیشن می‌توانیم Notification را به صورت شخصی‌سازی شده که در چه ساعتی، چه روزی، چه محتوایی، چه تایتلی و ... ارسال کنیم.

ما می‌توانیم با در نظر گرفتن حالت‌های مختلف در کنار هم A/B Testing را انجام دهیم. بحث میکروکپی در A/B Testing در بسیاری از ابزارها از جمله SMS ،Push Notification و ایمیل تاثیرگذار است.

• تبلیغات کلیکی: تبلیغات کلیکی انواع و اقسام مختلفی دارد از جمله تبلیغات بنری، Native، ریتارگتینگ، گوگل ارز و... .

در بسیاری از موارد خیلی‌ها رپورتاژآگهی را برای بک‌لینک می‌گیرند، اما به نظر من رپورتاژ آگهی فقط برای سئو نیست. اگر رپورتاژآگهی را فقط برای بک‌لینک بگیرید فقط به اندازه یک بک‌لینک ارزش دارد، اما اگر User Flow بگیرید یعنی به شکلی آن را توزیع کنید و محتوا کیفیت داشته باشد که باعث شود افراد روی بک‌لینک‌ها کلیک کنند و وارد سایت شما شوند، به شکل نمایی اثر این بک‌لینک‌ها بالا می‌رود.

در تبلیغات بنری A/B Testing چگونه اتفاق می‌افتد؟

اگر هدف کلیک باشد در تبلیغات بنری معمولا CTR است، اگر CPC باشد باید کسی کلیک کند که مخاطب هدف باشد، اگر CPM یا CPT باشد، ترجیح می‌دهیم بیشتر کلیک کنند و بیشتر آشنا شوند، پس نوع پرداخت یک مورد مهم است. 

ما در CPC ترجیح می‌دهیم هرکسی کلیک نکند چون بابت هر کلیک ما هزینه پرداخت می‌کنیم. چه عواملی در A/B Testing وجود دارد که کلیک نکردن بهتر از کلیک کردن است؟ ظاهر، مکان، موقعیت، رنگ‌بندی، محل بنر، سایز، هدف و تصویر، فونت، اهمیت دارد. تک‌تک عوامل حتی اگر از نوع گیف انیمیشن هست، سرعت نمایش فریم‌ها، سرعت چشمک‌زن، حتی در تبلیغات بنری قالب سایتی که بنر من روی آن قرار می‌گیرد، مهم است.

روی رپورتاژآگهی روی چه چیزی می‌توان A/ B Test انجام داد؟ متن، Title، لینک، جای قرار گرفتن لینک، اندازه، کتگوری.

• در بازاریابی محتوایی: معمولا A/B Testing به سرعت و شفافیت تبلیغات بنری نیست، در تبلیغات بنری فونت را عوض می‌کنیم و در لحظه به صورت رندوم نمایش می‌دهیم، نهایتا در دو تا بازه 1-2 ساعت تست می‌کنیم و به جواب می‌رسیم. در بازاریابی محتوایی گاهی 3 ماه طول می‌کشد، مثلا لحن را عوض می‌کنیم، ببینیم با لحن جدید می‌توانیم موفق شویم یا خیر. تا زمانی که مخاطب عادت کند و متناسب با آن رفتار کند حدود 3 ماه طول می‌کشد.

در بازاریابی محتوایی چه چیزهایی را می‌توانیم A/B Test کنیم؟ CTA، پرسونا، لحن، کانال‌های توزیع، اندازه محتوا

• در شبکه‌های اجتماعی: حجم محتوا (مخاطبان ما پرخوان یا کم‌خوان) و ....

چگونه در شبکه‌های اجتماعی می‌توان A/B Test انجام داد؟ لایک، Share ،Retweet، فرمت، ساعت ارسال، استوری، اینفلوئنسرها و... .

گاهی A/B Testing ارزان نیست، در ایمیل مارکتینگ یک پنل می‌گیریم و با یک هزینه کم، ایمیل می‌فرستیم اما در اینفلوئنسر مارکتینگ ممکن است هزینه بالا باشد و هزینه‌های مختلف را صرف می‌کنیم تا حالت مطلوب را برای A/B Testing پیدا کنیم.

در فضای کسب‌و‌کار و در فضای زندگی انسان‌ها، در فضای مربوط به مدیریت استراتژیک و ... بحثی به اسم Practice یا آزمون داریم که یک عده می‌روند و می‌آزمایند، نظریه می‌دهند و در عمل تست می‌شود. تعدادی از این نظریه‌ها جواب می‌دهد و Best Practice می‌شود یعنی نه با دلیل منطقی، نه دلیل و متالوژی علمی بلکه براساس صد تا شرکت رفتن، هر کدام یک کاری کردند، آن 30 تا شرکتی که کارهای مشخصی انجام داده‌اند، موفق‌تر بوده‌اند و درآمد بیشتری داشته‌اند. پارامترهای یکسان را درمی‌آورند و می‌گویند Best Practice این حوزه درباره این موضوع این است.

بعد از چند سال Best Practice اجرا می‌شود و از درون آن تعدادی از پارامترها مشخص می‌شود، بعضی از آن‌ها شرط لازم دارند و استاندارد هستند.

Defect To Standard چیست؟ استانداردهای الزامی هستند.

در حوزه دیجیتال مارکتینگ در اغلب موارد یا درحال Practice هستیم و هنوز به Best Practice نرسیده‌ایم یا نهایتا به Best Practiceها رسیده‌ایم، در فضای دیجیتال A/B Testing از این موارد است. فی‌الواقع در هر ابزار بازاریابی دیجیتال می‌توان A/B Testing را با فکر کردن و پیدا کردن سنجه‌ها و Goalها انجام داد. به تعداد Goalها ضرب‌در تعداد سنجه‌ها ضرب‌در تعداد Variableها یا پارامترها می‌توان A/B Test را انجام داد.

چرا در فضای دیجیتال انتخاب را به متخصص نسپاریم؟

دلایل متفاوتی دارد، در حوزه A/B Testing چند نکته بسیار مهم است. در فضای دیجیتال انجام A/B Test بسیار ساده‌تر از فضای غیردیجیتال است. برخی از متخصصین، تخصصشان را از کتاب‌ها به دست آورده‌اند. بسیاری از منابع آکادمیک‌ها در کشورهایی که Low Context هستند، مانند آمریکا و انگلستان تنظیم شده‌اند. این افراد با ترجمه‌ها و مطالعه متون آکادمیک متخصص و مشاور شدند. گاهی پیشنهاد‌هایی می‌دهند که ممکن است اشتباه باشد و متناسب با رفتار مصرف‌کننده نباشد.

برخی متخصصین، تخصص دارند ولی در همه حوزه‌ها تخصص ندارند و رفتار مصرف‌کننده را در همه حوزه‌ها نمی‌شناسند، و چون تجربه ندارند نظرشان نمی‌تواند صائب و کامل باشد، شاید بهتر است که نظر آن‌ها، نظر نهایی نباشد.

پس نقش متخصصین چیست؟

نقش متخصصین در طراحی حالت‌ها، تعریف Variable و Goalها است. متخصصین و مشاوران برای تعریف Goalها، سنجه‌ها، متریک‌ها، Variable و دیزاین حالت‌ها، لازم هستند.

نقش مخاطبان در انتخاب نهایی این است که از بین حالت‌ها کدام را انتخاب کنند. نظر مخاطبان هیچ اهمیتی ندارد بلکه رفتار مخاطبان اهمیت دارد. در A/B Testing رفتار مخاطب و اکشنی که که نسبت به آن ابزار نشان می‌دهد، اهمیت پیدا می‌کند.

A/B Testing را در کسب‌وکارهای غیر آنلاین نیز می‌توان انجام داد، اما در کسب‌وکارهای غیر آنلاین هزینه‌های بالا و عدم امکان همزمانی بودن است.

A/B Testing در عمل

A/B Testing در عمل به دو شکل امکان‌پذیر است.

• روش اول استفاده از ابزارها یا Automationها

برخی از ابزارها مثلا در ایمیل مارکتینگ، Push Notification و یا در وب‌سایت از طریق ابزارهایی مثل Optimizely که برای صفحات سایت استفاده می‌شود، می‌توانیم به سادگی A/B Test را انجام دهیم، اما گاهی باید به شکل دستی انجام دهیم.

هرچند نتایج جست‌وجو گوگل و عکس‌ها Manual نیست اما A/B Testing به شکل دستی قابل انجام است و بخش قابل توجهی از A/B Test ها را Manual انجام می‌دهیم.

ابزارهایی مثل Optimizely می‌تواند به شما کمک کند که عکس‌ها را با هم عوض کنید، به گرو‌های مختلف عکس‌ها، اسلایدها، فونت‌های متفاوت نشان می‌دهد.

حتی برای Web Page هم ابزار داریم، برای Word press افزونه داریم اما فرض کنید ما در ایران افزونه نداریم، CMS را خودمان نوشتیم و Optimizely هم ir کار نمی‌کند، پس به سراغ روش Manual می‌رویم.

همه ابزارهای A/ B Testing درون‌کار ندارند. اگر ابزار امکان A/B Test نداشت چکار کنیم؟ به سراغ روش Manual می‌رویم و می‌توانیم به صورت دستی کدنویسی داشته باشیم.

اگر سری به سایت Optimizely بزنید 1، 2، 3 و 4 آورده است که چگونه A/B Test کنید. اول می‌گوید Product Manager ،Customer Socks Manager، جمع شوند و Ideate دهند (یعنی ایده و نظر دهند و بگویند چه چیزی می‌خواهند). در مرحله بعد نظرات را Experiment کن و ببین کدام بهتر است. در مرحله بعد Implement کن و سنجه‌ها را بسنجید و ببین چه اتفاقی می‌افتد.

چک لیست عادل طالبی برای اجرای A/B Test

1. هدف را مشخص کن.

(می‌خواهم عضوم زیاد شود، زنگ‌خور زیاد یا Visitor زیاد شود)

2. ابزار را انتخاب کن.

(اگر هدف ثبت‌نام است ابزار فرم است، اگر هدف فروش است ابزار فانل فروش را انتخاب می‌کنیم و ...)

3. متغیر‌ها را مشخص کن (چه چیزی را باید تست کنیم، زمان ارسال پیامک، Segmentها، تعیین روز و...)

4. سنجه‌ها را مشخص کن. (کلیک، تماس و ... را بسنجید)

5. حالت‌های ممکن را بنویس

6. بخشی از ورودی را انتخاب کن

7. حالت‌های مختلف را اجرا کن

8. سنجه‌ها را بررسی کن

9. نتایج به دست آمده را تحلیل کن. (گاهی با تحلیل نتایج تست ایده جدید به ذهن‌مان می‌رسد، گاهی تست جدیدی مطرح می‌شود)

10. امکان بهبود تست A/B را بررسی کن

11. تست بهبودیافته را اجرا کن

12. بهترین حالت ممکن را انتخاب کن

13. بهترین حالت ممکن را اجرا کن