مقدمات A/B Testing
در مسیری که شروع کردیم و قدمقدم پیش میرویم هر بار به جاهای مختلف گریز میزنیم اما همچنان روی مسیر حرکت میکنیم.
در بحث Conversion Rate Optimization به نکتهای رسیدیم به اسم A/B Testing، اینکه Conversion Rate Optimization بر چه اساسی پیاده میشود: Sales Funnel ،Marketing Funnel ،User Journey ،Customer Journey و Buy Journey، اما براساس هر مدل، هر مرحله را آنالیز میکنیم، ورودی و خروجی میگیریم، میزان Conversionهای جزئی یا میکرو را میسنجیم و بعد سعی میکنیم برای بهبود آن ایده دهیم.
از کجا بفهمیم که ایدهها و پیشنهادات درستاند؟
از متخصصین کمک و ایده میگیریم، میگویند شاید با ایده گرفتن از متخصصین Conversion Rate Optimization بهبود پیدا کند و نرخ تبدیل بهتر شود.
از کجا بفهمیم متخصصان درست میگویند؟ متخصصان چگونه متخصص شدهاند؟
یا مطالعه داشتهاند یا تجربه و یا هر دو.
آیا مطالعهای که انجام دادند مربوط به حوزه فعالیت ما است؟ آیا تیپ مخاطبانشان، تیپ مخاطبان ما بوده است؟ آیا بین تجربهای که متخصص کسب کرده تا امروز فاصله نیافتاده است؟ آیا در این فاصله رفتار مصرفکننده تغییر نکرده است؟
ما شاهد این هستیم که رفتار مصرفکننده تغییر میکند. در فضای آفلاین کمی با تاخیر و با فاصله شاید 10 تا 15 سال طول کشد اما در فضای آنلاین خیلی سریع عوض میشود. گاهی کرونا میآید و تغییرات جدی در رفتار مصرفکننده ایجاد میکند، Want and Demand که در بازاریابی مطرح میشود، کاملا عوض میشود، نوع برآورده کردن نیازها تغییر میکند.
در چنین محیط پر تغییری آیا نظر متخصصین میتواند قطعی باشد؟
تجربه نشان میدهد که خیر، متخصصین حالتهای مختلف را پیشنهاد میدهند و ما باید این حالتها را در معرض دید مخاطب قرار دهیم، و ببینیم مخاطبان امروز ما براساس حالتها به کدام اقبال بیشتری نشان میدهند، کدام یک از حالتها Conversion بهتری به ما نشان میدهد بعد آن را انتخاب میکنیم، به این فرآیند A/B Testing میگویند.
دو نوع A/B Tasting داریم
1- براساس ابزارهایی مانند Google Optimize، Google Experiment و ... است. (بعا به آنها میپردازیم)
2- براساس Process
آیا بدون ابزار میتوان A/B Testing انجام داد؟ آیا A/B Testing فقط به سایت محدود میشود؟
خیر جلسۀ دیگری داریم که A/B Testing براساس ابزارها و سرویسهای Marketing Automation خواهیم دید.
قرار است چند نکته مهم را برجسته کنم و توجه شما را به موضوع A/B Testing جلب کنم. میخواهم 4 سرنخ به شما دهم و شما آنها را مطالعه کنید زیرا با 1 ساعت حرف زدن چیز زیادی متوجه نمیشوید؛ امیدوارم سرنخهای خوبی به شما دهم.
چرا تعاریف مهم هستند؟
تعاریف بسیار مهم هستند به این دلیل که بدون اینکه درباره تعاریف به توافق برسیم ممکن است در فهم مطلب دچار مشکل شویم، اگر در گوگل سرچ کنید What's The Important Of Definitions توضیحاتی به شما ارائه میدهد که کمک میکند فهم مشترکی دربارۀ کلمۀ این موضوع داشته باشیم.دانستن Definitions و اینکه بدانید دربارۀ چه چیزی صحبت میکنیم، بسیار اهمیت دارد.
تعریف A/B Testing در سایت Optimizely
با توجه به اهمیت Definitions بیایید ابتدا ببینیم این A/B Testing که میگوییم یعنی چه؟
این لینکهایی که انتخاب کردم و لینکش در بخش منابع قرار داده شد، سرنخهایی هستند که باید مطالعه کنید و اطلاعات بیشتری کسب کنید.
اگر به سایت Optimizely که یکی از مهمترین ابزارهای مربوط به A/B Testing روی وبسایتها است مراجعه کنید، توضیحی دربارۀ A/B Testing میدهد و A/B Testing و Split Testing را یکی میداند. بعدا میبینیم که بعضی از افراد Split Testing را جدا و متفاوت میبینند. پس فقط روی کلمه A/ B Testing تمرکز نکنید و کلمات Split Testing و Bucket Testing را سرچ کنید.
Optimizely میگوید A/B Testing برای وبسایت یا اپلیکیشن است و برای یک هدف مشخص 2 تا چند صفحه درست میکند که ببیند کدام بهتر عمل میکند. این صفحات را به شکل رندوم به مخاطب نشان میدهیم و بعد با تحلیلهای آماری سعی میکنیم ببینیم کدام برای رساندن ما به هدفی که داریم، موثرتر است.
اگر دقت کنید، میبینید که به شکل مستتر در این تعریف، A/ B Testing بخشی از فرآیندهای CRO یا Conversion Rate Optimization است، یعنی در قسمتی از آن فرآیندهای تعریف شده، سعی میکند نرخ تبدیل را برای رسیدن به یک هدف که تعیین کردیم، بهبود ببخشد. در بحث User Journey و Funnel Optimization یا بهینهسازی قیف مشتری، بهبود سفر مشتری، Customer Journey ،Bio Journey از روشهای A/B Testing برای بهبود دادن به فرآیند CRO استفاده میشود.
با یک تعریف نمیتوانیم فهم درستی دربارۀ موضوعی مثل A/B Testing بهخصوص در حوزهای مثل کسبوکارهای آنلاین داشته باشیم.
کسبوکارهای آنلاین یک مشکل حاد دارند این است که چون عمر کمی حدود 20 سال دارد و کسبوکار آنلاین فعالیت خود را از سال 90_91 شروع کردهاند، تعاریف مانند یکدیگر نیستند و هرکسی تعاریف خاص خود را دارد.
تعریف A/B Testing در سایت Crazyegg.com
سایت Crazyegg.com که کار اصلی آنها هیپمپ دادن و رکورد رفتار مخاطب روی وبسایت است.
نمونۀ ابزار Crazyegg و هاتجار در ایران، ابزار Mouseflow را داریم که میتوانیم برای دامنههای Ir استفاده کنیم که هزینه نسبتا کم و امکانات فوقالعادهای دارد.
Crazyegg تعریف خوبی از A/B Testing دارد: A/B Testing آنطوری که Optimizely میگوید فقط برای Web Page نیست بلکه حتی Email یا هر دارایی دیجیتال روی فقط یک پارامتر متغیر، یکی از اینها را تغییر دهید و دو حالت درست کنید، این تست A/B Testing نام دارد. تاکید Crazyegg روی این است که A/B Testing نمیتواند Multi Valued باشد، یعنی چند تا متغیر را با هم تست کنید، بلکه فقط یک متغیر با دو یا چند حالت.
منظور از دارایی دیجیتال چیست؟ همۀ صفحات اینستاگرام، تلگرام، صفحات Social، SEO، Email Marketing و لیست سئو Asset است.
انواع پارامترها: Subject، زمان ارسال، لیست، Segmentation، متن و تصاویر که بعدا به آن میپردازیم.
تعریف Hubspot از A/B Testing
هاباسپات معتقد است که A/B Testing با Split Testing یکی هستند. یک آزمون در حوزه مارکتینگ هستند و تغییرات را مثل Crazyegg روی یک پارامتر نمیداند. این تعریف با تعاریف Crazyegg و Optimizely متفاوت است، بهگونهای ترکیبی از این دو است.
تعریف Digital Magazine Marketing از A/B Testing
اگر دیجیتال مارکتینگ مگزین را بخوانید، A/ B Testing را خیلی خوب توصیف کرده است: روش A/ B Testing چیزی (ابزار، متد یا روشی) است که روش علمی را در بحث مارکتینگ قرار میدهد و اجازه شهودی کار کردن را میگیرد. با کلیک روی سایت Digital Magazine Marketing در بخش منابع میتوانید مطالعه بیشتری داشته باشید.
کمکم باید معنی A/B Testing در ذهن شما شکل گرفته باشد. اما یک سری به سایت Mailchimp بزنیم و مواردی را مطالعه کنیم.
A/B Testing را روی چه مواردی انجام میدهیم؟
• Email Campaigns
• Individual Emails
• Multimedia Marketing Strategies
• Paid Internet Advertising
• Newsletters
• Website Design
همه جا میتوان A/B Testing را انجام داد.
روی چه پارامترهایی میتوان A/B Testing انجام داد؟
• Color Scheme (تم رنگی)
• Layout (لایه یا ساختار)
• Number And Type Of Imagine (چه تعداد عکس و چه نوع عکسی بگذاریم)
• Heading And Subheadings
• Product Pricing
• Special Offers
• Call-to-action Button Design
نکته: اگر بروید و دوباره Optimizely را ببینید یک بحث درباره Multivariate مطرح میکند، میگوید Multivariate Testing یعنی در آن واحد چند متغیر را بهطور همزمان تست و اندازهگیری کنیم. ترکیبهای مختلف طراحی را تست کنیم تا اینکه به یک هدف غایی و مناسب برسیم.
در بخش تئوریک ماجرا تعریف و اختلاف نظر درباره A/B Testing زیاد است. اما نظر عادل طالبی چیست؟
A/B Testing از دیدگاه عادل طالبی
به نظر من موضوع را خیلی پیچیده نکنیم، درست است که در دانشگاه، سطحهای آکادمی و منابع تئوری خیلی بحث باشد. اما در نظر بگیرید که ما میخواهیم بیزینس کنیم و به Goalهایی که تعریف کردهایم برسیم.
از نظر من A/B Testing یعنی انتخاب یکی از بین دو یا چند حالت ممکن و متصور (یعنی اول باید حالت ممکن باشد و بعد به عقل ما رسد) و بعد براساس انتخاب مشتریان بالقوه یا مخاطبان هدف (یعنی چند گزینه بگذاریم و مشتری انتخاب کند).
البته من یک اختلاف نظر خیلی جدی با خیلی از مباحث آکادمیک دارم، در مباحث آکادمیک معمولا A/B Testing را همزمان یا سنکرون میگیرند. برای مثال میخواهند بدانند که صفحه A بهتر است یا B، بنابراین دوتا ورژن از این صفحات درست میکنند و همزمان به نفر اول سبد خرید اول و به نفر دوم سبد خرید دوم را نمایش میدهند و ...
نظر من این است که A/B Testing میتواند غیرهمزمان باشد، در اکثر موارد ما از نظر تکنولوژی نمیتوانیم همزمانی داشته باشیم، یا امکانات فنی و برنامهنویس نداریم یا از ابزارهایی مثل Optimizely و ... نمیتوانیم استفاده کنیم.
من خودم این کار را انجام میدهم. یک هفته A را میگذارم و یک هفته B را. هرچند از نظر علمی و آکادمیک و تئوری این دو در زمانهای مختلف اندازهگیری شدهاند و دادههای آنها پایه و اساس علمی ندارد، اما بهعنوان یک بیزینسمن، میتوانم از دادههایی که بهدست میآورم برای تصمیمهای بعدی استفاده کنم، بنابراین من به غیر همزمان هم قائل هستم.
در بحث A/B Testing ما یک حالت داریم که گزینههای ممکن را به شکل تصادفی و همزمان در برابر مخاطبان قرار میدهیم و آنها انتخاب میکنند. حالت دیگری هم داریم آن هم این است که اول یک حالت و بعد از یک مدت حالت دیگر را قرار میدهیم (یعنی دو تا بازه زمانی انتخاب میکنیم). بخش عمدهای از منابع A/B Testing را فقط سایت میدانند ولی من به هیچ عنوان فقط در سایت نمیبینم و در تمام داراییها یا Asset مارکتینگ بهخصوص در بحث دیجیتال مارکتینگ میدانم.
کاربرد A/B Testing در بخشهای مختلف دیجیتال مارکتینگ
• سئو: چه کلماتی بهکار ببریم که گوگل بیشتر به آن بها بدهد، در کدام سایتها بکلینک بذاریم گوگل سایت ما را سریعتر بالا میآورد، رپورتاژ آگهی در تصویر بهتر است یا در تسنیم یا در فارس؟
• در ایمیل مارکتینگ: برای سنجه Open Rate، چند درصد افراد ایمیل من را باز کردهاند. اگر Goal ما Open Rate باشد، Subject، شخصی سازی، Time (چه ساعتی، چه روزی و ...)، Segment ،From، ایموجیهایی که جدیدا در Title قرار میدهند.
اگر ایمیل باز شود چه A/B Testingهایی در محتوا داریم؟
تعداد متغیرها، تعداد عکس، محل قرارگیری، Layout، لحن، با چه پرسونا و ادبیاتی نوشته شده است و... . ممکن است در متن ایمیل 10-12 تا پارامتر مختلف شامل فونت، رنگ، هدینگها، Call To Actionها، میکروکپیها و ... را به راحتی شناسایی کنیم.
در حالتی که تعداد زیادی پارامتر در یک ابزار وجود دارد A/B Testing به چه چیزی تبدیل میشود؟ Multivariable اتفاق میافتد، با توجه به تعریف متدها و روشهایی که وقتی چند پارامتر داریم چگونه میتوان با ترکیبی از اینها به نتیجه بهتری برسیم، که در ادامه بیشتر راجعبه آن صحبت میکنیم.
• در پوش نوتیفیکیشن یا Web Push: در گذشته ابزارهایی مانند OneSignal که برای ایران در حال حاضر تحریم است، در نمونههای ایرانی چابک و نجوا را داریم و اینها در موبایل Push Notification و در سایت Web Push میشود که با تایید کردن از طرف کاربران شما میتوانید Notification ارسال کنید.
حال در Push Notification چگونه میشود A/B Testing انجام داد؟ با پرسونالیزیشن میتوانیم Notification را به صورت شخصیسازی شده که در چه ساعتی، چه روزی، چه محتوایی، چه تایتلی و ... ارسال کنیم.
ما میتوانیم با در نظر گرفتن حالتهای مختلف در کنار هم A/B Testing را انجام دهیم. بحث میکروکپی در A/B Testing در بسیاری از ابزارها از جمله SMS ،Push Notification و ایمیل تاثیرگذار است.
• تبلیغات کلیکی: تبلیغات کلیکی انواع و اقسام مختلفی دارد از جمله تبلیغات بنری، Native، ریتارگتینگ، گوگل ارز و... .
در بسیاری از موارد خیلیها رپورتاژآگهی را برای بکلینک میگیرند، اما به نظر من رپورتاژ آگهی فقط برای سئو نیست. اگر رپورتاژآگهی را فقط برای بکلینک بگیرید فقط به اندازه یک بکلینک ارزش دارد، اما اگر User Flow بگیرید یعنی به شکلی آن را توزیع کنید و محتوا کیفیت داشته باشد که باعث شود افراد روی بکلینکها کلیک کنند و وارد سایت شما شوند، به شکل نمایی اثر این بکلینکها بالا میرود.
در تبلیغات بنری A/B Testing چگونه اتفاق میافتد؟
اگر هدف کلیک باشد در تبلیغات بنری معمولا CTR است، اگر CPC باشد باید کسی کلیک کند که مخاطب هدف باشد، اگر CPM یا CPT باشد، ترجیح میدهیم بیشتر کلیک کنند و بیشتر آشنا شوند، پس نوع پرداخت یک مورد مهم است.
ما در CPC ترجیح میدهیم هرکسی کلیک نکند چون بابت هر کلیک ما هزینه پرداخت میکنیم. چه عواملی در A/B Testing وجود دارد که کلیک نکردن بهتر از کلیک کردن است؟ ظاهر، مکان، موقعیت، رنگبندی، محل بنر، سایز، هدف و تصویر، فونت، اهمیت دارد. تکتک عوامل حتی اگر از نوع گیف انیمیشن هست، سرعت نمایش فریمها، سرعت چشمکزن، حتی در تبلیغات بنری قالب سایتی که بنر من روی آن قرار میگیرد، مهم است.
روی رپورتاژآگهی روی چه چیزی میتوان A/ B Test انجام داد؟ متن، Title، لینک، جای قرار گرفتن لینک، اندازه، کتگوری.
• در بازاریابی محتوایی: معمولا A/B Testing به سرعت و شفافیت تبلیغات بنری نیست، در تبلیغات بنری فونت را عوض میکنیم و در لحظه به صورت رندوم نمایش میدهیم، نهایتا در دو تا بازه 1-2 ساعت تست میکنیم و به جواب میرسیم. در بازاریابی محتوایی گاهی 3 ماه طول میکشد، مثلا لحن را عوض میکنیم، ببینیم با لحن جدید میتوانیم موفق شویم یا خیر. تا زمانی که مخاطب عادت کند و متناسب با آن رفتار کند حدود 3 ماه طول میکشد.
در بازاریابی محتوایی چه چیزهایی را میتوانیم A/B Test کنیم؟ CTA، پرسونا، لحن، کانالهای توزیع، اندازه محتوا
• در شبکههای اجتماعی: حجم محتوا (مخاطبان ما پرخوان یا کمخوان) و ....
چگونه در شبکههای اجتماعی میتوان A/B Test انجام داد؟ لایک، Share ،Retweet، فرمت، ساعت ارسال، استوری، اینفلوئنسرها و... .
گاهی A/B Testing ارزان نیست، در ایمیل مارکتینگ یک پنل میگیریم و با یک هزینه کم، ایمیل میفرستیم اما در اینفلوئنسر مارکتینگ ممکن است هزینه بالا باشد و هزینههای مختلف را صرف میکنیم تا حالت مطلوب را برای A/B Testing پیدا کنیم.
در فضای کسبوکار و در فضای زندگی انسانها، در فضای مربوط به مدیریت استراتژیک و ... بحثی به اسم Practice یا آزمون داریم که یک عده میروند و میآزمایند، نظریه میدهند و در عمل تست میشود. تعدادی از این نظریهها جواب میدهد و Best Practice میشود یعنی نه با دلیل منطقی، نه دلیل و متالوژی علمی بلکه براساس صد تا شرکت رفتن، هر کدام یک کاری کردند، آن 30 تا شرکتی که کارهای مشخصی انجام دادهاند، موفقتر بودهاند و درآمد بیشتری داشتهاند. پارامترهای یکسان را درمیآورند و میگویند Best Practice این حوزه درباره این موضوع این است.
بعد از چند سال Best Practice اجرا میشود و از درون آن تعدادی از پارامترها مشخص میشود، بعضی از آنها شرط لازم دارند و استاندارد هستند.
Defect To Standard چیست؟ استانداردهای الزامی هستند.
در حوزه دیجیتال مارکتینگ در اغلب موارد یا درحال Practice هستیم و هنوز به Best Practice نرسیدهایم یا نهایتا به Best Practiceها رسیدهایم، در فضای دیجیتال A/B Testing از این موارد است. فیالواقع در هر ابزار بازاریابی دیجیتال میتوان A/B Testing را با فکر کردن و پیدا کردن سنجهها و Goalها انجام داد. به تعداد Goalها ضربدر تعداد سنجهها ضربدر تعداد Variableها یا پارامترها میتوان A/B Test را انجام داد.
چرا در فضای دیجیتال انتخاب را به متخصص نسپاریم؟
دلایل متفاوتی دارد، در حوزه A/B Testing چند نکته بسیار مهم است. در فضای دیجیتال انجام A/B Test بسیار سادهتر از فضای غیردیجیتال است. برخی از متخصصین، تخصصشان را از کتابها به دست آوردهاند. بسیاری از منابع آکادمیکها در کشورهایی که Low Context هستند، مانند آمریکا و انگلستان تنظیم شدهاند. این افراد با ترجمهها و مطالعه متون آکادمیک متخصص و مشاور شدند. گاهی پیشنهادهایی میدهند که ممکن است اشتباه باشد و متناسب با رفتار مصرفکننده نباشد.
برخی متخصصین، تخصص دارند ولی در همه حوزهها تخصص ندارند و رفتار مصرفکننده را در همه حوزهها نمیشناسند، و چون تجربه ندارند نظرشان نمیتواند صائب و کامل باشد، شاید بهتر است که نظر آنها، نظر نهایی نباشد.
پس نقش متخصصین چیست؟
نقش متخصصین در طراحی حالتها، تعریف Variable و Goalها است. متخصصین و مشاوران برای تعریف Goalها، سنجهها، متریکها، Variable و دیزاین حالتها، لازم هستند.
نقش مخاطبان در انتخاب نهایی این است که از بین حالتها کدام را انتخاب کنند. نظر مخاطبان هیچ اهمیتی ندارد بلکه رفتار مخاطبان اهمیت دارد. در A/B Testing رفتار مخاطب و اکشنی که که نسبت به آن ابزار نشان میدهد، اهمیت پیدا میکند.
A/B Testing را در کسبوکارهای غیر آنلاین نیز میتوان انجام داد، اما در کسبوکارهای غیر آنلاین هزینههای بالا و عدم امکان همزمانی بودن است.
A/B Testing در عمل
A/B Testing در عمل به دو شکل امکانپذیر است.
• روش اول استفاده از ابزارها یا Automationها
برخی از ابزارها مثلا در ایمیل مارکتینگ، Push Notification و یا در وبسایت از طریق ابزارهایی مثل Optimizely که برای صفحات سایت استفاده میشود، میتوانیم به سادگی A/B Test را انجام دهیم، اما گاهی باید به شکل دستی انجام دهیم.
هرچند نتایج جستوجو گوگل و عکسها Manual نیست اما A/B Testing به شکل دستی قابل انجام است و بخش قابل توجهی از A/B Test ها را Manual انجام میدهیم.
ابزارهایی مثل Optimizely میتواند به شما کمک کند که عکسها را با هم عوض کنید، به گروهای مختلف عکسها، اسلایدها، فونتهای متفاوت نشان میدهد.
حتی برای Web Page هم ابزار داریم، برای Word press افزونه داریم اما فرض کنید ما در ایران افزونه نداریم، CMS را خودمان نوشتیم و Optimizely هم ir کار نمیکند، پس به سراغ روش Manual میرویم.
همه ابزارهای A/ B Testing درونکار ندارند. اگر ابزار امکان A/B Test نداشت چکار کنیم؟ به سراغ روش Manual میرویم و میتوانیم به صورت دستی کدنویسی داشته باشیم.
اگر سری به سایت Optimizely بزنید 1، 2، 3 و 4 آورده است که چگونه A/B Test کنید. اول میگوید Product Manager ،Customer Socks Manager، جمع شوند و Ideate دهند (یعنی ایده و نظر دهند و بگویند چه چیزی میخواهند). در مرحله بعد نظرات را Experiment کن و ببین کدام بهتر است. در مرحله بعد Implement کن و سنجهها را بسنجید و ببین چه اتفاقی میافتد.
چک لیست عادل طالبی برای اجرای A/B Test
1. هدف را مشخص کن.
(میخواهم عضوم زیاد شود، زنگخور زیاد یا Visitor زیاد شود)
2. ابزار را انتخاب کن.
(اگر هدف ثبتنام است ابزار فرم است، اگر هدف فروش است ابزار فانل فروش را انتخاب میکنیم و ...)
3. متغیرها را مشخص کن (چه چیزی را باید تست کنیم، زمان ارسال پیامک، Segmentها، تعیین روز و...)
4. سنجهها را مشخص کن. (کلیک، تماس و ... را بسنجید)
5. حالتهای ممکن را بنویس
6. بخشی از ورودی را انتخاب کن
7. حالتهای مختلف را اجرا کن
8. سنجهها را بررسی کن
9. نتایج به دست آمده را تحلیل کن. (گاهی با تحلیل نتایج تست ایده جدید به ذهنمان میرسد، گاهی تست جدیدی مطرح میشود)
10. امکان بهبود تست A/B را بررسی کن
11. تست بهبودیافته را اجرا کن
12. بهترین حالت ممکن را انتخاب کن
13. بهترین حالت ممکن را اجرا کن
پیوندها و منابع آموزشی
- تعریف AB-Testing در سایت Optimizely
- تعریف AB-Testing در سایت Crazyegg
- مطالعه AB-Testing در سایت hobspot
- تعریف AB-Testing در سایت Digitalmarketingmagazine
- تعریف AB-Testing در سایت Neilpatel
- مطالعه بیشتر دربارۀ AB Testing
پرسش و پاسخ شرکتکنندگان دوره
محسن شعبانی
منطقا برای A/B Testing باید نمونه ای که انتخاب می کنیم به اندازه ای باشه که بشه براساس نتایج اون دست به انتخاب زد. (البته در ویدئو ها اشاره ای به استفاده از نمونه بر اساس جداول آماری - جدول کوکران) شد ولی در صورت امکان آقای طالبی در خصوص مواردی که اندازه ی جامعه بسیار پایین هست (مثلا بازدید کننده ی بسیار پایین وب سایت) نظرشون رو در خصوص استفاده از A/B Testing بفرمایند. بیشترین search کشورهای مختلف(یا حتی استان های مختلف در ایران) در حوزه های مختلف چگونه می شه شناسائی کرد. مثلا من اگه بخوام بدونم بیشترین کلماتی که توسط ایرانی ها(تهرانی ها/...) در حوزه ی آموزش سرچ می شه یا بیشترین کلماتی که توسط ایرانی ها (تهرانی ها/...)در حوزه ی مشاوره ی مدیریت یا فشن یا ... سرچ میشه چی هست رو چطوری می شه شناسائی کرد.
پرسش پیام طراوتی
آیا به جای تست A/B
در ایمیل مارکتینگ،
میتوان ۲ کمپین
با ۲ ساختار ایمیل برای ۱ پویش
یا ۱ خبر ارسال کرد؟
مثلا
شرکت X که فروشنده کفش و پوشاک هست مثلا، برای شب یلدا میخواد به مشتریهاش که حدود ۱۰۰۰ نفر هستند، تخفیف ۲۰ درصدی بزاره و در یک ایمیل بهشون اعلام کنه.
طبق درس ۱۷، راهش اینه بیاد تست A/B
بر روی کمپین ایمیل مارکتینگش و هدایت مشتریهاش به صفحه فرود بذاره.
آیا میشه به جای تست A/B
۲ تا ایمیل ارسال کنه؟
ی ایمیل ۷۲ ساعت قبل شب یلدا
ی ایمیل ۲۴ ساعت قبل یلدا
اما اینبار به همه ۱۰۰۰ نفر
۲ تا ایمیل با ۲ ساختار متفاوت ارسال شده و همه ۱۰۰۰ نفر هر ۲ مدل ایمیل رو دیدن و تصمیم به خرید گرفتن یا نگرفتن.
آیا ارسال ۲ ایمیل دقیقتر از تست A/B نیست؟
پرسش امید اسدی
اگر در یک بخش مشخص از کسب و کار A-B TESTING رو انجام دادیم و به نتیجه مشخصی هم رسیدیم، آیا لازمه در فواصل زمانی مشخص مجدد این کار رو انجام بدیم؟ درواقع میخوام بدونم تاریخ انقضای هر A-B TESTING چقدره؟ به خصوص در بخش محتوا متنی سایت.
پرسش احمد موحدیان
با سلام . وقت بخیر...
در رابطه با A/B TESTING به خصوص صفحات محتوایی ، با توجه به اینکه این صفحات شباهت زیادی دارند، و زمان بیشتری برای این نوع تست ها لازم است، و بالاخره یکی از صفحات در انتهای تست حذف میشود، گوگل با این صفحات چگونه برخورد میکند؟ وآیا بر روی سئو سایت موثر است؟
با تشکر
پرسش امیرحسین سنایی
سلام آقای طالبی.
در جواب سوال آقای محسن شبعانی در همین جلسه گفتید که A/BTEST زیر 1000نفر اصلا قابل قبول نیست و نمیشه بهش استناد کرد،به همین جهت در حوزه هایی که بازدید کننده کمی داریم از نظر متخصصین و ابزار های مثل Hotjar و...استفاده می کنیم.
سوال من این هست که همونطور که در ویدئو هم توضیح دادید شما برای یک کسب وکار b2b روی (3180=540)نفر A/BTEST رفتید(برای ایمیل البته). آیا SMS و ایمیل از این قاعده مستثنی هست؟ و منظور شما فقط تعداد بازدید کننده سایت بوده؟
اگر اینطور هست برای SMS، ایمیل و شبکه های اجتماعی از کجا میتونیم بسنجیم که تعداد افراد مورد نظر برای A/BTest مناسب هست و میشه بهش تا حدودی استناد کرد؟
خلاصه موضوعات ویدئو
A/B Testing چیست؟
تست A/B یا A/B Testing روشی برای رساندن ما به هدف موثرتر است. به عنوان مثال، برای صفحه مشخص از یک سایت دو نمونه میسازیم و بررسی میکنیم که کدام یک عملکرد بهتری داشته و مخاطب را بیشتر درگیر میکند. ممکن است این تست حتی برای بیش از دو صفحه هم انجام شود. بررسیهای A/B Testing با استفاده از تحلیلهای آماری، نتیجه را به کارشناسان نشان میدهد.
A/B Testing با تعریف Crazy Egg
در سایت Crazy Egg، برای A/B Testing یک تعریف کامل وجود دارد. از نظر این سایت، این تست نه فقط برای سایت بلکه برای ایمیل، پیامک و تمام ابزارهای مارکتینگ قابل اجراست و تنها شرط آن یکتا بودن متغیر است. این متغیر میتواند عنوان ایمیل، CTA در متن پیامک و مانند آن باشد.
A/B Testing معمولا در چه ابزارهایی انجام میشود؟
1-کمپینهای ایمیل مارکتینگ 2-ایمیلهای شخصی 3-استراتژیهای مارکتینگ در مولتی مدیا 4-تبلیغات اینترنتی 5-اخبار 6-طراحی سایت
A/B Testing در چه مواردی اعمال میشود؟
1-رنگ 2-Layout لیاوت 3-تعداد و طرح تصاویر 4-تیترها و زیرتیترها 5-قیمت و هزینه 6-پیشنهادهای ویژه 7-طراحی دکمه CTA
Multivariate Testing چیست؟
در این نوع تست، چند آزمون به شکل همزمان انجام شده و اندازهگیری میشود.
روشهای A/B Testing
1-قرار دادن همزمان گزینهها 2-قرار دادن غیر همزمان گزینهها
A/B Testing در سئو
در این ویدئو، در مورد A/B Testing در سئو، توضیح داده شده است.
A/B Testing در ایمیل مارکتینگ
در این ویدئو، در مورد A/B Testing در ایمیل مارکتینگ با ابزار Mailchimp توضیح داده شده است. از مزایای این ابزار میتوان به ارسال همزمان یک ایمیل با تغییر در عنوان و زیر تیتر آن برای بررسی رفتار مخاطب اشاره کرد.
A/B Testing در Push Notification
در این ویدئو، در مورد A/B Testing در Push Notification، توضیح داده شده است. همچنین یک نمونه واقعی از این تست در ابزار SendPulse بررسی شد.
مراحل A/B Testing
1-مشخص کردن هدف 2-انتخاب ابزار 3-مشخص کردن متغیرها 4-مشخص کردن سنجهها 5-نوشتن حالتهای ممکن 6-انتخاب بخش ورودی 7-اجرای حالتهای مختلف 8-بررسی سنجهها 9-تحلیل نتایج بهدست آمده 10-بررسی امکان بهبود تست 11-اجرای تست بهبود یافته 12-انتخاب بهترین حالت ممکن 13-اجرای بهترین حالت ممکن