کریستوفر جی. فرانک، پل اف. مگنون و پروفسور عودد نتزر (Christopher J. Frank, Paul F. Magnone, Oded Netzer)

فصل ۴: تبدیل شدن به یک بازجوی سرسخت داده

چرا نباید به داده‌ها در نگاه اول اعتماد کرد؟

وقتی یک عدد یا نمودار روی اسلاید پاورپوینت یا داشبورد مدیریتی قرار می‌گیرد، هاله‌ای از اقتدار و حقیقت مطلق پیدا می‌کند. اما افراد دارای «شهود کمی» در برابر داده‌ها نه یک پذیرنده منفعل، بلکه یک «بازجوی سرسخت اما منصف» (Fierce Data Interrogator) هستند. رونالد کوز، برنده نوبل اقتصاد، جمله‌ای مشهور دارد: «اگر به اندازه کافی داده‌ها را شکنجه کنید، به هر چیزی اعتراف خواهند کرد!» وظیفه شما به عنوان تصمیم‌گیرنده این نیست که داده‌ها را شکنجه کنید تا حرفتان را تایید کنند، بلکه باید از آن‌ها بازجویی کنید تا مطمئن شوید داستان واقعی را روایت می‌کنند، نه یک سراب آماری را.

ما به خداوند ایمان داریم؛ اما سایرین باید با خود داده بیاورند (و البته ما باید صحت آن داده را راستی‌آزمایی کنیم).
— دبلیو. ادواردز دمینگ

ارزیابی اعتبار، منشأ و بهداشت داده‌ها

اولین گام در بازجویی داده، بررسی تبارنامه داده (Data Lineage) است. این داده از کجا آمده است؟ چه کسی و با چه انگیزه‌ای آن را ثبت کرده است؟ حجم نمونه چقدر بوده و چه کسانی از نمونه حذف شده‌اند؟ برای مثال، اگر نظرسنجی رضایت مشتریان نشان می‌دهد ۹۲ درصد مشتریان از خدمات شما راضی هستند، یک بازجوی داده بلافاصله می‌پرسد: «نرخ پاسخگویی به این نظرسنجی چند درصد بوده است؟ و آیا مشتریان عصبانی اصلاً حوصله پر کردن فرم ده صفحه‌ای ما را داشته‌اند؟»

دروغ بزرگ میانگین‌ها و ضرورت بررسی توزیع داده

یکی از خطرناک‌ترین تله‌ها در گزارش‌های مدیریتی، اکتفا کردن به «میانگین» (Average / Mean) است. همان‌طور که شوخی معروف آماری می‌گوید: اگر بیل گیتس وارد یک کافه شود، به طور «میانگین» تمام افراد حاضر در آن کافه میلیاردر هستند! میانگین‌ها نوسانات، دوقطبی شدن مشتریان و داده‌های پرت را پنهان می‌کنند. یک مدیر مسلح به شهود کمی همیشه در کنار میانگین، میانه (Median)، انحراف معیار (پراکندگی) و شکل کلی توزیع داده را مطالبه می‌کند.

کشف راز در داده‌های پرت: چگونه یک ناهنجاری، محصول جدید ساخت

در بسیاری از تیم‌های تحلیل داده، پاک کردن داده‌های پرت (Outliers) یک رویه استاندارد است تا مدل ریاضی تمیزتر شود. اما نویسندگان مثالی از صنعت مالی و خرده‌فروشی می‌آورند که در آن بررسی دقیق همان داده‌های پرت، یک خط کسب‌وکار جدید ایجاد کرد. زمانی که شرکت PayPal در روزهای آغازین خود داده‌های تراکنش‌ها را بررسی می‌کرد، متوجه شد گروه کوچکی از کاربران، روزانه ده‌ها تراکنش با مبالغ عجیب انجام می‌دهند (داده‌های پرت). به جای حذف آن‌ها به عنوان خطای سیستمی، تیم روی آن‌ها زوم کرد و دریافت که این افراد فروشندگان حرفه‌ای در سایت حراجی eBay هستند که راه بهتری برای انتقال پول ندارند. تمرکز بر همین داده‌های پرت، استراتژی اصلی رشد انفجاری پی‌پال را رقم زد.

قرار دادن داده در بافتار (Context is King)

یک عدد در خلأ، هیچ معنایی ندارد. جمله «این ماه ۱۰ هزار کاربر جدید جذب کردیم» نه خبر خوبی است و نه خبر بدی؛ تا زمانی که بافتار آن مشخص نشود. بافتار از سه طریق ساخته می‌شود: مقایسه تاریخی (در مقایسه با ماه قبل و ماه مشابه سال قبل با در نظر گرفتن فصلی بودن)، مقایسه با هدف (در مقایسه با تارگت بودجه)، و مقایسه رقابتی (اگر ما ۱۰ درصد رشد کردیم ولی کل بازار ۴۰ درصد بزرگ شده، یعنی ما در واقع سهم بازار از دست داده‌ایم!).

پارادوکس سیمپسون در تصمیم‌گیری‌های کلان

در سال ۱۹۷۳، دانشگاه برکلی کالیفرنیا متهم به تبعیض جنسیتی در پذیرش دوره تحصیلات تکمیلی شد؛ زیرا آمار کل دانشگاه نشان می‌داد ۴۴ درصد مردان متقاضی پذیرفته شده‌اند، اما تنها ۳۵ درصد زنان قبول شده‌اند. اما وقتی بازجویان داده، آمار را به تفکیک تک‌تک دانشکده‌ها بررسی کردند، با شگفتی دیدند که در اکثر دانشکده‌ها، نرخ قبولی زنان بالاتر از مردان بوده است! راز ماجرا (که به پارادوکس سیمپسون مشهور است) در این بود که زنان بیشتر برای دانشکده‌های بسیار رقابتی با ظرفیت پذیرش بسیار پایین (مثل ادبیات و تاریخ) ثبت‌نام کرده بودند، در حالی که مردان برای رشته‌های مهندسی با ظرفیت پذیرش بالا اقدام کرده بودند. تجمیع کورکورانه داده‌ها بدون درک بافتار، حقیقت را کاملاً وارونه نشان می‌داد.

تست فشار (Pressure Testing) روی تحلیل‌ها

تست فشار یعنی بررسی اینکه تحلیل شما چقدر در برابر تغییر مفروضات شکننده یا مقاوم است (تحلیل حساسیت). از تیم خود بپرسید: «کدام فرض در این مدل اکسل اگر تنها ۱۰ درصد تغییر کند، کل نتیجه از سودده به زیان‌ده تبدیل می‌شود؟» یا تفکیک قاطعانه میان همبستگی (Correlation) و علیت (Causation) را بررسی کنید. اینکه فروش بستنی و میزان غرق شدن افراد در استخر هر دو در تیرماه بالا می‌روند، به این معنا نیست که خوردن بستنی باعث غرق شدن می‌شود؛ متغیر پنهان سوم (گرمای تابستان) عامل اصلی هر دو است.

بازجویی سرسختانه از داده به معنای بی‌احترامی به تیم تحلیل نیست؛ بلکه بالاترین سطح احترام به حقیقت است. وقتی تیم بداند شما به پشت صحنه اعداد نگاه می‌کنید، کیفیت کل اکوسیستم تحلیلی سازمان به طرز چشمگیری ارتقا می‌یابد.