לפני כמה שבועות, ל-Research Access היה מאמר שדיבר על ניקוי נתונים מפאנלים. אחת השיטות הייתה להסיר את כל התגובות ה"קיצוניות" שהתרחשו בסולמות הדירוג. אם אי פעם קיבלתם סקר עם יותר מדי שאלות דירוג מטריציוני ואז בדקתם ללא מחשבה את כל הדירוגים הנמוכים ביותר, דירוגי ביניים או דירוגים גבוהים – אתם יודעים מי אתם ואתם יודעים על מה אני מדבר.
זה הכניס לי באג בראש לגבי אותם אנשים שאף פעם לא נותנים את הדירוג הגבוה ביותר – או אותם אנשים שנותנים באופן עקבי דירוג גבוה. במובנים רבים, הם אינם טובים יותר מחברי הפאנל שענו ללא מחשבה על הסקר שלהם. במילים אחרות – התשובות שלהם היו חשודות כתשובות תקפות שיעזרו לנו לקבל החלטה.
ואז נתקלתי במאמר הזה של ג'ף הנינג והבנתי שאני לא היחיד שחושב על זה. למעשה, אנשים הרבה יותר חכמים ממני אי פעם עשו המון מחקר בנושא והעלו כמה פתרונות שאני הולך להראות לכם כאן.
המאמר של הנינג למעשה נכנס לדיון על הטיית תגובה תרבותית, ותוכלו לקרוא עוד על כך במאמרו. להלן סוגי שאלות שהנינג מנה שיעזרו לך להתגבר על הטיית מחקר בסגנון תגובה כללי:
- סולמות בינאריים – כבר בשנת 1946, כדי למזער את הטיית סגנון התגובה, לי ג'וזף קרונבך ( מתהילת האלפא של קרונבך ) דגל בשימוש בסולמות של שני פריטים: כן/לא, מסכים/לא מסכים, לא מרוצה/מרוצה, מתאר/לא מתאר. בעיקרו של דבר, זה מתייחס לכולם כמגיבים בסגנון תגובה קיצוני.
- בחירת שאלות רבות – הצגת רשימת אפשרויות בחירה והנחיית המשיב "לבחור את כל מה שרלוונטי" היא צורה חסכונית של קנה מידה בינארי, המנחה את המשיבים לבחור את הפריטים שהם מסכימים איתם, חשובים להם או אינם מרוצים מהם.
- שאלות דירוג – דרך נוספת להימנע מהטיית תגובה מסורתית היא להשתמש בסולמות דירוג, שבהם ניתן להשתמש בכל בחירה בסולם פעם אחת בלבד: הכי חשוב לפחות חשוב, הכי משביע רצון עד הכי פחות מספק, הכי פחות סביר.
- קנה מידה MaxDiff – מודלים של בחירה בדידה עם הפרש מרבי הם סוג מתוחכם יותר של שאלת דירוג, המציגה בדרך כלל תכונות ארבע בכל פעם ומבקשת מהמשיב לבחור את התכונות הטובות ביותר והגרועות ביותר מכל קבוצה: התכונות עם ההבדל המקסימלי. מחקרים הוכיחו כי קנה מידה של MaxDiff עדיף על סולמות דירוג עבור ניתוח בין-תרבותי. (Steve Cohen & Leopoldo Neira, 2003, "מדידת העדפה ליתרונות מוצרים בין מדינות: התגברות על הטיית שימוש בקנה מידה עם קנה מידה מרבי של הפרשים".)
הפקת לקחים: סקרים צריכים לספק נתונים נוספים להחלטה שלך – לא לקבל את ההחלטה שלך
אז זה לא רק פאנלים שיכולים "ללכלך" את הנתונים שלך מספיק כדי להציג באופן שגוי איך המשיבים באמת מרגישים. הטיית תגובה באה בצורות ובצורות רבות כמו שיש דעות אנושיות. נקודת המפתח כאן היא שהחלטות מתקבלות בסופו של דבר על ידי בני אדם. מנהלים ובעלי עסקים יכולים להשתמש בנתוני סקרים כמשאב מידע נוסף שיעזור להם להחליט – בערך כמו האפשרות "שאל את הקהל" ב"מי רוצה להיות מיליונר", אבל זה לא אומר שאתה לא צריך להפעיל שיקול דעת משלך.
