روش‌های جمع‌آوری داده‌های ارزیابی

 علیرضا نفیسی، محسن اشعاری

[1]در هر برنامه ارزیابی باید به این توجه شود که داده‌های ارزیابی بناست چگونه جمع‌آوری شوند. برای فهم روش‌های مناسب جمع‌آوری و تحلیل داده، می‌‎توان به متن‌های روش تحقیق (مخصوصاً روش تحقیق در علوم اجتماعی) رجوع کرد. به‌طور کلی می‌توان گفت که دو روش بسیار متداول برای تولید داده‌های مربوط به ارزیابی، پیمایش[2] و مشاهده (یا پایش)[3] است.

استفاده از مشاهده برای تمامی انواع ارزیابی می‌تواند کاربردی باشد و علاوه بر ارزیابی تأثیر، برای شاخص‌های کمّی ارزیابی فرایند هم می‌تواند به کار برود؛ مثلاً تعداد کسانی که در آزمایشگاه‌ها، مورد تست سلامت قرار گرفته‌اند، از بانک‌های اطلاعاتی به راحتی قابل مشاهده است. داده‌های مربوط به برخی شاخص‌های ورودی و خروجی هم می‌تواند از طریق مشاهده جمع‌آوری شود؛ مثلاً چه کسانی از خدمات بهره گرفتند؟ مشخصات دموگرافیکی جامعه چیست؟ تعداد دستگیرشدگان توسط پلیس؟ همچنین شاخص‌های اقتصادی هم معمولاً از طریق مشاهده بانک‌های اطلاعاتی بدست می‌آید.

جمع‌آوری داده‌های ارزیابی از طریق پیمایش (پرسشنامه)، بیشتر برای شاخص‌هایی به کار می‌رود که درونی و ادراکی هستند یا به‌صورت مشاهده قابل جمع‌آوری نیستند. پیمایش‌ها را می‌توان با شماری از روش‌ها ازجمله چهره‌به‌چهره، تلفنی، اینترنتی و پستی اجرا کرد که هر یک از این‌ها، با توجه به مسائلی همچون نرخ پاسخ و هزینه، استلزامات منفی و مثبت خود را دارد. پرسش‌نامه‌ها اغلب برای جمع‌آوری داده‌های کمّی استفاده می‌شوند، اما می‌توانند شامل پرسش‌های تشریحی آزاد برای جمع‌آوری داده‌های کیفی نیز باشند. هنگام طراحی یک نظرسنجی، مهم است که در نظر گرفته شود چه نمونه‌ای از مشارکت‌کنندگان و چه نوع تحلیلی موردنیاز خواهد بود تا به پرسش‌های تحقیق پاسخ دهد و این کار باید در طراحی ارزیابی پی‌ریزی شود.

در جدول زیر، برخی از این شاخص‌های قابل اندازه‌گیری از طریق پیمایش را مشاهده می‌کنید:

علاوه بر پیمایش و مشاهده، روش‌های دیگری نیز برای جمع‌آوری داده‌ها استفاده می‌شوند که در ادامه برخی از آنها را معرفی می‌کنیم. این روش‌ها بیشتر در ارزیابی‌های فرایندی که در آنها عمیق و غنای داده اهمیت بیشتری دارد مورد استفاده قرار می‌گیرد:

• مصاحبه‌های فردی: داده‌های مصاحبه می‌توانند اطلاعات ارزشمندی را درباره نگرش‌ها، عقاید و تجربیات مردمِ درگیر با یک سیاست فراهم آورند تا اطلاعاتی عمیق درباره اینکه آن سیاست در عمل چگونه جواب می‌دهد، به‌دست آید. این مصاحبه‌ها به مشارکت‌کنندگان اجازه می‌دهد تا با توضیح صریح دیدگاه‌ها، تصمیمات یا اعمالشان آنچه این امور را شکل بخشیده است، تشریح کنند. مصاحبه با مشارکت‌کنندگان مهم، می‌تواند ساختارمند (فهرستی منظم از پرسش‌ها برای همه مصاحبه‌شوندگان)، نیمه‌ساختارمند (فهرستی از پرسش‌ها، با انعطاف برای تحقیق بیشتر) یا بدون ساختار (فاقد فهرستی از پرسش‌ها) باشد. مصاحبه‌ها باید عموماً چهره‌به‌چهره میان مصاحبه‌گر و مصاحبه‌شونده انجام شوند، اما ممکن است از پشت تلفن نیز صورت پذیرند. جمعیت کلیدی برای مصاحبه، از سیاستی به سیاست دیگر متفاوت خواهد بود، اما می‌تواند دربردارنده کسانی باشد که سیاستی را اجرا می‌کنند (شامل گستره‌ای از سطوح ارشد و وظایف شغلی)، کسانی که سیاستی را دریافت می‌کنند و نیز افراد ذینفعی که سهمی در سیاست دارند. معمولاً تحلیل مصاحبه‌ها مبتنی بر بررسی محتواست، اما به میزانی کمتر، می‌توان از تکنیک‌های تحلیل محاوره[10]، برای تحلیل نحوه‌ای که مطالب بیان می‌شوند، از طریق نگاه به الگوهای سخن گفتن و/یا زبان بدن استفاده کرد.
• مصاحبه‌های گروهی: مصاحبه‌های گروهی فرصتی را برای جمع‌آوری اطلاعات از گروهی از مردم درباره نگرش‌ها، عقاید، برداشت‌ها و تجربیات آن‌ها فراهم می‌آورد؛ بدین شکل که نظرات خود را مطرح می‌سازند، به ایده‌های یکدیگر واکنش نشان می‌دهند و دیدگاه‌ها و پیشنهادهای خود را در میان می‌گذارند. در مصاحبه‌های گروهی، داده‌ها را می‌توان از طریق تعامل گروهی، شکل بخشید. مصاحبه‌های گروهی را می‌توان با گستره افراد اجراکننده یا دریافت‌کننده یک سیاست اعمال کرد. آن‌ها می‌توانند در پرداختن به موضوعات انتزاعی یا مفهومی به‌خوبی عمل کنند؛ درحالی‌که در یک مصاحبه نفربه‌نفر، ممکن است مشارکت‌کننده «سکوت کند». در مصاحبه‌های گروهی، پژوهشگر معمولاً به‌منزله تسهیل‌کننده عمل می‌کند و بر روی متنی محوری که پرسش‌ها یا مباحث اصلی را برای بحث توسط گروه تنظیم کرده است، تمرکز می‌کند. مصاحبه‌های گروهی در ترکیب با مصاحبه‌های فردبه‌فرد یا دیگر تکنیک‌های تحقیق به‌خوبی جواب می‌دهند. برای مثال، در آغاز یک بررسی، می‌توان از مصاحبه‌های گروهی برای فهم باورها، رفتار و عمل جاری مردم استفاده کرد و استنباط‌ها از مسائلی را آزمود که بعداً در مصاحبه‌های فردبه‌فرد می‌توانند موردبررسی قرار گیرند. مصاحبه‌های گروهی می‌توانند به‌طور ویژه برای مشارکت‌کنندگانی که مصاحبه‌های نفربه‌نفر را «ترسناک» می‌پندارند، سودمند باشد.
• روش‌های مشورتی و شورایی[11]: این نوع از روش‌ها مستعد آن هستند که وقتی تحلیلگران و سیاست‌گذاران می‌خواهند از کاوش نظرات و رفتارهای مردم فراتر بروند، در ارائه یا اطلاع دادن راه‌حل‌ها و استراتژی‌ها به آنان کمک کنند. می‌توان گستره وسیعی از روش‌های مشارکت عمومی، اعم از نشست‌ها، وب‌سایت‌های تعاملی، میزگردها یا هیئات شهروندی، رأی‌گیری شورایی و ارزیابی‌های مشارکتی را به کار گرفت. تحقیق مشاوره‌ای، عموماً شامل فعالیت متمرکز با گروه‌های نسبتاً کوچک است و بنابراین پرسش‌هایی را درباره ارزش پول هزینه‌شده و نمایندگی[12] مطرح می‌سازد. بااین‌حال، تحقیق مشاوره‌ای که به‌خوبی انجام شده باشد، به برجسته‌سازی و معلوم کردن نقاط اختلاف و نیز توافق میان مشارکت‌کنندگان کمک خواهد کرد.
• تحلیل مستندات[13]: دستیابی به مستندات مربوط به سیاست مورد ارزیابی و تحلیل آن‌ها، می‌تواند داده‌های ارزشمندی را درباره همه جنبه‌های سیاست فراهم آورد که شامل گزارش مستقیم درباره آن سیاست، توسط کسانی است که در اجرایش درگیر بوده‌اند. این مستندات می‌توانند عبارت باشند از رکوردهای رایانه‌ای، پرونده‌ها، نامه‌های ارجاعی، دفترچه‌های خاطرات، تصاویر و… . این داده‌ها را می‌توان جمع‌آوری و با استفاده از تکنیک‌های تحلیل محتوا، تحلیل کرد.
• قوم‌نگاری[14]: قوم‌نگاری روشی است که انسان‌شناسان از آن استفاده می‌کنند و پژوهشگران اجتماعی به‌طور گسترده‌تری آن را پذیرفته‌اند. این روش، توصیفی جزئی از یک فرهنگ، گروه، یا جامعه و از قواعد، آداب‌ورسوم و الگوهایی است که فرهنگ، گروه یا جامعه بر آن مبتنی هستند. قوم‌نگاری قادر است شناختی فرهنگی را از یک گروه یا جامعه استخراج کند و نیز شامل بررسی تفصیلی الگوهای تعامل در درون آن است تا ارزش‌ها، فرایندها و ساختارهای آن گروه را بفهمد. قوم‌نگاری می‌کوشد تا گروه‌ها و فعالیت‌های اجتماعی را به «طبیعی»ترین روش ممکن بررسی کند. مشاهده، شنیدن، به خاطر سپردن و یادداشت‌برداری تفصیلی، تکنیک‌های اصلی برای پژوهشگرانی است که از روش‌های تحقیق قوم‌نگارانه یا مشاهده مشارکتی استفاده می‌کنند. ازجمله دیگر مزایای قوم‌نگاری این است که این نوع داده‌ها می‌توانند شواهدی قاطع درباره نحوه کار دست‌اندرکاران خط مقدم و تعیین تغییرات در محیط اجتماعی و فرهنگی که انتظار می‌رود سیاست‌ها، طرح‌ها و برنامه‌ها در آن‌ها جواب دهند و کارکنان اصلی که به‌منزله «پرچم‌داران نتیجه» برای سیاست‌ها، برنامه‌ها و طرح‌ها عمل می‌کنند، فراهم آورند.
• مرور جمعی[15]: یکی از روش‌های بسیار مرسوم در ارزیابی سیاست‌ها، مرور جمعی است که در آن، افراد پس از اجرای مداخله، به همفکری و بازبینی سیاست می‌پردازند و آموزه‌های آن را مرور می‌کنند. در تحقیق اقدام[16] نیز، محقق و افرادی که در تدوین و اجرای سیاست مشارکت دارند، برای تشخیص مشکلات و تدوین راه‌حل‌های مبتنی بر آن، گردهم می‌آیند. این روش مخصوصاً در شرایطی که سیاست مبتنی بر روش‌های نو و نظریه‌های اثبات‌نشده است یا در محیطی چالشی در حال اجراست، کاربرد دارد. همچنین در زمانی که نیاز به رویکرد حل مسئله سریع وجود دارد، می‌توان از آن بهره برد.

لطفا  دیدگاه ها، نقدها و تجربیات خود را با درمیان بگذارید.

[1] مطالب این یادداشت، عمدتاً از منبع زیر اقتباس شده است که مرجع ارزیابی سیاست‌ها در دستگاه‌های دولتی انگلستان است: HM Threasury. (2011). The Magenta Book Guidance for evaluation. London: HM Threasury.

[2] Survey

[3] Monitoring

[4] Factual

[5] رویکرد اجبار (Enforcement) نظیر: وضع قوانین و مقررات بیشتر، حضور بیشتر پلیس در جاده‌ها، افزایش تعداد دوربین‌های ایمنی

[6] رویکرد مهندسی و زیرساخت (Engineering) شامل ایمنی‌های پایه‌ای و اولیه (نظیر مهندسی و طراحی اتومبیل و…) و ایمنی‌های ثانویه (نظیر مهندسی ماشین برای کاهش شدت تصادفات و…) و مهندسی و تعمیرات جاده‌ای می‎‎شود. لازم به ذکر است بیشترین بودجه دولت بدین رویکرد اختصاص یافت.

[7] رویکرد (Education) نظیر: آموزش رانندگی، آزمون‌های سختگیرانه رانندگی، فعالیت‌های ترویجی و رسانه‌ای و…

[8] (Key performance indicators (KPIs

[9] Speeding convictions

[10] Conversational analysis

[11]– Consultative and deliberative methods

[12]– representativeness

[13]– document analysis

[14]– Ethnography

[15] Peer review و یا after action review

[16] action research

[17] منبع:

NSMC. (2016, March 1). thensmc showcase. Retrieved from THINK! The NSMC – The National Social Marketing Centre: http://www.thensmc.com/resources/showcase/think