علیرضا نفیسی، محسن اشعاری، سعید طهماسبی
پیش از این در مورد شاخصهای فرایندی و نتیجه‌ای و چیستی و چرایی ارزیابی فرایند و تأثیرات بحث کردیم. اکنون می‌خواهیم به‌طور فنی‌تری به چگونگی این دو نوع ارزیابی بپردازیم.
ارزیابی فرایند معمولاً برای بدست آوردن تجربیات افراد، حوزه‌ها یا نهادهای مختلف متأثر از سیاست طراحی می‌شوند. این ارزیابی به ما کمک کند که اطلاعات قوی‌تری درباره نحوه پیاده‌سازی سیاست و توضیحاتی برای چرایی تأثیرات مشاهده شده بدست آوریم. ماهیت ارزیابی فرایند، عمدتاً (نه مطلقاً) کیفی، تفسیری و ذهنی[1] است و ممکن است از منابع مختلف، نتایج ناسازگار بدست آید؛ این ناسازگاری، نه لزوماً ناشی از اشکالات تحقیق، بلکه ممکن است به خاطر تفاوت دیدگاه‌های افراد باشد. لذا هر چقدر این نتایج ارزیابی فرایند به‌صورت غنی‌تری توصیف و توضیح داده شود، بهتر قابل فهم خواهد بود. از اینجا معلوم می‌شود که ارزیابی فرایند، به شاخصهای فرایندی کمّی که معمولاً در سند سیاستی آورده شده، محدود نمی‌شود.
در ارزیابی فرایند به دنبال پاسخ به پرسش‌هایی مانند موارد زیر هستیم:
- سیاست چگونه اجرا شد؟
- سیاست در چه بافت و زمینه‌ای اجرا شد؟
- مشارکت‌کنندگان و دست‌اندرکاران، احساس کردند که چه کاری در اجرای سیاستِ اجرا شده، کارآمد بوده، چرا و چگونه؟
- آنان احساس کردند چه چیزی در اجرای سیاست چندان خوب انجام نشده است و چرا؟
- بنابراین چه چیزهایی ممکن است به‌منزله تسهیل‌کننده و مانع تأثیرات خواسته‌شده عمل کرده باشند؟ چگونه می‌توان موانع را برطرف کرد و تسهیل‌کننده‌ها را به کنترل درآورد؟
- کدام جنبه‌های ویژه سیاست به نظر می‌رسد که به نتیجه مشاهده‌شده منجر شده‌اند (ارزیابی فرایند همراه با یک ارزیابی تأثیر)؟
- آیا این سیاست «در میان مردم عادی»، در آن مسیری که برنامه‌ریزی شده بود، اجرا شد؟ (این می‌تواند عبارت باشد از مشاهده «پذیرفتن» یک خدمت یا سیاست، یا «اجابت» آن، درجایی که سیاست، شامل مقررات یا قانون‌گذاری است).
- سیاست چقدر در همه جا به‌طور یکسان اجرا شد؟
- آیا دریافت‌کنندگان و دست‌اندرکاران، مداخله را فهم کردند؟
- تجربه دریافت‌کنندگان و دست‌اندرکارانی که مداخله را دریافت یا اجرا کردند، چه بود؟ از کدام جنبه‌ها بیشتر قدردانی شد یا کدام‌یک از آنها بیشتر مشکل‌آفرینی کردند؟ آیا این وضع، برای گروه‌ها یا مردم مختلف، متفاوت بوده است؟
- ماهیت تعاملات میان دست‌اندرکاران و دریافت‌کنندگان در طول اجرا چگونه بوده است؟
- چه کسانی درگیر نشدند یا از قلم افتادند و چرا؟
- استراتژی‌های مدیریت ریسک در پیش‌بینی و کاهش دادن ریسک‌ها، چقدر کارآمد بوده است؟
- آیا سیاست، در زمان اجرا انتظارات مربوط به بودجه را برآورده کرده است، یا مسائل پیش‌بینی‌ناپذیر و هزینه‌های پنهانی، موجود بوده است؟
- چگونه می‌توان سیاست را پالایش کرد یا بهبود بخشید؟
مصاحبه‌های عمیق تک‌نفره و گروهی، مرورهای جمعی، اقدام‌پژوهی (action research) و مطالعه موردی (case study) از روش‌های جمع‌آوری داده‌های کیفی هستند که معمولاً برای ارزیابی فرایند به‌کار می‌آیند. در این روش‌ها، از کسانی که مجری سیاست بوده یا از نزدیک آن را تجربه کرده‌اند، مصاحبه (شفاهی یا کتبی) می‌شود و شرح ماوقع و تجربیات آنها ثبت می‌شود. در ادامه، مروری بر روش‌های ارزیابی فرایند خواهیم داشت:
نمونه‌ای از یک ارزیابی فرایند
ارائه اطلاعات تغذیه‌ای در منوهای رستوران‌ها خصوصاً اطلاعاتی درباره کالری غذاها، مسئله‌ای است که در چند سال اخیر بخشی از اقدامات دولت انگلیس به منظور جلوگیری از گسترش بیماری‌هایی مثل چاقی را به خود اختصاص می‌دهد. در سال 2008، آژانس استاندارد غذایی[2] (FSA) انگلیس اقدامی در این زمینه آغاز کرد که در اولین گام آن (مرحله آزمایشی) به ارائه اطلاعات درباره کالری غذاها در رستوران‌ها به صورت داوطلبانه، پرداخت تا مشتریانی که به این رستوران‌ها سر می‌زنند، این اطلاعات در اختیارشان قرار گیرد.
ارزیابی این برنامه با هدف تشریح دلالت‌های تجربی برای 20 کسب‌وکاری که در مرحله آزمایشی حضور داشتند، انجام شد تا به این کسب‌وکارها در تدوین و اجرای برنامه بعدی، فهم رفتار مشتریان و هم‌چنین اینکه چه روش‌هایی مؤثر است و کجاها بایستی بهبود داده شود، مشورت دهند. برای این منظور رویکرد ارزیابی فرآیندی، اتخاذ شد.
تحقیقات بازار
در این راستا، 39 مورد مصاحبه (20 نفر از مدیران عامل کسب‌وکارهای حوزه غذا و 19 نفر مدیران رستوران‌ها) به صورت تلفنی و مصاحبه حضوری انجام گرفت و از آنها در خصوص موارد زیر سؤال شد:
- چرا کسب‌وکار مورد مصاحبه، در این برنامه مشارکت کرده است؟
- کسب‌وکار مورد مصاحبه، چگونه برنامه آژانس FSA را اجرا می‌کند؟
- کسب‌وکار مورد مصاحبه، چه تصمیماتی برای نمایش اطلاعات کالری غذاها در کسب‌وکارش گرفته است و با چه مسائل دیگری در حین اجرای برنامه مواجه شده است؟
تحقیق درباره مشتریان
برای این منظور 289 مورد مصاحبه در سرتاسر کشور و در رستوران‌ها ترتیب داده شد که 143 مورد مصاحبه مشاهده‌ای[3] انجام شد به این صورت که در رستوران‌ها در حین انتخاب غذا از مشتریان درباره اینکه چگونه غذای خود را انتخاب می‌کنند، سؤال می‌شد؛ هم‌چنین 146 مورد مصاحبه بعد از انتخاب غذا توسط مشتریان انجام شد که افراد در این دو نوع مصاحبه در خصوص اینکه تا چه میزان از کالری غذاهای موردنظر خود اطلاع دارند و آیا از اطلاعات کالری غذاها که در آن رستوران‌ها نصب شده بود، استفاده کردند و مورد توجهشان قرار گرفت یا نه، سؤال شد.
8 مورد هم مصاحبه گروهی با حضور مشتریان رستوران‌ها در 4 رستوران مختلف برگزار شد و در این مصاحبه‌ها به تفصیل در خصوص عادات غذایی و استفاده از اطلاعات کالری غذاها به بحث می‌نشستند.
یافته‌های اصلی ارزیابی اما به این صورت بود:
– کسب‌وکارهایی که در مرحله آزمایشی مشارکت داشتند، عموماً نظر مثبتی درباره حضور در این برنامه داشتند و اعلام کردند حضور آنها در برنامه باعث شده تا بر برخی مشکلاتی که در این زمینه داشتند غلبه کنند. البته نگرانی‌هایی هم در زمینه همکاری با کسب‌وکارها و اجرای برنامه‌ها از سوی آنها بود (مانند ضعف در تجهیزات IT این کسب‌وکارها).
– استفاده از اطلاعات کالری در مجموع، کم است، اما مشتریان در مواردی (خصوصاً آنهایی که به دنبال تعادل در وعده‌های غذایی خود هستند) از این اطلاعات استفاده می‌کردند.
– تمایل مشتریان به استفاده از این اطلاعات به سه عامل وابسته است: در معرض دید بودن (نمایش دادن اطلاعات کالری باید به صورتی برجسته باشد که توجه را به خود جلب کند)، فهم کردن (اطلاعات اضافی مثل مرجع کسب اطلاعات، باعث شود که مشتری درک بهتر و دقیق‌تری از اطلاعات کالری پیدا کند) و تعامل با مصرف‌کننده (استفاده از پیام‌های مثبت در هنگام نمایش اطلاعات، به تعامل بهتر و ارتباط بهتر مشتری با موضوع کمک می‌نماید).
این یافته‌ها در سال‌های بعد به FSA در تدوین برنامه‌های بعدی مرتبط با این مسئله کمک شایانی نمود.[4]
پرسش‌هایی برای بحث:
آیا ارزیابی صورت گرفته در این نمونه، قابل انحصار در تعدادی شاخص کمّی هست؟ چه تمایزی میان ارزیابی فرایند و شاخصهای فرایندی می‌بینید؟
لطفا دیدگاه ها، نقدها و تجربیات خود را با درمیان بگذارید.
[1] Subjective
[2] the Food Standards Agency
[3] observational interviews
[4] جزئیات بیشتر درباره این نمونه موردی را می‌توانید با مراجعه به سند ارزیابی برنامه به این آدرس رجوع کنید: https://goo.gl/K29qZo
این نمونه موردی برگرفته از سند زیر است:
HM Threasury. (2011). The Magenta Book Guidance for evaluation. London: HM Threasury, p. 88.
