انواع شاخص‌های ارزیابی و یادگیری در سیاست‌های تغییر رفتار

 علیرضا نفیسی، محسن اشعاری، سعید طهماسبی

ارزیابی معمولاً به‌عنوان یکی از مراحل فرایند سیاست‌گذاری عمومی مطرح می‌شود و در خصوص آن، بحث‌های فنی و تحلیلی بسیاری وجود دارد؛ در این زمینه، متن‌های زیادی به‌صورت تخصصی نگارش شده است که بسیاری از آنها، رویکردهای اقتصادسنجی، کمّی و آماری به این مسئله دارند. در اینجا نیز مانند یادداشت‌های قبلی، چندان قصد ورود فنی به موضوع را نداریم و صرفاً جهت آشنایی مدیران و کارشناسان با مسائل این حوزه و ارائه راه‌حل‌های کاربردی و کلان، مواردی را بیان خواهیم کرد.

همواره پس از انجام ارزیابی، باید از نتایج آن آموخت. مهم‌ترین یادگیری‌ها در عمل اتفاق می‌افتد و هیچ تحلیل پیشینی نمی‌تواند تمامی پیچیدگی‌های محیط و مسئله را کاملاً به بند بکشد و یک تجویز بهینه و بدون نقص ارائه کند؛ لذا فعال نگهداشتن مکانیسم‌های یادگیری در عمل، یک رکن بسیار مهم فرایند سیاست‌گذاری است که متأسفانه در بسیاری از مواقع، به‌طور کامل شاهد آن نیستیم[1].

تقسیم‌بندی‌های مختلفی از انواع ارزیابی ارائه شده است؛ اما حداقل دو نوع از آن مورد اتفاق همه متون تخصصی است: ارزیابی تأثیرات[2] و ارزیابی فرایند[3]. ارزیابی تأثیرات به سنجش میزان تأثیر سیاست در جهان خارج می‌پردازد. ارزیابی فرایند نیز به چگونگی انجام فعالیت‌ها و تلاش‌ها طبق راهبردها و برنامه‌های از پیش تعیین شده می‌پردازد. همان‌طور که واضح است، هر یک از انواع ارزیابی، دارای منافع و ضرورت‌های انکارناپذیری است و عدم ارزیابی می‌تواند ریسک‌هایی را برای ما به همراه داشته باشد. به جدول زیر نگاه کنید[4]:

ارزیابی می‌تواند مبنای تصمیمات مختلفی قرار گیرد: آیا یک برنامه آزمایشی (پایلوت) را در حد گسترده‌تر نیز اجرا کنیم؟ آیا یک برنامه، دارای صرفه اقتصادی بوده است؟ آیا یک برنامه به اندازه کافی کارآمد بوده است؟ چگونه می‌توان یک سیاست را بهبود داد؟ سیاست‌های مشابه در آینده، چگونه باید طراحی و اجرا شوند؟

شاخص‌های ارزیابی

1- انواع شاخص‌ها

اولین گام برای انجام ارزیابی، داشتن اهداف و شاخص‌های مناسب است. شاخص‌ها انواع مختلفی دارند که هر کدام از جنبه‌های مختلف، سیاست را مورد مطالعه قرار می‌دهند. لذا بهتر است مخلوطی از شاخص‌های متنوع را برای ارزیابی انتخاب نماییم تا بتوانیم با نگاهی همه‌جانبه‌تر به موضوع نگاه کنیم. در این قسمت به برخی از انواع شاخص‌ها اشاره می‌کنیم.

یک منظر طبقه‌بندی شاخص‌ها، براساس نگاه کلان و یا خرد به موضوع (سطح تحلیل) است. برخی از شاخص‌ها، تحقق چشم‌انداز و اهداف کلان را مورد توجه دارند و برخی، آن اهداف را شکسته و ریزتر و عملیاتی‌تر می‌کنند و اجزای آنها را می‌سنجند. مثلاً رشد اقتصادی، یک شاخص کلان است و تولید ناخالص ملی، خردتر از آن و میزان تولید ناخالص ملی در بخش حمل‌ونقل، خردتر از آنها و… به همین ترتیب می‌توان نگاهی خردتر یا کلان‌تر به موضوع داشت. هر نوع شاخص می‌تواند برای دسته‌ای از تصمیم‌گیران و کارشناسان جذاب و مفید باشد. با توجه به جایگاهی که قرار است گزارش‌های ارزیابی ارائه و بررسی شود، می‌توان راجع به اینکه چقدر به شاخص‌های کلان یا خرد نیاز داریم، تصمیم بگیریم.

شاخص‌های فرایندی و نتیجه‌ای نیز در اکثر متون ارزیابی مورد توجه ویژه قرار گرفته‌اند[12]. شاخص‌های فرایندی، ناظر به ابعاد مختلف فعالیت‌های ما و اهداف عملیاتی مرتبط با آنها هستند؛ مثلاً «تعداد جلسات مراوده عمومی»، «تعداد سینماها و کتابخانه‌های ساخته شده در سال» و «تعداد افرادی که از خدمات مشاوره رایگان بهره‌مند شده‌اند‌ن». شاخص‌های نتیجه‌ای نیز که بیشتر از جنس متغیرهای مخزن[13] و «حالت»[14] هستند، معمولاً  نتایج کوتاه‌مدت و بلندمدتی را که از اجرای سیاست مدنظر داشته‌ایم، می‌سنجند؛ مانند «میزان آگاهی افراد جامعه از پیام‌های کمپین ما»، «درصد کاهش در استفاده از مواد روان‌گردان در میان دانشجویان» و «تعداد شکایت‌ها در زمینه خشونت‌های خیابانی».

آنچه بسیار مورد تأکید است، استفاده همزمان از هر دو نوع شاخص (و در نتیجه استفاده همزمان از هر دو نوع ارزیابی فرایند و تأثیر) است. چرا که:

• استفاده همزمان به ما این امکان را می‌دهد که نواقص و نقاط ضعف، بهتر کشف شده و راه برای یادگیری و اصلاح روشن‌تر شود. مثلاً فرض کنید اگر داده‌های مربوط به شاخص‌های نتیجه‌ای نامطلوب باشد می‌توان با توجه به شاخص‌های فرایند که به‌صورت گام‌به‌گام طراحی شده‌اند، امکان علت مشکل و نقاط گلوگاه را ردیابی کرد.
• گاه در ارائه نتایج ارزیابی و قضاوت درباره عملکرد، بر یکی از این شاخص‌ها بیش از حد تمرکز می‌شود. معمولاً منتقدان بر شاخص‌های نتیجه‌ای تمرکز می‌کنند و مجریان، بر ارائه بیلان کاری، تلاش‌های فراوان، جلسات متعدد و بودجه‌های صرف شده (شاخص‌های فرآیندی). واضح است که استفاده صِرف از هر دو رویکرد، امکان تفسیر به رأی و قضاوت ناصحیح و درک نکردن مشکلات و آسیب‌ها را افزایش می‌دهد.
• معمولاً شاخص‌های نتیجه‌ای و تأثیر، بلندمدت‌تر هستند و گاه پس از چند سال تغییرات آنها قابل ملاحظه است. تمرکز صِرف بر این شاخص‌ها، مانع از کنترل و بهبودهای سریع و چابک حین اجرای سیاست‌ها می‌شود. شاخص‌های فرایندی به ما می‌گویند که چقدر بر طبق سیاست‌های طراحی‌شده (که آنها خود مبتنی بر تئوری‌ها و شواهد هستند)، عمل کرده‌ایم و پیش از وقوع نتایج، با اتکای به تئوری‌های پشتیبان، ما را خاطرجمع یا از ریسک‌ها مطلع می‌نماید.
• بدون استفاده همزمان از هر دو نوع شاخص، امکان بازبینی و یادگیری در سیاست‌ها و تئوری‌های پشتیبان برای ما فراهم نیست. اگر رشد یا افول این دو نوع شاخص، هماهنگ و همزمان نباشد، می‌توان با فرض صحت روش‌های ارزیابی، به درستی تئوری و مدل‌های منطقی در زمینه مداخله شک کرد. در واقع یک آزمایش علمی ترتیب داده می‌شود که در آن، رابطه میان مداخله با نتایج سنجیده می‌شود.
• ارزیابی‌های فرایندی به ما این امکان را می‌دهند که از نزدیک و به‌صورت عملیاتی و اجرایی به ارزیابی سیاست بپردازیم. این ارزیابی‌ها گاه با استفاده از روش‌های تفسیری و سوبژکتیو و به‌صورت خوداظهاری سنجش می‌شوند. از طرف دیگر، در ارزیابی تأثیرات، نگاهی بیشتر عینی و کمتر قضاوتی، حاکم است. این ترکیب روش‌های عینی و ذهنی، شناخت همه‌جانبه‌تر را ممکن می‌سازد.
• یک نتیجه این استفاده همزمان از چند روش، روایی‌سنجی و زاویه‌بندی است[15]. می‌توان مشاهده کرد که آیا ارزیابی تلاش‌ها با ارزیابی نتایج همخوانی دارد؟ با پاسخ به این سؤال می‌توان پیرامون روایی روش‌های ارزیابی هم اظهارنظر نمود.

با وجود فوایدی که استفاده همزمان از دو نوع شاخص (و دو نوع ارزیابی) برای ما دارد، گاه ممکن است تعادل را به نفع یکی از آن‌ها برهم بزنیم؛ این موضوع به موارد متعددی بستگی دارد:

• گاه اهداف سیاست آن‌قدر چندوجهی، پیچیده و بلندمدت هستند، که سنجش عمق آن با استفاده از شاخص‌های عینی و کمّی ممکن نیست. مثلاً تقلیل موضوعاتی مانند فرهنگ و دینداری، به یک سری شاخص‌های عددی و قابل مشاهده بسیار مشکل است. گاه در این سیاست‌ها، فرایندها و بسترسازی‌ها، مهم‌تر از نتایج ملموس هستند و فقط با توجه به شاخص‌های فرایندی می‌توان از فعالیت درست دینامیک‌ها و پیشرفت کارها اطمینان حاصل نمود. در اینجا، مهم‌تر از نتیجه، برای ما این است که چرخ‌دنده‌های جامعه به کار بیفتد! مثلاً در برنامه توسعه اجتماع، به جای سنجش شاخص‌های نهایی توسعه، می‌توانیم به شاخص‌های توسعه سرمایه انسانی (HDI) و سرمایه اجتماعی، به‌عنوان دو موتور مهم پیشران توسعه، توجه کنیم (رج: مبحث سیاست‌های اجتماع‌محور؛ یادداشت «ساختار»)
• با توجه به اینکه معمولاً در ارزیابی تأثیر، از روش‌های کمّی و آماری استفاده می‌شود، ملاحظات آماری و قابلیت اطمینان باید در نظر گرفته شود. به‌عنوان مثال تأثیرات کوچک، وقتی با نمونه‌های کوچک همزمان می‌شود، به سختی از طریق آمار قابلیت اطمینان می‌یابد؛ مثلاً در مورد مداخلات بهبود متغیرهای سطح اجتماع (مانند سطح سلامت)، قطعاً هم تأثیرات اندک است (مثلاً در یک سال) و هم یک یا چند اجتماع محدود تحت بررسی قرار می‌گیرند. یا اینکه برای ارزیابی تأثیر، معمولاً نیاز به گروه‌های مقایسه داریم که در بسیاری از مواقع ممکن است چنین چیزی در طراحی مداخله، پیش‌بینی نشده باشد[16].
• همان‌طور که در یادداشت «ساختار» بحث شد، ساختارهای نتیجه‌گرا و محصول‌محور (مانند ساختارهای بخشی)، بیشتر برای مجریانی که از بلوغ‌یافتگی بالاتری برخوردارند، مناسب هستند؛ در شرایطی که مسئولان توان مدیریت بالایی دارند و می‌توانند کل کار را به نحو مطلوب مدیریت کنند و در درون خود، سازوکارهای بازخورد و یادگیری لازم را دارند، لزومی به سنجش شاخص‌های ریز فرایندی نیست و می‌توان بیشتر از طریق شاخص‌های نتیجه‌ای آنها را کنترل نمود. به‌طور کلی می‌توان گفت هر کجا یادگیری بیشتر اهمیت دارد (مثلاً در ابتدای فرایند)، شاخص‌های فرایندی و در جایی که تأثیرات بیشتر اهمیت دارد، شاخص‌های نتیجه‌ای بیشتر پررنگ می‌شوند.
• اگر الگوی منطقی مداخله بسیار پیچیده باشد و عوامل فراوان با داده‌های غیرقابل دسترس داشته باشد، یا اینکه اصلاً الگوی منطقی و تئوری پشتیبان قوی نداشته باشیم، بیشتر به‌سوی ارزیابی‌های تأثیر حرکت می‌کنیم و سیستم را به‌صورت جعبه سیاه مطالعه نماییم.

علاوه بر شاخص‌های فرایندی و نتیجه‌ای، برخی از متون ارزیابی، به شاخص‌های اقتصادی نیز تأکید فراوانی نموده‌اند. این شاخص‌ها، در واقع ما را یک قدم از نتایج جلوتر می‌برند و نشان می‌دهند که تأثیرات مالی مداخله برای کل جامعه چقدر بوده است و آیا مداخله دارای صرفه اقتصادی بوده است یا نه (مفهوم Value for money). در اینجا شاخص‌هایی مانند ROI و NPV از اقتصاد مهندسی وام گرفته می‌شود[17]. همچنین می‌توان هزینه فرصت مداخلات دولت را نیز در نظر گرفت و دید آیا حتی به فرض داشتن ROI مثبت، سرمایه‌گذاری در مداخله، برای جامعه به‌صرفه بوده است یا خیر.

آنچه در تمامی شاخص‌ها بسیار مهم است، وجود تعاریف عملیاتی واضح و مورد توافق است. تعاریف عملیاتی به ما نشان می‌دهد که شاخص باید چگونه سنجیده شود؟ بدون تعاریف عملیاتی، واژگان و عناوین شاخص‌ها، می‌توانند بسیار مبهم باشند و در نتیجه، فرایند ارزیابی که قرار بود ابزاری برای کنترل و یادگیری سیاست باشد، چیز دیگری را بسنجد و آن را گزارش کند. در بسیاری از موارد در اسناد سیاستی کشورمان مشاهده می‌شود که از شاخص‌های فراوانی نام برده شده است که نه مقدار موجود و مطلوب آنها مشخص است، نه افق آنها، نه روش و منبع داده‌های مربوط به آنها و نه تعاریف عملیاتی آنها؛ لذا عملاً این شاخص‌ها، هیچ‌گاه مبنای عمل و تصمیم‌گیری قرار نمی‌گیرند.

2- منابع شاخص‌ها

ساده‌ترین روش برای استخراج شاخص‌های مداخله، رجوع به برنامه اقدام است. با تحلیل چشم‌انداز و اهداف کلان، می‌توان یک سری شاخص‌های نتیجه‌ای استخراج کرد. اقدامات نیز ما را در استخراج شاخص‌های فرایندی یاری خواهند کرد. بهتر است نقاط گلوگاهی و اصلی به‌عنوان شاخص سنجیده شوند و شاخص‌ها با توجه به مخاطب گزارش، دسته‌بندی شوند. گاه در ادبیات مدیریت به این شاخص‌ها، شاخص‌های کلیدی عملکرد ([18]KPI) گفته می‌شود. تعداد زیاد شاخص‌های گوناگون، نمی‌تواند برای مدیران مناسب و قابل استفاده باشد و دیدی کلی راجع به پیشرفت امور در اختیار آنها قرار دهد.

 

در یادداشت‌های بعدی، سایر منابع استخراج شاخص‌ها را بررسی خواهیم کرد.

 

لطفاً دیدگاه‌ها، نقدها و تجربیات خود را با ما درمیان بگذارید.

---

[1] به این موضوع در یادداشت‌های قبلی پرداختیم.

[2] Impact evaluation

[3] Process evaluation

[4] این جدول برگرفته شده از سند زیر است:

Department for Transport. (2011). Behavioural Insights Toolkit. GSR, DfT, 37-43.

[5] American promise alliance

[6] https://goo.gl/4V1Cby

[7] 5 promise

[8] Caring Adults, Safe Places, A Healthy Start, Effective Education, Opportunities to Help Others

[9] به منظور مطالعه بیشتر در خصوص جرئیات اقدامات انجام شده در طی سال‌های اولیه تأسیس اتحاد، به این سند مراجعه کنید: https://goo.gl/fTJcvo

تعدادی از این شاخص‌ها عبارتند از: شاخص ارتقای تحصیلی از سال نهم به دهم، شاخص ثبت‌نام پیش دبستانی، شاخص رأی‌دهی در انتخابات‌ها، شاخص شرکت در فعالیت‌های فوق برنامه و…

برای مطالعه بیشتر این شاخص‌ها، نحوه محاسبه و مرجع اخذ اطلاعات مربوط به آن‌ها به این گزارش مراجعه کنید: https://goo.gl/3UkLvc

[10] اطلاعات این بخش نیز از مرجع معرفی شده در پاورفی قبل اخذ شده است.

[11] لینک گزارش: https://goo.gl/3UkLvc

[12] شاخص‌های فرایندی با خروجی و شاخص‌های نتیجه‌ای با تأثیر، از جهاتی دارای ماهیت مشابه هستند.

[13] مراجعه کنید به یادداشت «تحلیل و کارشناسی».

[14] state

[15] در قسمت‌های بعدی بیشتر به آن خواهیم پرداخت.

[16] در قسمت‌های بعدی به بحث فنی‌تر این موضوع خواهیم پرداخت.

[17] در این زمینه رج: تحلیل‌های هزینه-فایده در یادداشت تحلیل و کارشناسی

[18] Key Performance Indicator

[19] Triggering action

[20] Acquisition and lead generation

[21] Member-get-member

[22] Lead management and conversion

[23] Customer relationship marketing (CRM)

[24] weekly omnibus survey

[25] Smoking Toolkit Study

[26] منبع:

1- UK National Social Marketing Center (NSMC). (2011). ShowCase: Tobacco Control National Strategy —. London: National Social Marketing Center (NSMC). Retrieved from https://goo.gl/rbRQVT

2- UK Government Communication Network(GCN). (2009). Communications and behaviour change. London: Central Office of Information (COI). Retrieved from https://goo.gl/6KgrMv