درآمدی بر نظریه خط مشی گذاری عمومی(تقابل نظری عقلانیت گراها و فرا اثبات گراها)
بخش ششم
چه کاری انجام داده‌ایم؟ تحلیل اثر و ارزشیابی برنامه
نویسندگان : کوین بی . اسمیت – کریستوفر دابلیو لاریمر
ترجمه :دکتر حسن دانایی فرد
جهت دریافت نسخه الکترونیکی فایل،کلیک کنید
فصل ششم – چه کاری انجام داده‌ایم؟ تحلیل اثر و ارزشیابی برنامه
وقتی یک خط‌مشی اجرا شد، تبعات آن ممکن است ذینفعان، خط‌مشی‌گذاران و تحلیل‌گران خط‌مشی را رهنمون کند تا نحوه پاسخ به سؤال «چه کاری باید انجام دهیم» را ارزشیابی مجدد کند.
به علت عدم اطمینانی که تحلیل خط‌مشی باید با آن سروکار دارد، قضاوت در مورد ارزشمندی یا منفعت پیامدهای خط‌مشی قبل و پس از اجرا حائز اهمیت است. تحلیل اثر[1] (تحت عنوان ارزشیابی کمی برنامه[2] نیز مشهور است)، حوزه‌ای از مطالعات خط‌مشی است که به ارزیابی نظام‌مند اثر یا تأثیر یک خط‌مشی عمومی بر جهان واقعی می‌پردازد و به معنای دقیق کلمه همتای تحلیل پیش از تدوین خط‌مشی است (آن را تحلیل پس زا تدوین و اجرا می‌نامند). این نوع تحلیل بعد از اجراء اشاره به ارزیابی آتی احتمالی (و همواره تجویزی) از نحوه استفاده از قدرت اجبار قدرت دولت برای پرداختن به یک مسئله یا موضوع بحث‌انگیز دارد. تحلیل اثر، نوعی ارزیابی معطوف به گذشته[3] از خط‌مشی‌هاست که اقتباس و اجرا شده است. اگر سؤال بنیادی تحلیل خط‌مشی «چه کاری باید انجام دهیم؟» باشد، آنگاه سؤال بنیادی عقبه تحلیل اثر «چه کاری انجام داده‌ایم؟» است.
به طور کلی این ماهیت پسینی[4] تحلیل اثر است که به صورت مفهومی آن را از تحلیل خط‌مشی آن طور که در فصل قبلی بحث شد متمایز می‌سازد، نه روش‌شناسی آن.
تحلیل اثر به طور مستقیم در سنت عقلانیت‌گرا قرار دارد و همان انتقادات فرا اثبات‌گرایی علیه تحلیل خط‌مشی علیه تحلیل اثر نیز مطرح می‌شود. تحلیل اثر، ارزش‌های هنجاری مشوق یک خط‌مشی عمومی را توجیه نمی‌کند، فقط باید از حیث تجربی ادعای علی بین ابزار (خط‌مشی) و هدف (هدف خط‌مشی) را آزمون کند. این امر بازنمای نوعی تقابل نسبتاً روشن با مسئله محوری نظریه در تحلیل خط‌مشی است که برخی توجهات برای آرایش منابع و قدرت اجبار دولت در وهله اول را فراهم می‌کند.
تحلیل اثر و ارزشیابی برنامه
تحلیل اثر به طور واقعی بخشی از حوزه گسترده‌تر مطالعات خط‌مشی است که آن را ارزشیابی برنامه[5] (یا خط‌مشی[6]) نامیده‌اند. ارزشیابی برنامه مانند بسیاری از مفاهیم در حوزه مطالعات خط‌مشی، به صورت رسمی به طرق مختلف تعریف شده است. چنین تعاریفی عبارتند از: «تلاش برای فهم اثرات رفتار انسان و به طور خاص، ارزشیابی اثرات برنامه‌های خاص… بر آن دسته از جنبه‌های رفتار تجلی‌یافته به عنوان اهداف، یا اهداف مداخله (دولت)» (هومن، 1987).
ارزشیابی برنامه در هسته اصلی‌اش نوعی عمل هنجاری تصریحی است؛ انگیزه این کار میل به مقایسه «آنچه هست» یا «آنچه باید باشد» است. بدین ترتیب، ارزشیابی برنامه در نهایت در مسیر تعیین ارزشمندی یک برنامه یا یک خط‌مشی بر مبنای برخی از معیارهاست؛ تلاش نظام‌مندی برای ارزیابی این نکته است که آیا یک برنامه یا یک خط‌مشی «خوب» یا «ارزشمند» است یا خیر.
متأسفانه مانند نگاه لاسول به مطالعات خط‌مشی، ارزشیابی برنامه نیز بسیار پیچیده و مبهم است (حتی مبهم‌تر از تحلیل خط‌مشی). تقاضا برای ارزشیابی هم در بخش عمومی و هم خصوصی فراگیر است و ارزشیابی‌ها می‌توانند از مطالعات علمی ـ دانشگاهی تا گزارش‌های مشاوران مدیریت تا مرورهای رسمی برنامه به وسیله دفتر حسابداری کل تا ارزیابی غیررسمی به وسیله مدیران برنامه را دربرگیرند. به گفته ویس، ارزشیابی بیشتر هدفش آگاهی‌بخشی و بهبود خط‌مشی است نه تولید دانش و دانش تولیدی به وسیله ارزشیابی برنامه غالباً به عنوان خط‌مشی و برنامه خاص دیده می‌شود نه تولید تجمعی (انبوهشی) به صورت مجموعه‌ای از دانش تعمیم‌پذیر که در خط‌مشی‌ها و برنامه‌های مختلف به کار می‌رود.
از جهتی، ارزشیابی برنامه شاید قدمتی به قدمت فعالیت انسانی سازماندهی شده دارد. تعیین آنچه کارگر می‌افتاد (یا نمی‌افتاد) و چرایی آن به همان اندازه برای رومیان مهم بود که برای مقامات دولتی مدرن امروزی مهم است. ارزشیابی‌های رسمی، خصوصاً در حوزه آموزش و پرورش، تاریخچه‌ای حداقل 150 ساله دارد که ریشه آن به گزارش سالانه هوراس من[7] درد مورد آموزش و پرورش در ماساچوست در دهه 1840 برمی‌گردد (فیتز پاتریک، ساندرز و ورثن، 2004: 31). اگر چه رشته مدرن ارزشیابی ریشه‌اش به بسیاری از ریشه‌های شبیه ریشه‌های تحلیل خط‌مشی برمی‌گردد: ولی راه رشد آن از این تصدیق میسر شد که علم اجتماعی می‌تواند در راهنمایی خط‌مشی عمومی مفید باشد؛ این رویکرد در دهه 1960 به علت تقاضا برای ارزیابی اثر برنامه‌های رفاه اجتماعی جدید و کلان دولت فدرال رونقش چشمگیری داشت؛ و در قالب یک حرفه با برنامه‌های آموزشی و تحصیلی و آثار علمی در دهه 1970، 1980 و 1990 توسعه یافت. مانند کلیت حوزه مطالعات خط‌مشی، به موازاتی که برنامه‌های آموزشی ـ تحصیلی بسط یافت و فصل‌نامه‌هایی به انتشار نظریه و عمل ارزشیابی پرداختند، در واقع ارزشیابی برنامه برای تعریف خودش به عنوان یک حوزه تقلا می‌کرد. ارزشیابی به عنوان نوعی «فرا رشته» توصیف شده است که مانند منطق یا آمار بین حوزه‌های مختلف به کار برده می‌شود.
زیر چتر «ارزشیابی برنامه» تعدادی از رویکردهای مفهومی پسینی قرار دارند که فراتر از تحلیل اثر بسط می‌یابند. متأسفانه هیچ گونه توافق جهانشمولی بر سر تعریف قلمرو و حوزه‌های فرعی ویژه ارزشیابی خط‌مشی وجود ندارد، اگر چه برخی از گونه‌شناسی‌ها در پی روشن‌سازی این تفاوت‌های مفهومی هستند و نظم و نسق‌هایی نیز برای این حوزه فراهم کرده‌اند. متداول‌ترین این تلاش‌ها طبقه‌بندی‌های دوگانه هستند: ارزشیابی‌های حین اجرای خط‌مشی و پس از اجرای خط‌مشی[8]، و ارزشیابی فرایندی و راه‌آوردی[9].
ارزشیابی‌های حین اجرای خط‌مشی و پس از اجرای خط‌مشی
ارزشیابی‌های حین اجرای خط‌مشی هنگامی انجام می‌شود که تصمیم‌های کلیدی اتخاذ شده‌اند و یک برنامه یا یک خط‌مشی حداقل در مرحله اولیه اجرا است اما چنان توسعه نیافته است که خط‌مشی‌گذاران نتوانند تعدیلاتی نسبت به خط‌مشی انجام دهند، از مطالعه تجربی برای همسازی بیشتر ابزار با اهداف غایی مطلوب مورد نظر استفاده می‌شود.
ارزشیابی‌های پس از اجرای خط‌مشی وقتی انجام می‌شود که یک برنامه یا یک خط‌مشی نسبتاً بالغ است و هدف ارزیابی ارزشمندی کلی در بستر ارزش‌هایی است که برنامه یا خط‌مشی بر اساس آنها قضاوت می‌شود.
ارزشیابی فرایندی و ره‌آوردی
ارزشیابی‌های فرایندی بر آنچه یک خط‌مشی به طور واقعی انجام می‌دهد متمرکز است. در حالی که ارزشیابی ره‌آوردی بر آنچه یک خط‌مشی واقعاً محقق ساخته است متمرکز می‌شود.
ارزشیابی‌های فرایندی، فعالیت‌های برنامه اقدامات خط‌مشی را با نگاهی به سمت و سوی انواع سؤال‌های ذیل ارزیابی می‌کند: آیا متولیان برنامه به حد کفایت برای انجام چنین کاری آموزش داده می‌شوند؟ آیا برنامه / خط‌مشی بر اساس مقررات / قوانین / تعهدات قانونی حاکم بر آنها عمل می‌کند یا خیر؟ آیا تعهدات قراردادی رعایت می‌شوند؟ آیا خط‌مشی به جامعه هدفی که فرض می‌شود باید خدمت کند خدمت می‌کند؟ (ویس، 1998: 75؛ بیگ هام و فلبینگر، 2002: 4). کار ویژه اساسی یک ارزشیابی فرایندی آن است که ببینید آیا اقدامات اجرایی افرادی که یک خط‌مشی را اجرایی می‌کنند (نوعاً یک مؤسسه دولتی) با طرح‌ها و اهدافی که خط‌مشی را در وهله نخست توجیه می‌کند، همساز است یا خیر؟
در مقابل ارزشیابی فرایندی، ارزشیابی ره‌آوردی در پی اندازه‌گیری و ارزیابی چیزی است که خط‌مشی در عمل به آن دست یافته است. تحلیل اثر، شکل خاصی از ارزشیابی ره‌آوردی است یعنی ارزشیابی ره‌آور کمی. انواع سؤال‌های محرک یک تحلیل اثر بدین شرح هستند: آیا خط‌مشی اثری بر مسئله‌ای که برای پرداختن به آن طراحی شده دارد؟ اگر اثری داشته، چقدر اثر داشته؟ اگر اثری نداشته، چرا نداشته؟
سه رویکرد بنیادی به ارزشیابی‌های برنامه به صورت فرایندی و ره‌آوردی وجود دارد که می‌توان آنها را بر اساس سؤال‌های متمایز از هم تفکیک کرد. رویکرد نخست، رویکرد ارزشیابی توصیفی است که در پی توصیف اهداف، فرایندها و ره‌آوردها است تا ارائه قضاوت‌هایی در باب آنها. در مرکز ثقل رویکرد توصیفی سؤال‌هایی در باب این است که آیا چیزی هست یا خیر: آیا هدف (یا اهداف) به نحو واضح مشخص شده است؟ آیا هدف (یا اهداف) به نحو روشن ابلاغ شده است؟ آیا طراحی برای ارزیابی پیشرفت یا موفقیت وجود دارد؟ آیا پاسخگویی روشن وجود دارد؟ رویکرد دوم، رویکرد هنجاری است. در مرکز ثقل ارزشیابی برنامه هنجاری سؤال‌هایی در باب ارزشمندی آنچه انجام می‌شود، قرار دارد: آیا هدف واقع‌بینانه است؟ آیا خط‌مشی اهداف مطلوب از حیث اجتماعی را محقق می‌سازد؟ در نهایت رویکرد اثر وجود دارد که بر ره‌آورد یک خط‌مشی متمرکز است: تا چه حدی اهدافش را محقق می‌سازد؟ در عالم واقع چقدر از نوسان منتسب به ره‌آورد یا خط‌مشی است؟
عموماً، رویکردهای توصیفی و هنجاری از شیوه‌های کیفی استفاده می‌کنند و درون طبقه‌های حین اجرای خط‌مشی / فرایندی ارزشیابی (با اندکی استثنائات) قرار می‌گیرند. رویکردهای اثر در طبقه ره‌آورد متمرکزند و حداقل بر اساس دیدگاه مور (1995: 32) پس از اجرای خط‌مشی تصور می‌شوند اگر چه چرایی را نیز تبیین می‌کنند. تحلیل اثر رویکرد پیشینی پروژه عقلانیت‌گرا به انجام قضاوت‌های ارزشیابی‌گونه از خط‌مشی است و به همین صورت کانون تمرکز بیشتر بر آنچه در ذیل می‌آید معطوف است.
تحلیل اثر
تحلیل اثر همواره حول سه عنصر محوری صورت می‌گیرد: مسئله، فعالیت و ره‌آورد مورد نظر. مسئله به برخی از شرایط یا ره‌آوردهای پیش‌بینی شده اشاره دارد که نامساعد هستند (ناراحت‌کننده هستند) و انتظار می‌رود بدون مداخله یک خط‌مشی یا برنامه عمومی همان‌طور ناراضی‌کننده باقی بمانند. راه‌حل تمرکز بر رویدادهای انسان‌محور دارد که خط‌مشی را شکل می‌دهند (یعنی اقدامات حکومت برای حل مسئله). ره‌آورد مدنظر متغیری است که در جهان واقع برای ارزشیابی اثر برنامه روی مسئله اندازه‌گیری می‌شود (نیستون، 1972؛ مور، 1995: 3). پس از تحلیل اثر با شناسایی و اندازه‌گیری برخی از ره‌آوردهای مورد نظر و آزمون تجربی رابطه‌اش با فعالیت برنامه یا خط‌مشی به این سؤال که «چه انجام داده‌ایم؟» پاسخی نظام‌مند ارائه می‌دهد.
منطق و نظریه تحلیل اثر
هدف تحلیل اثر روشن است: تعیین این که آیا یک خط‌مشی اثری بر ره‌آورد مورد نظر داشته یا خیر و اگر داشته چه مقداری؟ بدین ترتیب تحلیل اثر صراحتاً تحلیل علی[10] است، هدف آن ارزیابی این نکته است که آیا X (یک برنامه یا خط‌مشی) مسبب Y (ره‌آورد مورد نظر) بوده است و اگر بوده چه مقدار؟
نظریه برنامه
نظریه برنامه به «مجموعه‌ای از باورها که زیربنای اقدام[11] است» اشاره می‌کند (ویس، 1998: 55). چنین باورهایی قابلیت تعمیم ندارند؛ ممکن است خاص یک برنامه یا خط‌مشی تحت ملاحظه باشند. این باورهای علی لزوماً صحیح نیستند. نظریه برنامه فرض می‌کند که فلسفه وجودی یک برنامه بازنمایی نوعی نظریه است که ادعایی علی درباره پیوند نهاده‌ها به ستاده‌ها را مطرح می‌کند. اگر خط‌مشی هدف‌مند است، از حیث تعریف باید در پی تحقق اهداف کوتاه یا بلندمدتی باشد. بنابراین منطقاً یک خط‌مشی بازنمای برخی انتظارات است که فعالیت‌های مستتر در آن موجب تحقق اهداف خواهد شد. تحلیل اثر مستلزم یک نظریه برنامه واحد نیست؛ ممکن است چندین نظریه وجود داشته باشد که به صورت تجربی قابل آزمون باشند.
رویکرد نسبتاً استاندارد به نظریه برنامه ساخت نوعی خط ره‌آورد[12] است. یک خط ره‌آورد در ساده‌ترین شکلش نوعی استقراء معکوس[13] (رو به عقب) است. این شیوه با ره‌آورد مطلوب غایی آغاز می‌شود و از این نقطه آغازین به عقب حرکت می‌کند و نوعی زنجیر علی از روابط تشکیل‌دهنده فعالیت‌ها و ره‌آوردها را می‌سازد. ایده خط ره‌آورد از طریق یک مثال به سادگی قابل فهم است. خط‌مشی‌ای را در نظر بگیرید که در پی افزایش حقوق معلمان به عنوان ابزاری برای افزایش موفقیت دانش‌آموز است. چقدر افزایش در حقوق معلمان موفقیت دانش‌آموز را افزایش می‌دهد؟ چه چیزی هر گونه خط‌مشی عمومی را که در پی تحقق سطوح بالاتر موفقیت دانش‌آموز است توجیه می‌کند؟ پاسخ‌های بالقوه‌ای به چنین سؤال‌هایی وجود دارد ولی از یک نگاه جامعه گستره، سطوح بالاتر موفقیت دانش‌آموز با ره‌آوردهای اجتماعی مثبت نظیر رقابت‌پذیری، بهره‌وری اقتصادی بالاتر، مشارکت مدنی بیشتر و کاهش مصائب اجتماعی از فعالیت جناحی گرفته تا بارداری نوجوانان مرتبط می‌شود. اجازه دهید فرض کنیم که ره‌آورد مطلوب مورد نظر غایی بهره‌وری اقتصادی بیشتر است. چگونه حوقق بالاتر معلمان منجر به این ره‌آورد غایی می‌شود؟ یک خط ره‌آورد، خط‌مشی را به ره‌آوردهای مطلوب به طریق زیر پیوند می‌دهد:
حقوق بالاتر معلمان (فعالیت) ¬ جذب شدن افراد با کیفیت‌تر برای معلمی به عنوان یک کارراهه (ره‌آورد) ¬ استخدام معلمان شایسته بیشتر به وسیله مدارس (فعالیت) ¬ معلمان شایسته‌تر در کلاس درس (ره‌آورد) ¬ معلمان شایسته‌تر تجربه یادگیری بالاتری فراهم می‌کنند (فعالیت) ¬ افزایش موفقیت دانش‌آمور (ره‌آورد) ¬ دانش‌آموزان از سرمایه انسانی برای ارتقاء دورنمای اقتصادی خود استفاده می‌کنند (فعالیت) ¬ افزایش بهره‌وری اقتصادی.
اگر چه مثال فوق، مثال بسیار ساده شده‌ای است، ولی نشانگر ایده بنیادی نظریه برنامه و یک خط ره‌آورد است. خط راه‌آورد باورهای علّی‌ای که خط‌مشی را به اهداف مطلوبش پیوند می‌دهد روشن می‌سازد.
اگر چه خط ره‌آورد این نکته را روشن می‌سازد که حلقه ارتباطی علّی بین خط‌مشی و ره‌آورد مورد نظر مستقیم نیست؛ ولی تعدادی از فعالیت‌ها و ره‌آوردهای پیوندی هستند که باید مدنظر قرار گیرند. مور (1995: 32) ره‌آوردهایی که پیش‌نیاز ره‌آورد مورد نظرند را اهداف فرعی خط‌مشی می‌داند که باید محقق شوند.
نظریه برنامه آماج برخی از انتقادات موجه نیز هست. نظریه برنامه بسیار محدود گستره است، نوعی تبیین علّی است که به یک خط‌مشی واحد در یک زمان و مکان واحد محدود می‌شود. این امر این نظریه را تبدیل به نوعی مبنای دور از ذهن برای ایجاد دانش تجمعی (انبوهشی) می‌کند؛ نظریه‌ای عمومی در باب این که چرا خط‌مشی کار می‌کند یا نمی‌کند بعید است که از طریق خطوط ره‌آورد (مثل آنچه در بالا ذکر شد) به دست آید. نظریه برنامه به علت ارائه نوعی مدل ساده شده از واقعیت نیز مورد انتقاد قرار گرفته می‌شود. موفقیت دانش‌آموز پدیده پیچیده‌ای است و هیچ‌گونه خط ره‌آوردی به طور کامل، چگونگی شکل‌دهی این پدیده را نشان نمی‌دهد زیرا خط‌مشی‌گذاران می‌توانند متغیرها را دستکاری کنند. در نهایت، نظریه برنامه نسبت به انتقادات فرا اثبات‌گرایی در مورد این که چه ره‌آوردها و فعالیت‌هایی برای قرار دادن در زنجیره علّی انتخاب شوند آسیب‌پذیر است. برخی دیگر استدلال می‌کنند که نظریه برنامه بسیار جزئی‌نگرانه است؛ در پی آن است تا با تجزیه جهان به زنجیره‌های علّی ساده به این سؤال که «چه کاری انجام داده‌ایم» پاسخ دهد. چه بسا پاسخ به سؤال «چه کاری انجام داده‌ایم» فقط از ن وعی دیدگاه کلی‌نگرانه‌تر برخیزد یعنی این که ره‌آوردها چیزی بیشتر از مجموعه یا خلاصه‌ای از بخش‌های مجزا و ساده غیراقع‌بینانه هستند.
با وجود این، تحلیل اثر برای انجام ارزیابی رسمی از علیت بر نظریه یا یک خط ره‌آورد متکی نیست. تحلیل اثر از این ابزارهای مفهومی برای شناسایی و تعیین ره‌آورد مورد نظر و باورهای علّی پیونددهنده آن با خط‌مشی استفاده می‌کند. این رویکرد در پی ارزیابی علیت است یعنی آیا X باعث تغییراتی در Y (با ایجاد برآوردی روا از عکس نتیجه) می‌شود یا خیر. اگر X (حقوق بالاتر معلمان) موجب Y (موفقیت بالاتر دانش‌آموز) می‌شود، آنگاه اگر X وجود نداشته باشد، Y بایستی متفاوت به نظر آید. وقتی ره‌آورد مورد نظر و باورهای علّی شناسایی می‌شوند، موضوع بحث‌انگیز کلیدی در انجام ارزیابی رسمی از این که آیا X بر Y اثر دارد یا خیر و اگر دارد چقدر، برآورد عکس نتیجه است. این امر بیشتر عرصه طرح پژوهش است تا نظریه برنامه.
طرح پژوهش و تحلیل اثر
در تحلیل اثر، طرح پژوهش می‌تواند به عنوان سیستم یا ابزار مورد استفاده برای برآورد یک عکس نتیجه تعریف شود. هر طرح پژوهش تحلیل اثری با چالش کلیدی مشابهی مواجه است: چگونه تناظر ایجاد کند، یعنی چگونه نوعی عکس نتیجه خلق کند که در همه جنبه‌ها با نتیجه، به استثناء حضور برنامه یا خط‌مشی عمومی، هم‌ارز باشد؟ برای تحقق این هدف سه طرح بنیادی (آزمایشی، شبیه آزمایشی و همبستگی) وجود دارد.
طرح آزمایشی کامل در حد گسترده‌ای رویکرد گل سرسبد به تحلیل اثر تصور می‌شود. (روسی و فریمن[14]، 1993: 307). در طرح‌های آزمایشی، جامعه هدف به صورت تصادفی به گروه‌های درمان (گروه‌هایی که به صورت واقعی مزایای برنامه را دریافت می‌کنند) و گروه‌های کنترل (گروه‌هایی که هیچ‌گونه مزایایی از برنامه دریافت نمی‌کنند) تخصیص داده می‌شوند. هر تفاوت مشاهده شده روی ره‌آورد مورد نظر یا محصول شانس تصادفی[15] تصور می‌شود (که می‌تواند به صورت آماری ارزیابی شود) یا حاصل خط‌مشی است. بدین ترتیب سنجه گروه آزمایشی روی ره‌آورد مورد نظر به عنوان R (نتیجه) و سنجه گروه کنترل روی ره‌آورد مورد نظر به عنوان C (عکس نتیجه) و اثر خط‌مشی به عنوان R-C (نتیجه ـ عکس) استفاده می‌شود، اگر چه طرح‌های تجربی انواع گوناگونی دارد ولی همگن منطق بنیادی مشابهی دارند یعنی قدرت تصادفی‌سازی، هم‌ارزی واقعی بین گروه‌های کنترل و آزمایش ایجاد می‌کند و مقایسه روا بین C (عکس نتیجه) و R (نتیجه) را میسر می‌سازد.
اگر چه اجرای طرح‌های آزمایشی چالش‌برانگیز هستند ولی ناممکن نیستند و آزمایش‌های میدانی حقیقی منجر به بینش‌های مهمی در مورد اثرات دامنه وسیعی از خط‌مشی‌های عمومی (برای مروز بارتلس[16]، 1995 را ببینید) شده است.
یکی از بزرگ‌ترین مزیت‌های طرح‌های شبه آزمایشی آن است که از بسیاری از محدودیت‌های عملی عملیاتی کردن طرح‌های آزمایشی اجتناب می‌کند. طرح‌های شبه آزمایشی در هسته اصلی خود، همان ساختار طرح‌های آزمایشی را دارند به استثناء تصادفی‌سازی. به جای تصادفی‌سازی، هم‌ارزی[17] از طریق انتخاب نظام‌مند یک گروه مقایسه (در شبه آزمایش‌ها، گروه عکس نتیجه گروه مقایسه نامیده می‌شود نه کنترل) ایجاد می‌شود. گروه‌های مقایسه را می‌توان بر اساس مبانی مشابهت آنها با گروه آزمایشی بر اساس مجموعه‌ای از متغیرهای مرجع انتخاب کرد. برای مثال، اگر یک برنامه پلیس محله را می‌توان از طریق مقایسه نرخ جرائم در شهرهای دارای اندازه و ترکیب جمعیتی مشابه (برخی از آنها که برنامه پلیس محله دارند و برخی‌ها ندارند) ارزیابی کرد، به طور مشابه، گروهی از افراد ممکن است به صورت نظام‌مند به گروه‌های آزمایشی (یا درمان) و مقایسه تخصیص داده شوند طوری که هر دو از حیث متغیرهای اجتماعی ـ اقتصادی، سن، جنسیت و یا هر متغیری که باور بر آن است که برای خلق هم‌ارزی حائز اهمیتند، متعادل باشند.
احتمالاً یکی از متداول‌ترین رویکردهای شبه آزمایشی در تحلیل اثر، گونه‌های تحلیل سری زمانی با وقفه[18] هستند، که در هسته آنها نوعی مقایسه ساده قبل و بعد وجود دارد. در این رویکردها، برنامه یا خط‌مشی در فواصل مختلف ارائه و اثر آن بر روی ره‌آورد مورد نظر اندازه‌گیری می‌شود. یک طرح شبه‌آزمایشی وقتی استفاده می‌شود که یک برنامه یا خط‌مشی در فواصل زمانی مشخص به جامعه هدف ارائه شود.
طرح سری‌های زمانی با وقفه شکلی شبیه تحلیل رگرسیون چندگانه به خود می‌گیرد که کنترل‌هایی برای دیگر علل نرخ‌های جرائم دارد. این حالت طرح را از نوعی طرح شبه آزمایشی که در آنجا هم‌ارزی از طریق انتخاب دقیق گروه یا واحد تحلیل مورد استفاده برای برآورد عکس نتیجه محقق می‌شود و از یک طرح همبستگی خالص که در آن هیچ گونه کنترل واقعی یا گروه‌های مقایسه وجود ندارد، جدا می‌سازد. از حیث فنی یک طرح همبستگی، طرحی است که در آن هیچ گونه انتخاب متمرکزی روی کسانی که مزایای برنامه را دریافت می‌کنند یا نمی‌کنند وجود ندارد؛ افراد (یا تجمعات اجتماعی) خود تصمیم می‌گیرند آیا از مزایای خط‌مشی برخوردار شوند یا نشوند. هیچ‌گونه گروه کنترل و گروه‌های مقایسه به صورت آگاهانه وجود ندارد؛ همه آنچه یک تحلیل‌گر می‌تواند انجام دهد مشاهده و تلاش برای خلق هم‌ارزی از طریق کنترل آماری علل بدیل ره‌آورد مورد نظر است.
در بیشتر موردها طرح‌های همبستگی عملاً به درون تحلیل‌های رگرسیون چندگانه متنوع برمی‌گردند که همیشه از حیث مانعیت و جامعیت آسیب‌پذیرند. به عبارت دیگر، برخی مبانی برای طرح این ادعا وجود دارد که هم‌ارزی محقق نمی‌شود زیرا برخی از علل مهم ره‌آورد مورد نظر از مدل مستثنی شده‌اند یا زیرا برخی از متغیرهای بی‌ربط در مدل گنجانیده شده‌اند. همان‌طور که بحث قبلی پیشنهاد داد، خط بین طرح‌های شبه آزمایشی و همبستگی روشن نیست. تحلیل اثر به طور معمول از فنون کنترل آماری حتی در طرح‌های آزمایشی استفاده می‌کند. این امر مفهوم عکس نتیجه از علیت را در برابر انتقادات فرا اثبات‌گرایی مبنی بر این که ارزش‌ها می‌توانند به سادگی درون حتی یک تحلیل اثر خوب طراحی شده و اجرا شده وارد شوند، آسیب‌پذیر می‌سازد؛ زیرا اثرات استنباطی به طور بسیار حساسی وابسته به این کنترل هستند، یعنی گزینه‌های کنترل‌ها می‌تواند نتیجه‌گیری یک تحلیل اثر را تعیین کنند.
[1]. Impact analysis
[2]. Quantitative program evaluation
[3]. Expost policy analysis
[4]. Expost
[5]. Program evaluation
[6]. Policy evaluation
[7]. Horance Mann
[8]. Formative & summative evaluation
[9]. Process & Outcome evaluation
[10]. Causal analysis
[11]. Action
[12]. Outcome line
مسیر شکل‌گیری باورهای علی به ره‌آورد را نشان می‌دهد (م).
[13]. Backward induction
[14]. Rossi & Freeman
[15]. Random chance
[16]. Burtles
[17]. Equivalency
[18]. Interupted time series analysis
