نمونه‎هایی موردی در طراحی شاخص‌های ارزیابی در سیاست‌های تغییر رفتار

اقتصاد رفتاری, اقتصاد سیاسی, برنامه‌های انجام شده, حوزه های تخصصی, دیدگاه تخصصی, محصولات, مطالعات موردی سیاست‌های تغییر رفتار

در دو یادداشت قبلی، در مورد انواع شاخص‌ها و نحوه طراحی آنها نکاتی را گفتیم. اکنون در دو نمونه موردی دیگر، ارزیابی سیاست را مرور می‌کنیم:

رویکرد‎ ارزیابی در نمونه Change4Lifeء[۱]

وزارت سلامت انگلستان در سال ۲۰۰۹ در واکنش به معضل چاقی مفرط کودکان و بزرگسالان، ‌کمپینی با برند Change4Life و شعار «خوب بخور، بیشتر تحرّک داشته باش، بیشتر زندگی کن»[۲] تشکیل داد. این کمپین درصدد تشویق جامعه هدف برای پذیرش رفتارهای سالم، جهت دستیابی به وزن متناسب و حفظ آن بود. در اینجا بر آنیم که رویکرد ارزیابی کمپین را به‎طور اجمالی مورد بررسی قرار دهیم.به اذعان مقامات کمپین، به‎منظور پیاده‎سازی یک ارزیابی شواهدمحور مستحکم، دولت حدود ۷ درصد از بودجه سالانه بازاریابی کمپین را به انجام تحقیقات، رصد و ارزیابی فعالیت‎های کمپین اختصاص داد. رویکرد ارزیابی کمپین، مبتنی بر اصلی‌ترین دستورالعمل‎های ارزیابی، در حوزه‎هایی نظیر تحقیقات بازاریابی (همچون کتاب راهنمای ارزیابی بازاریابی وزارت سلامت[۳])، دانشگاهی (همچون راهنمای به‎روزشده توسعه و ارزیابی مداخله‎های پیچیده[۴] «شورای تحقیقات پزشکی انگلستان-MRC»)  و جهان تجارت و کسب‌وکار تدوین شد. در نهایت برنامه ارزیابی کمپین، براساس سه حوزه زیر، بنا نهاده شد: 

این اقدام، توسط اداره تحقیقات بازار بریتانیا[۵] (BMRB) صورت می‎گیرد. در این راستا، عمده مؤلفه‎هایی که به‎طور سالانه مورد پایش قرار می‎گیرد، عبارت است از:‌ آگاهی مردم از برند و تبلیغات کمپین،‌ درک مردم از پیام‎های محوری کمپین، همراه شدن مردم با اقدامات تبلیغی کمپین و آگاهی مردم از زیربرندهای کمپین. همچنین این نهاد، با پرسیدن سؤالاتی، میزان شکوفایی و تبلور کمپین در طول سال‎های مختلف را رصد می‎کند. در نمودار زیر، میزان محبوبیت کمپین در مقایسه با سایر کمپین‎های کشور بررسی شده است:

همچنین در جدول زیر، میزان همراهی مردم با تبلیغات و اقدامات کمپین قابل مشاهده است. در این جدول میزان تحقق سالانه شاخص با میزان مورد انتظار، مورد مقایسه قرار گرفته است:

برای فهم میزان تأثیر اقدامات کمپین بر نگرش‎ها و رفتارهای خانواده‎ها، چندین پروژه تعریف شده‎اند:

• مطالعات پیمایشی ملی توسط اداره تحقیقات بازاریابی انگلستان (BMRB):‌ هدف از این پیمایش، بررسی میزان تمایلات مادران (دارای کودکان ۱۱-۰ سال)، زنان باردار و بزرگسالان ۶۵-۴۵ سال برای تغییر و نیز بروز رفتارها از روش خوداظهاری است. به‎عنوان نمونه به‎طور اجمالی، نتایج پیمایش مادران (دارای کودکان ۱۱-۰ سال) در سال ۲۰۰۹ مورد بررسی قرار می‎گیرد. در این پیمایش، از ۳۰۰ مادر، سؤالات زیر پرسیده شد:
• چگونگی رفتار آنها در قبال اقدامات کمپین
• چگونگی رفتار فرزندان آنها در قبال اقدامات کمپین
• اعتقادات و باورهای آنها در رابطه با ویژگی‎های یک رژیم غذایی سالم
• میزان آگاهی آنها از اقدامات، تبلیغات و برندهای زیرمجموعه کمپین

در نمودار زیر، رفتارهای مادران در قبال تبلیغات کمپین به‎تفکیک سه نوع رفتار (هیچ اقدامی نکرده است، غذای سالم‎تر خورده است، فعالیت فیزیکی بیشتری انجام داده است) در طول ماه‎های ۲۰۰۹ توصیف شده است.

• مطالعات دانشگاهی توسط کالج لندن[۶] (UCL): این مطالعات تحت نظر دو استاد کالج لندن و با هدف ارزیابی میزان تأثیرگذاری محتوای بازاریابی کمپین بر رفتار خانواده‎ها صورت می‎گیرد. در این مطالعات، ترکیبی از رویکردهای کمی و کیفی به‎کار گرفته شده است.
• پایگاه داده سازمان[۷] Artemis: با پردازش اطلاعات این پایگاه داده، میزان صرفه اقتصادی اقدامات این کمپین مورد ارزیابی قرار می‎گیرد. پایگاه داده مذکور، اطلاعات زیر را در رابطه با فعالیت‎های سالانه کمپین گردآوری می‎کند:
• هزینه به ازای هر تماس کمپین با جامعه هدف؛ نظیر همه تماس‎های تلفنی، متن‎ها، بازدیدهای صورت گرفته از وب‌سایت و میزان پاسخ‎گویی به پیمایش‎ها
• هزینه به ازای هر پاسخ فعال از سوی جامعه هدف؛ هنگامی که افراد کاری را انجام می‎دهند (مانند سفارش محتوای آموزشی).
• هزینه به ازای هر مکالمه باواسطه[۸]؛ یک مکالمه معمولی که افراد مشخصات خود را در سامانه ثبت می‎کنند، اطلاعات تکمیلی خودشان را ارائه می‎کنند یا برای یک ارتباط مداوم با کمپین مشترک می‌شوند.

در جدول زیر، میزان هزینه واقعی و هزینه برآورده شده کمپین در سال ۲۰۰۹ به تفکیک سه آیتم فوق ارائه شده است.

در نمودار زیر، میزان هزینه به ازای هر «مکالمه باواسطه»، به‎تفکیک کانال‎‎های مختلف توزیع پرسشنامه (همچون ایمیل‎های برنامه «Healthy Start»، صندوق مدارس، مطب پزشکان جراح، رسانه ملی، درب خانه‎ها، پست مستقیم، برخی مجلات، بازاریابی میدانی[۹] و…) و بر اساس تعداد پاسخ‎دهندگان به پیمایش[۱۰] در سال ۲۰۰۹ مشخص شده است. مطابق نمودار، به‎صرفه‎ترین کانال، مربوط به برنامه Healthy Start بوده که با هزینه کمتر از یک پوند (به ازای هر نفر)، حدود ۲۲۶۷۸ پاسخ‎دهنده را تحت پوشش قرار داده است. همچنین موفق‎ترین کانال ارتباطی، مربوطه به برنامه صندوق مدارس بوده که تنها با صرف ۲٫۳۴ پوند (به ازای هر نفر) حدود ۵۳ هزار پاسخ دهنده را تحت پوشش قرار داده است.

• استفاده از داده‎های ملی سایر منابع نظیر پیمایش‎های رایج سالانه در کشور، شاخص توده بدنی[۱۱] (BMI) و سایر داده‎‎های بلندمدت سلامت برای رصد تغییرات رفتار؛ همچون پیمایش سلامت انگلستان، پیمایش ملی سفر، پیمایش ملی رژیم غذایی و تغذیه.
• تحلیل سبد خرید اقلام خوراکی؛ گردآوری و پردازش داده‎های خرده‌فروشان (نظیر میزان خرید خوراکی‎های سالم و غیرسالم) با هدف افزایش دقت و صحت داده‎های حاصل از پیمایش‎ها. در این راستا، از ابزار‎های مختلفی برای گردآوری داده استفاده می‎شود: پردازش و ارزیابی داده‌‎های مربوط به «کارت‎های وفاداری خرید»[۱۲] (برای بررسی اینکه چه نوع مواد غذایی و توسط چه اقشاری خرید می‎شود)، استفاده از اسکنرهای خانگی (به‎منظور گردآوری داده‎های خرید خانوارها)، استفاده از داده‎های کارت اعتباری باشگاه مشتریان فروشگاه‎های زنجیره‎ای خرده فروشی «Tesco» (جهت پردازش اطلاعات خرید مشتریان در سراسر کشور).

کمپین از طریق اقدامات زیر، روند شکل‎گیری و توسعه یک جنبش اجتماعی را پایش و ارزیابی می‎کند:

• طراحی سؤالات گزینشی در پرسش‎نامه مطالعات رصدی (که توسط سازمان BMRB صورت می‎گیرد)؛‌ به‎منظور تحلیل تصور مخاطبان هدف از ماهیت گسترده و فراگیر کمپین و بررسی میزان شناخته شده بودن لوگو و پیام کمپین توسط آنها
• پیمایشی کمّی از متخصصان حاضر در زنجیره واسطه خدمات؛‌ به‎منظور ارزیابی و سنجش آگاهی‎ها، نگرش‎ها و واکنش‎های متخصصانی نظیر پزشکان عمومی، پرستاران، مدیران واحدهای خدمات سلامت و درمان[۱۳].
• رصد همکاری‎های ملی؛ گردآوری وارزیابی داده‏هایی نظیر فعالیت‌ها و تعهدات همکاران ملی، تعداد ثبت‌نام‎ها برای پشتیبانی محلی از کمپین، تعداد سفارشات نهادها برای دسترسی به محتوای آموزشی و تبلیغاتی کمپین،‌ میزان عواید مالی حاصل از همکاری‎های تجاری با بنگاه‎ها.
• ممیزی محلی؛ ارزیابی میزان همکاری ملی و محلی برخی از اجتماع‏ها و ارتباط دادن داده‎های حاصله با داده‎های مطالعات رصدی (که توسط سازمان BMRB صورت می‎گیرد). اولین پیمایش در سال ۲۰۰۹ در ۵۰ موقعیت جغرافیایی انجام شد و مراکزی نظیر مطب‎های پزشکان جراح، مدارس، مراکز تفریحی و سرگرمی، سوپرمارکت‏ها، مراکز اجتماع‎ها و… را پوشش داد.
• Buzz monitoring؛ ردگیری آنلاین کلیدواژه‎ها، برای تحلیل میزان گفتگوهای مردم جامعه، درخصوص کمپین change4Life.

ارزیابی بلندمدت:

همچنین تیم کمپین، افزون بر استفاده از سه روش اصلی فوق، اثرات بلندمدت کمپین را ارزیابی می‎کند. به‎عنوان مثال کمپین با بررسی ارتباط بین تغییرات وزن با تغییرات رفتار و بررسی ارتباط تغییرات وزن با بهبود سلامتی آحاد جامعه به محاسبه میزان بازگشت سرمایه‎گذاری بازاریابی (با شاخص میزان صرفه‌جویی هزینه‌های دولت و شاخصی به نام QALY[۱۴]) می‎پردازد.

پرسش‌هایی برای بحث:

۱- منابعی را که کمپین برای ارزیابی استفاده کرده است، در بک دسته بندی کلی تبیین کنید.

۲- در این مثال، داده‎های پیمایشی، بیشترین سهم را در ارزیابی‎ها به خود اختصاص داده است. به نظر شما، باتوجه به دقیق نبودن این داده‎ها (نسبت به داده‌های ثبتی) و محدودبودن جامعه پرسش شوندگان، تا چه میزان قابل اطمینان هستند؟ در این مثال از چه سازوکارهایی می‌توان برای صحت‌سنجی داده‎های مذکور استفاده کرد؟

شاخص‌های ارزیابی در سند ملی ایدز ایالات متحده امریکا

سند ملی ایدز امریکا را مرور کنید[۱۵]. در این سند، به ده شاخص اصلی اشاره شده است که ارزیابی پیشرفت سیاست با آنها انجام می‌شود. در شکل زیر، این ده شاخص را به همراه اهداف مربوط به سال ۲۰۲۰، در یک نگاه ملاحظه کنید:

در جریان به‌روزرسانی سند (در سال ۲۰۱۵)، کارگروهی متشکل از نمایندگان دستگاه‌های فدرال در راستای تولید پیشنهاداتی برای شاخص‌ها، سنجه‌ها و اهداف تشکیل شد. کارگروه، داده‌های موجود و ادبیات مرتبط با موضوع را مرور کرد و از مشورت ذی‌نفعان درون دولت فدرال، دانشگاه‌ها، بیمارستان‌ها و نظرات عمومی استفاده کرد. بسیاری از شاخص‌های سند اولیه (۲۰۱۰) نگه داشته شدند، اما برخی سنجه‌ها یا منابع داده‌ها تغییر کردند. کارگروه برای بررسی سیستماتیک‌تر پیشنهادات، معیارهای شاخص خوب را به‌صورت زیر تعیین نمود:

– همه شاخص‌ها، لازم است که ارتباط مستقیم با یک یا چند هدف اصلی سند داشته باشد. همچنین هر شاخص باید نشانگر نتیجه یا تأثیر باشد و نه فرایند و از داده‌های کمّی و از یک منبع مناسب بدست بیاید.

– منبع داده‌ها باید در سطح ملی فراگیر باشد، داده‌ها را سر موقع و منظم تهیه کند، داده‌ها در طول سال‌ها مبنای مشترکی داشته و قابل مقایسه باشند، داده‌هایی داشته باشد که قابل طبقه‌بندی بر اساس سن، منطقه جغرافیایی، نژاد، جنسیت و نحوه انتقال باشند.

یکی از تغییرات مهم در این بازبینی این بود که در گذشته، شاخص تخمینی میزان شیوع HIV، یکی از شاخص‌های اصلی سند بود[۱۶]. اشکال این شاخص، این بود که با تغییر تکنولوژی‌های آزمایش HIV و روش‌های تخمین، تغییر می‌کرد و در نتیجه مبنای ثابتی نداشت. در نسخه جدید، شاخص فوق با شاخص [۱۷]«میزان تشخیص HIV»، جایگزین شده (شاخص دوم در شکل فوق) که روشی برای رصد روند کاهش شیوع بیماری می‌تواند باشد. این شاخص برای کلیه ایالت‌ها به تفکیک منتشر می‌شود. اما استفاده از این شاخص هم با چالش‌هایی روبرو است؛ مثلاً اینکه این شاخص، خود، تحت تأثیر میزان آزمایش‌هایی است که انجام گرفته که لزوماً ربطی به میزان شیوع بیماری ندارد.

در ادامه سند، برای هر یک از این شاخص‌ها مشخص شده که مربوط به کدام یک از اهداف است. به‌طور خاص، شاخص‌ها به سه هدف اول مرتبط است و هدف چهارم («دستیابی به یک پاسخ ملی هماهنگ‌تر به شیوع HIV») شاخصی ندارد (به شکل پایین نگاه کنید).

یکی از کارهای این کارگروه، تعیین اهداف عددی (targets) سالانه بر اساس هدف عددی نهایی آنها برای ۲۰۲۰ بود. کارگروه تصمیم گرفت که اهداف سالانه را هم با توجه به شکاف وضع موجود تا مطلوب (۲۰۱۰ تا ۲۰۲۰) تعیین کند؛ به این صورت که ۵% تغییر برای هر یک از سه سال اول (۲۰۱۳-۲۰۱۱)، ۱۰% برای هر یک از چهار سال بعدی (۲۰۱۷-۲۰۱۴) و ۱۵% برای هر یک از سه سال پایانی (۲۰۲۰-۲۰۱۸).

در ادامه سند، هر یک از شاخص‌ها، منطق پشت آنها و تغییرات آنها به‌صورت مفصل تبیین شده است.

در جدول زیر، روند پیشرفت شاخص‌ها، هدف سال اخیر و هدف نهایی برای سال ۲۰۲۰ نشان داده شده است:

علاوه بر مواردی که در سند ملی در مورد شاخص‌ها بیان شد، همزمان با به‌روزرسانی اخیر سند، گزارش مکملی نیز ویژه شاخص‌ها منتشر شده است[۱۸].  در این گزارش، آمارهای مربوط به پیشرفت کار و توصیفاتی داستانی از روند کارها ارائه شده است و در این بررسی، از آزمون‌های آماری استفاده نشده است. همچنین توضیحاتی پیرامون اینکه دقیقاً هر شاخص چگونه محاسبه می‌شود، در این گزارش آورده شده است. در شکل زیر، وضعیت همه شاخص‌ها در یک نگاه نمایش داده شده است:

برای شاخص‌هایی که پیشرفت مطلوب را نداشته‌اند، کارگروهِ میان‌دستگاهی[۱۹]، کمیته‌هایی را تشکیل داده است که ارزیابی و پیشنهادات را در هر مورد ارائه دهند.

علاوه بر ۱۰ شاخص فوق، سه شاخص دیگر هم در بروزرسانی اخیر طراحی شدند (که به آنها developmental indicators اطلاق می‌شود) که کار روی تعریف این شاخص‌ها، منابع داده، سنجه‌ها و اهداف عددی و روند آنها هنوز ادامه دارد و در حال تغییر است و در نتیجه همان‌طور که در شکل‌های فوق هم قابل مشاهده است، هنوز در مورد پیشرفت آنها قضاوتی صورت نگرفته است.

علاوه بر موارد فوق، سند دیگری هم با عنوان «۲۰۱۶ PROGRESS REPORT» منتشر شده است.[۲۰] در این سند گفته شده است که برای هر کدام از شاخص‌های اصلی:

– یک کارگروه متشکل از نمایندگان دستگاه‌های دولتی و اجتماعات گردهم آمده است. این اعضا بر اساس تخصصشان در جمع‌آوری، تحلیل و استفاده از داده‌های مرتبط با شاخص انتخاب شده‌اند.

– یک مشاوره فنی و تخصصی برگزار شده که فرایند و پیشنهادات اولیه کارگروه را مرور و نقد کرده است.

– با افرادی از اجتماع که مورد نظر شاخص‌ها بودند (مثلاً افراد ناقل بیماری HIV)، جلساتی برگزار شد و نظرات آنها دریافت شد.

– به‌طور مستمر اعضای کارگروه میان‌دستگاهی در جریان تدوین شاخص‌ها قرار می‌گرفتند.

در این سند، علاوه بر بررسی پیشرفت شاخص‌های اصلی فوق، به بررسی پیشرفت برنامه‌های اقدام فدرال و دستورالعمل اجتماعات هم توجه شده است.[۲۱] در برنامه اقدام دستگاه‌های فدرال، به‌صورت جزئی مسئولیت هر دستگاه برای نیل به اهداف سند اصلی مشخص شده است که پیشرفت آنها در نمودار زیر نشان داده شده است:

در سند برنامه اقدام دستگاه‌های فدرال، ۴ حوزه کلیدی برای نیل به اهداف سند اصلی استخراج شده است. در سند «گزارش پیشرفت»، بر این اساس که در هر یک از این ۴ حوزه چه اقداماتی انجام گرفته، یک گزارش توصیفی و کیفی داده شده است. در پیوست ۲ این سند، به‌صورت تفصیلی ذیل هر یک از اقدامات مندرج در سند برنامه اقدام دستگاه‌های فدرال، پیشرفت کارها به‌صورت کیفی گزارش شده است.

در قسمت بعدی این گزارش، تلاش‌ها و فعالیت‌های اجتماعات در ایالت‌های مختلف ذیل هر یک از ۴ هدف سند اصلی گزارش شده است.

پرسش‌هایی برای بحث:

۱- با توجه به مشکل بودن سنجش شاخص نتیجه‌ای اصلی (میزان شیوع بیماری HIV)، رصد تأثیرات با چه شاخص جایگزینی انجام می‌شود؟ به نظر شما در استفاده از این شاخص، باید چه ملاحظاتی را در نظر گرفت؟

۲- فرایند استخراج شاخص‌های نتیجه‌ای به چه صورت است؟

۳- سه شاخص جدید (developmental) طی چه فرایندی به ده شاخص قبلی خواهند پیوست؟

۴- در جدول A1 (ص۵۵) در سند اصلی، تغییرات شاخص‌ها از نسخه ۲۰۱۰ به ۲۰۱۵ مشخص شده است. به نظر شما هر یک از این تغییرات به چه دلیل انجام گرفته است؟

۵- به نظر شما چه منطقی پشت نحوه توزیع اهداف عددی (targets) در ۱۰ سال برای پر کردن شکاف میان وضع موجود (۲۰۱۰) و وضع مطلوب (۲۰۲۰) وجود دارد؟

۶- با مراجعه به سند مکمل مربوط به شاخص‌ها (INDICATOR SUPPLEMENT) (از ص۱۲ به بعد)، ببینید برای توضیح و توصیف هر شاخص، چه مواردی آورده شده است؟

۷- در سند اصلی استراتژی HIV، ۵ هدف و ۳۷ اقدام وجود دارد. به نظر شما آیا با استفاده از ۱۰ شاخص تعیین شده، می‌توان تمامی آنها را سنجش و کنترل کرد؟

۸- به نظر شما چرا کارگروه استخراج شاخص‌های سند اصلی، بر اینکه کلیه شاخص‌ها باید کمّی و از جنس نتیجه‌ای و فرایندی باشند، تأکید کرده است؟

۸- با مراجعه به انتهای سند گزارش پیشرفت (PROGRESS REPORT) (صفحه ۱۳ تا آخر)، ارزیابی فرایندی انجام گرفته در مورد اجتماعات و دستگاه‌های فدرال را مشاهده کنید.

آیا شما در مورد مطالب این یادداشت، تجربه سیاستی دیگری (در داخل یا خارج از کشور) را سراغ دارید؟ درصورت تمایل، این تجربه‎ها را در قسمت دیدگاه‎ با ما در میان بگذارید تا با نام خودتان منتشر شود.

[۱] منبع:

 Department of Health (DH). (2010). Change4Life One Year On. London: DH publications. Retrieved from https://goo.gl/O1voKOUK

[۲] eat well, move more and live longer

[۳] DH Marketing Evaluation Handbook

[۴] MRC updated guidance on ‘developing and evaluating complex interventions’, ۲۰۰۶

[۵] British Market Research Bureau-BMRB

[۶] University College London

[۷] نهادی دولتی است که در اداره مرکزی اطلاعات انگلستان (COI) فعالیت داشته است. مأموریت این سازمان، ارزیابی آن دسته از کمپین‎های دولتی و بخش عمومی (Public) است که به‎دنبال تغییر رفتار و نگرش‎های مردم در موضوعات خاص هستند. این سازمان با گردآوری و پردازش داده‎های کمپین‎های مذکور، دولت را قادر به سنجش و ارزیابی میزان اثربخشی اقدامات و عملکرد کمپین‎ها می‎کند.

[۸] intermediate conversion

[۹] Field marketing

[۱۰] Survey returns

[۱۱]BMI- Body Mass Index

[۱۲] افراد با خرید از فروشگاه‎های خرده‎فروشی از طریق کارت‎های وفاداری خرید (Store Loyalty Cards) می‎توانند از امتیازات و تخفیفات متعددی بهره‌مند شوند. یکی از مزایای این کارت‎ها برای دولت، گردآوری اطلاعات جزئی افراد (نظیر سطح درآمدی، محل زندگی، میزان خرید کالاهای مختلف، سبک خرید و …) و انجام تحقیقات مختلف بازاریابی براساس این داده‎ها است.

[۱۳] practice manager

[۱۴] quality-adjusted life year or quality-adjusted life-year-QALY

[۱۵] سند ملی استراتژی ایدز در امریکا از لینک رویرو قابل دانلود است. پیشنهاد می‌کنیم که این سند سیاستی و ساختار آن را ملاحظه بفرمایید: https://goo.gl/nQefv6

[۱۶] HIV incidence estimates

[۱۷] HIV diagnosis data

[۱۸] این سند با عنوان «INDICATOR SUPPLEMENT» از این لینک قابل دانلود است: https://goo.gl/JMCfVz

[۱۹] رج: توضیحات این کارگروه در یادداشت ساختار

[۲۰] این سند از آدرس روبرو قابل دانلود است: https://goo.gl/yvdm9w

[۲۱] سند برنامه اقدام دستگاه‌های فدرال و دستورالعمل اجتماعات، در یادداشت قبل معرفی شدند.