Evaluación del Programa

¿Qué es una evaluación del programa?

Una evaluación es una valoración sistemática de una actividad, proyecto, estrategia o política. Analiza tanto los resultados esperados como los inesperados. Por lo general, examina los procesos, los factores contextuales, los resultados, los objetivos y el impacto a corto y mediano plazo, así como la sostenibilidad. Debe proporcionar información creíble basada en evidencia sobre el impacto del programa y recomendaciones sobre cómo mejorar el programa (1).

¿Porque evaluar el hogar materno (HM)/la casa materna?

  • Aprender maneras de mejorar la prestación de servicios y el funcionamiento del HM.

  • Demostrar quién recibió los servicios y qué se hizo por ellos 

    • ¿Cuántas mujeres se alojaron en el HM?

    • ¿Por cuánto tiempo quedaron?

    • ¿Cuáles servicios y referencias/remisiones se proporcionaron?

  • Evaluar si se avanzó o no hacia las metas del programa de HM. Por ejemplo, ¿aumentaron las remisiones para la atención basada en centros de salud o hospitales? 

    • ¿Recibieron las mujeres los servicios necesarios? 

    • ¿Fueron incluidos en los servicios las mujeres de áreas lejanas? 

    • ¿Aumentaron los números de mujeres que completaron controles antenatales? 

    • ¿Aumentaron los partos en servicios de salud? 

    • ¿Recibieron más mujeres atención posparto? 

    • ¿Recibieron más bebes visitas de seguimiento y vacunación? 

  • Evaluar el impacto en la salud materno-infantil. Las medidas de mayor nivel (más complejas) se centran en el impacto y la capacidad de hacer una diferencia en la salud materna e infantil.

    • ¿Los resultados de la salud infantil son mejores que los resultados antes del comienzo del hogar materno (HM)? ¿O son mejores que los resultados de salud infantil en una comunidad parecida que no tiene acceso a un HM? 

  • Demostrar como el HM influye la salud. Vía de medición: Datos de evaluación → Resultados → Impacto 

    • Pueden influir otras variables (calidad del sistema sanitario)

    • Modalidades de medición (encuestas pre/post, ensayo de control aleatorio de hogares de espera de maternidad, diseño cuasi-experimental, emparejamiento)

    • Enfoques cualitativos/métodos mixtos

¿Cómo se planifica la evaluación de un programa?

Las fuentes de datos para la evaluación del programa varían en función de los resultados deseados. Pueden incluir la recopilación de datos de cuadernos de registro de salud, encuestas y/o entrevistas con las partes interesadas. Independientemente del método de recopilación de datos, es importante tener metas/objetivos impulsados por el propósito del programa. A continuación, se presentan dos ejemplos de creación de metas/objetivos impulsados por el propósito.

  1. SMART Metas u Objetivos (2) 

El acrónimo SMART es una herramienta diseñada para ayudar a las organizaciones a establecer metas u objetivos que una organización espera alcanzar o evaluar. El acrónimo SMART se traduce en metas u objetivos que son:

eSpecíficosdescribir el concepto que se está midiendo (¿Quién y qué?)

Medibles – incluir una medida para captar el concepto y para controlar el progreso y saber cuándo se ha alcanzado el objetivo (¿Cuánto?) 

Alcanzables - la meta u objetivo es alcanzable; puede medirse realmente en el plazo deseado y con los recursos disponibles (¿Por qué?) 

Realísticos - abordar con precisión el alcance del problema y los pasos para lograr los objetivos/resultados declarados (¿Cómo?)

Tiempo (con un plazo determinado) - acordar la fecha en la que debe alcanzarse el resultado o el plazo de medición (¿Cuándo?)

  1. Modelos lógicos

Los modelos lógicos son otro enfoque para el diseño y la evaluación de programas. Un modelo lógico es una representación gráfica de lo que un programa pretende hacer y de cómo las actividades del programa conducirían a los resultados. La creación de modelos lógicos con grupos de interesados es una forma de aportar múltiples perspectivas al diseño y la evaluación de una intervención. Trabajando juntos, un grupo puede utilizar un modelo lógico para llegar a una comprensión compartida de la situación actual, los cambios que el programa abordaría, cómo las actividades planificadas mejorarían la situación, qué recursos se necesitan, cómo se mediría el cambio y qué factores externos podrían influir en los resultados (3). Los componentes clave de un modelo lógico son:

Situación: Esto incluye su declaración del problema (¿Qué problema aborda su programa?) y las metas del programa (¿Que es el objetivo fundamental?)

Razonamiento y suposiciones: ¿Cuáles son los supuestos implícitos y los factores externos importantes que deben tenerse en cuenta?

Entradas: ¿De qué recursos se dispone? ¿Financieros? ¿Personal? ¿Equipo? 

Actividades: ¿Qué vas a hacer? ¿Cuándo, dónde y para/con quién?

Resultados: ¿Cuáles son los productos tangibles de su trabajo?

Resultados: ¿Qué cambios espera que se produzcan como resultado de su trabajo? ¿A corto plazo? ¿A medio plazo? ¿A largo plazo? Piense en las conexiones entre los resultados.

¿Qué evaluar?

Los datos para la evaluación pueden adoptar diversos formatos y deben ajustarse a los resultados deseados. Por ejemplo, los datos descriptivos proporcionan un resumen de los datos y estadísticas significativas para demostrar el uso de la HM. Los datos descriptivos suelen incluir la información que se recoge de forma rutinaria en los cuadernos de bitácora. Sin embargo, también puede ser útil adaptar los datos descriptivos para que coincidan con el propósito de la HM (por ejemplo, embarazos remotos y de alto riesgo). Algunos ejemplos de datos descriptivos pueden ser: 

  • Número de pacientes atendidos

  • Duración de la estancia

  • Tipos de servicios

  • Distancia del HM

  • Complicaciones/riesgo

  • Satisfacción del paciente

Los datos de la evaluación se centran en los resultados medibles que demuestran el impacto a largo plazo. Pueden centrarse en áreas más amplias, como la salud materna, la salud infantil, la educación y la capacitación. En la tabla siguiente se muestran algunos ejemplos comunes de datos de evaluación, resultados e impacto.

Abajo hay otro ejemplo. Proviene de un plan para evaluación de una estrategia de HMs al nivel nacional. Este ejemplo está enfocado en cómo llevar a cabo una evaluación.

Recoger información de las partes interesadas

Además de información cuantitativa acerca de los resultados, la evaluación usualmente incluye entrevistas con grupos e individuos que son miembros de la comunidad (incluso personas que utilizaron o no utilizaron el HM), los proveedores de atención sanitaria en los centros de referencia, los responsables políticos y los grupos que proporcionaron financiación o apoyo. Hay ejemplos de guias para entrevistas y grupos de enfoque abajo.

Resumen de la evaluación del programa

La evaluación del programa es un componente importante del desarrollo y la sostenibilidad de los hogares maternos y debería considerarse antes de construir cualquier HM. En general, las métricas de evaluación del programa deben considerarse cuidadosamente en función del propósito del HM, deben incluir un método de recopilación de datos que coincida con el propósito y sea factible, y deben incluir métricas que incluyan resultados medibles e impacto a largo plazo. La evaluación del programa puede ayudar a demostrar el impacto a largo plazo de los cambios políticos, la sostenibilidad financiera y la aceptación de la comunidad.

  • *denota el acceso abierto

    (1) Wholey, J., Hatrey, H., Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd Edition). San Francisco, CA: Jossey Bass. doi:196.190.117.157:8080

    (2) *Centers for Disease Control and Prevention. (2018). Writing SMART Objectives. Evaluation Brief No. 3. https://www.cdc.gov/healthyyouth/evaluation/pdf/brief3b.pdf

    (3) *Taylor-Powell, E., Jones, L., & Henert, E. (2003) Enhancing Program Performance with Logic Models. Retrieved March 1, 2003, from the University of Wisconsin-Extension web site: https://fyi.extension.wisc.edu/programdevelopment/files/2016/03/lmcourseall.pdf

    Referencias Adicionales:

    *Buser, J. M., Moyer, C. A., Boyd, C. J., Zulu, D., Ngoma-Hazemba, A., Mtenje, J. T., ... & Lori, J. R. (2021). Maternal knowledge of essential newborn care in rural Zambia. Health Care for Women International, 42(4-6),778-793. https://doi.org/10.1080/07399332.2020.1781125

    *Buser, J. M., Munro-Kramer, M. L., Veliz, P. T., Zhang, X., Lockhart, N., Biemba, G., ... & Lori, J. R. (2021). How maternity waiting home use influences attendance of antenatal and postnatal care. Plos One, 16(1), e0245893. https://doi.org/10.1371/journal.pone.0245893

    *Dadi, T. L., Bekele, B. B., Kasaye, H. K., & Nigussie, T. (2018). Role of maternity waiting homes in the reduction of maternal death and stillbirth in developing countries and its contribution for maternal death reduction in Ethiopia: a systematic review and meta-analysis. BMC Health Services Research, 18(1), 1-10. https://doi.org/10.1186/s12913-018-3559-y

    *Fogliati, P., Straneo, M., Mangi, S., Azzimonti, G., Kisika, F., & Putoto, G. (2017). A new use for an old tool: maternity waiting homes to improve equity in rural childbirth care. Results from a cross-sectional hospital and community survey in Tanzania. Health Policy and Planning, 32(10), 1354-1360. https://doi.org/10.1093/heapol/czx100

    *Henry, E. G., Semrau, K., Hamer, D. H., Vian, T., Nambao, M., Mataka, K., & Scott, N. A. (2017). The influence of quality maternity waiting homes on utilization of facilities for delivery in rural Zambia. Reproductive Health, 14(1), 1-10. https://doi.org/10.1186/s12978-017-0328-z

    *Innovation Network (n.d.). Logic model workbook. http://innonet.org/media/logic_model_workbook_0.pdf

    *Kurji, J., Gebretsadik, L. A., Wordofa, M. A., Morankar, S., Bedru, K. H., Bulcha, G., ... & Kulkarni, M. A. (2020). Effectiveness of upgraded maternity waiting homes and local leader training on improving institutional births: a cluster-randomized controlled trial in Jimma, Ethiopia. BMC Public Health, 20(1), 1-15. https://doi.org/10.1186/s12889-020-09692-4

    *Singh, K., Speizer, I., Kim, E. T., Lemani, C., & Phoya, A. (2017). Reaching vulnerable women through maternity waiting homes in Malawi. International Journal of Gynecology & Obstetrics, 136(1), 91-97. https://doi.org/10.1002/ijgo.12013

    *Singh, K., Speizer, I. S., Kim, E. T., Lemani, C., Tang, J. H., & Phoya, A. (2018). Evaluation of a maternity waiting home and community education program in two districts of Malawi. BMC Pregnancy and Childbirth, 18(1), 1-14. https://doi.org/10.1186/s12884-018-2084-7

    *Tiruneh, G. T., Getu, Y. N., Abdukie, M. A., Eba, G. G., Keyes, E., & Bailey, P. E. (2019). Distribution of maternity waiting homes and their correlation with perinatal mortality and direct obstetric complication rates in Ethiopia. BMC Pregnancy and Childbirth, 19(1), 1-11. https://doi.org/10.1186/s12884-019-2356-x

    *University of Kansas (2022). Caja de herramientas comunitarias: Seccion 1: Dessarollar un modelo de logico. Sección 1. Desarrollar un modelo lógico o teoría de cambio https://ctb.ku.edu/es/tabla-de-contenidos/vision-general/modelos-de-desarrollo-para-la-salud-en-la-comunidad/modelo-logico-de-desarollo/principal

    *Wild, K., Barclay, L., Kelly, P., & Martins, N. (2012). The tyranny of distance: maternity waiting homes and access to birthing facilities in rural Timor-Leste. Bulletin of the World Health Organization, 90, 97-103. https://doi.org/10.2471/BLT.11.088955

    • Guía de entrevista para otras partes interesadas [click para ver]

    • Guía de entrevistas para proveedores de atención médica y personal asociado con el hogar materno [click para ver]

    • Guía de grupos focales para los miembros de la comunidad [click para ver]