Blog 3: Monitoreo, Evaluación y Aprendizaje (MEL) de un proyecto de prueba de Política de Innovación Transformativa: Reflexiones del Programa de Agua y Biodiversidad de Sudáfrica

“¡Fue como una montaña rusa en una tormenta! Una vez que ... la familiaridad creció, fue más fácil hablar de conceptos. Encontré la dinámica académico-profesional tan fascinante. Estoy muy agradecido por esta experiencia ".

La evaluación llega al final, ¿verdad? ¿Junto con el aprendizaje? ¿Y los resultados del proyecto? No con la metodología y el enfoque de TIPC. No acepta esta conceptualización lineal de MEL. El enfoque de TIPC considera hacer las cosas de manera diferente, no "como de costumbre". En todo el Consorcio con la experimentación de políticas o programas, pensamos nuevamente en cómo monitorear, evaluar y aprender de los proyectos, superponiendo la 'metodología TIPC'.

Juntos, los investigadores y los formuladores de políticas ponen la práctica de las políticas bajo el microscopio para examinar y crear conjuntamente experimentos transformadores que ayuden a abordar los Objetivos de Desarrollo Sostenible (ODS). La nueva 'Metodología TIPC' es un viaje de aprendizaje de varios pasos que utiliza Evaluación formativa como trampolín hacia Resultados transformadores. Así es como el equipo del proyecto de agua de Sudáfrica encontró el nuevo enfoque.

Con la metodología TIPC, el Monitoreo, Evaluación y Aprendizaje (MEL) ocurre continuamente en el lugar, no en las etapas finales. Las hebras de MEL se entrelazan para constituir la fuerza de la metodología. MEL no se completa con un equipo separado que se cierne sobre, diseccionando el proyecto al final con una lista de verificación de casillas de verificación, sino con aquellos que ejecutan, hacen, viven, adaptan y evolucionan el proyecto, programa o política. Y así, los hallazgos tienen aplicación y acción inmediatas.

La reflexión continua está entretejida en el diseño de MEL para informar qué sigue para modificar o nutrir hacia resultados transformadores. Es clave enfatizar que este proceso de cocreación y espacio para hacer esto ess la esencia de la metodología y, por tanto, su resultado. Resonando desde el centro del diseño de MEL surge la convicción de que esta evaluación continua, con el necesario ajuste fino del proyecto, brinda la mayor oportunidad para construir un camino transformador. El método se caracteriza como la 'Teoría Transformativa del Cambio usando Evaluación Formativa'.

En este blog final de nuestra serie, que se centra en la experiencia del equipo que hizo el prototipo de la metodología TIPC en el proyecto South African Living Catchments Water Provision, que se esfuerza por cumplir el Objetivo de Desarrollo Sostenible 6, examinamos MEL en este contexto y las implicaciones para la Innovación Transformadora. Política (TIP) en su conjunto.

Las reflexiones provienen de Alex Marsh, Asesor de Políticas de Biodiversidad e Infraestructura Ecológica y Aimee Ginsburg, Gerente de Proyectos de Contabilidad de Capital Natural para infraestructura ecológica en el Instituto Nacional de Biodiversidad de Sudáfrica (SANBI); y Chux Daniels, Miembro de investigación del socio coordinador de TIPC en la Unidad de Investigación de Políticas Científicas (SPRU) en la Escuela de Negocios de la Universidad de Sussex, y líder del África Hub de TIPC y de este proyecto.

El impulso central de SANBI es reunir, para Sudáfrica, el valor inherente tanto a la infraestructura construida como a la 'infraestructura ecológica'. El primer blog de esta serie analiza este enfoque más a fondo, analizando por qué es importante ver la infraestructura construida como igual a la "infraestructura" natural. Esta perspectiva ilustra perfectamente la teoría sociotécnica en el centro de la Política de Innovación Transformativa (TIP).

Ginsburg trabaja para ayudar a administrar y guiar el desarrollo de las cuentas de capital natural para demostrar en términos económicos el valor de la ecología y la contabilidad natural para la nación y el mundo. Ella analiza cómo esto se traduce en los Objetivos de Desarrollo Sostenible (ODS). Su función es apoyar la toma de decisiones y la dirección del trabajo con evidencia y datos centrados en la contabilidad natural. Al igual que con el proyecto Living Catchments Water Provision, se realiza una contabilidad natural para cada nuevo proyecto. La organización de la información sobre el medio ambiente es clave para abordar el cambio climático y la pérdida de biodiversidad. Por ejemplo, el papel de Ginsburg es auditar los ecosistemas y paisajes de Sudáfrica para comprender cómo, por ejemplo, pueden haber sido alterados para otros usos de la tierra que afectan la biodiversidad. Como se logra con otras métricas globales como el Producto Interno Bruto (PIB), ¿cómo se puede llevar a cabo la estandarización para que existan formas consistentes y transparentes de medición? ¿Cómo pueden estos datos respaldar los indicadores y métricas de MEL en experimentos y proyectos?

Esta estandarización global para comprender el valor de las cuentas naturales recientemente ha dado un salto adelante con el recién lanzado Sistema de Contabilidad Ambiental-Económica (SEEA)  marco de las Naciones Unidas. Esto integra datos económicos y ambientales para brindar una mejor comprensión de las conexiones entre la economía y el medio ambiente, destacando el valor que los ecosistemas aportan a los países y sus habitantes. Las actividades de MEL deberán tener esto en cuenta junto con el marco de los ODS. Para MEL dentro de la metodología TIPC: cuya explicación se detalla en el blog 2 de esta serie - Ginsburg tiene una multitud de preguntas pertinentes:

“¿Dónde están las limitaciones de los datos? ¿Cómo puede extraer indicadores para los ODS? ¿Cómo comunicamos los relatos naturales de forma eficaz? ¿Cómo los usamos? ¿Cuáles son las implicaciones políticas? "

 

Ginsburg ve potencial en la expansión de la metodología TIPC en una amplia gama de programas y explica su motivación e interés en esta nueva metodología:

“Estamos desarrollando la Estrategia Nacional sobre contabilidad natural y me gustaría aplicar la metodología TIPC a este proceso de desarrollo. ¿De qué otras formas podemos adaptarnos para incorporar lo que estamos aprendiendo? Es por eso que estoy interesado en TIP y ser parte del experimento para integrar la metodología TIPC en nuestro proyecto Living Catchments ”.

 

El segundo colaborador, Alex Marsh, describe cómo trabaja para la movilización de recursos de SANBI trabajando estratégicamente en componentes principales que incluyen: práctica para el asesoramiento de políticas y la integración; formas de trabajar con personas e instituciones para aportar asesoramiento político basado en la ciencia a este respecto. Esta es su participación en el proyecto: "Participo en el componente tres del suministro de agua para captaciones vivas de SANBI proyecto que examina los procesos públicos y de políticas ".  

La impresión inicial de Marsh de TIP implicaba una "profunda curiosidad". Ella explica: “Fue genial encontrarme con gente que pensaba de esta manera. SANBI ha sido un pionero en la integración… durante quince años. Sin embargo, somos relativamente desconocidos en los círculos académicos ya que no escribimos artículos. Entonces, la interacción fue genial; sobre cómo la investigación puede funcionar de manera significativa en el espacio de los profesionales. ¿Cómo podemos polinizar de forma cruzada? El proceso social es clave. ¿Cómo permitimos que las experiencias cambien nuestra forma de trabajar? En el sector público el ritmo es intenso. Las relaciones continuas con TIPC nos ayudan a amasar lo que estamos aprendiendo ".

Las discusiones comenzaron centrándose en la complejidad de MEL y esta nueva perspectiva: ¿cómo ha cambiado la concepción de los indicadores del equipo de SANBI? ¿Qué se ha aprendido aquí?

En primer lugar, para el proceso, Marsh sugiere:

“Creo que podríamos haber tenido una sesión adicional sobre el diseño de indicadores. Los indicadores son muy pragmáticos y están vinculados a los resultados del proyecto. Se trata de encontrar formas de cambiar la práctica. Es muy difícil medir el impacto y el resultado de manera significativa. Tiene que ser cuantitativo y cualitativo. Las historias son importantes para demostrar los cambios provocados por la implementación del proyecto; hablar desde la experiencia y no ser reduccionista ”.

“Tuve que manejar las expectativas en torno a lo que podría ser un 'resultado'. Intentar cambiar y medir el comportamiento de las personas a partir de nueva información para mostrar el aprendizaje en una modalidad de coaprendizaje. Los productos de conocimiento se pueden realizar de una manera profundamente colaborativa. Producir los materiales con el compromiso intrínseco puesto en el proceso es parte del trabajo de integración que estoy haciendo. He entrevistado a personas y volveré a hacer esto como parte del MEL ".

Al reflexionar sobre la cocreación como parte del proyecto, Marsh captura la experiencia del equipo:

“¡Tengo opiniones firmes sobre esto! ¡La primera reunión fue como una montaña rusa en una tormenta! No entendía el terreno en el que estaba y luego estábamos rodando. El principio para generar confianza es permitir la colaboración. Quizás, el equipo de TIPC podría pensar en cómo suavizar la entrada para encontrar formas de tener conversaciones antes, para ayudarnos a todos a encontrarnos de una manera más significativa. Una vez que creció esa familiaridad, fue mucho más fácil hablar de conceptos, ya que sabía de dónde venía la gente. La dinámica académico-profesional me pareció fascinante. Estoy muy agradecido por esta experiencia ".

“Hablamos mucho (sobre la perspectiva transformadora), reflexionando sobre ella en SANBI, somos un grupo de científicos practicantes, colaboramos con académicos pero sentimos la diferencia entre enfoques muy intensamente y creo que explorar las habilidades se establece en el el espacio es importante ".

“Lo que SANBI hace mejor en el mundo es operar en un nicho sobre el uso de un proceso social profundo y ser capaz de mantener el espacio de una manera que permita a las personas sentir que tienen voz en el proceso”.

 

Al brindar una recomendación para que el proceso de cocreación prospere aún más, Marsh concluye: “Si hubiéramos emparejado nuestros conjuntos de habilidades antes del programa de trabajo, podríamos haber enmarcado mejor las conversaciones. Por ejemplo, nuestros procesos sociales profundos que trabajan con los de los resultados transformadores. Para la cocreación, esto ayudaría a ser explícitos sobre nuestras esperanzas. ¡Esto habría agregado otra capa de magia! "

Ginsburg apoyó esta observación explicando: “Sí, en las primeras sesiones fue difícil ubicarme, aunque hice la lectura y 'entendí' la teoría - ¿era el cómo? ¿Cómo encaja todo junto? Algún tipo de emparejamiento del proceso de TIPC y el proceso de aprendizaje social (que usamos) podría haber ayudado a dar espacio para encontrarnos ".

Esto sugiere que algún análisis y mapeo del proceso interrelacionado utilizado por los equipos de experimentos de TIPC, antes o en las primeras etapas del proyecto prototipo, sería ventajoso para el desarrollo de MEL, particularmente para la etapa de concepción. Esto permitiría a las personas 'ubicarse a sí mismas' y comprender el contexto y el discurso en el que está integrado cada equipo. En consecuencia, esto emerge a través del proceso, aunque el énfasis en esto en la etapa de 'incorporación' se destaca como una táctica para ayudar Fomentar los resultados positivos más rápidamente con el establecimiento temprano de confianza, conciencia y simpatía.

Esto ayudaría con la dinámica del equipo y la inicialización de los proyectos. En este caso, el enfoque se aleja más del salto directo, el enfoque de 'negocios como de costumbre' donde los equipos pueden no 'formarse' de una manera matizada y, en última instancia, más productiva, prestando mucha atención a las interacciones humanas en el centro. Para que esto tenga éxito, se requiere tanto un compromiso de tiempo como un impulso. Con el experimento del agua en Sudáfrica, ya que era la primera vez que se probaba la metodología, el equipo de TIPC también estaba aprendiendo. Es un experimento de ambos lados.

Desde el lado del investigador de TIPC, Chux Daniels, líder del TIP Africa Hub, reflexionó que: "No solo al principio debería haber habido más tiempo, sino también para la sesión MEL después". Daniels aconseja que se agreguen dos sesiones más para MEL en el componente final de la Metodología TIPC que guía cada experimento de política. Las sesiones adicionales se enfocarán en el desarrollo de indicadores, además de brindar espacio para probar y reflexionar sobre los indicadores seleccionados. Al contemplar esto más a fondo, identifica que la tensión y el equilibrio se encuentran entre: recurso de tiempo disponible; mantener el impulso y la estructura necesarios; y explorar ampliamente las experiencias MEL de los equipos. Haciendo referencia a estos, Daniels termina: “Hubo muchos factores que lo moldearon todo. Estas son las lecciones que hemos tomado a bordo a las que debemos prestar atención. ¡Y todo esto fue en el momento en que COVID se sumó al desafío! "

Otro aspecto positivo cubierto en la entrevista fueron las "reflexiones sobre la reflexión". Al producir la serie de blogs de experimentos de agua de Sudáfrica, para brindar la oportunidad de ilustrar la experiencia y los puntos de vista de los equipos, creamos un espacio importante para esta actividad reflexiva esencial que ha sido apreciada por los involucrados. Ginsburg planteó explícitamente este punto al final de la entrevista: “Me gustaría agregar lo importante que es esto. Este proceso de entrevistar y reflexionar después. Hemos hablado del 'onboarding'. Para mí, este informe de "fuera de borda" también es realmente útil para la siguiente etapa del trabajo, en particular por la forma en que todo se vincula con la nueva Estrategia Nacional Sudafricana en la que estoy trabajando. Me llegan recordatorios y sugerencias de esta discusión. Es una parte importante del proceso ".

Marsh continúa: “Otro punto relacionado con el valor de un debriefing sustancial es que a todos nos sorprendió el nivel de intensidad. Como equipo, hicimos otro ejercicio de reflexión profunda sobre cómo les iba a todos, y esto fue realmente útil para nosotros. Por lo tanto, el consejo sería que los equipos de políticas lo integraran en el lado del programa principal. Esta sesión fue, tengo que decirlo, bastante hermosa ".

Además de centrarse en el equipo, Marsh y Ginsburg observaron que al compartir la experiencia del equipo con una audiencia más amplia, en este caso en el evento de aprendizaje regional en Sudáfrica, que tuvo lugar del 20 al 22 de octubre de 2020; hubo muchos aspectos positivos de MEL.

"La sesión en el foro más amplio de Sudáfrica, donde nuestra colega, Shanna Nienaber, habló sobre el programa a una audiencia más amplia, abrió el espacio para las importantes conversaciones en torno a lo que realmente sucedió".

Demostrando la perspectiva a largo plazo que se está adoptando en el trabajo de TIPC y las relaciones positivas que se han desarrollado, Marsh concluye:

"¡Este proceso de información también es genial, ya que sabemos que llevamos años juntos ...!"

Al resumir las reflexiones sobre los aprendizajes del equipo, Ginsburg muestra cómo la experiencia informará otras áreas importantes de trabajo en Sudáfrica:

“Quiero desarrollar más claramente una teoría (transformadora) del cambio con otros socios, ya que es un ejercicio valioso. Me ha llamado la atención más factores a medida que se desarrolla la estrategia. Nuestro proceso social será la base del trabajo, pero lo importante ahora es cómo se lleva a cabo y qué se logrará. Son los elementos más suaves. La cocreación ahora se interpretará de manera diferente. Deberíamos pensar en cómo articulamos la metodología TIPC y cómo utilizarla con otros socios como Statistics South Africa ”.

 

Marsh expresa con entusiasmo sus pensamientos finales:

“¡Tener nuevos colegas para pensar en cómo se trabaja en la estrategia y la política es la mayor posibilidad que ha surgido de esto! Esta asociación emergente es genial. Tener un campo de expertos para pensar y tener una comunidad de práctica para este nicho de trabajo. Hemos estado pensando en teorías de cambio durante años, ¡¿cómo hacerlas ?! El gobierno dice que quiere más teorías de cambio, pero no cómo, por lo que esta es un área muy viva y generativa para avanzar. En segundo lugar, con esta Teoría Transformativa del Cambio, he tenido conversaciones con socios que están interesados en lo que hemos hecho, que están observando lo que sale de ella, estamos buscando aplicar esto al diseño de programas y procesos en proyectos más grandes. Esto está sentado en el horizonte. Este marco podría aplicarse de manera poderosa. También nos gustaría escribir con el equipo sobre artículos de investigación. Sé lo valioso que sería hacerlo con el equipo de TIPC. Para las políticas y la investigación, unirlos juntos para hacer que nuestro trabajo sea más significativo, para lograr el cambio que todos queremos ver en el mundo ".

Principales conclusiones sobre la realización de un experimento TIP:

Para equipos de políticas:

• Ablande la teoría con más actividades y tiempo para generar confianza y comunicación con el equipo del proyecto TIPC para que la teoría aterrice más fácilmente y las personas puedan 'ubicarse' dentro de ella. Al principio puede sentirse como '¡una montaña rusa en una tormenta!' Prepárese para el cambio de perspectiva y no haga "negocios como de costumbre".
• La confianza y la buena colaboración surgieron a mitad del proceso. Pero al principio, como ocurre con muchas cosas, fue abrumador y hubo incertidumbre. Por lo tanto, esté abierto a esto y tenga sesiones reflexivas para el equipo integradas en el lado del proyecto.
• La experiencia de creación de prototipos y el aprendizaje se pueden llevar a otros proyectos clave. Por ejemplo, Sudáfrica lo está aplicando a su Estrategia Nacional para la Contabilidad del Capital Natural (NCA).

Para los equipos de investigación de TIPC:

• Para la gestión de las partes interesadas, tener conversaciones y talleres comprometidos y más profundos con los socios para discutir sus necesidades, las expectativas mutuas de la colaboración, sus percepciones de TIPC y las experiencias con MEL durante todo el proceso.
• Aclarar el papel del equipo de TIPC (no consultores, sino socios) y el propósito de MEL para la co-creación hacia resultados transformadores.
• Dedique más tiempo a traducir conceptos, actividades de intermediación y accesibilidad general. Establecer una conexión reiterada con el trabajo y los contextos de los socios del proyecto.
• Traducir conceptos teóricos en algo significativo para los socios, enfatizar un proceso de aprendizaje bidireccional.
• Agregue una línea interna de 'aprendizaje en equipo' a la línea de aprendizaje.
• Involucrar a las mismas personas en varios experimentos de políticas para apoyar el aprendizaje y facilitar la transferencia de conocimientos y comprensiones.
• Use y comprenda conceptos teóricos de manera similar en todos los proyectos, especialmente porque la generalización ayuda a identificar desafíos comunes en diferentes contextos.
• Desarrolle herramientas generalizables para más allá de la vida útil de TIPC.