TIPC ha emprendido la tarea crucial y desafiante de desarrollar un enfoque para la evaluación de políticas y experimentos transformadores que sea consistente con sus principios de política. Este enfoque se denomina Evaluación Formativa y está siendo liderado por Socio de TIPC, INGENIO.
En consideración, en primer lugar, los proyectos TIP son ambiciosos y operan dentro de entornos y sistemas complejos. No se trata solo de desarrollar una tecnología o implementarla en un contexto específico. La transformación requiere cambios organizativos, institucionales y culturales. Muchos de estos cambios tienen lugar más allá de la ubicación y el período del proyecto y la intervención inicial. Si esperamos para evaluar una política hasta su potencial impactos están comenzando a surgir, puede ser imposible atribuir tales impactos a las políticas bajo evaluación. Por lo tanto, las lecciones derivadas del análisis se obtendrán demasiado tarde para ser utilizadas en un proceso de aprendizaje efectivo. Necesitamos abordar los problemas de atribución y sincronización.
En segundo lugar, la práctica de la evaluación depende de la naturaleza y el alcance de la actividad que se va a evaluar, los recursos y la capacidad de evaluación disponibles, el punto del proceso de políticas en el que se introduce la evaluación y la estructura de gobernanza dentro de la cual se lleva a cabo la actividad que se está evaluando. . Las actividades de TIPC se llevan a cabo en contextos muy diferentes e involucran una amplia variedad de experimentos internacionales en tres centros.
Aunque no podemos desarrollar un solo conjunto de herramientas para la aplicabilidad general, TIPC ha definido un marco conceptual y un enfoque genérico que puede abordar cuestiones de atribución y tiempo que se pueden adaptar a las circunstancias locales.
Los principales elementos de este enfoque de evaluación formativa son los siguientes:
- Nuestro enfoque de evaluación es formativo e inclusivo. La evaluación formativa se refiere a un conjunto de principios y prácticas establecidos desde hace mucho tiempo que tienen como objetivo mejorar el diseño y la implementación de políticas en estrecha colaboración con todos los agentes que participan o se benefician directamente de estas tareas.
- Se centra en ta identificación y seguimiento de resultados transformadores. El Consorcio de Políticas de Innovación Transformativa (TIPC) está obteniendo un conjunto de "doce resultados transformadores" que son rastreables y atribuibles a las intervenciones de políticas bajo consideración, y que pueden usarse como indicadores de si la intervención está desencadenando procesos que probablemente ser de naturaleza transformadora.
- Los objetivos de aprendizaje están en el centro del enfoque. Monitorear si tales resultados están emergiendo de las intervenciones y cómo se convierte en un paso en un proceso de aprendizaje que dirigirá el desarrollo y la implementación de políticas hacia los objetivos transformadores.
- El enfoque utiliza "Teorías del cambio" flexibles. La TdC identifica los resultados transformadores que busca la intervención y las formas en que se espera que las intervenciones conduzcan a tales resultados. A medida que evoluciona la intervención, las lecciones aprendidas del proceso de evaluación pueden llevar a que la TdC sea revisada y adaptada.
- Está basado en un enfoque anidado de varios niveles. Se pueden utilizar varias teorías de cambio interrelacionadas para abordar diferentes niveles de actividad de políticas: proyectos que operan a nivel de nicho, programas que involucran una variedad de proyectos transformadores o combinaciones de políticas que implementan herramientas en diferentes sectores de políticas. En diferentes niveles de actividad política, esperamos que los resultados transformadores más relevantes perseguidos también sean diferentes. El diseño de estos TdC se basa en la teoría de las transiciones.