TIPC

变革性变革项目的监测、评估和学习:MOTION 与 SUSMO、SATURN 和 ACT ON NBS 合作的经验教训

Thinking & Analysis

2021 年 12 月,TIPC 和 EIT Climate-KIC 合作的 MOTION 项目结束了。在与三个 EIT Climate-KIC 项目的合作伙伴密切合作的两年中—— 在 NBS 上采取行动, 土星苏莫 – MOTION 支持能力建设和监测、评估和学习 (MEL) 活动,以增强其变革潜力。第一年包括开发一个“变革的变革理论”对于每个项目(图 1、2 和 3)。借助 TIPC 基于模块的方法,合作伙伴参与了多次引导式互动,将每个项目的输入、核心活动和输出与“变革性成果”,有助于发挥他们预期的影响力。变革的变革理论明确了每个项目的逻辑和预期的变革过程,促进与合作伙伴就如何改进它进行反思,揭示瓶颈、背景依赖性和变革潜力。

SuSMo ToC

图 1:SuSMo 的变革变革理论:以利益相关者参与为中心的四种变革途径 

SATURN ToC

图 2:SATURN 变革变革理论

ACT on NBS ToC

图 3:ACT on NBS Transformative Theory of Change

在 MOTION 的第二年,我们根据变革的变革理论 (ToC) 为三个项目中的每一个制定了监测、评估和学习 (MEL) 计划。第一步包括与合作伙伴讨论他们的 MEL 期望是什么——例如,更多地了解他们的 ToC 中的特定变化路径或监控给定的转型结果——并共同确定哪些指标可用于此目的。在 SuSMo 中,合作伙伴选择专注于三个途径: 利益相关者参与 (SE), 影响评估数据 (死),和 政策、法规和采购 (PRP) 并使用与四个转型成果相关的指标,即 联网 (监测 SE 通路), 循环 知识和工具, 学习/忘却期望的变化 (这三个都用于监控 DIE 和 PRP)。在 SATURN 中,合作伙伴选择关注两个转型成果,即 循环升级.这些是根据之前确定的(借助变革性 ToC)SATURN 项目的优势以及合作伙伴认为需要进一步改进的领域来选择的。在 ACT on NBS 中,合作伙伴选择了三对变革性成果(或“变革性成果途径”):(1) 联网学习; (2) 循环复制;和 (3) 升级制度化

为了促进 SuSMo 潜在指标的讨论和识别,MOTION 团队准备了一个方案(图 4),该方案说明了如何监控利益相关者参与网络以及通过其他两个途径(DIE 和 PRP)开发的工具与变革性成果。

图 4:为选定的 SuSMo 路径确定指标的概念方案:利益相关者参与(网络),以及影响评估和政策、法规和采购的数据(改变实践)

在确定和选择要监测的变革维度时,重要的是要在它们实现影响的相关性和通过指标监测它们的可行性之间取得平衡。这些特征往往相互矛盾。事实上,当被问及哪些维度更相关以及哪些更容易监控时,SuSMo 合作伙伴确定了这种权衡(图 5)。

图 5:与 SuSMo 选定路径相关的变化维度的影响相关性和监测可行性之间的权衡

鉴于这一困难,MOTION 团队提议将与所选途径和变革性成果相关的学习评估建立在一项调查的基础上,该调查将由 SuSMo 和 SATURN 合作伙伴回答。如果设计得当,调查有助于 变革项目或计划所需的形成性监测、评估和学习方法.与通常寻求在给定时间点表征系统状态的传统调查相反(例如,想想用于描述社区或城市的定期社会经济调查,并且通常旨在提供定量指标) ,在形成过程的背景下使用的调查旨在引发受访者的反思和学习。这种类型的调查是双向的:它在受访者/参与者和调查接受者之间建立了对话。因此,在形成性 MEL 过程中,调查是收集信息或知识的工具,它构成了反思、学习和适应的基础。相比之下,对于 NBS 上的 ACT,开发了一种替代方法,包括汇总通过一系列访谈收集的定性数据/信息,使参与者能够更深入地了解最相关的概念和知识。 

就调查而言,其设计(或“协议”,用技术术语来说)包括对三种途径 (SuSMo) 和变革性结果(SuSMo 和 SATURN)的陈述的陈述,这些陈述是实现预期目标的关键影响。通过从“非常不同意”到“非常同意”(图 6-9 中的示例)的范围评估陈述后,受访者会被提示证明他们的选择是正确的。这是引发反思和学习的关键机制。进行调查是 MEL 过程中的一个中间步骤。更重要的是将综合结果反馈给受访者的过程。对于 SuSMo,这是通过 MOTION 团队推动的研讨会完成的,对于 SATURN,调查结果是在在线视频中合成的(图 10-11)。

 

图 6-9:SuSMo 在在线研讨会上反馈给受访者的 MEL 调查结果示例

图 10-11: :在分发给受访者的在线视频中合成的 SATURN 调查结果示例

最后,MOTION 团队与 SuSMo 和 SATURN 举行了最后的 MEL 流程研讨会,并与 ACT 就 NBS 合作伙伴进行了两轮最终访谈。组织这些活动的目的是为项目合作伙伴提供一个反思空间,以进一步反思整个实施过程、取得的经验教训,并讨论项目生命周期之后的雄心壮志。在 SuSMo 研讨会上,合作伙伴讨论了传播他们开发的工具的计划——例如,共享移动评估和政策、采购和评估的指南。目的是通过 SuSMo 合作伙伴之间的谅解备忘录正式确定该计划,这将包括进一步测试和改进工具。合作伙伴在研讨会上讨论的实现永久影响的一个障碍是共享移动领域正在迅速且不断变化,因此指南可能在经过全面测试之前就已经过时了。因此,一个教训是,必须进行持续的监控和评估,并成为从工具开发到部署过程中的固定要素。监测和评估方法必须灵活,具体取决于该工具是更实用(如评估共享出行可持续性的工具)还是更理论化(如定义共享出行 PRP 原则的情况)。研讨会期间揭示的第二个教训是,未来的参与不应关注过去的成就,而应关注更新和改进工具的趋势预期。为此,合作伙伴讨论了两个目标:(a) 为通过 SuSMo 收集和创建的数据和材料建立“集体记忆”存储库,这是 (b) 形成共享移动性观察站的基础。关于共享移动网络的建立,SuSMo 能够将城市层面的不同利益相关者聚集在一起,但未来的挑战将是保持利益相关者的利益——例如,通过展示基于 SuSMo 的共享移动成功案例工具——保持网络的凝聚力。

在土星研讨会上,改进的要素 循环 围绕 (a) 知识和经验的收集和综合; (b) 外部知识和经验的可及性; (c) 合作伙伴之间以及与利益攸关方之间的知识和经验共享。在这些方面,项目内需要更多的人力资源和能力被强调为改进它们的关键。此外,更有效地使用目标传播和交流活动,例如使用社交媒体来吸引注意力和兴趣,被认为对于改进未来选定的变革性成果很重要。改进的要素 升级 围绕:(a) 外部行为者的参与; (b) 外部利益相关者对项目结果的估价和 (c) 项目结果的吸收。改进这些要素的重要方面是挑战所有者(例如市政当局)从项目开始就积极参与,以共同开发产出和结果。更多的资源和对利益相关者参与活动的战略重点,这将有助于与 SATURN 建立持久的关系,从而增加对项目产出和结果的兴趣和需求,这是改进转型成果的另一个方面 升级 在未来的项目中。

在 NBS 访谈的最后 ACT 期间,合作伙伴反映了为 MEL 阶段提议的结果的实现程度,这些结果是由于基于变革的变革理论具有更高的变革潜力而被选中的。结果显示四项监测成果取得了良好的成就,但也突出了短期内的实施挑战。例如,在“为更好地采用基于自然的解决方案 (NBS) 的能力建设和技术援助”方面(网络和学习途径), ACT on NBS 取得了良好的效果,但面临两大挑战:(1)虽然合作伙伴获得了对制定未来业务计划有用的经验,但难以为城市能力建设活动的共同资助投入资源; (2) 需要更长的项目(比 NBS 上的 ACT)与城市持续互动,以增加参与城市的数量并建立持久的能力,特别是对于经验较少的城市,这可能需要经验丰富的城市的知识转移和支持.对于与“升级和制度化途径'.为实现制度化(例如,激励可融资的基于自然的解决方案项目的政策),需要一个实施基于自然的解决方案的更加综合的城市网络,具有更高的能力和从更先进的城市向欠先进的城市转移的专业知识。 MOTION 项目结果还表明,在 2021 年 NBS ACT 的最后阶段,在整个交互过程的背景下,变革的变革理论构成了一个非常实用的工具,正如(匿名)受访者所表达的:

“与 MOTION 的合作就像一次救援 [...] 不仅通过变革变革理论的能力来追溯我们与市政当局的工作,而且还通过变革变革知识转移的系统化。”

“对于磨练和转化我们关于创新生态系统应该做什么的初步想法非常有用,更有针对性,你必须围绕变革性成果阐明目标。”

“由于与 MOTION 项目的合作,我们 [ACT on NBS 合作伙伴] 正在讨论是否以及如何通过未来的伙伴关系继续合作。”

在整个 MOTION 交互过程中收集的信息将为联合生产 NBS 上 ACT 的增强变革变革理论提供信息,该理论可用于为未来的计划提供更高的变革能力,以扩大基于城市自然的解决方案。   

最终,MOTION 与 SuSMo、SATURN 和 ACT 在 NBS 上的互动促成了成功的合作伙伴关系。 MOTION 试点并进一步开发了 TIPC 方法,结合并应用了变革性成果概念框架。相反,这种伙伴关系导致 MOTION 对 SuSMo、SATURN 和 ACT on NBS 的两个关键贡献:(a) 在变革的变革理论中将每个项目的特定过程(活动、成果、产出和影响)系统化,这使得项目合作伙伴能够了解他们如何融入他们寻求转型的系统并为之做出贡献,以及 (b) 基于这个变革性的 ToC,合作伙伴能够就如何传播项目的产出/结果得出见解和二阶学习课程,以及如何处理未来(类似)项目以提高其转型潜力。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注