TIPC

变革性创新政策评估的形成性方法

Thinking & Analysis

TIPC 不仅致力于为变革性变革创建新的政策框架;联盟的一个关键计划重点也是对此类政策的评估。有时,评估被理解为研究人员、资助机构、政策制定者、政府和非政府组织的流行语,他们面临越来越大的压力,需要提供可衡量的结果来证明其项目的有效性或效率。但是,当前的评估策略是否“适合”新兴的变革性创新政策 (TIP) 框架?为了证明这种难以捉摸的影响,许多项目可能会淹没在需要精辟案例研究和统计数据的海量指标中,从而将评估变成毫无意义的清单。

与其作为项目特定点的敷衍检查,最有效的评估应该成为政策核心的一部分,跨越不同的实施级别(例如计划、项目)。 TIPC 寻求在政策试验过程中交织评估策略。新政策框架的共同创造将意味着新评估策略的共同创造——变革性政策需要变革性评估。该联盟正在着手制定评估策略(基于通用变革理论等)和一套指导方针,以评估政策试验和国家科学技术机构对社会技术转型的贡献。实现可持续转型的系统。

TIP 的评估策略应该是什么样的?转型创新政策 (TIP) 与之前的框架不同,它明确寻求从一开始就解决社会和环境挑战,而不是假设——或者实际上希望——经济增长最终会导致相关社会和环境问题的解决.这本身就意味着评估标准将与以前的政策评估截然不同。在接下来的几个月中,TIPC 联盟成员将思考哪些评估策略可以在其政策环境中发挥作用,从而为整体评估框架做出贡献。联盟团队将探索的要素和领域将包括查看工具、方法、问题、标准、治理系统和评估流程。

(变革性)变革理论:

重要的第一步是创建变革性创新政策的变革理论 (ToC)。 ToC 是一种评估性规划工具,它使利益相关者能够从政策目标向后工作,绘制为实现项目目标而需要发生的预期结果和输出、过程和输入。通过这一点,为框架和评估者制定了明确的途径。从一个通用的变革理论来看,多个 TIP 实验最终将如何促进更广泛的社会技术系统的积极变化,还需要为单个实验制定更具体的 ToC,以反映它们存在的背景多样性。

规划和参与评估:

评估过程本身应反映其评估的政策框架;正如我们期望 TIP 创建过程具有包容性和参与性一样,评估也必须如此。传统的评估通常由外部参与者领导,即实施和规划过程的专门评估专家。相比之下,参与政策实验的参与者也参与(几乎)这些实验评估的所有阶段,而外部专家主要充当促进者,这对 TIPC 至关重要。政策试验过程的包容性也应体现在评估过程中;必须特别注意决定哪些声音通常比其他声音更容易被听到的权力动态。

新问题,新答案:

只有当驱动它的问题很清楚时,评估才能是好的。由于将引导 TIPC 政策实验的问题应该与以前的政策方法大不相同,因此评估问题应该有所不同。通常,评估的各个阶段侧重于 4 个领域——影响、结果、过程(或活动)和输入。但在这四个领域中,我们还应该提出一些与 TIP 评估特别相关的关键问题。

  1. 产生了什么?

结果是政策实验或过程的直接结果,对于许多计划或项目而言,通常包括产生的报告、发现或论文。对于 TIPC,感兴趣的结果是那些使参与者能够继续改进并为进一步的变革举措做出贡献的结果。这些将是学习过程的结果,例如参与者的任何构建能力或可以推进的可操作知识。还可以探索进行实验的组织内部的变化,无论是结构性的,接受更多的实验,还是现在正在采用的与变革性变革和变革性创新特定相关的新方法。参与实验的参与者是否学到了任何新的、相关的技能,可用于推进变革性变革的实验?而且,更重要的是,演员是否深刻反思了他们当前的社会技术实践和惯例?我们能否观察到与现有社会技术体制相关的叙事、行为和网络的转变?

  1. 完成了什么?

影响通常是政策制定者在政策评估方面最感兴趣的事情。对于 TIPC,利益影响应与已解决的社会和/或环境挑战相关,尤其是与可持续发展目标 (SDG) 相关的挑战。以可持续发展目标为起点,可能需要考虑的问题可能是特定的可持续发展目标是否已得到解决以及取得了哪些成功。从这个意义上说,在这种情况下定义什么是“成功”很重要,避免谈论“效果归因”,而支持促成变革的因素的想法。我们如何评估对特定社会技术系统向可持续性过渡的贡献?

  1. 它是如何完成的?

绘制和评估实验过程通常可以阐明如何取得成功(或实际上是失败),以及如何在未来改进该过程。与其他项目不同,不成功的 TIPC 实验不会被注销为失败;从该实验的过程中仍然会有宝贵的学习经验,这将导致未来项目的成功和学习。对于 TIPC,政策实验必须为反思性和深度学习提供机会。权力动态如何影响决策和学习过程?是否考虑了不同的技术方向和变革途径?

  1. 投资了什么?

评估人员和决策者通常会关注关键投入,例如财务资源或人力资源。虽然这肯定是一个因素,但评估 TIPC 输入的过程需要关注不太明显但同样重要的元素。如果要成功实现参与式评估,就必须存在信任以及支持、承诺和专业知识。是否有在共同基础上进行合作的集体意愿?是否承认不同和相互冲突的利益?

学到了什么? TIP 评估的形成性方法

可持续转型 TIP 的评估提出了更大的挑战,需要仔细考虑要使用的评估方法。从这个意义上说,机会来自于回顾现有文献,并结合参与科技创新政策和(有时)变革过程的政策制定者和当地积极分子的经验。似乎出现的第一个结论是,需要一种形成性的政策评估方法,其中二阶(深度)学习和反思性是核心要素。 TIP 评估的功能应该是一种形成性的功能,而不是出于问责目的。这也加强了评估与联盟其他核心活动之间的必要联系:首先是能力建设,还有实验和研究。

在此背景下,TIPC 可以制定一致的评估框架,以提供更具体的评估策略和一套指导方针。致力于变革性评估的新方法是一个反思性、参与性的过程,它交织在实验和政策框架创建的所有阶段。随着框架的发展和适应,评估也会随之发展。变革性创新政策实验将需要一种新的评估策略,该策略必须通过进行政策实验的相同参与者共同创建。随着联盟在其即将进行的政策实验的基础上更深入地研究潜在的假设和机制,将有空间为变革性创新政策设计具体的评估策略。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注