Theory of Change approach. One more for the road? ToC - - PowerPoint PPT Presentation

Theory ¡of ¡Change ¡approach. ¡ One ¡more ¡for ¡the ¡road? ¡ ¡

ToC ¡Seminar ¡ CISU ¡

Copenhagen 16 january 2014

Iñigo Retolaza (iretolazae@gmail.com)

It ¡is ¡necessary ¡to ¡learn ¡how ¡to ¡navigate ¡in ¡an ¡ocean ¡of ¡ uncertainty ¡through ¡archipelagos ¡of ¡certainty ¡

Edgar ¡Morín ¡ ¡

¡ ¡

Introducon ¡to ¡ToC ¡

What is a theory of change What is not a theory of change Theory of Change. A logic model Why we have to change the way we do things How can Theory of Change help us

A ¡kaleidoscope ¡of ¡pracces ¡

(no ¡blueprint, ¡context ¡based, ¡work ¡in ¡progress) ¡ ¡

linear (uni-lateral) non- linear (multi-lateral) short-term (local) (supranational) long-term concrete ¡ project ¡ planning ¡tool ¡ (PRODUCT) ¡ broad ¡ navigaon ¡ chart ¡ (PROCESS) ¡

What is a Theory of Change?

Theory ¡of ¡change ¡is ¡an ¡on-­‑going ¡process ¡of ¡reflecon ¡to ¡explore ¡change ¡and ¡how ¡ it ¡happens ¡-­‑ ¡and ¡what ¡that ¡means ¡for ¡the ¡part ¡we ¡play ¡in ¡a ¡parcular ¡context, ¡ sector ¡and/or ¡group ¡of ¡people. ¡(Cathy ¡James) ¡ Every ¡programme ¡is ¡packed ¡with ¡beliefs, ¡assumpons ¡and ¡hypotheses ¡about ¡ how ¡change ¡happens ¡– ¡about ¡the ¡way ¡humans ¡work, ¡or ¡organisaons, ¡or ¡ polical ¡systems, ¡or ¡ecosystems. ¡Theory ¡of ¡change ¡is ¡about ¡arculang ¡these ¡ many ¡underlying ¡assumpons ¡about ¡how ¡change ¡will ¡happen ¡in ¡a ¡programme. ¡ (Patricia ¡Rogers) ¡ ¡ A ¡Theory ¡of ¡Change ¡is ¡a ¡framework ¡for ¡sense-­‑making ¡(Srilatha ¡Batliwala, ¡and ¡

• thers) ¡

¡ A ¡thinking ¡and ¡acon ¡approach ¡to ¡navigate ¡in ¡the ¡complexity ¡of ¡social ¡change ¡

• processes. ¡(Iñigo ¡Retolaza) ¡

¡ ¡

What ¡is ¡not ¡a ¡Theory ¡of ¡Change ¡

An ¡absolute ¡truth ¡of ¡how ¡change ¡has ¡to ¡happen, ¡

• f ¡how ¡it ¡is ¡going ¡to ¡occur ¡or ¡even ¡of ¡how ¡we ¡want ¡

it ¡to ¡occur ¡ A ¡definive ¡recipe ¡that ¡helps ¡to ¡eliminate ¡the ¡ uncertainty ¡exisng ¡in ¡complex ¡and ¡emerging ¡ social ¡processes. ¡ A ¡substute ¡of ¡the ¡Logical ¡Framework ¡as ¡a ¡rigid ¡ and ¡standardized ¡planning ¡tool ¡(no ¡quick ¡fix) ¡

DESIRED CHANGE

Understanding ¡ and ¡caring ¡for ¡ relaonships ¡ (ways ¡of ¡ relang) ¡ Strategies ¡for ¡ acon ¡ (ways ¡of ¡ doing) ¡ Belief ¡ systems, ¡ paradigms ¡ ¡ (ways ¡of ¡ believing) ¡ Context ¡ analysis ¡ ¡ (ways ¡of ¡ knowing) ¡

ACTION- LEARNING THROUGHOUT THE PROCESS FRAMING OUR THINKING AND ACTIONS (UN)LEARNING ABOUT OUR ASSUMPTIONS AND DECISIONS

REFLEXIVE ¡ PRACTICE ¡ ¡

Becoming ¡ (self)aware ¡ ¡ Retolaza 2011

The ¡implementaon ¡of ¡our ¡Theory ¡of ¡ Change ¡implies ¡dealing ¡with ¡cognive ¡ and ¡polical ¡(change) ¡processes ¡

Why ¡do ¡we ¡have ¡to ¡change ¡the ¡way ¡we ¡ do ¡things? ¡

Dissatisfaction with Logframe as instrument for PM&E and its use in practice linear, suggestion of predictability, mechanistic ‘filling the boxes’ complexity of real life not reflected too difficult for many partner organisations: lack of quality and meaningful use, little positive effect on quality

• f strategic thinking & organisational learning

Hivos 2012

Why ¡do ¡we ¡have ¡to ¡change ¡the ¡way ¡we ¡ do ¡things? ¡

Quality of proposals, strategic planning, M&E gap between long term goals and realistic mid-term

• bjectives & results (“the missing middle”)

focus on activities selection of meaningful & measurable indicators proves to be difficult weak M&E practice, no systematic assessment of contribution to change little added value for larger purpose of PM&E: feedback loops, learning about change

Hivos 2012

How can Theory of Change help us?

Theories of change can: help to build common understanding support partnership bring clarity and focus to programmes guide organisational development empower those who participate can be used as a powerful communication tool It provides a framework for monitoring, evaluation and learning

Our ¡mantra ¡quesons ¡

How does (social) change happen? What needs to be in place for that change to occur? What is our contribution to that change? How do we contribute? How do we know we are contributing to that change? What are the assumptions sustaining our thinking and action? What do others think and do about it?

Key ¡concepts ¡and ¡processes ¡

• 1. How change happens?
• 2. Complexity
• 3. Stakeholder engagement
• 4. Contribution
• 5. Learning and change
• 6. Assumption management

• Public ¡policies ¡
• Constuion ¡making ¡
• Norms ¡and ¡regulaons ¡
• Societal ¡instuons ¡

(marriage, ¡religion, ¡etc.) ¡

• Economic ¡model ¡
• Collecve ¡mindsets ¡and ¡

behaviors ¡

• Culture ¡
• Social ¡identy ¡
• Shared ¡vision ¡and ¡

understanding ¡

• Interpersonal ¡behaviors ¡
• Relaonal ¡capacies ¡and ¡

diversity ¡

• Dialogue ¡ ¡
• Relaonships ¡and ¡

interculrturality ¡

• Individual ¡mindsets ¡and ¡

worldviews ¡

• Emoons ¡and ¡feelings ¡
• Intuion ¡
• Leadership ¡and ¡agency ¡
• Self-­‑awareness ¡
• Self-­‑esteem ¡
• Intra-­‑personal ¡behaviors ¡

PERSONAL ¡ transformaon ¡ RELATIONAL ¡ transformaon ¡ ESTRUCTURAL ¡ transformaon ¡ CULTURAL ¡ transformaon ¡

INTERNAL EXTERNAL INDIVIDUAL COLLECTIVE

4 dimensions of change

Control or Emergence linear or non-linear

Power ¡and ¡parcipaon ¡in ¡change ¡processes ¡ (cognive ¡and ¡polical ¡negoaon ¡process) ¡

identy ¡ power ¡ knowledge ¡ Socially ¡constructed ¡ ¡ mul-­‑stakeholder ¡ ¡processes ¡

Retolaza 2005

Quality of participation

informaon ¡ consultaon ¡ negoaon ¡ decision ¡

Retolaza, ¡2010 ¡

Who ¡did ¡it? ¡ Aribuon ¡vs. ¡Contribuon ¡

Atribuon ¡ ¡ partner ¡

Contribuon ¡ ¡ Other ¡ actors ¡

PROJECT CONTEXT WIDER CONTEXT

culture Social unrest economy Electoral process Other projects and donors People’s strategies for coping with poverty and exclusion partner ¡

Active experimentation ¡

Concrete experience ¡ Reflective

• bservation ¡

Abstract conceptualisation ¡

MULTI-­‑DIMENSIONAL ¡NATURE ¡OF ¡LEARNING ¡AND ¡CHANGE ¡ ¡(or ¡how ¡to ¡unfreeze ¡our ¡mental ¡models ¡and ¡ build-­‑up ¡new ¡conceptual ¡frameworks ¡and ¡behavioural ¡pracces ¡emerging ¡from ¡

• ur ¡praccal ¡experience ¡and ¡reflecve ¡interacon ¡with ¡the ¡context) ¡

Assumpon ¡ ¡

Something ¡that ¡you ¡take ¡for ¡granted ¡ ¡

• r ¡without ¡queson ¡or ¡proof ¡

¡ They ¡are ¡shaped ¡and ¡informed ¡by ¡our ¡mindsets ¡ (belief ¡systems) ¡

The influence our mindsets have in multi- stakeholder processes

We ¡need ¡to ¡see ¡the ¡fishbowl ¡ ¡ in ¡which ¡our ¡thinking ¡is ¡trapped. ¡ ¡

Zohar, ¡1997 ¡

Types of assumptions

context ¡ ideological ¡ cultural ¡ scienfic ¡ Strategic ¡ ¡ (causal, ¡relaonal) ¡ historical ¡

Management ¡of ¡assumpons ¡in ¡Theory ¡

• f ¡Change ¡

They are checked systematically as we move along the process Assumptions are considered from the very beginning when formulating a Theory of Change (we don’t wait until the end of the formulation to make them explicit because they will affect the definition of our strategies and relationships) Assumptions are biased and affect our ways of relating with the non like minded In multistakeholder contexts there is a need to make explicit the assumptions we use to plan and implement interventions

Filtering ¡and ¡selecng ¡assumpons ¡

PROBABLITY ¡OF ¡ ERROR ¡ (WRONG ¡ ASSUMPTION) ¡ LOW=1 ¡ HIGH=3 ¡ IMPACT ¡ON ¡OUR ¡ INTERVENTION ¡ LOW=1 ¡ HIGH=3 ¡ SCORE ¡ ASSUMPTION ¡1 ¡ ASSUMPTION ¡2 ¡ ASSUMPTION ¡3 ¡ ASSUMPTION ¡n ¡

Praccal ¡applicaon ¡of ¡ToC ¡

A flexible and adaptive process-oriented tool Project cycle management Other applications

Desired ¡change ¡ Ecosystem ¡ analysis ¡ (context ¡and ¡ actors) ¡ pathways ¡of ¡ change ¡and ¡ contribuon ¡ Strategies ¡for ¡ acon ¡ (performance ¡ and ¡ relaonships) ¡ M&E ¡and ¡CA ¡ for ¡learning ¡and ¡ change ¡

The ToC thinking and action approach:

A dynamic, continuous, explicit, iteractive, interactive, and emergent process

A ¡THEORY ¡ OF ¡CHANGE ¡

Our assumptions Our assumptions

Retolaza 2011

ToC ¡and ¡ project ¡ cycle ¡

Design, ¡planning, ¡ and ¡CA ¡ Implementaon ¡ and ¡CA ¡ Monitoring ¡and ¡ CA ¡ Implementaon ¡ and ¡CA ¡ Evaluaon ¡and ¡ CA ¡

ToC ¡and ¡project ¡cycle ¡

Design and planning Having a team in place (mixed, multilevel, unilateral, etc.) Consultation with key stakeholders involved (how they see change, how they see our contribution, strategies to foloww, etc.) Cross-checking our assumptions about change and our contribution with them and

• thers (academy, research centers, policy makers, etc.)

Defining initial partnerships (board, networking, lobby, collective action, support, etc.) as a result of deep stakeholder analysis (buy-in and ownership) Establishing a set of indicators of change to be monitored as we move along the process (Participatory M&E and CA framework) Prospective Contribution Assessment (future visualization of contribution) Developing a multi-stakeholder communication strategy (buy-in and ownership)

ToC ¡and ¡project ¡cycle ¡

Implementation Bearing in mind the mantra questions when implementing our program Fostering multi-stakeholder containers (platforms, sounding board, networks, multi- stakeholder dialogues, shared actions, action-oriented platforms, etc.) Considering at all times how our actions contribute to the desired change (expected and un-expected) Systematic and periodical context analysis (in and out) for flexible program implementation and assumption analysis Nurturing unexpected and creative relationships (ICCO-CA)

ToC ¡and ¡project ¡cycle ¡

Monitoring, Evauation and Contribution Assessment Bearing in mind the mantra questions when implementing any of these exercises Linking ME&CA Framework to our ToC (Contribution Outcomes, Indicators of change) Combining and adjusting different ME&CA approaches and tools (PLA, surveys, dialogue interviews, focus groups, combined and differentiated workshops, immersions, reporting cards, CVA, etc.). Different learning styles and needs present in the room. Adjusting our initial ToC thinking-action based on information produced during CA and Monitoring

ToC ¡and ¡project ¡cycle ¡

The starting point. The ideal situation would be to have a ToC in place when starting the program On-going process. But we can always introduce the ToC approach at any time by adjusting our systems and frameworks to ToC, and viceversa Implementing micro-practices such as change analysis, assumption analysis, context analysis, Contribution Assessment for “measuring” contribution outcomes, conducting periodical stakeholder analysis and broadening stakeholder constellation, etc.)

Other ¡ToC ¡applicaons ¡

Developing broad ToC for long-term partnerships and funding Articulating multi-level ToCs (supranational, national, local; HQ-CO, etc) Shared overall ToC for building multi-stakeholder partnerships and framing stakeholder ToC (ToC hierarchy): shared understanding, coordinated action Training/coaching staff for professional development and performance, awareness raising about change and their contributing role Developing and using analytical tools based on complexity thinking (non- linear)

Theory ¡of ¡Change ¡and ¡ME&CA ¡

Assessing and learning from our contribution

Log Frame Approach e.g. Skills training programme - a results chain

Inputs ¡ Acvies ¡ Outputs ¡ Outcomes ¡ Impact ¡

Funds, ¡ experse ¡etc ¡ Training ¡ Improved ¡ skills ¡ Improved ¡ livelihoods ¡ Less ¡poverty ¡

Maureen O’Flynn

Four key elements

Understand ¡how ¡change ¡ happens ¡and ¡your ¡role ¡ in ¡this ¡

Develop ¡Organisaon/ Programme ¡change ¡ pathway ¡

Assess ¡the ¡impact ¡of ¡ your ¡efforts ¡ Crically ¡reflect ¡on ¡your ¡ pathway ¡and ¡how ¡you ¡ thought ¡change ¡ happened ¡

Maureen O’Flynn

Multi- stakeholder engagement Participatory ME&L systems Co-responsibility (mutual accountability) A virtuous relationship

(and a political process)

Retolaza 2010

PARTICIPATORY GOVERNANCE AND CONTRIBUTION ASSESSMENT

negative intended Un-intended positive

Contribution Assessment: from linear to non-linear M&E practices

What are we looking at? What are we assessing? With whom are we doing it?

Retolaza 2014

Why Assess Impact/Contribution?

To understand the implications of our work To become more accountable to those we work with (stakeholders) To support institutional learning-change and decision making and improve future work To contribute to evidence-based policy development and effective advocacy To help demonstrate organisational performance and contribution to change

Adapted from Maureen O’Flynn

Key Areas of Enquiry for Impact/ Contribution

(In ¡relaon ¡to ¡our ¡efforts): ¡ ¡

What ¡has ¡changed? ¡ What ¡type ¡of ¡changes? ¡(posive, ¡negave, ¡

intended, ¡un-­‑intended) ¡

For ¡whom? ¡ ¡ How ¡significant ¡was ¡it? ¡ ¡ Will ¡it ¡last? ¡ ¡ In ¡what ¡ways ¡did ¡we ¡contribute ¡to ¡these ¡ changes? ¡ ¡

Maureen O’Flynn

DYNAMIC ¡ ASSUMPTION ¡ MANAGEMENT ¡

DESIRED ¡ CHANGE ¡

ECO-­‑ SYSTEM ¡ ANALYSIS ¡

PATHWAYS ¡ AND ¡ CONDITIONS ¡ FOR ¡CHANGE ¡ CONTRIBUTION ¡ OUTCOME ¡AND ¡ IMPLEMENTATION ¡ STRATEGIES ¡ CONTRIBUTION ¡ ASSESSMENT ¡AND ¡ INDICATORS ¡OF ¡CHANGE ¡

DYNAMIC ASSUMPTION MANAGEMENT AND CONTRIBUTION ASSESSMENT FOR BETTER PROJECT PERFORMANCE AND EFFECTIVENESS

A ¡ A ¡ A ¡ Assumptions THEORY ¡OF ¡ CHANGE ¡v1.0 ¡ THEORY ¡OF ¡ CHANGE ¡v2.0 ¡ A ¡ A ¡ A ¡ A ¡ A ¡ A ¡ A ¡ A ¡

Climate Change and Development Knowledge Network (CDKN)

Indicators ¡of ¡change ¡

what ¡do ¡we ¡have ¡to ¡look ¡at ¡in ¡our ¡environment ¡to ¡know ¡how ¡ we ¡are ¡contribung ¡to ¡the ¡desired ¡change ¡(or ¡not)? ¡ ¡

They are linked to the Contribution Outcomes of our Theory of Change (strategic indicators) and to the dimensions of change (change oriented indicators) They focus mainly on behavior change (personal, organisational, social) They can be quali-quanti, but ususally have a strong qualitative component (subjective indicators) Stakeholders should have a say in terms of their definition, collection, and analysis (PME approach) They should be easy to collect and analyse (user friendly) They should help us to understand all sort of changes (unintended, intended, positive, negative)

indicators ¡of ¡change ¡

What indicators can we use to know how change is happening? How are the indicators related to our desired change, contribution outcomes, assumptions, and dimensions of change? How are they related to behavioral change?

DESIRED CHANGE

Girls in this community have greater access to their rights and are able to improve their education ¡

¡ CONTRIBUTION ¡OUTCOME ¡ Teachers ¡have ¡acquired ¡and ¡ pracce ¡gender ¡sensive ¡ teaching ¡skills ¡ ¡ CONDITION ¡ Gender ¡sensive ¡teaching ¡ methodologies ¡are ¡the ¡ basis ¡of ¡the ¡educaon ¡ system ¡ INDICATOR ¡ Teachers ¡are ¡ treang ¡boys ¡and ¡ girls ¡with ¡equity ¡ in ¡school ¡

ASSUMPTION ¡

Gender ¡sensive ¡ teaching ¡methodologies ¡ improve ¡power ¡ dynamics ¡between ¡boys ¡ and ¡girls ¡in ¡the ¡school ¡ ¡

ASSUMPTION ¡

A ¡gender ¡sensive ¡ school ¡is ¡a ¡place ¡where ¡ boys ¡and ¡girls ¡learn ¡ about ¡democrac ¡ behaviours ¡ ¡

Contribuon ¡ Outcome ¡ ¡ Task ¡1 ¡ Indicators ¡of ¡ change ¡ ¡ Task ¡2 ¡ Inquiry ¡ quesons ¡ ¡ Task ¡3 ¡ Methods ¡ and ¡tools ¡ ¡ Task ¡4 ¡ Informants ¡ ¡ ¡ ¡ Task ¡5 ¡

Teachers ¡have ¡ acquired ¡and ¡ pracce ¡gender ¡ sensive ¡teaching ¡ skills ¡ ¡ Teachers ¡are ¡ treang ¡boys ¡and ¡ girls ¡with ¡equity ¡ in ¡school ¡ ¡ Contribuon ¡

• utcome ¡

(performance ¡ and ¡behaviours) ¡ ¡ Assumpons ¡ ¡ ¡ PLA ¡ Report ¡cards ¡/ CVA ¡ Surveys ¡ Interviews ¡ Reality ¡checks ¡ MSC ¡and ¡change ¡ stories ¡ PVM ¡ Workshops ¡ ¡ Focus ¡groups ¡ ¡ Benchmarking ¡ ¡ ¡ ¡ Teachers ¡ ¡ School ¡staff ¡ Children ¡ Parents ¡ School ¡director ¡ ¡ Tracing ¡actors ¡ ¡ Other ¡schools ¡ not ¡in ¡the ¡ program ¡ ¡

Key ¡quesons/premises ¡for ¡the ¡ Contribuon ¡Assessment ¡framework ¡

• 1. What stakeholders will be engaged? (stakeholder analysis)
• 2. How will they participate?(from information to decision)
• 3. What knowledge counts?(local to expert)
• 4. What are we going to be looking at? (indicators informed by

Contribution Outcomes and Assumptions, the un-expected, un-intended, etc.)

• 5. When is the CA taking place (before, during, or after the project,

seasonality)?

• 6. How can we integrate the CA in the existing ME

systems? (exploring change deeper, assumption-based questioning,

integrating CO, etc.)

Adapted from Maureen O’Flynn

ToC ¡adaptability ¡to ¡ ¡ exisng ¡logic ¡models ¡

Events

Levels ¡of ¡Change ¡

Patterns Structure

Ways ¡of ¡doing ¡ things ¡

1st Order Change 2nd Order Change 3rd Order Change

Ways ¡of ¡thinking ¡ about ¡things ¡ Ways ¡of ¡ understanding ¡ reality ¡

Mindsets ¡ Learning ¡styles ¡ Educaon ¡and ¡Training ¡ Beliefs ¡ Habits ¡ ¡ The ¡known ¡ Identy ¡ Culture ¡ Structural ¡instuons ¡of ¡ society ¡ Prejudices ¡ History ¡ Myths ¡ The ¡inmediate ¡ Reacons ¡ ¡

ToC doesn’t replace results frameworks - they make them stronger

How ¡change ¡ happens ¡

Organisaon ¡

• r ¡Programme ¡

change ¡ pathway ¡

Contribuon assessment ¡ ¡ Reflecon ¡ ¡and ¡ adaptaon ¡of ¡ ToC ¡

Maureen O’Flynn

Project ¡ Partners ¡ Beneficiaries ¡

Sphere ¡of ¡ control ¡ Sphere ¡of ¡influence ¡ Sphere ¡of ¡interest ¡

Inputs, ¡ acvies, ¡

• utputs ¡

Outcomes: ¡ Changes ¡in ¡ behavior ¡ Impact: ¡ Changes ¡in ¡ state ¡

Sphere ¡of ¡ control ¡ Sphere ¡of ¡influence ¡ Sphere ¡of ¡interest ¡

Girls in this community have greater access to their rights and are able to improve their education ¡

Condion1 ¡ Condion ¡5 ¡ Condion ¡4 ¡ Condion ¡3 ¡ Condion ¡2 ¡

CO ¡ CO ¡ CO ¡ CO ¡ CO ¡ SPHERE OF CONTROL ACTIONS1 ¡ ACTIONS2 ¡ ACTIONS3 ¡ ACTIONS4 ¡ ACTIONS5 ¡ ACTIONSO D&C ¡

ASSUMPTION ¡ ASSUMPTION ¡ ASSUMPTION ¡ ASSUMPTION ¡ ASSUMPTION ¡

ind ¡ ind ¡ ind ¡ ind ¡ ind ¡

But.. they are not a magic solution!!

If they are developed and used well, they do help with clarity, planning, communication and contribution assessment