Как правильно «собрать урожай»
Использование методики Outcome Harvesting в оценке проектов
В первом номере журнала за 2022 год мы рассказали о методике Outcome Mapping — создании карт поведенческих изменений1. В ее основе лежит идея, что результатами проектов и программ являются наблюдаемые изменения в поведении людей и организаций, с которыми эти проекты и программы работают. Методика Outcome Harvesting, речь о которой пойдет в данном материале, предполагает открытый подход к результатам: если традиционная оценка фокусируется в первую очередь на результатах (изменениях), которые планировалось достичь на стадии разработки оцениваемого проекта или программы, то в рамках Outcome Harvesting стараются выявить все изменения, к которым привел оцениваемый проект или программа. Какие шаги нужно пройти на пути «сбора урожая» результатов и что необходимо учесть?
1Кошелева, Н. (2022). Методика Outcome mapping — «Создание карт поведенческих изменений». Позитивные изменения, 2(1), 16-20.
Методика Outcome Harvesting в переводе с английского означает «сбор урожая» (или «жатва») результатов. В традиционной проектной оценке в первую очередь фокусируются на достижении ожидаемых (запланированных) результатов, порой в ущерб сбору данных о результатах незапланированных. При применении методики «сбора урожая» стараются собрать все результаты, и только затем интерпретировать их значимость в контексте оцениваемой программы или проекта. Автором методики является специалист по оценке Рикардо Вилсон-Грау2. Он разработал ее в 2002 году, через год после выхода первого пособия по Outcome Mapping.
2Как и у многих специалистов по оценке, профессиональный путь Рикардо Вилсона-Грау был довольно извилистым. В начале этого пути он был рабочим на заводе и коммивояжером в США, затем — интервьюером и социальным работником в Колумбии, работал на руководящих должностях в международных некоммерческих организациях сначала в Латинской Америке, а затем в Европе. В начале 2000-х годов стал проводить внешнюю оценку как независимый консультант. Под его руководством методика Outcome Harvesting была применена в рамках нескольких сотен оценок. Умер в 2018 году.
В оригинальном варианте «жатвы» шесть шагов, в адаптированном — четыре. Ниже мы рассмотрим оба варианта.
Шесть шагов к сбору результатов проекта
Первый из шагов — дизайн «сбора урожая». На этом этапе заказчик и специалисты по оценке согласуют, кто и как будет использовать информацию о результатах оцениваемого проекта или программы, также они определяют фокус «сбора урожая», то есть какого рода изменения нужно искать в первую очередь.
В рамках этой методики людей и организации, чьи действия должны приводить к изменениям, называют «агентами изменений», а людей и организации, на чье поведение пытаются повлиять эти «агенты», называют «социальными акторами». Фокусом «сбора урожая» обычно становятся такие изменения поведения «социальных акторов», которые направлены на достижение конечной цели оцениваемого проекта. Например, «сбор урожая» результатов для реализованного в Малави (Африка) проекта, направленного на укрепление местного управления в сельских поселениях для обеспечения равного доступа к продовольствию, методика фокусировалась на изменениях, которые способствовали реализации прав на равный доступ к продовольствию в Малави3.
3Kaplan, T. Outcome Harvesting: A monitoring & evaluation method for Social Accountability and Advocacy. Retrieved from: https://www.civilsocietyacademy.org/post/outcome-harvesting-a-monitoring-evaluation-method-for-social-accountability-and-advocacy. (accessed 11.04.2023).
Следующий шаг — сбор данных и подготовка описаний найденных результатов. На этом этапе специалисты, которые участвуют в «сборе урожая», изучают доступные материалы: отчеты о реализации проекта или программы, пресс-релизы и другие публикации, подготовленные командой проекта или программы. Если таких материалов нет, можно использовать интервью и фокус-группы с «социальными акторами». На основании собранных данных специалисты по оценке делают первые описания полученных результатов и того, как они связаны с работой проекта или программы.
Третий шаг — взаимодействие с «агентами изменений» для уточнения описаний результатов. На этом этапе специалисты по оценке должны активно взаимодействовать с командой исполнителей проекта или программы, чтобы уточнить и дополнить описания найденных результатов, а также сформулировать, почему они важны (значимы). На выходе должны получиться описания результатов, их значений и вклада в достижение результатов (см. пример в Таблице 1).
Четвертый шаг — независимое подтверждение результатов. На этом этапе специалистам по оценке нужно найти людей, которые хорошо знакомы с проектом или программой, но не являются частью команды исполнителей. Этим людям дают описания результатов и просят оценить, насколько они соответствуют реальности. Комментарии, полученные в процессе подтверждения, также используют для корректировки описаний результатов.
Пятый шаг — анализ и интерпретация полученных результатов. На этом этапе специалисты по оценке анализируют полученные описания результатов, выявляя закономерности в том, как работа проекта или программы влияла на достижение результатов, определяя барьеры на пути изменений или, наоборот, факторы, которые им способствуют.
Шестой шаг — содействие использованию результатов «сбора урожая». Результаты принято представлять в виде письменного отчета или презентации. В методических рекомендациях4 по проведению «сбора урожая» отмечается, что специалистам по оценке обычно сложно дать полезные рекомендации команде проекта, но они могут подсказать, какие аспекты проекта стоит обсудить, принимая решения о том, куда двигаться дальше.
4Wilson-Grau, R., Brit, H. (2013). Outcome Harvesting. Ford Foundation.
Адаптация формата «сбора урожая»
В оригинальной версии методика «сбора урожая» результатов — достаточно трудоемкий и долгий процесс. Поэтому появились адаптированные варианты, которые существенно сокращают трудозатраты. Например, немецкая некоммерческая организация Welthungerhilfe, чья деятельность направлена на помощь в преодолении голода в мире, для проекта в Малави разработала вариант «сбора урожая», который проводится в формате рабочей встречи с командой проекта5.
5Kaplan, T. Outcome Harvesting: A monitoring & evaluation method for Social Accountability and Advocacy. Retrieved from: https://www.civilsocietyacademy.org/post/outcome-harvesting-a-monitoring-evaluation-method-for-social-accountability-and-advocacy. (accessed 11.04.2023).
Встреча проводится в четыре этапа. На первом ведущий должен объяснить участникам, о каких результатах пойдет речь. Участникам напоминают, что у проектной команды чаще всего нет прямого контроля над созданием изменений, ради которых проект был начат, но они могут влиять на поведение других акторов, изменения в поведении которых и должны привести к нужным изменения в жизни людей и сообществ.
Участникам можно показать Теорию изменений проекта6, в которой выделены зоны контроля, влияния и интереса. Например, для рассматриваемого проекта в Малави в зоне контроля находятся лоббирование важности равного доступа к продовольствию среди государственных чиновников и политиков, а также работа с местными сообществами. Результаты лоббирования — изменения в поведении государственных чиновников и политиков в отношении равного доступа к продовольствию — будут уже в зоне влияния проекта. В этой же зоне будут изменения в поведении лидеров местных сообществ, если удастся привлечь их к лоббированию. Принятие и реализация политики равного доступа к продовольствию как результат действий чиновников и политиков будет уже результатом в зоне интереса проекта.
6Теория изменений — повествовательное описание, обычно сопровождаемое графиками и визуализацией, наиболее полного и последовательного перечня действий, необходимых для достижения конечного результата. Подробнее об этом инструменте можно прочитать здесь: Смекалин, И. (2022). Из точки А в точку Б проверенным маршрутом: теория изменений как инструмент планирования и оценки импакта. Позитивные изменения, 2(3), 46-55.
Следующий этап — фиксация изменений, произошедших в зоне влияния проекта. Ведущий задает участникам вопрос: «Какие изменения в поведении акторов, на которых влияет проект, произошли за анализируемый период времени?» Участникам дается время на обсуждение, в ходе которого они должны зафиксировать изменения на отдельных карточках в формате: «Кто, каким образом и когда изменил свое поведение». Заполненные карточки затем группируют либо по акторам, либо по типу изменений.
Третий шаг — создание подробных описаний результатов. На этом этапе для каждого результата описывают его значение для проекта и какой вклад проект внес в его достижения (см. пример в Таблице 1). Чтобы помочь участникам сделать описания вклада, ведущий предлагает им ориентироваться на такие вопросы, как: «Какие из действий в рамках проекта привели к данному результату? Почему вы думаете, что именно эти действия привели к этому результату? Какие внешние факторы повлияли на достижение данного результата?»
При подготовке описания значимости каждого из результатов ведущий спрашивает у участников, каким образом то или иное изменение в поведении акторов влияет на решение проблемы или достижение конечной цели проекта, достаточно ли этих изменений для полного решения проблемы, нужны ли какие-то дополнительные усилия со стороны проекта.
Четвертый (заключительный) шаг — это интерпретация собранной информации о результатах. На этом этапе участникам предлагают обсудить, что получилось хорошо, а что не очень, и какие следующие шаги можно и нужно предпринять.
Стоит отметить, что Welthungerhilfe использовала данный вариант «жатвы результатов» для мониторинга проекта в Малави: встречи для «сбора» и обсуждения результатов проводились регулярно в процессе реализации проекта. Но данный подход можно использовать и в рамках итоговой оценки.
Когда можно использовать «сбор урожая» результатов для мониторинга и оценки
Специалисты, применявшие метод «сбора урожая» результатов на практике, отмечают у него ряд важных достоинств. Во-первых, он позволяет сместить фокус внимания команды исполнителей проекта с реализуемых мероприятий на изменения, к которым они приводят. Кроме того, отсутствие привязки к заранее заданным ожидаемым результатам снимает напряжение: исполнители проекта не воспринимают «сбор урожая» как инструмент внешнего контроля. Этот метод также формирует у исполнителей проекта привычку к рефлексии и углубленному анализу изменений, происходящих под влиянием проекта, и помогает фиксировать широкий спектр происходящих изменений.
Благодаря открытому подходу к результатам этот метод мониторинга и оценки хорошо подходит для проектов, направленных на создание комплексных системных изменений, когда конечные цели проекта находятся далеко вне зоны контроля исполнителей, а сами изменения часто происходят нелинейным образом. «Сбор урожая» позволяет таким проектам «снимать» и анализировать широкий спектр происходящих изменений и затем корректировать свою работу.
При этом, на мой взгляд, метод «сбора урожая» результатов применим и для проектов, которые напрямую работают с какими-то группами благополучателей. Если проект дает людям новые знания или навыки, то в большинстве случаев это делается для того, чтобы они что-то стали делать по-другому. Но, по моему опыту, исполнителям проекта часто сложно сформулировать, как это «по-другому» должно выглядеть на практике. Определить это помогает «сбор урожая» результатов, в ходе которого участников проекта спрашивают, что вы стали делать иначе после участия в проекте, и как это связано с тем, что с вами происходило в проекте. И затем вместе с исполнителями можно анализировать, в чем значимость выявленных изменений в поведении с точки зрения достижения конечных целей проекта.
Наталья Кошелева
Консультант по мониторингу и оценке программ и проектов социальной направленности
DOI 10.55140/2782-5817-2023-3-2-48-53
Harvesting Done Right
The Use of Outcome Harvesting Method in Project Evaluation
In our journal’s first issue of 2022, we talked about Outcome Mapping — the method that involves building behavioral change maps1. It is based on the idea that projects and programs result in observable changes in the behavior of the people and organizations targeted by these projects and programs. The Outcome Harvesting methodology discussed in this paper takes an open approach to the outcomes: while traditional evaluation focuses primarily on the intended outcomes (changes) that were foreseen in the development phase of the project or program being evaluated, Outcome Harvesting seeks to identify all the changes that the project or program being evaluated has led to. What steps should be taken on the way to “harvesting” the outcomes and what should be considered?
1Kosheleva, N. (2022). Outcome Mapping — “Building Behavioral Change Maps.” Positive Changes Journal, 2(1), pp. 16-20.
Outcome Harvesting is basically about collecting (“harvesting”) the outcomes. Traditional project evaluation primarily focuses on whether the expected (planned) outcomes have been achieved, sometimes to the detriment of collecting data on the unintentional outcomes. With the “harvesting” method, one tries to collect all the outcomes, before getting to interpreting their significance in the context of the program or project being evaluated. The methodology was proposed by evaluator Ricardo Wilson-Grau2. He came up with the idea in 2002, a year after the first Outcome Mapping handbook was published.
2 Like many evaluators, Ricardo Wilson-Grau had a rather winding career path. He started as a factory worker and traveling salesman in the United States, then as an interviewer and social worker in Colombia, before rising to executive positions at international non-profit organizations, first in Latin America and then in Europe. In the early 2000s, he switched to conducting external evaluations as an independent consultant. Under his leadership, the Outcome Harvesting methodology was applied to several hundred evaluations. He died in 2018.
The original version of the “harvesting” process has six steps, and the adapted version has four. Below we will look at both options
Six steps to harvesting project outcomes
The first step is the design of the “outcome harvesting” process. At this stage, the client agrees with the evaluators on who and how will use the information about the outcomes of the project or program being evaluated, and together they also determine the “harvesting” focus: that is, what kind of changes to look for first.
In this methodology, the people and organizations whose actions are intended to bring about change are called “change agents,” and the people and organizations whose behavior these “agents” try to influence are called “social actors.” Outcome harvesting is usually focused on those changes in the social actors’ behavior that are aimed at achieving the ultimate goal of the project being evaluated. For example, for a project in Malawi, Africa, aimed at strengthening local governance in rural settlements to ensure equal access to food, the “outcome harvesting” process focused on changes that contributed to the realization of the right of equal access to food in Malawi3.
3Kaplan, T. Outcome Harvesting: A monitoring & evaluation method for Social Accountability and Advocacy. Retrieved from: https://www.civilsocietyacademy.org/post/outcome-harvesting-a-monitoring-evaluation-method-for-social-accountability-and-advocacy. (accessed 11.04.2023).
The next step is to collect data and prepare descriptions of the findings. At this stage, specialists participating in the “harvesting” process study available materials: project or program implementation reports, press releases, and other publications prepared by the project or program team. If these materials are not available, interviews and focus groups with social actors can be used. From the data collected, evaluators make initial descriptions of the outcomes and their relationship to the project or program activities.
The third step is to interact with change agents to refine descriptions of the outcomes. At this stage, evaluators should actively engage with the project or program team to refine and complete the descriptions of the findings and articulate why they are important (significant). This step should result in descriptions of the outcomes, their values and their contribution to the project goals (see Table 1 for example).
The fourth step is independent validation of the outcomes. At this stage, evaluators need to find people who are familiar with the project or program, but who are not part of the implementation team. These people are given descriptions of the outcomes and asked to evaluate how they correspond to the reality. Comments from the validation process are also used to adjust descriptions of the outcomes.
The fifth step is to analyze and interpret the results. At this stage, evaluators analyze the descriptions of the outcomes, identify patterns in how the project or program’s work has influenced the outcomes, identify barriers preventing or, on the contrary, facilitating changes.
The sixth step is to promote the use of the findings of the “harvesting” process. The findings are usually presented in a written report or a presentation. The guidelines4 on “outcome harvesting” note that evaluators usually find it difficult to make useful recommendations to the project team, but they can suggest what aspects of the project are worth discussing when deciding where to move forward.
4Wilson-Grau, R., Brit, H. (2013). Outcome Harvesting. Ford Foundation.
Adapting the “outcome harvesting” format
The original methodology of “outcome harvesting” is a rather labor-intensive and time-consuming process. That is why it adapted versions have appeared that significantly reduce labor costs. For example, Welthungerhilfe, a German non-profit that works to end hunger in the world, has developed an alternative “outcome harvesting” process for the Malawi project, which takes the format of a working meeting with the project team5.
5Kaplan, T. Outcome Harvesting: A monitoring & evaluation method for Social Accountability and Advocacy. Retrieved from: https://www.civilsocietyacademy.org/post/outcome-harvesting-a-monitoring-evaluation-method-for-social-accountability-and-advocacy. (accessed 11.04.2023).
The meeting is held in four stages. In the first stage, the facilitator explains to the participants what outcomes the meeting will be about. The participants are reminded that the project team often has no direct control over the creation of the change for which the project was initiated, but they can influence the behavior of other actors whose behavior changes should lead to the necessary changes in the lives of people and communities.
Participants can be shown the project’s Theory of Change6, highlighting the areas of control,influence and interest. In the Malawi project, for example, the focus of the control is on lobbying the importance of equal access to food among the government officials and policy makers, along with working with local communities. The outcomes of lobbying activities, i.e. changes in the behavior of government officials and policy makers regarding equal access to food — will be part of the project’s area of influence. Changes in the behavior of community leaders, if we can get them involved in lobbying, will be part of the same area. The adoption and implementation of a policy of equal access to food as a result of the actions of officials and policy makers will be an outcome within the project’s area of interest.
6A Theory of Change is a narrative description, usually accompanied by charts and visualizations, of the most complete and consistent list of actions necessary to achieve the end result. You can read more about this tool here: Smekalin, I. (2022). From A to B by a Proven Route: Theory of Change as a Tool for Impact Planning and Evaluation. Positive Changes Journal, 2(3), pp. 46-55.
The next step is to record the changes that have occurred in the project’s area of influence. The facilitator asks the participants a question: “What changes in the behavior of the actors affected by the project have occurred over the time period analyzed?” The participants are given time to discuss and write down the changes on separate cards in the following format: “Whose behavior changed, how, and when.” Completed cards are then grouped either by actor or by type of change.
The third step is to create a detailed descriptions of the outcomes. This step describes each outcome, its importance to the project and the contribution made by the project to its achievement (see the example in Table 1). To help participants describe contribution, the facilitator suggests that they focus on the following questions: “Which of the project activities led to this outcome? Why do you think it was these activities that led to this outcome? What external factors influenced the achievement of this outcome?”
When describing the significance of each outcome, the facilitator asks participants how a particular change in the actors’ behavior affected the solution of a problem or the progress towards the ultimate goal of the project, whether these changes are sufficient to fully solve the problem, and whether any additional effort on the part of the project is needed.
The fourth (final) step is the interpretation of the collected information about the outcomes. At this stage, participants are invited to discuss what worked well and what didn’t, and what the next steps could and should be.
It is worth noting that Welthungerhilfe used this version of “outcome harvesting” to monitor the project in Malawi: meetings to “harvest” and discuss results were held regularly throughout the project. But this approach can also be used as part of the final assessment.
When “outcome harvesting” can be used for monitoring and evaluation
Specialists who have used the “outcome harvesting” method in practice note it has a number of key advantages. First, it allows shifting the project team’s focus from the activities being implemented to the changes they lead to. In addition, not being tied in to predetermined expected results relieves tension, as the implementing parties do not perceive “outcome harvesting” as an external control instrument. This method also helps project implementers get accustomed to reflection and in-depth analysis of the changes that occur under the influence of the project, and helps capture the wide range of changes that occur.
Due to the open approach to results, this method of monitoring and evaluation is well-suited for projects aimed at inducing complex systemic changes, when the final goals of the project are far beyond the control of the implementing parties, and the change itself often occur in a non-linear fashion. “Outcome harvesting” allows such projects to record and analyze a wide range of changes taking place and adjust their work accordingly.
At the same time, in my opinion, the “outcome harvesting” method is also applicable to projects that work directly with certain groups of beneficiaries. If a project gives people new knowledge or skills, most of the time it is done with the aim of getting them to do something differently. However, in my experience, project implementing parties often find it hard to articulate what this “different” should look like in practice. This is where “outcome harvesting” comes to rescue, in which project participants are asked what they started doing differently as a result of participating in the project and how it relates to what happened to them within the project. Together with the project implementing parties, we can analyze the significance of behavioral changes identified in terms of achieving the ultimate goals of the project.
Natalia Kosheleva
Consultant on monitoring and evaluation of social programs and projects
DOI 10.55140/2782-5817-2023-3-2-48-53
Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl