«Дайте мне инструмент, и я переверну землю»: Возможности диджитализации методов оценки социального воздействия
Оценка результатов своей деятельности сегодня «не роскошь, а средство передвижения». Без постоянного мониторинга, отслеживания индикаторов выполнения задач, соотношения вложенных усилий и полученного результата, влияния полученного результата на целевую аудиторию проекта и рефлексии невозможно добиваться успеха, получать финансирование и расширять пул клиентов/благополучателей в любой области. Особенно важна оценка в социальной сфере, ведь в ней учет результатов деятельности отражает реальные изменения в жизни людей и целых сообществ.
При всей важности оценки воздействия социальных проектов прогресс в ее теории и практике неочевиден. Количество социальных проектов, в которых оценка была бы встроена в проектное полотно, можно пересчитать по пальцам. Не хватает удобных метрик для различных типов проектов и областей деятельности, нет систематизированного описания практик и подходов, которые учитывали бы современные тренды и технологии. И если крупные фонды и некоммерческие организации время от времени заказывают дорогую «диковину» — внешнюю оценку с привлечением специально обученного консультанта по оценке социальных проектов и программ, то небольшие организации могут только отчитываться в грантовых проектах количеством проведенных мероприятий и оказанных услуг. На остальное у них не хватает ни времени, ни знаний, ни ресурсов.
Одним из возможных решений в такой ситуации может стать использование понятных, простых, а главное, доступных инструментов оценки социальных проектов независимо от их масштаба, особенностей и сферы деятельности. Прежде всего речь идет об интерактивных IT-решениях, доступ к которым может быть осуществлен из любой точки мира.
В этом направлении уже реализовано несколько важных инициатив, и кажется, что с каждым годом их будет становиться все больше. Рассмотрим некоторые из тех, что были созданы за последний год.
Уникальный оценочный профиль (УОП) — бесплатный онлайн-инструмент для различных задач и этапов проведения оценки социально-экономического воздействия проектов НКО, запущенный фондом GLADWAY в партнерстве с Институтом социально-экономического проектирования НИУ «Высшая школа экономики». Доступен только на русском языке. Он представляет собой методику самостоятельной оценки характеристик проекта в формате опросника. По результатам опроса генерируется индивидуальный профиль, на основании которого создается уникальный для данной организации алгоритм последующей деятельности по оценке проекта. В зависимости от индивидуальных и специфических характеристик проекта в его модель оценки будут включены те элементы и процедуры, которые в наибольшей степени способствуют повышению эффективности данного проекта. Другими словами, УОП — это уникальная карта задач и направлений проведения мониторинга и оценки для конкретного проекта. Она включает в себя так называемые факторы гигиены (необходимый в каждом проекте минимум действий) и факторы, специфичные для оцениваемого проекта с учетом особенностей его целевой аудитории, наличия запроса данных от третьей стороны (например, организации, выделившей грант), необходимости оценки экономической эффективности и т.п. Профиль включает оценку проекта по 13 критериям, среди которых — возможность контроля результатов на уровне долгосрочного воздействия (outcomes), наличие ограничений в предоставлении обратной связи целевой аудиторией, необходимость оценки экономических показателей проекта, наличие системы мониторинга проекта и другие. В разработке УОП рекомендовано участие не менее трех представителей организации: руководителя проекта, члена проектной команды, работающей с благополучателями, и специалиста, отвечающего за внешние коммуникации. Оптимальным является также включение в команду разработки УОП руководителя организации. Чтобы получить интегральный УОП проекта, члены команды индивидуально заполняют опросники, а затем результаты сравниваются и выбирается оптимальный результат по каждому критерию, который, кстати, не всегда является результатом простого усреднения.
IT-сервис «Ядро» благотворительного фонда «Нужна помощь» — один из самых масштабных проектов в России. Доступен только на русском языке. Сервис имеет несколько функций. Во-первых, он позволяет пройти верификацию по критериям информационной открытости и репутации. Попадая в каталог проверенных фондов, сотрудники зарегистрированной организации получают возможность создать сбор на специальном сервисе «Пользуясь случаем» и подать заявку на поддержку своего проекта. Во-вторых, в рамках сервиса реализована функция конструктора годовых отчетов. В-третьих, сервис предлагает многофункциональную информационную панель управления с краткими основными данными обо всех существующих в проекте разделах. В ней также есть функция напоминаний, которая не даст забыть о важных дедлайнах. В-четвертых, сервис позволяет получить детальную статистику организации по пожертвованиям, донорам, источникам сборов.
Онлайн-сервис по оценке влияния некоммерческих организаций на достижение показателей оценки эффективности деятельности высших должностных лиц субъектов Российской Федерации и деятельности органов исполнительной власти субъектов Российской Федерации — сервис, который дает возможность говорить на языке государственных структур. Как убедить чиновников поддержать проект, выделить финансирование, оказать информационную поддержку? Как оценить, что данный проект поможет достичь поставленных целей в конкретном регионе? Какие показатели и индикаторы использовать? Какой методологией воспользоваться? Ответы на эти вопросы позволит дать онлайн-сервис по оценке влияния некоммерческих организаций на достижение показателей оценки эффективности деятельности высших должностных лиц (руководителей высших исполнительных органов государственной власти) субъектов Российской Федерации и деятельности органов исполнительной власти субъектов Российской Федерации. Доступен только на русском языке. Согласно указу президента Российской Федерации от 4 февраля 2021 года, таких показателей всего 20. Из них несколько могут быть достигнуты благодаря активной работе именно некоммерческих организаций и, соответственно, благодаря поддержке НКО региональными администрациями, органами местного самоуправления, региональным бизнесом. Сервис носит в первую очередь информационный характер: он позволяет узнать о наличии оценки, перечне показателей, их компонентов и методик расчета, а также помогает легко и быстро сформировать список пунктов влияния каждой НКО на оценку деятельности губернаторов и выстроить коммуникацию на понятном для НКО и администрации языке.
Проект KPI Lens — международный сервис. Доступен только на английском языке. Он позволяет организациям вносить и анализировать данные для подготовки мониторинга и оценки своих проектов в режиме онлайн-дашбордов. В рамках функции сбора данных с помощью KPI Lens можно как вносить существующие данные, так и проводить опросы с помощью встроенных инструментов. Полученные данные автоматически передаются в онлайновое рабочее рабочее пространство, где ими можно управлять и анализировать их в реальном времени, без необходимости переключения между несколькими программными инструментами. В KPI Lens можно отслеживать влияние проектов, используя теорию изменений или логическую модель. Сервис позволяет добавить свои индикаторы, непосредственные результаты (outputs), долгосрочные результаты (outcomes), предоставляет несколько платформ мониторинга, таблицу трекера индикаторов, функцию сравнения целевых значений с фактическими. Сервис также предоставляет возможности для подготовки отчетов, включая разные форматы визуализации данных. Доступ к возможностям сервиса осуществляется по подписке, которая в зависимости от функционала стоит от 0 (бесплатная версия обладает достаточно широким функционалом) до 399 долларов (максимальные возможности сервиса) в месяц.
Калькулятор экономического вклада волонтеров — еще один сервис, разработанный фондом GLADWAY в партнерстве с Институтом социально-экономического проектирования НИУ ВШЭ. Доступен только на русском языке. В калькуляторе используется расчет по замещающим затратам (replacement cost) стоимости трудозатрат волонтера для организации. Для расчета используются данные API сервиса HeadHunter.ru (ведущего русскоязычного портала по поиску работы) — среднее значение заработной платы в указанном регионе для указанного типа специалистов по 100 вакансиям отрасли, размещенным в текущем месяце. Для расчетов необходимо заполнить поля «Специализация», «Регион», «Название позиции»; выбрать отрасль, точнее всего соответствующую компетенциям привлекаемого в проект волонтера (список отраслей предоставлен API портала HeadHunter). После нажатия на кнопку «Рассчитать» на экране появится цифра, соответствующая заработной плате позиции в регионе. Расчет экспортируется в pdf-файл, который можно использовать для подтверждения рассчитываемых размеров собственного вклада организации при подаче заявки на получение финансирования проекта, а также проведения экономической оценки эффективности волонтерского вклада в социальных проектах.
Подбор целей устойчивого развития (ЦУР) — еще один инструмент, запущенный фондом GLADWAY в партнерстве с Институтом социально-экономического проектирования НИУ «Высшая школа экономики». Он направлен на решение важной задачи перевода результатов проекта на язык, понятный как представителям разных секторов, так и представителям разных стран, — язык целей устойчивого развития (ЦУР). C одной стороны, эти цели общеизвестны и понятны, так что перевести результаты проекта на их язык вроде бы не составляет большого труда. С другой стороны, список ЦУР на сегодняшний день включает 17 целей, а каждая цель включает в среднем по 7–10 задач, так что перевод направлений и результатов деятельности на язык этих задач превращается в достаточно трудоемкий процесс. С целью его упрощения был создан онлайн-сервис, позволяющий наглядно соотнести свою деятельность с ЦУР. Доступен только на русском языке. Результат использования сервиса — 1–2 листа в формате pdf с картинками-иконками и описаниями целей и задач организации на языке ЦУР. Такая наглядная презентация целей и задач делает процесс переговоров о сотрудничестве в социальной сфере более открытым и понятным, бизнес-партнеры легко считывают представленную информацию, практически сразу понимая, где именно намечаются пересечения в деятельности и как социальный проект может вписаться в существующие политики, процедуры и стратегию конкретной организации.
Это только некоторые из тех диджитал-инструментов, что были созданы за последний год. В целом тренд на упрощение задач, связанных с оценкой социальных проектов и программ с помощью открытых и доступных онлайн-инструментов, можно наблюдать несколько последних лет. Например, только для разработки теории изменений проекта существует порядка десяти различных программных решений, среди которых — TOCO, Dylomo, Theory Maker, Changeroo и другие.
Большинство инструментов доступно на английском языке, что облегчает их использование глобальной аудиторией пользователей, но в то же время эти инструменты требуют локализации (по крайней мере, на уровне языка) для более доступного и удобного использования на территории отдельных стран.
Кроме того, важны систематизация и понимание возможностей, ограничений и условий использования каждого из инструментов, чтобы не создавалось ощущение избыточности и хаоса и чтобы выбор инструмента, соответствующего поставленной задаче, был максимально простым. А потому логично, что разработка диджитал-инструментов оценки должна быть следствием тех затруднений, с которыми сталкивается практическая деятельность, требующая оценки воздействия социальных проектов. Проще говоря, методология и технология удобных онлайн-сервисов должна отвечать реальным запросам практики.
Лия Сидлина, ведущий эксперт Центра инновационных экосистем в социальной сфере Института социально-экономического проектирования НИУ ВШЭ, консультант в области ESG
Наталья Гладких, кандидат психологических наук, ведущий эксперт Центра технологических инноваций Института социально-экономического проектирования НИУ ВШЭ
Give me a tool and i shall move the world: Digitalization options for social impact assessment methods
Performance measurement is now a necessity rather than a luxury. Without constant monitoring, tracking task completion indicators, assessing the effort input versus the achieved result, evaluating the impact of such results on a project’s target audience, and self-reflection there will be no success, funding or attracting new clients and/or beneficiaries in any sphere. Thorough assessment is especially important in social sphere, because in this case performance measurement reflects real changes in the lives of people and entire communities.
Despite all the importance of assessing the impact of social projects, there is no visible progress in the related theory and practice. The number of social projects where performance measurement is an integral part of the design process is very scarce. There is a lack of convenient metrics for various project types and spheres of activity, no systematic description of practices and approaches that would take into account state-of-the-art trends and technologies. While large foundations and non-profitable organizations do sometimes find resources for expensive procedures such as external evaluation by a qualified consultant in the sphere of assessment of social projects and programs, smaller entities can only report about the number of events held and services rendered as part of their grant-based projects. They do not have the time, the knowledge, and the resources for anything beyond that.
One possible solution to this challenge may be the use of simple, clear, and above all accessible tools for assessing social projects regardless of their scale, special features, and areas of concern. This mainly refers to interactive IT solutions that can be accessed from anywhere around the globe.
A number of important initiatives have already been implemented in this area, and it seems that the number will increase each year. Let’s take a closer look at some of the initiatives created over the past year.
The unique evaluative profile (UEP) is a free online tool for various tasks and stages of assessment of socio-economic impact of non-profitable projects launched by the GLADWAY foundation in partnership with the Institute of Social and Economic Design at the Higher School of Economics. It is a methodology for self-assessment of project characteristics in the format of a questionnaire. After answering the questions, the program generates an individual profile which is then used to create a unique algorithm for further evaluation of projects for this specific organization. Depending on the individual and specific characteristics of the project, the evaluation model will include the elements and procedures that are most helpful in improving the efficiency of the project. In other words, the UEP is a unique map of the tasks and directions for monitoring and evaluation for a particular project. It includes the so-called “hygiene factors” — the minimum required activities for each project, and factors specific to the project under evaluation, taking into account the specifics of its target audience, the requests for data from a “third party” (for example, an organization that acts as a grantmaker), the need to assess economic efficiency, etc. The profile includes an assessment of the project according to 13 criteria, including the ability to control results at longterm impact level (outcomes), the limitations in providing feedback to the target audience, the need to assess the economic performance of the project, the availability of a project monitoring system, and others. At least three people from each organization should participate in the development of the UEP: a project manager, a member of the project team working with beneficiaries, and a specialist responsible for external communications. It may also be helpful to include the head of the organization in the team tasked with the development of the UEP. An integral UEP of a project is obtained when team members individually fill out questionnaires, and then the results are compared, thus choosing the optimal result for each criterion. Which, by the way, is not always the result of simple averaging.
Yadro (“Core”) it service by the Nuzhna pomosh (“Need help”) charitable fund is one of the largest projects in Russia. It is available only in Russian. The service has several functions. First, it serves as a verification procedure in terms of informational transparency and reputation. Once registered, an organization becomes part of a catalogue of reputable foundations and can launch fundraising using a special service, and apply for support for its project. Second, the service offers an in-build annual report constructor. Third, the service has a multi-functional information management panel where one can find essential information about the project’s segments in brief form. It also enables setting notifications that will remind you of important deadlines. Fourth, the service provides access to detailed statistical data across the organization regarding donations, donors, and funding sources.
An online service for evaluating the impact of non-profit organizations in the achievement of indicators used in the performance assessment of top officials of the territorial entities of the Russian Federation and the work of executive bodies of the territorial entities of the Russian Federation is a service that allows you to speak the language of government institutions. How to convince officials to support the project, allocate funding, provide information support? How to assess that a certain project will help achieve the goals in a particular region? What metrics and indicators to use? What methodology to apply? Answers to these questions can be provided by an online service for evaluating the impact of non-profit organizations on the achievement of indicators for evaluating the effectiveness of top officials (heads of the crucial governing institutions) of the territorial entities of the Russian Federation and the work of executive bodies of the territorial entities of the Russian Federation. Available only in Russian. According to the Decree of the President of the Russian Federation dated February 4, 2021, there are only 20 such indicators. Several of them can be fulfilled through active efforts of non-profit organizations and, accordingly, through the support of NGOs by regional administrations, local governments, and regional businesses. The service is primarily informational in nature — it provides information about the availability of assessment criteria, a list of indicators, their components and calculation methods, and also helps to easily and quickly compile a list of points of influence that each NGO has on assessing the performance of governors and establish communication in a language understandable to NGOs and the administration.
The KPI Lens is an international service. It only has an English version. It allows organizations to enter and analyze data to prepare monitoring and evaluation of their projects in online dashboards mode. The KPI Lens data collection functionality allows you to enter the on-hand data or conduct surveys using built-in tools. The resulting data are automatically transferred to an online workspace where it can be managed and analyzed in real time without the need to switch between multiple software tools. In KPI Lens, you can track the impact of projects using the Theory of Change or a logical model. The service allows you to add your own indicators, immediate results (outputs), long-term results (outcomes), and provides several monitoring platforms, an indicator tracker table, an option of comparing targeted values with actual ones. The service also enables preparing reports that may include various data visualization formats. The service operates on a subscription basis, the monthly fee depends on functionality and ranges from $0 (free version with a decent range of features) to $399 (full access).
The volunteer economic contribution calculator is another service developed by the GLADWAY Foundation in partnership with the Institute of Social and Economic Design at the Higher School of Economics. Available only in Russian. The Calculator uses a replacement cost calculation to identify the value of volunteer labor for an organization. The calculation uses data from an API service developed by Headhunter.ru, the leading Russian-language job search portal, including the average salary in the specified region for the specified type of specialist across 100 vacancies posted in a sector during the current month. To perform the calculations, it is necessary to fill in the fields “Specialization”, “Location”, “Position title”; choose the industry that best fits the competencies of a volunteer involved in the project (the list of industries is provided by Headhunter’s API). After you click the “Calculate” button, you get a figure that shows the average salary for a certain position in a specific region. The result is then exported to a PDF file, which can be used to assess the estimated organization’s contribution when applying for project funding, as well as to conduct an economic assessment of the effectiveness of volunteer contributions to a social project.
Selection of sustainable development goals (SDGS) is another tool launched by the GLADWAY Foundation in partnership with the Institute of Social and Economic Design at the Higher School of Economics. It is aimed at tackling the important task of translating project outcomes into a language understandable to both representatives of different sectors and representatives of different countries — the language of the Sustainable Development Goals (SDGs). On the one hand, these goals are well-known and understandable, so translating the results of the project into this language seems a relatively simple task. On the other hand, the SDG list currently contains 17 goals, and each goal includes 7–10 tasks on average, and translating the areas and results of activities into SDG language can turn into a rather laborious process. In order to simplify it, an online service was created that allows you to visually correlate your activities with the SDGs. The service is available only in Russian. The end product is 1–2 sheets in PDF format with icons and descriptions of the goals and objectives of the organization in the SDG language. This visual presentation of goals and objectives makes the process of negotiations regarding cooperation in the social sphere more open and comprehensible, business partners can easily scan the provided information and almost instantly identify the areas of common interest and how a social project can fit into existing policies, procedures and an organization’s strategy.
These examples of digital tools cover only a few instruments created over the past year. The wider trend towards simplifying the tasks associated with the evaluation of social projects and programs using open and accessible online tools has been in place for several years. For example, there are about a dozen different software solutions that focus specifically on the Theory of Change including TOCO, Dylomo, Theory Maker, Changeroo and others.
Most of the tools are available in English, making them more user-friendly for the global audiences. At the same time, these tools require localization (at least at the linguistic level) in order to become more accessible and convenient for use in different countries.
In addition, it is important to systematize and understand the capacities, limitations and conditions for using each of the tools in order to eliminate the redundancy and chaos and in order to simplify the choice of the best tool for any specific task. Therefore, it is logical that the development of digital assessment tools should build upon the challenges faced during practical activities that require assessing the impact of social projects. In other words, the methodology and technology of convenient online services should correspond to the real needs of practitioners.
Lia Sidlina, leading Expert, Centre for Innovative Social Ecosystems, Institute of Social and Economic Design at the Higher School of Economics, ESG consultant
Natalia Gladkikh, PhD in Psychology, Leading Expert, Centre for Technological Innovations, Institute of Social and Economic Design at the Higher School of Economics
DOI 10.55140/2782-5817-2022-2-1-10-15
Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl