В проектах проблема часто возникает не из-за нехватки данных. Наоборот: таблиц, регистрационных листов и отчетов может быть много — но они не отвечают на главный вопрос руководителя: что происходит с проектом и что нужно изменить?
Этот парадокс особенно отчетливо проявился в ходе внутренней оценки системы мониторинга и оценки регионального проекта в Армении, Кыргызстане, Таджикистане и Узбекистане. Мы анализировали первичные источники, базы данных, расчет индикаторов и обратную связь бенефициаров. Всего в опросе приняли участие 200 человек.
Из оценки мы вынесли три наблюдения, которые применимы значительно шире одного проекта.
1. Больше данных ≠ больше доказательств
Одна из самых устойчивых проблем во всех странах — отсутствие сквозной связи между первичным источником, базой данных и итоговым индикатором.
Где-то данные хранились в нескольких таблицах, где-то использовались разные шаблоны, а иногда итоговые показатели рассчитывались уже из ежемесячных отчетов вместо первичных данных. В Кыргызстане, например, при значительном объеме проектной деятельности система оставалась фрагментированной, а часть показателей невозможно было однозначно связать с регистрационными листами и другими источниками.
Парадокс в том, что организация при этом может собирать очень много информации.
Но если невозможно пройти обратный путь от цифры в логфрейме до конкретной записи, анкеты или документа, количество данных практически не увеличивает надежность результата.
Поэтому при проектировании системы МиО полезно задавать простой вопрос:
можем ли мы восстановить происхождение любой ключевой цифры в отчете?
Если нет, проблема обычно решается не еще одной формой сбора данных. Нужна архитектура: единые определения, минимальный набор обязательных полей, понятная структура хранения и заранее установленная логика «источник → база → расчет → индикатор».
Иными словами, зрелость системы данных определяется не количеством Excel-файлов, а воспроизводимостью результата.
2. Довольный клиент — еще не доказательство решенной проблемы
Другой интересный разрыв обнаружился в оценке консультационных услуг.
Удовлетворенность ими была высокой во всех четырех странах: доля оценок 4–5 составляла 75,6–81,2%. Однако когда мы задали другой вопрос — помогла ли консультация полностью или частично решить проблему — разброс оказался значительно шире: от 63,4% до 87,8%.
На первый взгляд показатели похожи. Методологически они измеряют разные вещи.
Удовлетворенность говорит о качестве опыта: насколько понятно объяснили, внимательно выслушали, удобно ли было получить услугу.
Решение проблемы говорит уже о результате.
Человек вполне может высоко оценить консультанта и при этом остаться с нерешенным кейсом — особенно если результат зависит от законодательства, государственных органов, работодателя или других внешних факторов.
Для сервисных, социальных и консультационных проектов это принципиальное различие.
Если измерять только удовлетворенность, организация получает ответ на вопрос «хорошо ли мы оказали услугу?», но рискует принять его за ответ на другой вопрос — «что изменилось благодаря нашей работе?»
Поэтому даже простая система оценки становится значительно информативнее, если разделить как минимум три уровня:
качество взаимодействия → результат услуги → дальнейшее изменение для получателя.
Это позволяет увидеть ситуацию, которую средний балл удовлетворенности легко скрывает: сервис хороший, а outcome требует доработки.
3. Самые дорогие данные — те, которые собирают только ради отчета
Третий вывод касается уже не качества данных, а их использования.
Во всех четырех странах данные МиО преимущественно использовались для отчетности. Анализ трендов, типов запросов, сезонности и профилей бенефициаров практически не применялся для текущего управления проектом.
Именно здесь возникает один из самых распространенных парадоксов мониторинга.
Организация уже заплатила за сбор данных — временем сотрудников, работой консультантов, заполнением форм, ведением баз. Но управленческую ценность из этих данных извлекают только в конце отчетного периода.
В результате перед сдачей отчета приходится снова тратить ресурсы: искать документы, сверять таблицы, объяснять расхождения и восстанавливать логику показателей.
Фактически за одни и те же данные организация платит дважды. При этом та же база могла бы в течение года отвечать на гораздо более полезные вопросы: какие запросы бенефициаров растут; где услуга чаще не приводит к результату; какие каналы приводят разные группы; в каком регионе падает качество; какие мероприятия дают больше практического применения.
Тогда МиО превращается из функции доказательства прошлой деятельности в систему раннего обнаружения проблем. И это, пожалуй, главный сдвиг.
Мониторинг становится ценным не тогда, когда он способен объяснить прошлый год, а тогда, когда помогает изменить следующий месяц.
Хорошая система МиО не обязательно сложная. Иногда достаточно нескольких надежных индикаторов, понятной цепочки происхождения данных и регулярного управленческого вопроса: «Что эти данные говорят нам такого, из-за чего мы должны действовать иначе?»
Если ответа нет, возможно, проблема не в аналитике. Возможно, организация собирает данные, которые ей самой пока не нужны.
