'

Введение

Понравилась презентация – покажи это...





Слайд 0

Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 1 Введение


Слайд 1

Программа семинара Введение Стратегии и планы оценки влияния Обзор «оценки в реальном мире» Финансовые и временные ограничения Ограниченность данных Анализ реальных ситуаций Факторы, влияющие на валидность Групповое упражнение Способы улучшения дизайна оценок Вопросы и обсуждение


Слайд 2

Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 2 Стратегия и дизайн оценки влияния


Слайд 3

4 Содержание сессии Атрибуция и сопоставление фактов Стратегии оценки Базовые варианты дизайна оценки


Слайд 4

5 1. Атрибуция и противоречащие факты Как мы сможем узнать, что наблюдаемые нами изменения на уровне участников проекта или сообществ доход, здоровье, установки, посещение школы и т.д. связаны с выполнением проекта кредит, водоснабжение, транспортные ваучеры, постройка школы и т.д. либо с посторонними факторами? изменения в экономике, демографии, другие программы развития


Слайд 5

6 Сопоставление фактов Каково было бы состояние населения проекта в период оценки, если бы проект не был реализован?


Слайд 6

7 Где взять факты для сопоставления? После того, как семьи прожили в новом жилищном проекте 3 года, исследование показало увеличение среднего уровня дохода на домохозяйство на 50% Говорит ли это о том, что улучшение жилищных условий является эффективным способом увеличения дохода?


Слайд 7

Сравнение проекта с двумя другими группами 2000 2002 250 500 750 Д о х о д Проект. Увел. на 50% Группа 1? 50% increase Группа 2? No increase


Слайд 8

9 Стратегия = способ выявления фактов для сопоставления 2. Стратегии оценки


Слайд 9

10 5 основных стратегий оценки Рандомизированный дизайн I. Настоящий экспериментальный дизайн. II. Рандомизированный полевой дизайн. Квази-экспериментальный дизайн (КЭД) III. Сильный КЭД IV. Более слабый КЭД Неэкспериментальный дизайн V. Логически слабое сопоставление


Слайд 10

11 Почему важен выбор стратегии оценки?


Слайд 11

12 Почему важен выбор стратегии оценки? Риск продолжения программ, которые не имеют реального влияния Риск прекращения программ, которые имеют реальное влияние Правильный анализ того, как программы приводят к эффектам очень важен для улучшение дизайна, эффективности и экономичности Обеспечение правильных рекомендаций относительно тиражирования опыта программы


Слайд 12

I. Настоящий экспериментальный дизайн [редко используется на практике] Проектная группа и контрольная группа сформированы на основе случайной выборки Выгода [влияние] = P2 – P1 C2 – C1 Условия для обеих групп остаются неизменными в процессе воздействия


Слайд 13

II. Типичный слабее рандомизированный дизайн оценки, чаще применяемый на практике Условия для обеих групп не контролируются в ходе проекта Проектная группа и контрольная группа сформированы на основе случайной выборки Выгода [влияние] = P2 – P1 C2 – C1


Слайд 14

15 Пример: рандомизированный полевой дизайн Оценка новой техники преподавания (использование плакатов и фломастеров) 178 школ в Кении перечислены в алфавитном порядке вместе с альтернативными школами и контрольными группами Обе группы тестируются на предмет развития образовательных навыков в начале и в конце года Только проектная группа получает плакаты и фломастеры Рандомизированный дизайн позволяет выяснить, что между двумя группами нет различий с точки зрения образовательных результатов Источник: Glewwe et al 2004


Слайд 15

16 Источник информации по рандомизированному дизайну www.povertyactionlab.org


Слайд 16

Контрольная группа и группа для сравнения Контрольная группа = рандомизированное включение субъектов в проектную группу и группу, не подвергающуюся воздействию Группа для сравнения = специальная процедура формирования выборки для проекта и группы, не подвергающейся воздействию


Слайд 17

18 Дизайн оценки в реальном мире (RWE) [См. раздаточный материал 2-2 и RWE, Глава 10] 7 базовых вариантов дизайна RWE: 2 методологически сильных 3 менее сильных, но вполне удовлетворительных 2 методологически слабых, но очень широко используемых!


Слайд 18

Исходное состояние Оценка в конце проекта Участники проекта Группа для сравнения Отсроченная оценка Введение в дизайн оценки


Слайд 19

Два наиболее сильных враианта квази-экспериментального дизайна


Слайд 20

Вариант 1: Наиболее методологически строгий квазиэкспериментальный дизайн [но самый дорогой] T1 T2 T3 T4 Проектная P1 P2n P3 P4 группа Неэквивал. C1 C2n C3 C4 контр.группа До проекта Реализация проекта Конец проекта Через некоторое время после окончания


Слайд 21

Вариант 2: Самый строгий квазиэкспериментальный дизайн общего назначения T1 T2 T3 Проектная P1 X P2 группа Неэквивалентная C1 C2 контрольная группа Пример: Оценка влияния низкозатратных жилищных программ в Сальвадоре Источник: RWE Box 10.6 p. 214 До проекта Реализация проекта Конец проекта


Слайд 22

Три более дешевых, но менее строгих варианта квазиэкспериментального дизайна


Слайд 23

Вариант 3: Усеченный пре-тест – пост-тест T1 T2 T3 Проектная P1n P2 группа Неэквивалентная C1n C2 Контрольная группа Пример: Оценка влияния вспомогательных транспортных веток в Эритрее (без контрольной группы) Источник: RWE Box 10.8 p. 216 Примечание: этот вариант дизайна может включать или не включать контрольную группу. Некоторые варианты также предполагают наблюдения в процессе реализации проекта. До проекта Реализация проекта Конец проекта


Слайд 24

Вариант 4: Без пре-тестовой группы для сравнения T1 T2 T3 Проектная P1 X P2 группа Неэквивалентная C1 контрольная группа Пример: Влияние переселения в Ирригационном проекте в Махараста, Индия Источник: RWE Box 10.10 p. 218 До проекта Реализация проекта Конец проекта


Слайд 25

Вариант 5: Отсутствие исходных данных T1 T2 T3 Проектная X P1 группа Неэквивалентная C1 Контрольная группа Пример: оценка влияния микрокредитов на женщин и семьи в Бангладеш Источник: RWE Box 10.12 p. 220 До проекта Реализация проекта Конец проекта


Слайд 26

Два слабых, но широко используемых неэкспериментальных варианта дизайна


Слайд 27

Вариант 6: Нет группы для сравнения T1 T2 T3 Проектная P1 X P2 группа Неэквивалентная контрольная группа Пример: Влияние Хао-Лаемского проекта создания гидроэлектростанции в Таиланде Источник: RWE Box 10.14 p. 222 До проекта Реализация проекта Конец проекта


Слайд 28

Вариант 7: Нет исходных данных или группы для сравнения T1 T2 T3 Проектная группа X P1 Group Неэквивалентная Контрольная группа Пример: оценка влияния на образование Социального Фонда Эритреи Источник: RWE Box 10.15 pp. 214-15 До проекта Реализация проекта Конец проекта


Слайд 29

Почему вариант 7 так широко используется. Каковы следствия для менеджеров и политиков


Слайд 30

31 4. Вариации базовых дизайнов оценки [см. раздат. м-лы 2-3] Включение, по крайней мере, одного наблюдения в ходе проекта Лонгитюдный анализ: несколько наблюдений в ходе реализации проекта Оценка устойчивости: использование наблюдения после того, как проект работает несколько лет


Слайд 31

32 Вариации базовых дизайнов … продолжение Процессный анализ: раскрывание «черного ящика» для того, чтобы наблюдать процесс реализации проекта Контекстный анализ: оценка влияния местных факторов на реализацию и результаты/влияние проекта


Слайд 32

33 Молниеносная «обратная связь» Возможно ли технически или политически для вас использование рандомизированного подхода к дизайну оценки Стали бы вы рекомендовать его использование? В каких случаях?


Слайд 33

Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 3 Обзор подхода «Оценка-в-реальном-мире»


Слайд 34

35 Обзор сессии Определение понятия «оценка-в-реальном-мире» (RWE) Сценарии RWE: две наиболее типичных ситуации, когда такая оценка используется Семь стадий RWE


Слайд 35

36 1. «Оценка-в-реальном-мире» [RWE] Интегрированный подход направленный на соблюдение приемлемых методологических стандартов при проведении оценок в условиях финансовых, временных, информационных и политических ограничений.


Слайд 36

37 2. Сценарии RWE [См. раздатки 3-1] Сценарий 1. Оценка проводится в начале проекта, но по финансовым, временным, техничеким или политическим соображениям: Сложно выделить необходимое время для консультаций и планирования Трудно собрать данные по группе для сравнения Клиент не разрешает собрать исходные данные об участниках проекта


Слайд 37

38 Сценарий 2: Оценка не проводилась вообще, хотя проект уже реализуется в течение некоторого времени : Не собраны исходные данные ни по группедля сравнения, ни – иногда - по проектной группе Вторичных данных вообще нет или их качество оставляет желать лучшего Отчет нужно сделать как можно быстрее Ограниченный бюджет Политические ограничения методологии оценки и давление, чтобы получить «позитивные» результаты


Слайд 38

39 Специалисты по оценке, обычно, сталкиваются с одним или несколькими ограничениями RWE [раздатка 3-1] Недостаточный бюджет Ограниченное время Большой объем работ и сжатые сроки Сжатые сроки у самих исполнителей проекта и др. заинтересованных сторон Очень плотный график Необходимость сократить время проведения полевых исследований Недостаток данных Отсутствие исходных данных Административные данные по проекту неполные и низкого качества Трудно найти данные по качественным результатам и индикаторам


Слайд 39

40 Политические и институциональные ограничения Давление со стороны финансирующих агентств, заемщиков и заинтересованных сторон, направленное на Исключительное использование определенных методов Задавние определенных вопросов Интервьюирование определенных групп Презентацию только позитивных результатов («не раскачивать лодку!») Много клиентов с разными интересами Недостаточная местная экспертиза в области оценки Отсутствие культуры оценки Заемщики не относятся к результатам оценки как своим


Слайд 40

41 Адекватный бюджет, но недостаточно данных Пост-тест, неэквивалентная контрольная группа, выборочные исследования с многовариантынм анализом Ограниченный бюджет, но полно времени Нет ресурсов, чтобы привлечь международную экспертизу или провести широкомасштабные выборочные исследования – но полно времени для того, чтобы нанять местных исследователей (внутри или вовне агентства-заемщика) для использования качественных методов и небольших лонгитюдных исследований Подход может видоизменяться в зависимости от существующих ограничений


Слайд 41

42 Адекватный бюджет, но ограниченное время Оценщик обязан уложиться в жесткие сроки, что ограничивает время в «поле» Политические ограничения Команда сталкивается с политическими или идеологическими ограничениями относительно примелемости тех или иных методов


Слайд 42

7 шагов «Оценки-в-реальном-мире» [раздатка 3-2] Шаг 2 Учет ограничений бюджета Шаг 3 Учет временных ограничений Шаг 4 Учет ограничений данных Шаг 7 Помощь клиентам в использовании оценки Шаг 1. Планирование и определение рамок оценки Шаг 5 Учет политических влияний Шаг 6 Усиление дизайна оценки и повышение валидности выводов


Слайд 43

44 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 4 Учет ограничений бюджета и времени


Слайд 44

45 План сессии A. Стратегии учета бюджетных ограничений Упрощение дизайна оценки Рационализация потребностей в информации Поиск надежных вторичных данных Пересмотр размера выборки Снижение стоимости сбора и анализа данных B. Дополнительные стратегии для учета временных ограничений


Слайд 45

A. Стратегии учета ограничений бюджета


Слайд 46

Step 2 Addressing Budget Constraints Шаг 1 Планирование и определение рамок оценки Шаг 2 Учет ограничений бюджета Шаг 3 Учет временных ограничений Шаг 4 Учет ограничений данных Шаг 2 Учет ограничений бюджета Упрощение дизайна оценки Рационализация потребностей в информации Поиск надежных вторичных данных Пересмотр размера выборки Снижение стоимости сбора и анализа данных Шаг 6 Оценка сильных и слабых сторон дизайна Step 7 Усиление дизайна оценки Шаг 5 Учет политических влияний


Слайд 47

48 Возможность 1: Упрощение дизайна оценки Многие стратегии снижения стоимости оценки предполагают исключение: Группы для сравнения исходных данных Группы для сравнения с проектной Пост-тестовой группы для сравнения Хотя эти действия сберегают деньги, они ослабляют дизайн оценки (основу для сопоставления фактов) и увеличивают риск снижения валидности.


Слайд 48

49 Смотрите: Раздатку 2-2, где приводится обзор 7 распространенных вариантов дизайна оценки


Слайд 49

Семь вариантов дизайна


Слайд 50

51 Экономия средств при исопльзовании различных моделей [в сравнении с вариантом 2]


Слайд 51

52 Если ресурсы доступны, то все варианты могут быть усилены за счет Определения модели (теории) программы Процессного и контекстуального анализа Усиление дизайна выборки Учет возможной предвзятости Использование смешанных методов и триангуляции Выделение времени денег на продолжение См. сессию 9


Слайд 52

53 Возможность 2: Рационализация потребности в информации Определить потребности клиента в информации. В каком минимальном количестве информации клиент нуждается? Что является для клиента главным? Проанализировать все инструменты сбора данных и исключить вопросы, не относящиеся к приоритетным потребностям клиента.


Слайд 53

54 Возможность 3: Найти надежные источники вторичной информации Исследования на этапе планирования, административные документы (мониторинг) Исследования, проведенные правительством, университетами, международными агентствами Официальная статистика Данные, имеющиеся в школах, клиниках, на рынках и в других сервисных агентств Отчеты в СМИ, в частности, в газетах


Слайд 54

55 Покрытия целевой группы Времени Адекватности собранных данных Надежности и полноты данных Потенциальных предубеждений См. сессию 5 Оценить адекватность и надежность источников с учетом:


Слайд 55

56 Проверить размер выборки с точки зрения получения статистически щначимых данных с учетом: Ожидаемого масштаба влияния Чем меньше масштаб влияния, тем больше выборка Требуемой мощности теста [вероятность определения влияния проекта, если он существует] Чем выше требуемая мощность, тем больше размер выборки Размер популяции Чем меньше популяция, тем меньше выборка Вариант 4: Уменьшение размера выборки


Слайд 56

57 Размер выборки … продолжение Необходимый уровень статистической точности Чем выше требования к точности, тем больше выборка Требуемый уровень дезагрегирования Каждое дополнительное сравнение (по регионам, типам проектов, полу главы семьи и т.д.) увеличивает требуемый размер выборки См. RWE Chapter 14 pp. 337-352


Слайд 57

58 Масштабы эффекта для большинства проектов развития невелики Причины бедности, слабой посещаемости в школах, недоедания лежат в разных сферах Следовательно, большая часть интервенций, пусть и хорошо спланированных, оказывают лишь незначительное влияние Таким образом, обычно, требуется большая выборка для определения эффекта (влияния)


Слайд 58

Требуемый размер выборки для разных масштабов влияния и мощности


Слайд 59

60 Способы уменьшения размера выборки [раздатка 4 - 1] Принять меньший уровень значимости (0.1 вместо 0.05) Принять меньший уровень мощности (0.8 вместо 0.9) Увеличить масштаб эффекта Улучшить качество выполнения проекта Сфокусироваться на группах, где масштаб влияния самый большой (например, только студентки, только самые образованные родители) Повысить эффективность выборки Стратифицированная выборка Повышение процента ответивших Уменьшить дезагрегирование


Слайд 60

61 Осторожно !!! Всегда хочется уменьшить размер выборки для экономии средств … Но, если ожидаемый масштаб влияния невелик, то есть вероятность получения ложных отрицательных данных … Выборка может оказаться слишком маленькой для определения небольшого, но реального эффекта


Слайд 61

62 Вариант 5: Уменьшение стомисоти сбора и анализа данных [Раздатка 4 -2] Использовать анкеты с самостоятельным заполнением Уменьшить размер и сложность инструментов Использовать наблюдение Учесть результаты фокус-групп и форумов в сообществах Провести интервью с ключевыми лицами Использовать методы оценки с участием Множественность методов и триангуляция


Слайд 62

B. Дополнительные стратегии для учета временных ограничений


Слайд 63

64 Step 2 Addressing Budget Constraints Шаг 1 Планирование и определение рамок оценки Шаг 2 Учет ограничений бюджета Шаг 3 Учет временных ограничений Шаг 4 Учет ограничений данных Шаг 6 Оценка сильных и слабых сторон дизайна Step 7 Усиление дизайна оценки Шаг 5 Учет политических влияний Шаг 3 Учет временных ограничений Такие же стратегии, как для бюджета + Снизить напряженность графика для иностранных консультантов Нанять больше консультантов/исследователей Включить индикаторы результатов в систему мониторинга проекта Современные технологии ввода и анализа данных


Слайд 64

65 1. Два вида временных ограничений Существуют два вида временных ограничений продолжительность оценки (период времени от начала до окончания оценки) трудоемкость (сколько недель требуется для того, чтобы собрать данные).


Слайд 65

66 2. Стратегии экономии времени [Раздатка 4-2] Большинство стратегий экономии средств приводят к экономии времени Упрощение дизайна Рационализация потребностей в информации Поиск надежных вторичных данных Пересмотр размера выборки Снижение стоимости сбора и анализа данных


Слайд 66

67 Дополнительные стратегии экономии времени [Раздатка 4-3] Уменьшить плотность графика работы зарубежных консультантов Провести подготовительные исследования Видеоконференции Нанять больше консультантов/исследователей Включить индикаторы результатов в систему мониторинга проекта Использовать современные технологии кодирования, ввода и анализа данных


Слайд 67

68 4. Использование смешанных методов для экономии времени Выявить людей, которые лучше других информированы по важным вопросам Использовать методы оценки с участием, в частности, включить лидеров сообществ: Фокус-группы Матрицы критериев Диаграммы Венна Описание истории и т.д.


Слайд 68

69 Структурированное наблюдение Существующая документация Попросить членов сообщества собрать информацию Использование фото и видео Триангуляция – несколько наблюдений за одним источником


Слайд 69

70 Значение триангуляции для повышения надежности Триангуляция методов Триангуляция данных, полученных с помощью нескольких количественных и качественных методов может иногда получить необходимые сведения на меньших выборках и сэкономить силы и время


Слайд 70

71 Другие формы триангуляции Источники данных Методы сбора данных Оценщики или люди, собирающие данные Повторяющиеся наблюдения через некоторое время Различные аналитические подходы Различные уровни наблюдения [индивид, семья, сообщество, группа и т.д.]


Слайд 71

72 Будьте осторожны, используя качественные методы для экономии времени, т.к. большинство методов не предназначены для ускоренного использования


Слайд 72

73 Можете ли вы привести примеры, когда качественные методы используются неправильно, когда это делается в целях экономии времени?


Слайд 73

Additional notes on the estimation of sample size [in English]


Слайд 74

75 The sample size needed to test for statistically significant results determined by: Expected effect size [size of impact] The smaller the effect size the larger the sample Required power of the test The higher the required power the larger the sample Population size The smaller the population the smaller the sample See RWE Chapter 14 pp. 337-352 Option 4: Reducing sample size


Слайд 75

76 Sample size … continued Required level of statistical precision Higher the required precision the larger the sample Required levels of disaggregation Each additional comparison (by region, type of project, sex of family head etc) further increases the required sample size.


Слайд 76

77 Definition of effect size The size of the change or effect that a program produces or is expected to produce The larger the difference between project and comparison group means (relative to the standard deviation) the larger the effect size Where possible use a standardized effect size: (X2-X1)/? so that effect size of different projects can be compared


Слайд 77

78 Definition of effect size The size of the change or effect that a program produces or is expected to produce The larger the difference between project and comparison group means (relative to the standard deviation) the larger the effect size Where possible use a standardized effect size: (X2-X1)/? so that effect size of different projects can be compared


Слайд 78

79 Estimating effect size Empirical Results of earlier projects The research literature Normative National norms Secondary school enrolment rates Policy goal (% of families below poverty line) Economic/financial Cost-effectiveness criteria Change required to achieved “reasonable” unit cost


Слайд 79

80 Most effect sizes for development projects are small The causes of poverty, low-school enrolment, malnutrition etc are multidimensional Consequently most interventions, however well designed, tend to only have a small to medium effect size (0.2 -0.3)


Слайд 80

81 Definition of power of the test The probability of detecting a statistically significant difference (between the project and comparison group) if a real difference does exist. The risk of missing the effect = false negative Increasing power raises the probability of detecting a real effect but also significantly increases sample size.


Слайд 81

82 Required sample size for different effect sizes (difference of means) and power


Слайд 82

83 Ways to reduce sample size [Handout 6-1] Accept lower significance level (0.1 instead of 0.05) Accept lower Power level (0.8 instead of 0.9) Increase effect size Improve quality of project implementation Focus on groups where effect size expected to be greatest (only girl students, better educated parents) Increase sampling efficiency Stratified sample design Reduce non-response rate Less disaggregation


Слайд 83

84 Beware!!! It is always tempting to reduce sample size to save money … But if the expected effect size is small there is a danger of a false negative … The sample is too small to detect a small but real effect


Слайд 84

Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 5 Учет ограничений данных


Слайд 85

86 План сессии Реконструкция исходных данных Специальные вопросы для групп сравнения


Слайд 86

87 Step 2 Addressing Budget Constraints Шаг 1 Планирование и определение рамок оценки Шаг 2 Учет ограничений бюджета Шаг 3 Учет временных ограничений Шаг 4 Учет ограничений данных Шаг 6 Оценка сильных и слабых сторон дизайна Шаг 7 Усиление дизайна оценки Шаг 5 Учет политических влияний Шаг 4 Учет ограничений данных Реконструкция исходных данных Особенности работы с группами сравнения. Сбор данных по особо сложным вопросам Сбор данных в труднодоступных группах


Слайд 87

Реконструкция исходных данных для проектных групп и групп сравнения [раздатка 5-1]


Слайд 88

89 Значение исходных данных Трудно оценить изменения, если не иметь данных об исходном состоянии Пост-тестовые сравнения не могут полностью принять во внимание: Предвзятость выбора: изначальные различия между участниками проекта и теми, кто в нем не участвовал Введение весовых коэффициентов пристрастий частично решает эту проблему Исторические факторы, которые влияют на результаты и которые предположительно были вызваны выполнением проекта


Слайд 89

90 Способы реконструкции исзодных условий Вторичные данные. Документация по проекту. Вспомнить Ключевые источники информации PRA и другие методы оценки с участием, в частности линии времени и критические события, которые помогают восстановить хронологию важных событий в сообществе


Слайд 90

91 1-A. Использование вторичных данных для реконструкции исходных условий Перепись Анкеты Административные данные по проекту Отчеты агентств Специальные исследования, проведенные НКО и донорами Университетские исследования СМИ (газеты, радио, TV)


Слайд 91

92 Документы о жизни сообщества Записи в офисах, центрах сообществ Постеры (плакаты) Сведения о рождаемости/смертности Завещания и документы, касающиеся собственности


Слайд 92

93 Оценка полезности потенциальных вторичных данных Дата Покрытие целевой группы Включенность необходимых индикаторов Полнота Точность Непредвзятость


Слайд 93

94 1-B. Использование проектной документации Виды данных Исследования выполнимости/исследования на стадии планирования Формы заявок и регистрации Отчеты руководству Данные в управленческих информационных системах Отчеты о совещаниях Протоколы совещаний в агентствах и сообществах Отчеты о выполнении Стоимость строительства


Слайд 94

95 Оценка надежности проектной документации Кто собирал данные и с какой целью? Их собирали для фиксирования хода поректа или для оказания влияния на лиц, принимающих решения? Данные мониторинга относятся только к деятельности по проекту или они также охватывают результаты? Данные были собраны исключительно для внутреннего использования? Для использования ограниченной группой? Для открытого доступа?


Слайд 95

96 Насколько данные точные и полные? Есть ли очевидные «провалы»? Они возникли преднамеренно или вследствие плохой организации ведения документации. Каковы потенциальные предубеждения с точки зрения индикаторов измерения влияния проекта?


Слайд 96

97 Работа с клиентом над повышением полезности данных для оценки Сбор дополнительной информации о заявителях или участниках Убедиться, что идентификационные данные включены и точны. Убедиться, что данные организованы так, как это нужно для оценки (по сообществам, видам услуг, семьям, а не по индивидам, уровню дохода и пр.)


Слайд 97

98 1-C. Использование воспоминаний для восстановления исходных данных Посещаемость школ и время/стоимость проезда Болезни/использование медицинских учреждений Доходы и расходы Знания и навыки сообществ/индивидов Социальная сплоченность/конфликтность Использование воды, качество, стоимость Периоды стресса Формы путешествий


Слайд 98

99 Области, в которых исследования, в основном, строятся на валидности воспоминаний Анкетирование по поводу доходов/расходов Демографические данные и репродуктивное поведение


Слайд 99

100 Ограничения воспоминаний Обычно ненадежны для получения точных количественных данных Полезны для описания основных событий или воздействий новых услуг, когда до этого ничего подобного не было Предвзятость при формировании выборки Целенаправленное или непреднамеренное искажение Мало эмпирических исследований (кроме связанных с расходами) для того, чтобы уточнить сведения.


Слайд 100

101 Источники предвзятости в воспоминаниях Кто дает информацию Неучет небольших и рутинных расходов «Телескопический» эффект в отношении основных расходов. Искажения, связанные с нежеланием следовать приемлемому поведению Намеренные Романтизация прошлого Факторы, связанные с контекстом: Временные интервалы, использованные в вопросе Ожидания респондентов относительно того, что хочет интервьюер


Слайд 101

102 Повышение валидности воспоминаний Проверить, чтобы были проинтервьюированы все группы Провести небольшие исследования для сравнения воспоминаний с результатами анкетирования или другими данными Триангуляция Связать воспоминания с важными событиями Выборы Засухи/наводнения Строительство дорог, школ и т.д.


Слайд 102

103 Другие примеры, где воспоминания могут быть полезны? Есть ли у вас опыт, когда воспоминания вводят в заблуждение?


Слайд 103

104 1-D. Ключевые лица – источники информации Не только официальные лица и люди с высоким формальным статусом Ключевым может стать любой источник в зависимости от ситуации: Одинокие матери Рабочие фабрики Пользователи общественного транспорта Секс-работники Уличные дети


Слайд 104

105 Рекомендации по анализу ключевых источников Триангуляция существенно повышает валидность и понимание Включите людей с разным опытом и взглядами Поймите, как каждый из них вписывается в общую картину


Слайд 105

106 1-E. PRA и другие техники оценки с участием PRA позволяют собрать данные на уровне группы или сообщества, но не на индивидуальном Могут быьт направлены на поиск консенсуса или, наоборот, разногласий. Риск предвзятости: Будут участвовать только представители определенных секторов сообщества Некоторые люди могут доминировать в обсуждении


Слайд 106

107 Техники PRA, имеющие отношение ко времени и полезные при реконструкции прошлого График Анализ тенденций Исторический разрез Сезонная диаграмма Распорядок дня Генеалогия с участием Картирование мечты Критические (значимые) события


Слайд 107

Использование PRA методов для воспоминаний: сезонные календари


Слайд 108

109 1-F. Проблемы в реконструкции исходных данных Вариации в надежности воспоминаний Искажения памяти Вторичные данные непросто использовать Вторичные данные неполные или ненадежные Ключевые информаторы могут искажать прошлое


Слайд 109

110 2. Реконструкция групп сравнения Согласование суждений в сообществах. После представления услуг проекта благополучатели на более поздних фазах могут использоваться как контрольная группа и канал получения информации Внутренний контроль, когда различные субъекты получают разные сочетания услуг и уровни обслуживания


Слайд 110

111 Показатели склонности В «быстрых» исследованиях могут сравниваться характеристики проектной и контрольной групп с использованием: Наблюдения Ключевых информаторов Фокус групп Вторичных данных Аэрофотосъемки и данных геоинформационных систем


Слайд 111

112 Использование показателей склонности для усиления групп сравнения Логическая регрессия по отношению к проекту и группе сравнения для выявления детерминант участия в проекте Выбрать «ближайших соседей» (обычно, около 5) из группы сравнения, которые наиболее тесно взаимодействуют с участником Влияние проекта = итоговый показатель = разница между показателем участника и средним показателем ближайших соседей


Слайд 112

113 Проблемы в реконструкции контрольных групп Регионы реализации проекта часто выбираются целенаправленно и трудно сопоставимы Различия между проектной и контрольной группами – трудно оценить, с чем связаны – с проектом или с изначальными различиями Недостаток хороших данных для выбора контрольных групп Эконометрические методы не могут в полной мере учесть изначальные различия между группами (ненаблюдаемое)


Слайд 113

114 Handout 5-2 Case studies illustrating ways to address data constraints [some only in English] I. Reconstructing baseline data II. Using multivariate analysis to strengthen non-equivalent control group designs III. Using multiple secondary sources and multiple methods for triangulation and to strengthen comparison groups. IV. Methods for collecting sensitive information


Слайд 114

115 Ссылки Bamberger, Rugh and Mabry (2006). RealWorld Evaluation. Chapter 5 Kumar, S (2002). Methods for Community Participation. A complete guide for practitioners. Patton, M.Q. (2002). Qualitative research and evaluation methods. Chapters 6 and 7. Roche, C. 1999. Impact assessment for development agencies. Chapter 5.


Слайд 115

116 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 6 Случаи, иллюстрирующие способы учета ограничений бюджета, времени и данных


Слайд 116

117 План сессии Строительство вспомогательных дорог в Эритрее Снижение стоимости за счет упрощения дизайна и сокращения размера выборки Сельские дороги во Вьетнаме Использование показателей склонности для сближения характеристик проектной и контрольной групп Социальный фонд Никарагуа Использование вторичных данных для восстановления исходных данных Обеспечение сообщества водой в Индонезии Использование триангуляции для снижения затрат и повышения надежности


Слайд 117

1. Снижение стоимости за счет упрощения дизайна и сокращения размера выборки Оценка влияния вспомогательных дорог в Эритрее См. раздатку 6-1, Случай 1


Слайд 118

Использование варианта дизайна №3 [начало оценки в середине проекта] в оценке проекта по строительству вспомогательных дорог в Эритрее


Слайд 119

120 Методы снижения стоимости Использование дизайна 3 (без контрольной группы) Только 90 домохозяйств (выбраны в трех деревнях) проинтервьюированы вдоль каждой дороги Восстановление исходных показателей через воспоминания Ключевые информаторы Наблюдение трафика – пешеходного и других средств передвижения, открытие новых бизнесов, качество дорог и т.д. Вторичные источники


Слайд 120

121 Примерная экономия На 25-40% дешевле, чем более строгий дизайн [вариант 2]


Слайд 121

2. Использование показателей склонности для сближения характеристик проектной и контрольной групп Оценка влияния на бедность проекта по строительству сельских дорог во Вьетнаме См. раздатку 6-1 Случай 2


Слайд 122

123 Целью оценки было выяснить влияние проекта по строительству сельских дорог во Вьетнаме на бедность Административные данные, собранные проектом были использованы для выбора 100 коммун, где дороги были построены и 100 коммун, где дороги не были построены


Слайд 123


Слайд 124

125 Коэффициенты склонности были рассчитаны для сближения характеристик проектной и контрольной групп. Коэффициенты склонности устанавливают вероятность того, что коммуна будет выбрана для участия в проекте. Проектные коммуны были максимально похожи на контрольные коммуны. Средние значения переменных на выходе были подсчитаны для подобранных контрольных коммун. Разница между этими показателями и проектными показателями и была показателем влияния


Слайд 125

3. Использование вторичных данных для реконструкции начальных условий Оценка Фонда социальных инвестиций Никарагуа См. раздатку 6-1 Случай 6


Слайд 126

127 Цель оценки Определить, как повлияли школы, водоснабжение, туалеты, медпункты на благосостояние домохозяйств с низким уровнем доходов Оценить доступность услуг проекта для всех секторов целевой популяции


Слайд 127

128 Методология оценки Измерение жизненных стандартов, проведенное в 1998 году, было использовано для того, чтобы создать карту бедности для выбора целевых сообществ Эти данные были использованы в сочетании с административными данными по критериям отбора, чтобы сформировать показатели склонности, устанавливающие вероятность проживания в области, выбранной проектом


Слайд 128

Дизайн 5 (пост-тест анализ проектной и контрольной групп)


Слайд 129

130 Эти показатели были исопльзованы, чтобы сопоставить каждого учатсника проекта с пятью «ближайшими соседями» (группа сравнения с максимально близкими показателями склонности). Ближайшие соседи были использованы для реконструирования исходных условий, и влияние проекта определялось как разница между изменениями в показателях каждого участника и средним значением изменений для ближайших соседей.


Слайд 130

131 Воспоминания были также использованы для повышения надежности данных. Отдельный анализ был проведен по каждому компоненту проекта


Слайд 131

132 Уроки Множественные источники данных могут быть использованы для усиления статистического сравнения через установление показателей склонности Воспоминания могут быть использованы как проверка последовательности при восстановлении исходных условий Административные данные могут быть использованы для улучшения отбора контрольной группы Источник: Pradhan and Rawlings 2000


Слайд 132

4. Снижение стоимости сбора данных путем использования групповых интервью, ключевых информаторов и наблюдения Оценка эффективности и влияния систем водоснабжения, управляемых сообществами в Индонезии См. раздатку 6-1 Случай 7


Слайд 133

Применение дизайна 5 в сельском проекте по водоснабжению


Слайд 134

135 Методы снижения стоимости Использование дизайна 5 с пост-проектным сравнением деревень, где были созданы новые системы с теми деревнями, где такие системы были созданы другими донорами, но без участия сообществ Сбор данных через групповые консультации (еиница анализа – сообщество) Выборка из 60 с лишним деревень, достаточно большая, чтобы сделать статистические сравнения Реконструкция исходных данных через воспоминания, ключевых информаторов и вторичные данные


Слайд 135

136 Примерная экономия средств Стоимость оценки $ 150,000, из которых $ 45,000 – стоимость иностранных консультантов. Экономия составила, как минимум, 50% по сравнению с более строгим дизайном [вариант 2]


Слайд 136

137 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 7 Шаг 6: Усиление дизайна оценки и валидности выводов


Слайд 137

138 План сессии Что такое валидность и почему она важна? Общие правила оценки валидности Дополнительные угрозы валидности в количественных оценках Список факторов, которые угрожают валидности Стратегии учета этих угроз Дополнительные материалы нанаглийском языке


Слайд 138

139 Шаг 1 Планирование и определение рамок оценки Шаг 2 Учет ограничений бюджета Шаг 3 Учет временных ограничений Шаг 4 Учет ограничений данных Шаг 6 Оценка сильных и слабых сторон дизайна A. Выявление угроз валидности квазиэкспериментального дизайна B. Оценка адекватности качественных дизайнов C. Интегрированный список рекомендаций для смешанных методов D. Учет угроз валидности в количественных оценках E. Учет угроз валидности в количественных оценках F. Учет угроз валидности при использовании смешанных методов Шаг 6 Оценка сильных и слабых сторон дизайна Step 7 Усиление дизайна оценки Шаг 5 Учет политических влияний


Слайд 139

1. Что такое валидность и почему она важна?


Слайд 140

141 Определение валидности Степень, в которой результаты оценки и рекомендации поддерживаются: логикой проекта статистическими техничками, включая формирование выборки тем, проект и оценка были реализованы сходством между популяцией проекта и более широкой популяцией, на которую переносятся результаты оценки


Слайд 141

142 Почему валидность имеет значение? Оценка предоставляет информацию для будущих решений и действий. Если результаты невалидны, то: Программы, которые не работают, могут быть расширены Хорошие программы могут быть остановлены Приоритетные целевые группы могут не получить доступа услугам или выгоды


Слайд 142

143 Почему валидность имеет значение? … продолжение Валидность результатов большинства оценок не анализируется: в силу слабости дизайна многих оценок есть риск прийти к неправильным выводам которые приведут к неправильным или менее эффективным действиям и растранжириванию скудных ресурсов, вкладываемых в развитие


Слайд 143

144 2. Общие принципы оценки валидности дизайна оценки [см. раздатку 7-1] Возможность подтверждения Надежность Достоверность Возможность переноса Использование


Слайд 144

145 A. Возможность подтверждения Основаны ли выводы на доступной для их проверки информации и свободна ли оценка от предубеждений оценщика? Примеры: A-1: Неадекватное документирование методов и процедур A-2: Представлены ли данные для обоснования выводов и согласуются ли выводы с полученными данными? [Сравните аннотацию с содержанием отчета]


Слайд 145

146 B. Надежность Последователен ли порцесс исследования стабилен ли он с учетом включения разных исследователей и использования разным методов? Примеры: B-2: Данные собраны только от тех людей, которые посетили фокус-группы или встречи местного сообщества B-4: Проводились ли кодирование и проверки качества? Все ли в порядке?


Слайд 146

147 C. Достоверность Кажутся ли данные достоверными для участников оценки и читателей отчета? Удалось ли нарисовать аутентичную картину происходящего? Примеры: C-1: Достаточно ли информации для составления достоверного описания объектов и ситуаций, которые исследовались? C-3: Применялась ли систематическая триангуляция источников данных и методов исследований? Не противоречивы ли данные? Что происходило, когда возникали противоречия?


Слайд 147

148 D. Возможность переноса Соответствуют ли выводы другим контекстам и в какой мере они могут быть обобщены? Примеры: D-1: Достаточно ли подробно описаны характеристики выборки, чтобы можно было сравнить ее с другими? D-4: Представляет ли отчет достаточно деталей для того, чтобы читатель смог сделать вывод о возможности переноса?


Слайд 148

149 E. Использование Были ли результаты полезными для клиентов, исследователей и сообществ, которые исследовались? Примеры: E-1: Были ли результаты оценки физически и интеллектуально доступны потенциальным пользователям? E-3: Содержат ли результаты оценки рекомендации относительно будущих действий?


Слайд 149

150 3. Дополнительные угрозы валидности в количественных оценках [см. раздатку 7-2] Угрозы валидности статистических выводов: почему выводы о статистической взаимосвязи между двумя переменными (например, воздействием и результатами проекта) могут оказаться невалидными Угрозы внутренней валидности: почему заключения о том, что воздействие проекта вызвало наблюдаемы результаты, могут быть невалидными Угрозы валидности конструктов: почему выбранные индикаторы могут неадекватно описывать конструкты и причинно-следственные связи в модели проекта Угрозы внешней валидности: почему предположения о потенциальной возможности тиражирования проекта в других местах или с другими группами могут быть невалидными


Слайд 150

151 Валидность статистических выводов Статистический анализ может привести к неверным выводам относительно того, что интервенции привели или не привели к наблюдаемым результатам. Были использованы неправильные тесты или они неправильно применялись Проблемы с дизайном выборки Ошибки измерения


Слайд 151

152 Угрозы внутренней валидности Может быть сделано ошибочное заключение о связи между интервенцией и результатами проекта. Неясная временная последовательность, включающая события внутри проекта и результаты. Необходимость контролировать внешние факторы Эффекты времени Ненадежные измерения


Слайд 152

Пример угрозы внутренней валидности: предполагаемая каузальная модель Женщины вступают в деревенский банк, где они получают кредиты, приобретают новые навыки и уверенность в себе ЧТО… Увеличивает доход женщин Усиливает контроль женщин над ресурсами домохозяйства household resources


Слайд 153

Альтернативная каузальная модель Некоторые женщины ранее прошли ликбез, что привело к укреплению их уверенности в себе и приобретению новых навыков работы Женщины, прошедшие ликбез, с большей вероятностью вступят в деревенский банк. Их грамотность и уверенность в себе делает их более успешными предпринимателями Доход женщин и их контроль над ресурсами домохозяйства увеличиваются как результат ликбеза, повышения уверенности в себе и получения кредитов


Слайд 154

155 Угрозы валидности конструктов Индикаторы результатов, влияния и контекстуальные переменные могут неадекватно описывать и измерять конструкты (гипотезы, концепции), на которых построена теория программы Индикаторы могут неадекватно измерять ключевые концепции Теоретическая модель программы и взаимодействие между ее элементами может быть не вполне адекватно описано


Слайд 155

156 Угрозы внешней валидности Предположения о том, как результаты оценки могут быть использованы в других местах, могут быть ошибочными. Некоторые важные характеристики проекта могут быть не до конца поняты. Важные характеристики участников проекта могут быть не поняты. Сезонные и другие циклические эффекты могут быть пропущены.


Слайд 156

157 4. Worksheet for assessing and addressing threats to validity [in English] See Handout 7-3 Worksheet


Слайд 157

5. Учет общих угроз валидности во всех вариантах дизайна оценки


Слайд 158

159 A. Возможность подтверждения Пример: Угроза A-1: неадекватное документирование методов и процедур Возможные способы учета: Потребовать от исследователей ревизии их документации и более полного объяснения методологии или включения недостающего материала Использовать методы быстрого сбора данных (анкеты, кабинетное исследование, вторичные данные) для заполнения пробелов


Слайд 159

160 B. Надежность Пример: Угроза B-4: данные не были собраны ото всех необходимых респондентов, во всех нужных местах и в нудное время Возможные способы учета: Если исследование еще не было проведено, проверьте формирование выборки или используйте качественные методы для того, чтобы получить данные из нужных мест, от нужных респондентов и в нужное время Если сбор данных уже проведен, то рассмотрите возможность использования методов быстрого сбора данных – таких как фокус-группы, интервью с ключевыми информаторами, включенное наблюдение для заполнения пробелов в данных


Слайд 160

161 C. Достоверность Пример: Угроза C-2: оценка выглядит неправильно и не отражает местного контекста Возможные способы учета Если исследование еще не было проведено, проверьте формирование выборки или используйте качественные методы для того, чтобы получить данные из нужных мест, от нужных респондентов и в нужное время Если сбор данных уже проведен, то рассмотрите возможность использования методов быстрого сбора данных – таких как фокус-группы, интервью с ключевыми информаторами, включенное наблюдение для заполнения пробелов в данных


Слайд 161

162 D. Возможность переноса Пример: Угроза D-3: выборка не позволяет сделать обощение и перенести результаты на другие популяции Возможные способы учета: Организуйте встречи или консультации с ключевыми информаторами для того, чтобы проверить, к чему относятся проблемы: к недостатку информации, искажению фактов, интерпретации данных. Вернитесь в «поле» для того, чтобы заполнить пробелы или включите мнения кличевых информаторов, участников фокус-групп, включенных наблюдателей для того, чтобы обеспечить различные взгляды на ситуацию.


Слайд 162

163 E. Использование Пример: Угроза E-2: Результаты не содержат рекомендаций относительно будущих действий. Возможные способы учета: Если у исследователей есть нужная информация, попросите их сформулировать рекомендации в более явном виде Если у них нет информации, проведите брейнсторминг с представителями сообществ или агентств-исполнителей для разработки более конкретных рекомендаций по будущим действиям


Слайд 163

Молниеносная «обратная связь» Каковы самые серьезные угрозы валидности в той работе, которую вы выполняете? Как их можно учесть?


Слайд 164

6. Additional reference material on threats to validity for quantitative evaluation designs [in English]


Слайд 165

166 3. Additional threats to validity for Quasi-Experimental Designs [QED] [see Handout 7-2] Threats to statistical conclusion validity why inferences about statistical association between two variables (for example project intervention and outcome) may not be valid Threats to internal validity why assumptions that project interventions have caused observed outcomes may not be valid Threats to construct validity why selected indicators may not adequately describe the constructs and causal linkages in the evaluation model Threats to external validity why assumptions about the potential replicability of a project in other locations or with other groups may not be valid


Слайд 166

167 Statistical conclusion validity The statistical design and analysis may incorrectly assume that program interventions have, or have not, contributed to the observed outputs. The wrong tests are used or they are applied/interpreted incorrectly Problems with sample design Measurement errors


Слайд 167

168 Common RWE issues concerning statistical conclusion validity [F-1] Sample too small to identify statistical significance [F-4] Unreliability of measures weakens tests [F-6] Unreliability of treatment implementation. A common problem.


Слайд 168

169 Threats to internal validity It may be incorrectly assumed that there is a causal relationship between project interventions and observed outputs. Unclear temporal sequence between the project and the observed outcomes. Need to control for external factors Effects of time Unreliable measures


Слайд 169

170 Example of threat to internal validity: The assumed causal model Women join the village bank where they receive loans, learn skills and gain self-confidence WHICH ……… Increases women’s income Increases women’s control over household resources


Слайд 170

171 An alternative causal model Some women had previously taken literacy training which increased their self- confidence and work skills Women who had taken literacy training are more likely to join the village bank. Their literacy and self- confidence makes them more effective entrepreneurs Women’s income and control over household resources increased as a combined result of literacy, self- confidence and loans


Слайд 171

172 Common RWE issues concerning threats to internal validity [G-2] Selection: many participants are self-selected or selection is not random. [G-6] Attrition: Rates are often high and the causes are difficult to monitor [G-8] Instrumentation: program administrators frequently change eligibility criteria to improve efficiency or respond to stakeholder pressures.


Слайд 172

173 Threats to construct validity The indicators of outputs, impacts and contextual variables may not adequately describe and measure the constructs [hypotheses/concepts] on which the program theory is based. Indicators may not adequately measure key concepts The program theory model and the interactions between stages of the model may not be adequately specified.


Слайд 173

174 Common RWE issues concerning threats to construct validity [H-1] Inadequate explanation of constructs. Definitions often vague [well-being, empowerment, improved health]. [H-2] Construct confounding. Need to define more clearly program interventions and how they are administered. [H-3 Mono-method bias. A single indicator may be used to define and measure a complex construct such as poverty, well-being, domestic violence.


Слайд 174

175 Threats to external validity Assumptions about how the findings could be generalized to other contexts may not be valid. Some important characteristics of the project context may not be understood. Important characteristics of the project participants may not be understood. Seasonal and other cyclical effects may have been overlooked.


Слайд 175

176 Common RWE issues concerning threats to external validity [I-2] Interaction of causal relationship over treatment variations: the effects may not hold with different socio-economic, cultural or regional groups. [I-4] Interaction of impact with settings. Difficult to adequately define all dimensions of setting. [I-6] Political interference or indifference. This may artificially enhance or reduce impacts. [I-7] Seasonal variations. Critical for many development projects.


Слайд 176

7. Addressing threats to validity for Quantitative Evaluation Designs


Слайд 177

178 F. Statistical conclusion validity Example: Threat F-4 Unreliability of indicators Possible ways to address: Allocate sufficient time and resources to develop and test the data collection instruments. Incorporate multi-method data collection approaches so that at least two independent measures are used for all key variables. Triangulation should be used to check on the reliability of the information.


Слайд 178

179 G. Internal conclusion validity Example G-2: Selection biases Possible ways to address Compare participant characteristics with non-participants through constructing control group, or statistical control for participant characteristics. Use key informants and other sources to compare participant characteristics with those of people/families in similar areas. Direct observation in focus groups and other settings to assess the unique psychological characteristics of participants.


Слайд 179

180 H. Construct validity Example: Threat H-8: Reactivity to the experimental situation Possible ways to address: Exploratory studies before the survey instrument is developed Direct observation of how people respond to the project situation.


Слайд 180

181 I. External conclusion validity Example: Threats I-6 Political indifference or proactive interference Possible ways to address: Compare the attitudes of policymakers in different locations Interviews secondary sources key informants and assess how these differences appear to affect the project.


Слайд 181

Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 9 Способы усиления дизайна оценки


Слайд 182

183 План сессии Определение модели теории программы Включение процессуального и контекстуального анализа Проблемы выборки Использование смешанных методов и триангуляции Планирование времени и ресурсов для продолжения


Слайд 183

184 1. Определение модели теории программы [см. RWE Глава 9] Все программы основаны на совокупности предположений о том, как программа должна работать Иногда это ясно описано в проектной документации Иногда это скрыто и может быть выявлено оценщиком


Слайд 184

185 Дизайн [Формули- ровка и обо- снование] Входы Процесс выполнения [Действия] Непосред- ственные результаты Результаты проекта [заплани- рованные и непреднаме- ренные] Влияние [заплани- рованное и непреднаме- ренное] Устойчивость Экономический контекст поректа Политическое окружение и политический контекст Институциональный и операциональный контексты Социоэкономические и культурные характеристики популяций, на которые оказывается воздействие Простая модель теории (логики) программы Физическое окружение


Слайд 185

186 Модели теории программ … продолжение Определение и тестирование критических предположений является важнейшим элементом модели теории программы Пример «цепочки результатов» для тестирования критических предположений относительно позитивного и негативного влияния мкрокредитов на малые бизнесы, собственниками которых являются женщины


Слайд 186

187 У женщин ограниченные экономические возможности вследствие отсутствия доступа к кредитам и другим ресурсам, а также к социальному контролю Проект предлагает кредиты, техническую помощь и формирование групп Женщины создают бизнесы Женщины не создают бизнесы Используется как приданое Женщины расплачиваются с долгами Муж присваивает прибыль Получается прибыль Краткосрочное улучшение благосостояния домохозяйств Прибыль реинвестируется Бизнес продолжается Бизнес умирает Ограничения по времени Недостаток спроса Социальное давление Недостаток производительных сил Постоянное улучшение благосостояния домохозяйств Улучшение жилья Питание, здоровье, одежда Улучшение образования, особенно для девочек Экономические улучшения Теоретическая [цепочка результатов] модель для программы развития женского малого бизнеса Позитивные результаты Негативные результаты


Слайд 187

188 2. Включение процессного и контекстуального анализа Многие проекты хорошо спланированы, но не оказывают влияния из-за проблем с их выполнением. Это может Снизить эффективность Привести к тому, что одни группы выиграют больше других Повлиять на устойчивость и тиражируемость


Слайд 188

189 Процессный и контекстуальный анализ … продолжение Зачастую оценки не содержат информации о процессе выполнения программы Предполагается, что каждый получает один и тот же пакет услуг и одинакового качества Пример: Профилактика малярии включает таблетки (или противомоскитные сетки) и информационную сессию. Некоторые пациенты получают только таблетки (или сетки), так как медсестра занята, в то время как другие лишь участвуют в информационной сессии, когда заканчиваются таблетки и сетки. Как правило, не ведется записей о том, что получает каждый из пациентов


Слайд 189

190 Дизайн [Формули- ровка и обо- снование] Входы Процесс выполнения [Действия] Непосред- ственные результаты Результаты проекта [заплани- рованные и непреднаме- ренные] Влияние [заплани- рованное и непреднаме- ренное] Устойчивость Экономический контекст поректа Политическое окружение и политический контекст Институциональный и операциональный контексты Использование процессного анализа для усиления квази-экпериментального дизайна Физическое окружение Сбор данных Из административных записей, от ключевых информаторов, наблюдение (включенное и нет), фокус-группы. Социоэкономические и культурные характеристики популяций, на которые оказывается воздействие


Слайд 190

191 Ключевые вопросы для проведения порцессного анализа Мониторинг выполнения проекта Качество услуг Единообразие в оказании услуг Выполнение с участие или «сверху вниз» Факторы, влияющие на доступ различных групп к услугам и благам


Слайд 191

192 Пример процессного анализа [раздатка 6-1] Проект строительства сельских дорог во Вьетнаме использовал административные документы для мониторинга процесса выполнения проекта Эти документы также были использованы для того, чтобы помочь понять критерии, использованные для отбора коммун, в которых будут строиться дороги Источник: Case study 2.


Слайд 192

193 Методы процессного анализа Административные документы Управленческие информационные системы [MIS] Включенное наблюдение Невключенное наблюдение Ключевые информаторы Фокус группы


Слайд 193

194 Включение контекстного анализа Проекты, которые выполняются одинаково, могут иметь различную эффективность и разные результаты в зависимости от местных контекстуальных переменных: Экономического контекста Политического окружениея и политического контекста Административного и организационного контекста Экологического контекста Социокультурных характеристик местного населения


Слайд 194

195 Дизайн [Формули- ровка и обо- снование] Входы Процесс выполнения [Действия] Непосред- ственные результаты Результаты проекта [заплани- рованные и непреднаме- ренные] Влияние [заплани- рованное и непреднаме- ренное] Устойчивость Экономический контекст поректа Политическое окружение и политический контекст Институциональный и операциональный контексты Социоэкономические и культурные характеристики популяций, на которые оказывается воздействие Использование контекстного анализа для усиления квази-экспериментального дизайна Физическое окружение


Слайд 195

196 Методы контекстного анализа Вторичные данные Включение информации в социоэкономические анкеты Быстрые опросы Включенное наблюдение Фокус-группы Ключевые информаторы Техники PRA (быстрая оценка с участием)


Слайд 196

197 Анализ контекстуальных данных Качественный анализ Анализ отдельных случаев (Case studies) Включение фиктивных переменных в мультивариантный статистический анализ


Слайд 197

198 Дизайн [Формули- ровка и обо- снование] Входы Процесс выполнения [Действия] Непосред- ственные результаты Результаты проекта [заплани- рованные и непреднаме- ренные] Влияние [заплани- рованное и непреднаме- ренное] Устойчивость Экономический контекст поректа Политическое окружение и политический контекст Институциональный и операциональный контексты Социоэкономические и культурные характеристики популяций, на которые оказывается воздействие Простая модель теории (логики) программы Физическое окружение Участие в проекте = фиктивная переменная [D] в регрессионном уравнении Переменные x1, x2, xn в регрессионном уравнении Переменные c1, c2, cn в регрессионном уравнении “Черный ящик”


Слайд 198

199 Использование фиктивных переменных для анализа контекстных факторов Y1 = f(d1, c1, c2,..cn, x1, x2,.. xn, ) Где: Y1 = влияние проекта d1 = фиктивная переменная для проектной и контрольной групп [проект = 1; контр.группа = 0] c1, c2,..cn = фиктивные или интервальные переменные для контекстуальных факторов [напр., динамичная местная экономика=1, стагнирующая местная экономика=0] x1 x2,.. xn, = характеристики домохозяйств [размер, доход, уровень образования и т.д.]


Слайд 199

200 3. Проблемы выборки Предубжедения в формировании выборки (см. случаи 2 и 6 в раздатке 6-1] Определение размера выборки [см. Сессию 4 слайды 33-42]


Слайд 200

201 4. Использование смешанных методов и триангуляции для усиления дизайна оценки [См. RWE Глава 13] Сочетание количественных и качественных методов позволяет получить два или более значений ключевых переменных Оно также позволяет получить различные взгляды на интерпретацию данных Многуровневый анализ Индивид Домохозяйство Сообщество Организация


Слайд 201

202 Смешанные методы могут быть использованы в Исследованиях для планирования или изучения ситуации Дизайне оценки и формулировании гипотезы Сборе данных Анализе данных Интерпретации и презентации данных


Слайд 202

203 Использование триангуляции для повышения валидности и расширения интерпретации Независимые значения изменения переменных влияния, полученные из анкетирования, наблюдения, фокус-групп, вторичных источников и т.д. Значения подвергаются триангуляции Если они совпадают, то повышается уверенность в результатах Если они противоречивы, то требуется продолжение работы для выявления причин этого и корректировке значений


Слайд 203

204 Пример, где триангуляция показывает сходящиеся значения изменения дохода Анкетирование домохозяйств Наблюдение Ключевые информаторы Household income has increased Доход домохозяйств увеличился


Слайд 204

205 Пример, где триангуляция показывает расходящиеся значения изменения дохода Анкетирование домохозяйств Наблюдение Ключевые информаторы Доход домохозяйств увеличился Доход домохозяйств уменьшился


Слайд 205

206 Триангуляция намного более эффективна, когда бюджет и время позволяют провести дополнительную работу над противоречивыми данными


Слайд 206

207 Пример: проект водоснабжения в Индонезии Опрос показал, что во всех кроме одной деревнях водой занимались женщины Опрос не смог объяснить, почему в одном проекте женщины не были вовлечены в этот процесс. Это казалось ошибкой в отчете. Последующее качественное исследование обнаружило, что в этой деревне занимались молочным животноводством, а доить могли только женщины Поскольку молочное животноводство приносило больший доход, мужчины изъявили желание заниматься водой


Слайд 207

208 5. Планирование времени и ресурсов для продолжения работы Триангуляция зачастую выявляет на стадии анализа противоречия в данных Важно запланировать последующее исследование для того, чтобы разобраться в причинах противоречий, следовательно надо иметь в резерве время и деньги для последующего анализа или для повторной работе в «поле»


Слайд 208

209 Литература Bamberger, Rugh and Mabry. RealWorld Evaluation. 2006. Chapters 10 and 14. Creswell, J. et al. 2003. Independent Evaluation Group. 2006. Conducting quality impact evaluations with budget, time and data constraints. World Bank. Rossi, Lipsey and Freeman. 2004. Chapter 5


×

HTML:





Ссылка: