사람은 의외로 멋지다

[관련 글]
1. What works in Development? thinking big and thinking small
2. 말라리아 모기장을 보급하는 방법; 효과와 효율, 그리고 사람
3. 효과. 효율 그리고 스캐일 업; development lab과 개발 NGO

국제개발학 연구, 그 가운데서도 프로그램 효과성 평가와 관련해서 새롭게 생겨난 용어 가운데 하나가 'Development Lab' 이다. 미국 MIT의 Poverty Action Lab이나, Yale에서 시작된 Innovations for Poverty Action 등이 대표적인데, 'Lab'이란 용어가 말해주듯이 엄격한 프로그램 평가를 통해서 어떤 프로그램이 효과적인지, 무엇이 개발을 위해 도움이 되는지를 엄밀하게 가려내서, 이들 프로그램을 널리 확장하고 정책화하는 데 목표를 둔다.

이들 Lab이 주목받는 이유 가운데 하나는, 프로그램 평가에 있어 무작위 대조 연구 (Randomized Controlled Trials, RTCs)란 방법론을 쓰기 때문이다. 이제까지의 개발 프로젝트 평가는 프로그램 이전과 이후의 상황을 비교하는 데에 한정되어 왔는데, 이에 비해 무작위 대조 연구는 신약 실험처럼 대조군을 두고 실험군과 그 결과를 비교한다. 실험군과 대조군을 동일한 환경적 조건에서 무작위로 나누기 때문에 선택 편견 (Selection bias)을 제어할 수 있어 (대조군과 비교하여) 프로그램으로 인해 실험군에 생긴 변화를 프로그램의 효과로 확정할 수 있고, 그 결과를 (특정 지역을 떠나) 보다 보편적으로 적용할 수 있게 된다.

이런 연구평가를 하면 이제까지의 개발 프로젝트 평가가 대답하지 못한 질문들 - 이를 테면, 아이들의 학교 출석율을 높이는 데 학교 급식, 등록금 보조, 구충제 제공, 교복 무료 제공 가운데 어떤 것이 가장 효과적인지, 말라리아 모기장 보급율을 높이는데 무상배포와 판매 가운데 어떤 것이 더 효과적인지, 판매를 한다면 어느 정도의 가격이 적절한지 등 -에 답할 수 있게 되는데, 이는 현장에서부터 엄격한 상호 비교를 통해 효과성을 검증함으로써 프로그램을 점진적으로 개선해나가는 접근법이라는 점에서, 위로부터의 대규모 원조의 효과성을 비판해온 윌리엄 이스터리 등의 학자들과 개발 기관들로부터 지지를 받는다.

이와 같은 엄격한 프로그램 평가가 기존의 개발 NGO의 프로그램 평가에 함의하는 바는 무엇일까. 네덜란드에 기반을 둔 엔지오 International Cihild Support (ICS)의 경험이 많은 것을 말해준다. ICS는 1995년부터 2005년까지 Innovations for Poverty Action (IPA)의 아프리카 지역 현지 파트너 NGO였다.

두 기관은 ICS가 진행해온 학교 급식, 구충제 보급 등의 프로그램을 IPA의 연구자들이 무작위 대조 연구를 통해 평가함으로써 프로그램의 투명성을 높이는 한편 효율성 및 효과성을 개선하는 윈-윈 효과를 거둘 수 있다는 데 동의했고, 프로그램 평가에 따르는 비용을 IPA가 펀딩함으로써 무작위 대조평가에 따르는 막대한 인건비 등의 문제를 해결하고 파트너십을 채결했다. 그 결과 지난 10년 간 이들 두 기관은 주목할 만한 연구를 지속적으로 발표했는데, 특히, 2007년 케냐에서 3만 명의 초등학생들을 대상으로 실시한 구충제 프로그램 등이 큰 관심을 받았다. 이들은 구충제 보급은 1인당 US 0.50$의 비용으로 학교 결석율을 25% 이상 낮추거나 출석율을 7% 이상 높이는 효과를 낳으며, 이는 무료 급식, 무료 교복 등과 비교해서도 비용대비 효과가 높은 사업임을 보여줬다.
 
하지만 2005년, 두 기관은 이른바 '결별'을 선언한다. 이는 무작위대조 평가가 확대되면서 개발 NGO로써의 ICS 자체의 정체성에 대한 고민이 깊어졌기 때문이다. ICS는 무작위대조 평가로 인해 '프로그램'과 '평가' 사이의 경계가 흐려지는 점을 우려했다. 무작위대조 연구가 인기를 끌면서 ICS 자체의 프로그램 펀딩 금액보다 IPA 연구를 위한 펀딩의 규모가 커졌고, 프로그램의 기획과 실행이 개발 NGO로써의 ICS의 활동보다 IPA의 연구 관심사에 집중됐다. 2004년 케냐 사무소의 경우, 80명의 직원 가운데 70 명이 IPA의 연구와 관련한 평가 사업에 관여하는 정도였다. 

인력의 편중 외에도, 프로그램의 기획과 실행이 무작위 대조 연구의 엄격한 '평가' 방법론에 묶이게 되면서 사업 중에 생기는 지역 주민들의 요구에 유연하게 대응하지 못하는 문제가 생겼다. 무작위 대조 평가를 위해서는 최소 2-3년 동안 처음의 실험 설계대로 프로그램이 진행되어야 하기 때문에, 프로그램이 지역의 변화하는 수요를 제대로 반영하지 못하는 경우들이 생겨났다. 사업과 평가는 분리되어 진행되어야 하는데, 오히려 평가 방법이 사업 내용을 규정하거나 사업 자체보다 평가가 더 우선시되는 상황이 생긴 것이다.

무엇보다 근본적인 고민은 무작위 대조 평가가 ICS 사업의 주요 가치 가운데 하나인 '주민 참여'의 실현을 저해한다는 것이었다. NGO의 지역 사업은 시작부터 끝까지 주민 참여를 핵심으로 하는데, 무작위 대조 평가를 위해서는 연구자들이 사업 설계시에 정한 프로그램 디자인, 실행, 평가 지표들을 끝까지 가지고 가야함으로 주민들의 의사를 반영하거나 주민들에게 주도권을 넘겨줄 여지가 좁았다. 무작위 대조 평가에서도 주민참여가 주요 항목으로 들어가긴 했지만, 이는 '주민참여가 프로그램의 효율성을 높인다'는 가설을 검증하기 위해서였다. 반면 ICS는 주민참여를 효율성의 문제가 아닌 NGO의 핵심 가치로 여겼다.

ICS는 이 질문을 보다 개발 NGO의 역할이라는 보다 보편적은 주제 아래에 두고, '결과와 과정' 이라는 프레임 안에서 검토했다. 무작위 대조 평가는 '무엇이 효과적인 프로그램인지'에 대한 정보, 즉 '결과'를 얻기 위한 것인데 반해, 지역개발 NGO로서 ICS는 지역 주민의 참여, 프로그램을 통한 학습이라는 '과정' 을 우선적으로 추구했다. 학습을 위해서는 시행착오를 거치며 특정 지역에서 가장 적합한 답을 찾아가는 것이 중요한데, 무작위 대조 평가에서는 이런 유연성을 담보하기 어려웠다. 여기에 더해 프로그램 평가를 위해 사업 지역 안에서 일부 주민들의 '대조군'으로 설정하는 데 윤리적 문제가 중요했다.

이런 고민 끝에 ICS와 IPA는 각각의 길을 가기에 이른다. ICS는 지역개발 NGO로서 주민참여을 핵심으로 하는 정체성을 더욱 강화하는 한편 프로그램 평가에 있어서도 주민참여를 핵심으로 하는 평가툴을 개발하는 데로 나아간다. 반면 IPA는 아프리카 지역에서만 200여 명 이상의 연구 인력을 고용하는 등 무작위 대조 평가 분야에서 선두적인 Development Lab으로 성장한다. 처음에 기대했던 '윈-윈'은 이루지 못했지만, 오히려 분리를 통해 각자의 분야에서 '윈'하는 성과를 낳은 것이다.

ICS와 IPA의 경험이 시사하는 바는 무엇일까. 개발 프로그램의 효율성과 효과성을 높이는 것은 중요하다. 그러나 그에 앞서 효율성과 효과성은 '가치' 지향의 문제라는 점을 먼저 생각할 필요가 있다. "Be effective, become efficient and then expand"가 순서다.  효과적이라는 것은 목적에 부합한다는 것 (doing the right things), 효율적이라는 것은 그것을 자원의 낭비 없이 할 수 있다는 것 (doing things right), 그리고 나면 스캐일업이 가능하다.

그런데 지역을 기반으로 하는 개발 NGO가 효과성에 대한 고민을 건너뛰고 효율성의 논리에 압도되면, 무엇이 본래의 목적인지 혹은 지향인지를 혼동하게 되는 상황을 낳는다. 개발 NGO의 역할 가운데 정부를 보완한 교육, 보건, 위생 등의 기초 서비스를 보급이 큰 비중을 차지하는 것이 사실이지만, 최고의 비용효과성으로 기초 서비스 보급를 하는 것만이 그 역할은 아니다.

ICS의 경험은 중소규모 NGO의 프로그램 평가에 대해 많은 것을 시사한다. 프로그램의 엄밀한 평가하고 최근에 주목받은 무작위 대조 연구의 성과도 분명하다. 하지만 중소규모 NGO가 그 스스로 development lab이 되어야 할 필요는 없다. 그보다는 본래의 지향을 분명히 하고, 그게 적합한 평가방법론을 찾으려는 노력이 필요하다.

* 이 글에 소개된 ICS 사례에 대해서는 'A can of worms? Implications of rigorous impact evaluations for development agencies", 3IE ( International Initiative for Impact Evaluation) Working Paper 11 를 참조.