Dez motivos para não medir impacto – e o que fazer no lugar?

É comum ouvirmos que programas ou projetos sociais que fazem avaliação de impacto têm muito mais chances de obter financiamentos. Porém, no caso das organizações do terceiro setor, raramente, ou quase nunca, a avaliação de impacto é o método adequado. Avaliações de impacto exigem procedimentos estatísticos complexos (pesquisa experimental), nada amigável aos não-iniciados no método, além de serem dispendiosas e demoradas (podem levar anos!) para produzirem os seus achados. 

Daí a importância do artigo ´Ten reasons not to measure impact – and what to do instead`, dos professores Mary Kay Gugerty (University of Washington) e Dean Karlan (Northwestern University), publicado na
Stanford Social Innovation Review (2018). A seguir, apresento os principais pontos abordados no texto. 

Para os autores, o problema está em que o avanço do uso da tecnologia de informação acarretou custos decrescentes da coleta e análise dos dados e, com isto, houve um apelo cada vez maior por medições de impacto. Essa compulsão por demonstrar impacto acabou gerando desperdício de recursos, comprometimento dos esforços de monitoramento em favor das avaliações de impacto, e ainda contribuiu para o crescimento de métodos pobres e incorretos de demonstrar impacto. E o que é mais grave, avaliações de impacto malfeitas acabam por produzir resultados errados ou enganosos, induzindo a tomadas de decisão injustas acerca dos projetos. Com isso, bons projetos podem acabar sendo descontinuados, e maus projetos seguirem sendo financiados. 

Os dez motivos para não avaliar impacto 

Gugerty e Karlan enumeram as dez razões, ou situações de projetos, em que as avaliações de impacto não se justificam: 

1. Ferramenta inadequada: excelentes perguntas avaliativas, porém com abordagem errada. Perguntas relacionadas à focalização do projeto (público beneficiário adequado) ou à adequação dos serviços oferecidos não precisam ser respondidas com avaliação de impacto. São objeto de um bom monitoramento. 
2. O desenho do programa ainda não foi concluído. Antes de pensar em avaliar impacto, é preciso verificar se a “teoria da mudança” proposta é válida para um dado contexto social. Pois se as estratégias propostas não forem condizentes com a realidade do público-alvo, não faz sentido fazer avaliação de impacto. 
3. A implementação do programa ainda não foi completada. Suponha que a “teoria do programa” foi definida e os seus pressupostos testados, porém a implementação foi falha, e não se deu de acordo com o planejado. A avaliação de impacto só se justifica depois do monitoramento. Antes disso, representa má escolha e desperdício de recursos. 
4. Decidir avaliar durante a implantação do projeto. Muitas vezes a decisão de fazer avaliação de impacto só vem depois que o projeto já está sendo implementado. Aí já ficou tarde demais para construir aleatoriamente os grupos de controle e de tratamento: a comparabilidade entre os dois grupos torna-se questionável e os resultados da avaliação de impacto pouco convincentes. 
5. Os recursos são muito limitados. Quando os recursos são limitados, isso pode afetar a avaliação de impacto de duas maneiras. Primeiro, porque se a escala do projeto é muito pequena, não se justifica medir impacto (esse dinheiro poderia ser melhor aplicado para ajudar a mais pessoas).  E segundo, a avaliação de impacto tende a ser malfeita, com uma implementação pobre dos rigorosos protocolos de avaliação. A alternativa é não fazer avaliação de impacto; e buscar na literatura insights sobre a efetividade da estratégia adotada, e usar os próprios dados administrativos para responder às perguntas de impacto. 
6. Os efeitos indiretos são difíceis de serem identificados, porém críticos à teoria da mudança. Quando os efeitos indiretos não podem ser adequadamente estimados, e quando eles tendem a ser grandes, então a avaliação de impacto não representa uma boa opção avaliativa. Porque as conclusões da avaliação tenderão a ser incorretas e enviesadas, pois o verdadeiro impacto ficará mascarado por esses efeitos indiretos (não medidos), e daí os recursos para avaliação terão sido desperdiçados. 
7. A implementação do programa é muito caótica. Algumas situações não são passíveis de avaliação de impacto. É o caso dos projetos que convivem com situações de alívio de desastres, cuja implementação tem que ir mudando para se adaptar às circunstâncias em evolução. Daí torna-se complicado, dispendioso e até pouco ético manter grupos de experimento e de controle nesses ambientes conturbados, impedindo assistência a pessoas que tanto necessitam. A alternativa é acompanhar a implementação das atividades e coletar os dados de gestão que vão contribuir para fortalecer o programa. 
8. A implementação se dá em âmbito muito abrangente. Suponha as campanhas de advocacy que normalmente têm níveis elevados de focalização (países ou regiões inteiras), em que fica inviável ou até “ridículo” compor grupos de controle. Então são situações que também não são passíveis de avaliação de impacto. A alternativa é acompanhar a implementação e os dados de gestão, para verificar se as mudanças previstas estão ocorrendo. 
9. Quando já sabemos a resposta. Em alguns casos, a resposta sobre se o programa funciona já é conhecida, a partir de um outro estudo ou série de estudos. Mesmo assim, os doadores ou os conselheiros exigem que seja feita a avaliação de impacto para checar os seus investimentos em particular. Então, acabam sendo feitas avaliações de impacto desnecessárias, apenas para se “ter a certeza”. A alternativa é resistir a essas demandas de avaliação de impacto, usando bons argumentos: que a “teoria da mudança” dos outros programas avaliados é semelhante ao do nosso programa; e que as características do contexto social desses programas avaliados são também semelhantes ao nosso programa. Então, nesses casos, basta que seja feito o monitoramento para verificar se a implementação foi feita de acordo com o que estava previsto no modelo do programa. 
10. Quando não há ganho na generalização do aprendizado. A avaliação de impacto só deve ser conduzida se ela ajuda a determinar o porquê uma coisa funciona, não apenas se funciona. As avaliações de impacto não devem ser conduzidas se elas
    não puderem propiciar conhecimento generalizável sobre a questão do “porque” – ou seja, se elas forem úteis apenas para uma dada organização e apenas para uma dada implementação (reforça o motivo 5). Essa regra se aplica a projetos com baixo poder de serem escaláveis. 
    A alternativa para o caso de um programa que tenha um potencial pequeno de replicação ou escalabilidade é avaliar a sua implementação, de modo a verificar se o seu desempenho foi de acordo com o que estava planejado. 

Como as organizações podem desenvolver sistemas adequados de coleta de informação? 

Para os autores foi essa recente “corrida”
para a medição de impacto que acabou por tirar o foco de tarefas triviais, porém cruciais, como monitorar a implementação e melhorar os projetos sociais. 

O que ocorre é que como os dados do monitoramento não estão sendo devidamente conectados ao processo de gestão dos projetos, daí o monitoramento acaba sendo percebido pelos gestores como tendo pouca (ou nenhuma) utilidade. 

Da mesma maneira, as demandas externas por impacto (dos doadores ou dos conselheiros) não dão o valor devido às informações sobre a implementação dos projetos, porque esses dados geralmente não estão conectados com a teoria da mudança. E sem essa conexão esses atores tendem a não ver utilidade nos dados de implementação. Para Gugerty e Karlan, sistemas adequados de monitoramento devem ser capazes de gerar as informações para mostrar aos doadores o progresso dos projetos na direção do impacto. 

Os sistemas adequados de levantamentos de dados devem ter três características básicas: coleta os dados certos; reporta os dados em formato útil e no tempo adequado; e cria, na organização, capacidade e comprometimento para usar os dados. Em outras palavras, serem sistemas de dados “acionáveis”, isto é, que estão prontos para serem usados para a gestão das organizações. 

São cinco os tipos de dados para o monitoramento: 

• Financeiro (receitas e despesas nos níveis administrativo e programático); 
• Implementação propriamente (atividades e produtos);  
• Focalização (quem são os reais participantes do projeto?); 
  
• Engajamento (como está sendo a interação entre os participantes no projeto?); 
• Feedback (pontos fortes e fracos do projeto, sob a perspectiva dos participantes). 

Um outro aspecto fundamental relacionado a esses sistemas é
empoderar (capacitar e comprometer) os tomadores de decisão a utilizarem os dados quando forem tomar as suas decisões e depois para o acompanhamento (de suas decisões).
Para isto é necessário que os dados sejam compartilhados amplamente dentro da organização e no tempo adequado (e não é preciso tecnologia de informática complexa); que haja discussões periódicas envolvendo funcionários e gerentes; que haja o compromisso  das equipes em informar o que está indo bem e o que não está; e que os dados gerados pelo sistema consiga responder aos  muitos questionamentos que forem surgindo na organização (accountability). 

Enfim, qual a ideia central do artigo? 

Um sistema adequado de dados na organização coleta os dados certos e dialoga/interage bem com a ´teoria da mudança` e com a gestão da organização. Tal sistema se torna capaz de fornecer as evidências sobre se o projeto está indo na direção do impacto, como está sendo conduzida a sua implementação e o que é preciso fazer para melhorá-lo. Na grande maioria das organizações do terceiro setor não é preciso “provar” impacto, basta mostrar as evidências do impacto. Já nas organizações maiores, quando elas reunirem as condições adequadas, aí sim elas devem fazer as avaliações de impacto. 

Concordo plenamente com os autores!!