Organizações think-tanks dos EUA e Reino Unido, o que me ensinaram?

Também nos Estados Unidos e no Reino Unido, países com uma prática do terceiro setor bem mais avançada do que no Brasil, a avaliação dos projetos sociais segue sendo um desafio muito presente. Lá o que se observa é que as organizações filantrópicas estão se sentindo asfixiadas pela compulsão em medir impacto social e avaliar o retorno econômico de suas ações. Anseiam, e já estão trabalhando por uma metodologia de avaliação coerente com o contexto da quase totalidade dessas instituições. 

A título de contribuir para essa reflexão, apresento a seguir os posicionamentos-chave de alguns especialistas de organizações think-tanks nesses países, como a NPC (New Philanthropy Capital);  Giving Evidence; e FSG (Foundation Strategy Group). Para isso, sistematizei os seguintes artigos, buscando padronizar termos e integrar as partes. 

1. O que a avaliação deveria ser? (Gopal) 

Com todo este entusiasmo por medir, documentar, provar e financiar o impacto, será que não estaríamos perdendo o barco da avaliação? 

É hora de parar de (apenas) medir o impacto, e começar a avaliar. 

A avaliação deveria ser entendida com o sentido de ajudar a: 

• Capturar “o que” está acontecendo, e “porque” está acontecendo; 
• Entender o que funciona em um determinado contexto, e não no abstrato; 
• Compreender que fatores estão ajudando e dificultando o sucesso; 

2. Impacto do projeto social =  Avaliar a teoria da mudança + Avaliar a execução  (Fiennes) 

O impacto (ou efeito) do trabalho de uma organização filantrópica depende da qualidade da teoria da mudança (ou da ideia) que a organização utiliza, e quão bem ela implementa essa teoria da mudança. Tanto a teoria da mudança como a sua execução precisam ser boas, para que o impacto seja elevado; e se qualquer uma delas, a teoria da mudança ou a execução, não for boa, o impacto será baixo. 

A grande maioria das organizações sociais não deveria avaliar o impacto do seu trabalho. Isto porque deve ser atribuição dos pesquisadores acadêmicos a avaliação do impacto da teoria da mudança que a organização decide utilizar;  já a organização filantrópica deve se ocupar da avaliação de processo, isto é, o monitoramento da execução de suas ações. 

O
exemplo dado: considere um clube de café da manhã em uma escola para crianças com deficiência. A teoria da mudança (ou ideia / estratégia considerada)  é a de que um bom café da manhã contribui para o aprendizado, evitando as distrações causadas pela fome. Já a execução envolve ter os alimentos que as crianças vão comer, comprá-los a um bom preço, trazer as crianças, e assim por diante. 

A avaliação da qualidade da execução envolve verificar se as crianças estão vindo de fato para o clube, qual é a opinião delas sobre o clube de café da manhã, quanto dos alimentos é desperdiçado, etc. Isto é o monitoramento ou avaliação de processo. É relativamente simples, e é de extrema importância porque fornece feedback no prazo adequado para a equipe do projeto, e permite que a organização melhore os seus processos e os aprimore significativamente. Esse monitoramento deve ocorrer com regularidade, e a organização pode fazê-lo por si mesma. 

Já avaliar a qualidade da estratégia (ou da teoria da mudança) é bem mais complexo. Envolve investigar se, no caso, um café da manhã decente contribui realmente para a aprendizagem. E isso exige isolar o efeito da intervenção de outros fatores externos e simultâneos. Esta é a avaliação de impacto. 

No exemplo dado, nós não podemos olhar simplesmente se as crianças que frequentam o clube estão agora aprendendo melhor do que antes. Isto porque talvez o início do clube possa ter coincidido com outros fatores, tais como a chegada de um novo professor; ou com a chegada de novos livros; ou se as crianças passaram a assistir algum programa educativo na tv, que antes não assistiam.  Também não podemos olhar se as crianças do clube aprendem mais rápido do que aqueles que não frequentam o clube, porque é altamente provável que haverá grandes diferenças entre quem vai e quem não vai ao clube. Talvez só os “piores” alunos  estejam participando do clube. Para contornar todas essas questões, teríamos que fazer um experimento com controle aleatorizado. Isso levanta questões complicadas tais como se devemos “randomizar” crianças, ou escolas, ou cidades; e qual deve ser o tamanho da amostra.  Estas e muitas outras são questões normais de serem investigadas em tais pesquisas de impacto. 

Daí, estabelecer atribuição (ou causalidade)  — que é essencial para avaliar impacto — é um campo de pesquisa em ciências sociais. No entanto,  sabe-se que a quase totalidade das instituições filantrópicas não é constituída por cientistas sociais. Ou seja, elas não são capazes de executar avaliações de impacto que sejam confiáveis, porque não têm essas habilidades in-house. 

A boa notícia é que a maioria das instituições do terceiro setor não precisa das habilidades de pesquisa para avaliação de impacto. No exemplo dado, uma vez que já sabemos se e quando a teoria da mudança relacionada aos clubes de café da manhã funciona — pois ela já teria tido o seu impacto rigorosamente avaliado antes — não precisaremos avaliar o seu impacto novamente na organização, a menos que o contexto seja muito diferente 

Assim, as organizações filantrópicas e os seus financiadores deveriam usar as avaliações de impacto já existentes para fazerem as escolhas de intervenções eficazes que decidem adotar / financiar. E, nesse caso, tudo o que as organizações filantrópicas precisariam fazer seria executar bem os seus programas sociais, e fazerem o seu monitoramento (ou avaliação de processo). 

3. Os quatro pilares básicos da avaliação (Boswell e Kazimirski) 

A quase totalidade do terceiro setor é constituída por instituições pequenas e, para estas, é muito difícil fazer avaliação, porque elas têm menos recursos disponíveis do que as grandes organizações. Por isso, torna-se fundamental para essas organizações menores saberem onde concentrar os seus esforços de avaliação e como mantê-los em proporção com a escala do trabalho social que fazem. 

Nesse sentido, são quatro os pilares básicos da avaliação a serem seguidos, nessa ordem: 

• Mapear a teoria da mudança a ser adotada – Uma teoria da mudança estabelece as relações causais entre as atividades realizadas e o objetivo final (de impacto). Não há uma abordagem certa ou errada, mas a teoria da mudança deve mostrar clareza sobre o impacto que queremos atingir e como pretendemos alcançá-lo. A teoria da mudança deve propiciar um referencial coerente para embasar, depois, os esforços de avaliação. 
• Escolher o nível adequado das evidências – Ir além dos estudos de caso, porém se reconhece que há muitos obstáculos para que as organizações filantrópicas façam avaliação (de impacto) com base em pesquisa experimental, em razão dos custos elevados, questões éticas e metodologia complicada. 

Como abordagem mais acessível para as instituições filantrópicas, os autores sugerem as pesquisas antes e depois com os usuários dos serviços sociais (ou participantes do projeto), pois essas pesquisas são capazes de fornecer, baseadas em auto-relato, uma visão relativamente objetiva de como as coisas mudaram na vida dos participantes, como efeito do trabalho da organização.  Para tratar a causalidade, podem ser feitas perguntas diretas aos usuários para saber se eles consideram, ou não, que foram os serviços da organização que fizeram determinada diferença em suas vidas. 

• Priorizar o que se vai medir – Priorizar os resultados que (i)  sejam diretamente influenciados pelo trabalho da organização; (ii) representam a base para a missão da organização; (iii) não sejam muito caros para serem avaliados; e  que (iv) vão produzir dados confiáveis. 
• Selecionar as fontes de dados (de quem coletar os dados) e desenvolver as ferramentas adequadas – Antes da organização desenvolver a sua própria ferramenta de avaliação, ela deveria considerar quais as ferramentas (operacionalização de conceitos, questionários, softwares, etc…) já existem disponíveis em outras organizações que já realizam trabalhos semelhantes. Sempre que for adequado e possível, toda instituição do terceiro setor deveria colaborar com as outras organizações e compartilhar ferramentas de avaliação, de modo a economizar tempo e recursos. 

4. Não ao “desfile da beleza”: menos avaliação, porém com qualidade superior e mais compartilhamento (Noble) 

O autor parte do incômodo de que as instituições filantrópicas coletam tantos dados para mostrar que elas fazem a diferença e, no entanto, fica claro que elas falham em acumular e compartilhar esse conhecimento. Diferente do que fazem os profissionais da área médica,  que compartilham entre si o que funciona e o que não funciona, com bem mais transparência. 

A explicação seria que os estímulos no setor social estão errados. As organizações filantrópicas se sentem compelidas a avaliarem para validarem o seu próprio trabalho, e a convencerem os seus financiadores a continuarem a lhes dar dinheiro. Com isto, elas acabam ficando presas em um ciclo de auto-justificativa e de coleta de dados sem sentido, que pode ser chamado “desfile de beleza’.