Recentemente, ao assistir a uma palestra sobre impactos de programas educacionais fiquei refletindo sobre as informações compartilhadas, busquei algumas referências e compartilho, neste texto, algumas dessas reflexões.
Quando acompanhamos um programa educacional, algumas perguntas parecem inevitáveis. Conseguimos chegar ao público que pretendíamos? As ações planejadas foram realizadas? Os participantes permaneceram no programa, realizaram todo o percurso e o concluíram? Houve mudanças nos conhecimentos ou nas práticas dos professores? Os estudantes aprenderam mais? As mudanças permaneceram depois que as ações terminaram?
E, em algum momento, surge uma pergunta especialmente desafiadora: que diferença esse programa fez?
Responder a ela parece, à primeira vista, uma questão de verificar os resultados alcançados. Se uma formação de professores foi seguida por mudanças nas práticas pedagógicas, ou se os estudantes apresentaram melhores resultados de aprendizagem depois de uma intervenção, podemos considerar que o programa teve impacto?
A resposta exige cuidado… Muito cuidado para que não ocorra uma interpretação equivocada…
Observar que algo mudou é uma informação importante, mas não significa necessariamente que conseguimos explicar por que mudou. Entre constatar resultados e atribuir esses resultados a uma intervenção existe uma diferença conceitual e metodológica importante e nem sempre ela aparece de forma evidente quando programas educacionais apresentam suas realizações.
Essa distinção entre resultados, efeitos e impactos é discutida por Adriana Bauer (2011), em sua tese sobre a avaliação de impacto do programa de formação docente Letra e Vida. Ao revisar diferentes referenciais do campo da avaliação, Bauer mostra também que esses termos nem sempre são utilizados da mesma maneira pelos autores. A questão, portanto, para além de encontrar uma definição para cada palavra, trata-se de compreender que pergunta estamos tentando responder e que evidências precisamos produzir para respondê-la.
O que aconteceu depois do programa?
Pensemos em um programa de formação continuada destinado a apoiar professores na utilização de determinadas estratégias pedagógicas.
Ao final do primeiro ano, podemos levantar uma série de informações: quantos professores concluíram a formação, como avaliaram a experiência, que conhecimentos desenvolveram, se passaram a utilizar determinadas estratégias em suas aulas e se houve mudanças na aprendizagem dos estudantes.
São informações diferentes e todas podem ser relevantes para avaliar o programa. O problema aparece quando tratamos qualquer uma delas automaticamente como impacto.
Draibe (2001), uma das autoras discutidas por Bauer, oferece uma distinção particularmente útil. Os resultados correspondem aos produtos previstos nas metas do programa; os efeitos dizem respeito a alterações que a intervenção provoca no ambiente em que ocorre; e os impactos remetem a mudanças na realidade sobre a qual o programa intervém que possam ser relacionadas à própria intervenção. Bauer utiliza essa diferenciação para analisar o programa que ela estuda em sua tese e afirma que, por exemplo, o número de professores formados pode ser considerado um resultado, enquanto mudanças na prática e na organização do trabalho escolar ou na aprendizagem dos estudantes colocam outras questões para a avaliação.
Podemos trazer essa distinção para situações que encontramos com frequência em programas educacionais.
Se uma formação tinha como meta atender mil professores e 950 a concluíram, temos uma informação importante sobre alcance. Se os participantes demonstraram maior conhecimento sobre o tema trabalhado, temos uma evidência de mudança associada temporalmente à formação. Se, meses depois, relatam incorporar determinadas práticas às aulas, temos outra evidência relevante.
Mas ainda permanece uma pergunta: essas mudanças ocorreram por causa do programa?
Observar uma mudança não é o mesmo que explicar sua causa
Suponhamos que os estudantes dos professores participantes de uma formação apresentem, no ano seguinte, melhores resultados de aprendizagem. A comparação é promissora, mas não permite concluir imediatamente que a formação provocou a melhora.
Nesse período, a rede pode ter adotado novos materiais didáticos. Os professores podem ter participado de outras formações. A gestão das escolas pode ter mudado. Os estudantes podem ter recebido outras formas de apoio. Pode ter havido alterações curriculares ou nas próprias avaliações utilizadas para medir a aprendizagem.
Há ainda outra possibilidade: os professores que decidiram participar da formação poderiam ser, desde o início, diferentes daqueles que não participaram. Talvez estivessem mais interessados no tema, tivessem maior disponibilidade para estudar ou trabalhassem em escolas com determinadas condições institucionais. Nesse caso, uma diferença posterior entre participantes e não participantes poderia refletir, ao menos parcialmente, diferenças que já existiam antes da intervenção.
É aqui que a avaliação de impacto introduz uma exigência adicional.
Baker (2000), Leeuw e Vaessen (2009) e outros autores discutidos por Bauer relacionam a avaliação de impacto ao problema da atribuição causal. Leeuw e Vaessen acrescentam um conceito decisivo para compreender essa questão: o contrafactual.
A pergunta contrafactual pode ser formulada de maneira bastante simples:
O que teria acontecido se o programa não tivesse existido?
Na prática, porém, responder a ela é difícil. Não podemos observar simultaneamente os mesmos professores, as mesmas escolas ou os mesmos estudantes participando e não participando de uma intervenção. Por isso, diferentes desenhos de pesquisa procuram construir comparações que permitam estimar, com graus distintos de confiança, aquilo que provavelmente teria ocorrido na ausência do programa.
A literatura mais recente mantém essa preocupação. O glossário de avaliação e gestão por resultados da OCDE, atualizado em 2023, relaciona a avaliação de impacto à identificação dos efeitos causais de uma intervenção e reconhece diferentes possibilidades metodológicas para investigá-los, incluindo abordagens experimentais, quase-experimentais e não experimentais.
Uma formulação recente do CDC ajuda a tornar a diferença ainda mais explícita. Em seu Program Evaluation Framework, de 2024, a avaliação de resultados (outcome evaluation) examina em que medida os resultados pretendidos foram alcançados. A avaliação de impacto, por sua vez, acrescenta a investigação da relação causal entre o programa e esses resultados.
Podemos, portanto, chegar a uma distinção útil, ainda que não seja uma classificação universal: avaliar resultados nos ajuda a responder o que aconteceu; avaliar impacto exige investigar em que medida aquilo que aconteceu pode ser atribuído ao programa.
Em educação, a causalidade raramente é simples
A distinção anterior poderia nos levar a imaginar que basta encontrar um bom método para isolar o efeito do programa e teremos respondido às perguntas relevantes. Em educação, a questão é um pouco mais complexa.
Bauer já chamava atenção para isso ao recuperar autores que discutem a multiplicidade de causas envolvidas nos programas sociais. A autora dialoga, entre outros, com Suchman (1971) para mostrar que os efeitos de uma intervenção dependem das circunstâncias em que ela ocorre e de outros acontecimentos que interagem com ela. Sua discussão conduz a uma perspectiva de multicausalidade contextual: determinados fatores concorrem para explicar os resultados em contextos e circunstâncias específicos.
Esse aspecto é particularmente importante quando pensamos em educação.
Uma formação docente pode apresentar resultados muito diferentes dependendo do apoio da gestão, do tempo disponível para planejamento, das condições de trabalho dos professores, da estabilidade das equipes, dos materiais disponíveis, das características dos estudantes e da possibilidade de os participantes experimentarem, discutirem e revisarem suas práticas.
Uma avaliação que identifique um efeito médio positivo do programa oferece uma informação importante. Mas ainda podemos querer saber: o efeito foi semelhante em todas as escolas? Todos os professores se beneficiaram da mesma maneira? Quais componentes da intervenção parecem ter contribuído para os resultados? Que condições favoreceram ou dificultaram sua implementação?
Pesquisas recentes têm procurado aproximar essas perguntas. Em estudo publicado em 2024, D’Agostino e colaboradores investigaram um programa de alfabetização no Haiti e, além de estimar seus efeitos, analisaram por que eles variavam entre escolas. O estudo identificou diferenças relacionadas à implementação e a fatores contextuais, mostrando como a pergunta sobre se uma intervenção produz efeitos pode ser complementada pela investigação sobre onde, para quem e em quais condições esses efeitos aparecem.
Essa perspectiva não diminui a importância da inferência causal. Ao contrário, torna mais cuidadosa a interpretação dos resultados.
Diferentes perguntas, diferentes evidências
Talvez uma forma produtiva de organizar a avaliação de um programa educacional seja reconhecer que diferentes perguntas exigem diferentes evidências.
O programa aconteceu como estava previsto? Aqui precisamos compreender sua implementação: quem participou, quais ações foram realizadas, com que intensidade, em quais condições e com que grau de adesão.
Os resultados esperados foram alcançados? Podemos investigar mudanças nos conhecimentos, nas práticas, nas atitudes, na aprendizagem ou em outros resultados definidos pelo programa.
As mudanças observadas podem ser atribuídas ao programa? Essa é a pergunta que nos aproxima da avaliação de impacto e exige enfrentar o problema da causalidade e do contrafactual.
Para quem, como e em quais condições os efeitos ocorreram? Essa pergunta nos leva novamente para dentro das escolas, das salas de aula e dos contextos em que a intervenção se realiza.
Essas perguntas não competem entre si. Elas oferecem informações diferentes e complementares.
Um programa pode ser bem implementado e não produzir os resultados esperados. Pode apresentar resultados promissores sem que o desenho da avaliação permita atribuí-los à intervenção. Pode demonstrar impacto médio positivo e, ainda assim, funcionar muito melhor para determinados grupos ou em determinadas condições. Pode também produzir efeitos não previstos — positivos ou negativos — que uma avaliação restrita às metas originalmente definidas não conseguiria perceber.
Por isso, a pergunta inicial de uma avaliação talvez não devesse ser simplesmente “qual foi o impacto?”, mas o que precisamos saber sobre este programa e que tipo de evidência nos permitirá responder a essa pergunta?
Por que as palavras importam
Há programas educacionais que divulgam como “impacto” o número de professores formados, estudantes atendidos ou escolas alcançadas. Outros utilizam mudanças entre avaliações realizadas antes e depois da intervenção como demonstração direta de impacto.
Esses dados podem ser importantes. O número de participantes informa sobre alcance. A comparação entre medidas realizadas em momentos diferentes pode oferecer evidências sobre mudanças. A percepção dos participantes pode ajudar a compreender a experiência e a implementação do programa.
A precisão dos termos não diminui o valor dessas evidências. Ela nos ajuda a compreender o que cada uma delas nos permite afirmar.
Talvez esse seja o ponto mais relevante para quem trabalha com programas educacionais. Uma boa avaliação não é necessariamente aquela que consegue colocar a palavra “impacto” em suas conclusões. É aquela cujo desenho é coerente com as perguntas que pretende responder e cujas afirmações não ultrapassam aquilo que as evidências permitem sustentar.
Avaliar resultados nos ajuda a compreender o que mudou. Investigar impacto nos leva a perguntar em que medida essa mudança pode ser atribuída ao programa. Compreender programas educacionais, porém, exige ainda avançar sobre outras questões: como essa mudança aconteceu, para quem e em quais condições?
Responder a essas perguntas pode oferecer informações mais úteis para a tomada de decisão do que simplesmente afirmar que um programa “teve impacto”. Afinal, se pretendemos ampliar uma iniciativa, levá-la a outros contextos ou aperfeiçoá-la, precisamos conhecer não apenas seus resultados, mas também compreender as condições que contribuíram para produzi-los.
Para saber mais
BAKER, J. L. Evaluating the impact of development projects on poverty: a handbook for practitioners. Washington, DC: World Bank, 2000.
BAUER, A. Avaliação de impacto de formação docente em serviço: o programa Letra e Vida. 2011. Tese (Doutorado em Educação) — Faculdade de Educação, Universidade de São Paulo, São Paulo, 2011.
DRAIBE, S. M. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B. (org.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001. p. 13–42.
LEEUW, F.; VAESSEN, J. Impact evaluations and development: NONIE’s guidance on impact evaluation. Washington, DC: World Bank, 2009.
OECD. Glossary of key terms in evaluation and results-based management for sustainable development. 2. ed. Paris: OECD Publishing, 2023.
D’AGOSTINO, T. J. et al. Explaining variation in treatment effects: an impact evaluation and mixed-methods study of variation in early grade reading program effects. Comparative Education Review, v. 68, n. 1, 2024.
Inovação na educação 
Deixe um comentário