RESENHAS BOOK REVIEWS
Paula Saules Ignácio
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil. paulasaules@hotmail.com
L'ÉVALUATION: CONCEPTS ET MÉTHODES. Brousselle A, Champagne F, Contandriopoulos A-P, Hartz ZMA. Montréal: Les Presses de l'Université de Montreal; 2009. 300 pp.
ISBN: 978-27-60621-21-3
O livro foi organizado a quatro mãos e escrito por diferentes membros do Grupo de Pesquisa Interdisciplinar em Saúde (GRIS), que é constituído por pesquisadores especializados em avaliação da Universidade de Montreal no Canadá e tem um compromisso com a democracia e a produção coletiva do conhecimento. Tal esforço teve seu reconhecimento com o prêmio 2009 de melhor livro didático concedido pela reitoria da Universidade de Montreal. Seu conteúdo apresenta o percurso histórico do campo, a delimitação de conceitos fundamentais em avaliação e alguns direcionamentos éticos e políticos. Apesar de o livro trazer exemplos mais propriamente da saúde pública, os autores apostam que ele pode servir de base para a avaliação de diversos setores, como da educação, da administração ou das ciências políticas.
Dividido em três grandes partes, totalizando 12 capítulos, o livro começa apresentando os fundamentos da avaliação, seu histórico, concepção no domínio da saúde pública, e a construção do modelo das intervenções a serem avaliadas.
A última parte do livro, intitulada Maximizar o Impacto, apresenta dois capítulos: Como Utilizar a Avaliação e Avaliar a Avaliação. Os programas ou serviços a serem avaliados são considerados intervenções, assim como a própria avaliação e, sendo assim, esta pode e deve também ser avaliada. Pela leitura, pode-se conceber intervenção como um sistema organizado de ação, situado em um tempo e lugar precisos, com o intuito de modificar o curso previsível de um fenômeno para corrigir uma situação problemática. Entre as principais características das intervenções complexas, foram descritas no livro aquelas que têm uma multiplicidade de finalidades, muitas vezes contraditórias e difíceis de serem identificadas, com um número grande de atividades que mobilizam atores interdependentes e que se organizam em lógicas diferentes, uma enorme relação com o contexto, múltiplas relações causais e uma dinâmica de auto-reorganização. É sugerida a construção dos modelos das intervenções a serem avaliadas, justamente para conceber o conjunto de hipóteses necessárias sobre elas para que a intervenção não seja como uma "caixa preta" da qual não se conhece o funcionamento, mas se espera dizer seus efeitos e melhorar sua situação problemática.
Os autores afirmam a necessidade de um estudo aprofundado sobre a intervenção que se pretende avaliar, inclusive para incluir outras dimensões que não somente aquelas estatísticas ou mensuráveis. Especialmente porque os autores historicizam o campo e ressaltam que a avaliação em saúde é o resultado das tradições econômicas, epidemiológicas e da prática clínica. No entanto, o grupo do GRIS aponta para o percurso que a avaliação vem fazendo desde o surgimento da quarta geração, em que se inicia um momento chamado de negociação, quando as ciências humanas começaram a contribuir na concepção e no modo de se avaliar.
A respeito do conceito de avaliação, apresenta-se no livro a noção de diversos autores do campo e a definição mais consensual possível, considerou-se como: um julgamento de valor com a função de criar um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre a intervenção ou sobre qualquer componente dela. Objetiva-se fazer que os diferentes atores envolvidos, cujos campos são por vezes diferentes, façam parte da tomada de posição sobre a intervenção a fim de que eles possam construir, individual ou coletivamente, um julgamento suscetível de se traduzir em ações.
No primeiro capítulo do livro é apresentado um histórico da avaliação, que conta suas quatro gerações, a partir de um primeiro momento nomeado de mensuração, em que a avaliação se aliava à luz da estatística e epidemiologia e estava circunscrita em testes e instrumentos com o intuito de classificar indivíduos e grupos ao medir suas atribuições frente às normas estabelecidas. A segunda geração caracterizava-se pela função de descrição, a terceira pela função de julgamento do avaliador, que deslancha para a discussão da chamada quarta geração que propõe a função de negociação. Historicamente, lembram os autores, a avaliação tinha somente a função de medir, controlar, gerir, escolher os diferentes programas e classificar indivíduos e grupos. A quarta geração, cujo nome é dado pelos autores Guba e Lincoln, e que é uma discussão da qual o livro faz parte, a avaliação é instrumento de negociação e de poder. Durante toda a leitura do livro estão em pauta os métodos de avaliação participativos propostos tanto pelos positivistas quanto pelos construtivistas. Na quarta geração, a avaliação deixa de ser um domínio dos especialistas e o avaliador deixa de ser um juiz, tornando-se um moderador. Os desafios desta geração são discutidos no livro, embora talvez precisemos fazer uma discussão sobre o que nos dificulta tanto realizar avaliações com participações em diferentes etapas e não somente uma pequena discussão coletiva que não inclui a participação nem da formulação nem das conclusões das pesquisas. A proposta da quarta geração é uma realização coletiva, com o intuito de ser mais do que uma atividade técnica, mas sim uma prática de construção de emancipação daqueles que a constroem. É no capítulo 11, sobre a discussão de utilizar à avaliação, que se ressalta a justificativa da avaliação participativa mediante os seguintes planos: o político por ser uma redistribuição do poder; o epistemológico por trazer a compreensão do contexto; e o prático pela produção de um conhecimento utilizável.
Os tipos de avaliação são organizados no livro como um mapeamento do campo, apresentando e discutindo os objetivos e funcionamento dos processos avaliativos, distinguidos por duas vertentes: a avaliação normativa, que visa apreciar os componentes de uma intervenção em função dos critérios e normas estabelecidos para verificar as conformidades destes componentes; e a pesquisa avaliativa, que é uma metodologia científica que permite analisar e compreender as relações de causalidade entre os diferentes componentes da intervenção, com o intuito de compreender o como e o porquê dos resultados. A segunda parte do livro divide-se em sete capítulos sobre a especificação dos tipos de avaliação: a apreciação normativa, a análise estratégica, a análise lógica, a análise de produção, a análise dos efeitos, a avaliação econômica e a análise de implantação.
No capítulo nove, que abre a discussão da avaliação econômica, os autores apresentam uma questão importante, pois nos países desenvolvidos, os sistemas de saúde constituem um dos setores-chave da economia e por isso são fortemente regulados e regulamentados pelos poderes públicos. É uma questão ética importante fazer metavaliações das avaliações econômicas que têm o objetivo de relacionar os custos e benefícios das práticas de saúde e definir onde serão alocados os recursos financeiros no campo da saúde pública.
Contudo, na última parte do livro, os autores trazem uma discussão que enfatiza a explicitação dos paradigmas envolvidos na construção do modelo de avaliação, isto é, torna-se fundamental apresentar junto à proposta avaliativa, a reflexão sobre sua natureza: suas bases epistemológicas, ontológicas, metodológicas e teleológicas. Os autores apontam para o desafio de desenvolver a cultura democrática em avaliação, que busca guiar racionalmente as escolhas dos gestores. Consideram que uma das funções mais importantes da avaliação é a de favorecer os processos de aprendizagem individuais e coletivos, o que significa para eles a aposta em promover um efeito de inovação no qual a avaliação é instrumento de mudança. Para os autores, então, a avaliação deve constituir-se como uma aprendizagem e ser diversificada, participativa, não hierárquica, contendo direcionamentos interdisciplinares, válidos, prospectivos e democráticos.