O campo da avaliação no Brasil tem tido um crescimento importante nos últimos anos. Tal crescimento pode ser observado, principalmente, por três fatores. Primeiramente, pela existência de duas organizações de abrangência nacional que representam avaliadores em diferentes áreas. A Rede Brasileira de Monitoramento e Avaliação (RBMA) congrega profissionais de diferentes expertises e áreas de atuação e conta com mais de sete mil pessoas cadastradas em sua plataforma; e a Associação Brasileira de Avaliação Educacional (Abave) representa profissionais, principalmente acadêmicos, que atuam especificamente na área da avaliação educacional. Em segundo lugar, há uma evolução expressiva na quantidade de eventos ligados ao tema avaliação promovidos por diferentes entidades, incluindo as governamentais, as que lidam com o investimento social privado, as universidades, e as organizações da sociedade civil.

Finalmente, há um aumento significativo do número de editais públicos e chamadas de propostas por parte de organizações governamentais, agências de desenvolvimento internacional e do sistema das Nações Unidas, além de fundações e outras organizações filantrópicas. Essas organizações têm se tornado mais exigentes em termos de visibilidade para os resultados que produzem e para a sustentabilidade dos mesmos. Apesar desse crescimento expressivo, ainda há lacunas importantes para consolidação do campo da avaliação em nosso País, estando a formação e a produção de conhecimento dentre os grandes gargalos enfrentados no momento.

No entanto, existem no País apenas dois cursos de pós-graduação que oferecem formação específica para pessoas interessadas em tornarem-se avaliadores profissionais. Ao mesmo tempo, a produção brasileira de conhecimento sobre teoria e prática da avaliação ainda é limitada em termos quantitativos e qualitativos. Desse modo, é extremamente bem-vinda a contribuição que o livro 'Avaliação em saúde' traz para o campo da avaliação no Brasil. Foi organizado pelas professoras Elizabeth Moreira dos Santos e Marly Marques da Cruz, ambas da Escola Nacional de Saúde Pública Sergio Arouca da Fundação Oswaldo Cruz e com ampla experiência na produção de conhecimento sobre o assunto. Mesmo estando focado em uma área específica, o livro consegue discutir temas e apresentar estratégias de delineamento e implementação de avaliações que são relevantes para além da área da saúde.

Sem ser um passo a passo de uma abordagem metodológica, o livro, de 253 páginas, pretende servir como ferramenta de reflexão para ajudar a profissionais que estão atuando no contexto real da atenção à saúde a melhorarem suas práticas. Nas palavras das organizadoras,

O livro é composto por uma introdução expandida e sete capítulos, escritos por diferentes autores, que descrevem processos avaliativos de programas na área de saúde no Brasil. A introdução, escrita pelas organizadoras, é a parte do livro onde discussões conceituais sobre o campo da avaliação são colocadas de forma mais ampla. Iniciam estabelecendo os referenciais teóricos que inspiram suas práticas, tendo os autores canadenses Contandriopoulos (2006)CONTANDRIOPOULOS, A. P. Avaliando a institucionalização da avaliação. Ciência & Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 705-711, 2006. e Potvin e Bisset (2008)POTVIN, L.; BISSET, S. There is more to methodology than method. In: POTVIN, L.; MACQUEEN, D. (Ed.). Health Promotion Evaluation Practices in the Americas: values and research. Nova York: Springer, 2008. como as principais referências. Tomam emprestado, destes últimos, quadro conceitual que mapeia três tipos de práticas avaliativas - experimental, negociação e reflexividade sistemática - com quatro dimensões epistemológicas, quais sejam, teleológica, ontológica, epistemológica e metodológica.

O quadro conceitual é utilizado com tripla finalidade: tornar claro o que o programa se propõe a mudar, explicitar o paradigma que baseia o sistema de avaliação e monitoramento, e estabelecer um 'sistema reflexivo' híbrido que se configura a partir das inter-relações entre o programa e seu processo avaliativo e de monitoramento. Propõem definições gerais de modelos operacionais para dois tipos de avaliação: (i) avaliação de processos ou sua implementação - análise da implementação de um programa para corrigir rumos e explicar possíveis resultados; e (ii) avaliação e monitoramento de desempenho - acompanhamento e análise dos resultados das intervenções, considerando seus respectivos contextos, que possibilita determinar a qualidade do trabalho realizado e a introdução de ajustes que se façam necessários.

Finalizam a introdução indicando que a construção de modelos lógicos (ML) é ferramenta importante para descrever o programa, para facilitar o seu monitoramento, ou seja, acompanhamento do desempenho operacional e finalístico, e a sua avaliação, por meio do julgamento de valor e determinação de relação causa-efeito.

Os sete capítulos que se seguem têm como uma de suas riquezas o tratamento de problemas avaliativos para temáticas distintas de saúde no formato de artigos independentes. Vamos a eles:

O primeiro capítulo, escrito por Fabiano Geraldo Pimenta Junior e Paulo Chagastelles Sabroza, trata do processo para desenvolvimento e validação de um instrumento para avaliar a execução em nível municipal do Programa Nacional de Controle da Dengue (PNCD). O trabalho, realizado em 1996, incluiu a consulta exaustiva a especialistas no tema e a técnicos que operavam o Programa localmente para definição das três dimensões, 24 subdimensões e 60 critérios para julgar a qualidade da implementação do PNCD. Um modelo lógico foi criado para o PNCD, ajudando na criação de um instrumento de avaliação testado em municípios de Minas Gerais e que tem sido considerado de fácil compreensão e de grande utilidade para os municípios tanto por especialistas como pelos técnicos do programa. O artigo se atém ao processo de desenvolvimento e validação do instrumento, sem tratar do período de sua efetiva utilização.

O segundo capítulo, elaborado por Maria Goretti de Godoy Sousa, Elizabeth Moreira dos Santos e Paulo Germano de Frias, é dedicado à descrição de um processo avaliativo do Projeto Nascer-Maternidades, que visava a assegurar o cumprimento de normas para redução de morbimortalidade associada à sífilis congênita em 16 maternidades no estado de Pernambuco. Os autores desenvolveram critérios avaliativos específicos para determinar o nível de execução do projeto, tomando como base, principalmente, o modelo lógico desenhado.

Os critérios serviram como base para a definição de índices que sintetizavam o julgamento da implantação do projeto em termos de (i) Disponibilidade: acesso a insumos, orientações, testes e tratamentos necessários no momento certo para prevenção e controle da morbimortalidade; (ii) Aceitabilidade: nível de adesão dos profissionais de saúde a práticas de prevenção de morbimortalidade; e (iii) Responsividade: tratamento digno prestado às parturientes, incluindo tratamento interpessoal adequado, possibilidade de contar com a presença de acompanhante e ambiente limpo e em boas condições. A avaliação propiciou respostas diretas às perguntas avaliativas e, caso o retorno e as estratégias de disseminação dos aprendizados tenham sido efetivas, mostraram-se bastante úteis para as autoridades de saúde responsáveis pelo projeto.

Avaliar a implantação do Núcleo Descentralizado de Vigilância em Saúde (NDVS) na Região Metropolitana II do Estado do Rio de Janeiro, foi o tema tratado no terceiro capítulo. As autoras, Dolores Maria Franco de Abreu, Elizabeth Moreira dos Santos e Marly Marques da Cruz, enfocaram a avaliação na exploração dos efeitos operacionais desse núcleo. O processo foi caracterizado como uma avaliação interna, dado que a primeira autora já atuava profissionalmente no NDVS.

O modelo lógico para o núcleo desenvolvido pelas autoras possibilitou a definição, com mais clareza, dos componentes estruturais do NDVS que seriam examinados, i.e., integralidade, articulação, adesão, administrativo e financeiro. Parâmetros de julgamento, com métrica quantitativa e divididos em quatro categorias - implantado, parcialmente, crítico e não implantado) - foram elaborados por técnicos do NDVS para determinar o grau de implantação do núcleo em relação a cada um dos componentes examinados. A avaliação respondeu de forma direta às questões levantadas inicialmente, com grande potencial de utilidade para os principais interessados no projeto.

Avaliação no campo da assistência farmacêutica é o tema central do quarto capítulo, elaborado por Vera Lucia Luiza, Ângela Esher, Thiago Botelho Azeredo, Fernando Genovez de Avelar, Isabel Cristina Martins Emmerick e Maria Auxiliadora Oliveira. Trata especificamente da avaliação da qualidade da dispersão de medicamentos antiretrovirais e contra infecções oportunistas, com enfoque nos aspectos relacionados à organização dos serviços e à satisfação dos usuários, feita no País por meio do Programa Nacional DST/Aids.

Envolveu uma amostra de 1425 usuários de 29 unidades de saúde em dez estados da Federação. O modelo lógico do programa foi construído como parte do processo avaliativo e serviu de base principal para a identificação de indicadores utilizados para determinar a qualidade da estrutura e do processo de dispersão de medicamentos quanto à ambiência, qualidade técnica da dispersão, qualidade dos medicamentos, aspectos interpessoais da dispersão, disponibilidade do medicamento e conveniência para acesso ao medicamento.

A avaliação propiciou conclusões a respeito do desempenho dos serviços em cada categoria, ressaltando os aspectos que evidenciavam bom funcionamento, assim como os que precisavam de melhorias. Os critérios de determinação do quão bom foi o serviço não foram detalhados, embora a avaliação pareça ter sido utilizada de maneira significativa pelos principais interessados. Adotaram-se estratégias específicas para discutir as conclusões da avaliação não só com os gestores do programa como também com os representantes dos serviços de saúde, profissionais de saúde e até usuários. Como resultado desse processo, o Programa criou uma comissão especial para definir estratégias de intervenção e melhorar os serviços com base nas conclusões da avaliação.

Luisa Gonçalves Dutra de Oliveira e Sonia Natal são as autoras do quinto capítulo, que versou sobre a avaliação da implantação do Programa de Controle de Tuberculose (PCT) no município de Niterói, estado do Rio de Janeiro. O nível de integração entre as unidades básicas de saúde e as unidades de saúde da família daquele Município foi estudado também por tratar-se de aspecto essencial para garantir o sucesso do PCT. A avaliação fez uso também do modelo lógico do programa desenhado pelas autoras como base para determinar em que medida o que havia sido planejado na teoria estava se concretizando em realidade. Incluiu duas policlínicas e um módulo do Programa Médico de Família que atendiam a um número grande de pacientes acometidos pela tuberculose.

As evidências para a avaliação foram coletadas a partir de quatro dimensões de qualidade relacionadas ao contexto externo, contexto político-organizacional, implementação das ações e efeitos do Programa. Trinta e dois indicadores, classificados em treze categorias geradas a partir das dimensões, serviram de base para orientar a coleta de dados primários e secundários. O método de avaliação rápida (REM) foi utilizado para sistematizar e aumentar o rendimento da coleta de dados. Os avaliadores definiram uma estratégia para julgar a efetividade das ações de controle da tuberculose na atenção básica por meio da atribuição de pontuação para cada uma das dimensões e categorias estabelecidas.

Concluíram que (i) a integração entre os serviços era muito incipiente, (ii) a implantação do PCT tanto nas policlínicas como na unidade de saúde da família foi parcial e semelhante, e (iii) as ações para recuperar os pacientes que abandonaram o tratamento foram julgadas insuficientes e não-integradas. O artigo não abordou as estratégias de uso da avaliação.

O capítulo 6, de autoria de Celina Santos Boga Marques Porto, Rosely Magalhães de Oliveira e Marly Marques da Cruz, faz uma descrição detalhada do desenvolvimento de um sistema de monitoramento do aconselhamento em HIV/Aids na Estratégia Saúde da Família na comunidade de Manguinhos, no estado do Rio de Janeiro. A ideia principal era a de incorporar o monitoramento às práticas cotidianas de trabalho, desde o planejamento até a execução do aconselhamento.

Uma característica marcante desse estudo está na forma altamente participativa com que se deu o desenvolvimento do sistema de monitoramento. Envolveu uma série de seminários, que contaram com a participação de uma ampla gama de atores-chave, tomando emprestada a abordagem da 'avaliação com foco na utilização', proposta por Michael Patton (1997)PATTON, M. Q. Utilization Focused Evaluation: The new century text. 3. ed. Thausand Oaks: Sage, 1997. para guiar o trabalho. O processo gerou vários aprendizados, incluindo a importância de tornar cada vez mais individualizado o modelo de aconselhamento em HIV/Aids para as comunidades. O grau de incorporação do sistema de monitoramento construído como prática continuada do serviço não foi abordado.

O último capítulo do livro, escrito por Paulo M. Crispim, Luisa Gonçalves Dutra de Oliveira e Adriana Mendoza Ruiz, faz um estudo para determinar em quanto o tratamento supervisionado (TS) da tuberculose em pacientes infectados pelo HIV é mais custo-efetivo que o tratamento autoadministrado (TAA). Um modelo lógico para o programa de controle da tuberculose foi elaborado pelos autores, gerando como produto importante o mapeamento dos procedimentos envolvidos com cada um dos tipos de tratamento estudados, o que facilitou o desenvolvimento do modelo econômico e a consequente estimativa dos custos envolvidos.

O estudo foi baseado na revisão de prontuários médicos de pacientes HIV+ tratados para tuberculose em nove centros municipais de saúde da cidade do Rio de Janeiro. Modalidade de tratamento, cura, abandono e óbito foram as variáveis de desfecho adotadas para o modelo. Concluem que, apesar de mais caro, o TS deve ser mantido devido às menores taxas de abandono do tratamento e melhores taxas de cura em relação ao TAA. Recomendações importantes relacionadas ao sistema de informação, protocolos de tratamento, tempo de tratamento e taxas de abandono são apresentadas visando a aperfeiçoar o programa.

Interessante notar que todos os sete estudos possuem um traço metodológico comum: todos eles desenvolveram modelos lógicos (ML) como parte do processo avaliativo. Os usos variaram desde o estabelecimento de uma visão compartilhada entre os principais interessados sobre a teoria por trás do programa, política ou serviço sob avaliação, passando pela ajuda na identificação e seleção de valores ou critérios para serem empregados na avaliação, até a criação dos elementos básicos de um modelo econômico para fazer uma análise de custo-efetividade de diferentes estratégias. Tais usos têm grande potencial de contribuição à qualidade de um estudo avaliativo. Porém, em avaliações que precisam ser realizadas em tempo exíguo e com recursos limitados, como ocorre, na maioria das vezes, na vida real, a necessidade de elaboração de ML torna-se, no mínimo, questionável.

Outro aspecto a ser considerado é o risco real de, ao investirem energia e tempo na elaboração de ML, os avaliadores perderem o foco de sua principal função, que é a de determinar a qualidade, importância e valor do que está sendo avaliado. Explicar na teoria detalhadamente, como funciona um programa ou, pelo menos, como deveria funcionar pode ser um bônus por parte do avaliador para os demandantes de um processo avaliativo, porém não faz parte de sua função principal.

A criação de ML simplificados que ajudem a entender o programa, política ou serviço, mas que não sobrecarreguem e tirem do foco o processo avaliativo, é, provavelmente, a melhor solução. Algumas das mais valiosas adições à ciência vêm de práticas como a medicina herbal primitiva, que descobriu os benefícios do uso de quinino, aspirina, curare. São agentes que funcionam, embora ainda não haja uma boa e detalhada teoria de por que funcionam. Fazer mais descobertas desse tipo é, provavelmente, a melhor maneira de os avaliadores contribuírem para o avanço da ciência. Se sempre precisarmos de uma boa teoria antes de analisar se um programa, política ou serviço funciona, será muito difícil fazer novas descobertas desse tipo. O primeiro dever de um avaliador é o de avaliar, mesmo que sua formação científica ou interesses o tentem a encontrar primeiro as explicações teóricas.

O livro trata de temas muito relevantes e que continuam atuais, mesmo apresentando estudos que foram realizados há quase uma década. São estudos avaliativos sobre políticas ou programas públicos ou serviços de atenção à saúde, sobre os quais muito pouco se encontra na literatura, principalmente na forma de reflexões sistemáticas e inteligentes que apresentam ideias para melhorar a prática. Chega em boa hora, como contribuição importante para garantir avanços que nos permitam alcançar um maior grau de maturidade no campo da avaliação em nosso País, que se reflete no aperfeiçoamento das práticas adotadas pelos avaliadores.

Referências

Datas de Publicação