ARTIGO ARTICLE
Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação
A contribution to institutionalized health evaluation: a proposal for self-evaluation
Eronildo FelisbertoI; Eduardo FreeseII; Sonia NatalI, III; Cinthia Kalyne de Almeida AlvesI
IGrupo de Estudos de Gestão e Avaliação em Saúde, Instituto Materno Infantil Professor Fernando Figueira, Recife, Brasil
IICentro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz, Recife, Brasil
IIIEscola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil
RESUMO
No âmbito das ações voltadas à institucionalização da avaliação da atenção básica em saúde no Brasil, o Ministério da Saúde propõe uma avaliação formativa, de caráter normativo, para conhecer como está a implantação do projeto Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação, integrante da Política Nacional de Avaliação da Atenção Básica. Um dos objetivos foi desenvolver uma matriz de auto-avaliação utilizando a abordagem de método rápido de avaliação (REM). Este artigo apresenta as etapas concluídas na construção da matriz de auto-avaliação, acompanhado da fundamentação na qual se embasou a produção da mesma. A proposta final de auto-avaliação foi construída com base em um modelo teórico de avaliação, desenvolvido para a avaliação formativa. Inclui as principais ações propostas à gestão estadual de saúde com todos os indicadores testados, dando assim maior validade interna e consistência. A perspectiva final é que este instrumento, utilizado de forma participativa, como explicita a proposta, auxilie na identificação do alcance dos objetivos e das ações do projeto, identificando situações que podem interferir em diferentes contextos.
Avaliação em Saúde; Atenção Primária à Saúde; Gestão em Saúde
ABSTRACT
In the context of measures to institutionalize the evaluation of primary health care in Brazil, the Ministry of Health proposed a formative and normative evaluation of the implementation of the project entitled Technical Capacity-Building of State Health Departments for Monitoring and Evaluation, as part of the National Policy for the Evaluation of Primary Care. One of the objectives was to develop a self-evaluation model using the rapid evaluation method (REM). This article presents the stages concluded to date in the self-evaluation model, together with the theoretical references. The final self-evaluation proposal was based on a theoretical evaluation model developed for formative evaluation and included the principal actions proposed for State health management, with all the tested indicators, thus increasing the internal validity and consistency. The final perspective is that this instrument, used with a participatory approach as provided in the proposal, helps assess the extent to which the project's objectives and actions are achieved, while identifying situations that can interfere in different contexts.
Health Evaluation; Primary Health Care; Health Management
Introdução
O Ministério da Saúde do Brasil, por intermédio da Coordenação de Acompanhamento e Avaliação do Departamento de Atenção Básica da Secretaria de Atenção à Saúde (CAA/DAB/SAS/MS), vem desde 2003 desenvolvendo diversas ações com vistas à institucionalização da avaliação no âmbito da atenção básica à saúde. Para tanto, definiu um modelo lógico para a Política Nacional de Avaliação da Atenção Básica em Saúde, com quatro focos bem definidos de atuação e direcionamento: (i) as Secretarias Municipais de Saúde (SMS), (ii) as Secretarias Estaduais de Saúde (SES), (iii) o gestor federal - o Departamento de Atenção Básica do Ministério da Saúde e, (iv) as instituições de ensino e pesquisa 1.
Uma das estratégias dessa política com vistas à institucionalização da avaliação é o projeto Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação, com ações voltadas para os gestores, com ênfase para os estados e municípios apoiados financeiramente pelo Projeto de Expansão e Consolidação do Saúde da Família (PROESF), fruto de acordo de empréstimo internacional firmado pelo Brasil com o Banco Mundial 2.
Durante a fase de implantação do projeto de fortalecimento da capacidade técnica das SES em monitoramento e avaliação, foi proposta uma avaliação formativa, de caráter normativo, para conhecer como estava ocorrendo a sua implantação. Esta teve, também, como um de seus objetivos desenvolver uma matriz de auto-avaliação, com a utilização do método rápido de avaliação (REM), de maneira que o gestor pudesse medir a implantação do "monitoramento e avaliação" no próprio estado 2,3. A matriz de auto-avaliação atenderia à oportunidade do estudo e, também, à utilidade, pois se constitui em uma abordagem de baixo custo e de fácil aplicabilidade para o nível local 3.
O presente artigo foi elaborado visando a apresentar um instrumento de auto-avaliação, utilizando a abordagem rápida acompanhada da fundamentação teórica que embasou a produção do mesmo.
Avaliação formativa
A avaliação formativa, definida com desenhos que priorizam a melhoria do programa, pode ser compreendida como uma importante intervenção visando a garantir que inovações sejam implantadas com fidelidade ao modelo proposto e que as lições aprendidas, em todo o processo de implantação, possam gerar propostas de soluções que viabilizem a garantia da replicação de outras iniciativas com as adequações necessárias 4.
Realizada no período de maio a dezembro de 2006, a avaliação formativa foi iniciada com a construção do modelo lógico do projeto Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação (Figura 1), objeto do estudo, baseado nas metas da Política Nacional de Avaliação da Atenção Básica em Saúde, apresentada no documento Avaliação na Atenção Básica em Saúde: Caminhos da Institucionalização 1. Tal política compreende seis componentes e 24 projetos estratégicos, entre os quais o foco deste estudo, conformado em cinco subestratégias, cada uma delas integrada a diferentes componentes 5.
O projeto de fortalecimento da capacidade técnica das SES em monitoramento e avaliação passou a ser visto como uma intervenção programática cuja matriz de análise, para estimar o seu grau de implantação, foi elaborada com base no modelo lógico do programa. Este incluiu as principais ações propostas, ressaltando-se a importância da gestão estadual de saúde no processo de institucionalização da avaliação da atenção básica.
Para alguns autores, o modelo lógico de um programa pode ser construído com base em uma "teoria do programa", adotada como parâmetro para comparação dos "eventos teoricamente previstos" e os eventos observados. Baseando-se nessa concepção, para uma avaliação formativa seria necessário entender as premissas teóricas em que cada programa se fundamenta, ou seja, como determinadas ações conduzem a determinados resultados para os seus beneficiários 6,7.
Para conhecer ou formular a teoria implícita de um programa ou política, o ponto de partida seria compreender as idéias e premissas que ligam os inputs do mesmo aos objetivos pretendidos. A teoria consistiria em fornecer uma explicação das seqüências causais que articulam meios e fins ou, ainda, um modelo plausível de como se espera que o programa deva funcionar. Chen 7 afirma que a teoria do programa busca identificar recursos, atividades, e possíveis resultados desejados e a especificação de uma cadeia causal de premissas ligando tais elementos 8, 9,10.
Autores como Bishop 8, Dahler-Larsen 9, Bledsoe & Graham 10 sugerem que a análise de um programa, com base na teoria, procure avaliar em que medida as atividades desencadeadas provocam um conjunto específico de respostas para atores e beneficiários do mesmo, permitindo comparar os estágios de formulação e implementação. Nesse sentido, tendem a dar ênfase à análise dos mecanismos que levam a uma mudança e não às atividades de funcionamento do programa.
A construção da teoria do programa deve incluir as seguintes atividades: (a) a identificação dos inputs; (b) a descrição das atividades operacionais, as quais representam o modo específico pelo qual o programa é implementado; (c) os resultados obtidos, que representam a cadeia de respostas para cada atividade e; (d) os resultados esperados com a implementação 10.
Dennis & Champagne 11 recomendam que o desenho avaliativo deva ser orientado por um modelo teórico (theory-drive-evaluation - TDE). Assim, a construção de um modelo lógico de avaliação explicitaria os aspectos teórico-metodológicos de análise, descrevendo-se como se espera que um programa exerça sua influência, em uma expectativa contextualizada mensurável e/ou qualificada de sua implantação e, também, os possíveis efeitos de cada componente. Dessa forma, agrega-se como elementos descritivos: (a) a identificação da racionalidade existente entre o desenho do programa e os efeitos esperados (modelo lógico do programa) e (b) a concepção teórico-metodológica subjacente às relações de intervenção e efeitos que podem, como em qualquer pesquisa avaliativa, ser referidas àquelas de uma rede sistêmica e complexa de causalidade.
O programa pode ser tratado em sua pluralidade e, também, na singularidade de subprogramas ou projetos, criados para diferentes perspectivas ou detalhamentos, nunca se tendo apenas um efeito desejado para os seus participantes, mas, um conjunto de efeitos (lógica e hierarquicamente articulados) em uma série de relações associando componentes de serviço e de infra-estrutura, atividades produzidas e resultados de curto e longo prazos 12.
Nessa avaliação, a teoria foi reconstituída baseando-se em reuniões entre a equipe de pesquisa e a coordenação do programa, tendo sido expressa em forma de um modelo lógico (Figura 1) reconstruído a partir do modelo proposto para a Política Nacional de Avaliação da Atenção Básica em Saúde 1.
A avaliação formativa, de caráter normativo, realizada, foi composta por duas etapas: (i) avaliabilidade e (ii) estudo de caso. Tais etapas devem ser levadas em consideração em qualquer análise, uma vez que são pontos de partida para o desenvolvimento de uma avaliação personalizada para um esforço específico na área de saúde pública, em um momento particular da implantação de uma nova intervenção. Como as etapas são interdependentes, elas podem ser encontradas em uma seqüência não linear. No entanto, existe uma ordem para o preenchimento de cada uma delas - etapas anteriores fornecem a base para o progresso subseqüente. Assim, decisões sobre como executar uma etapa são interativas e não devem ser encerradas até que as etapas anteriores tenham sido totalmente abordadas.
O componente "monitoramento e avaliação", integrante da Política Nacional de Avaliação da Atenção Básica em Saúde, apresenta diversas ações estratégicas que apóiam o fortalecimento técnico nas três instâncias de gestão do Sistema Único de Saúde (SUS). E, o projeto Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação passou a ser considerado um componente forte da Política Nacional de Avaliação da Atenção Básica em Saúde no modelo de análise proposto, em que foram construídas as seis dimensões, apresentadas no modelo lógico e transpostas na matriz de auto-avaliação.
As dimensões utilizadas na matriz de auto-avaliação estão apresentadas na Tabela 1, com as suas definições. Os indicadores e critérios foram baseados nas definições das dimensões e nas perguntas avaliativas.
Na Figura 2, ressalta-se a importância da gestão estadual de saúde no processo de institucionalização da avaliação da atenção básica no momento da descentralização das ações de saúde, em andamento no país. O gestor estadual de saúde é visto como o principal articulador e integrador desse processo de institucionalização 13.
Posteriormente, ao modelo lógico do estudo desenvolvido, foi testado um desenho de pesquisa com estudo de casos múltiplos, uma vez ser este adequado para um exame em profundidade das políticas e dos processos de implementação das mesmas. Os estudos de casos múltiplos se baseiam no mesmo marco metodológico usado no estudo de caso único, mas envolve a comparação de um "caso" num determinado contexto com um outro "caso" em um ou mais contextos adicionais. Foram realizadas duas etapas de análise: a interna e a cruzada dos casos, ou analise imbricada. Na primeira, cada caso foi tratado como uma unidade abrangente em si mesma, e os dados analisados e triangulados dentro da integridade deste caso. Em seguida, a análise cruzada procurou desenvolver abstrações por meio dos casos múltiplos. Os resultados da implantação serão objeto de um novo artigo, uma vez que a matriz de auto-avaliação como proposta de utilização numa abordagem rápida foi o resultado escolhido para divulgação e debate num primeiro momento.
Abordagem rápida e matriz de auto-avaliação
A Organização Mundial da Saúde (OMS) desenvolveu o REM com o propósito de avaliar a qualidade dos serviços de saúde, identificar problemas operacionais e apoiar as gerências para definir estratégias locais. Portanto, o REM, além da pronta resposta, visa a desenvolver e implementar intervenções eficazes. O método foi testado entre 1988 e 1991 em cinco países em desenvolvimento - Madagascar, Papua, Nova Guiné, Uganda e Zâmbia com o apoio do Banco Mundial que vem propondo seu uso na avaliação de programas sociais. Um dos méritos desse estudo foi a apresentação matricial, integrando os problemas de saúde e as informações necessárias para avaliação, o que o diferencia dos outros métodos rápidos 2,3.
O REM foi projetado para ser realizado rapidamente, identificando intervenções eficazes e não custosas, que sejam factíveis de uma adoção imediata, realizadas com sucesso e com sustentabilidade local. Esses métodos podem ser modificados, adequando-se a qualquer serviço ou comunidade. Os quatro princípios do REM são: rapidez, uso de múltiplas fontes, pragmatismo e custo-efetividade 2,3,14,15.
A coleta de informações é uma das características principais que distingue as estratégias de avaliação REM de outras estratégias visando ao planejamento de intervenções. Os métodos combinam processos de avaliação tanto qualitativa quanto quantitativa, com ênfase em informações de alta qualidade, confiáveis e factuais. Outra vantagem desse método é que a informação é colhida por meio de diversas fontes, utilizando-se uma variedade de métodos de coleta de dados 15. Esse processo, denominado e recomendado por Yin 16 como triangulação, auxilia a equipe a verificar a continuamente a confiabilidade, validade e interpretação da informação coletada.
Os métodos de coleta mais utilizados são: (i) levantamento de dados e de documentos disponíveis para obter informações gerais e identificar problemas; (ii) questionários auto-aplicáveis; (iii) entrevistas com informantes-chave; (iv) observação direta e; (v) grupo focal. Os estudos epidemiológicos também podem ser utilizados como as coortes retrospectivas ou estudos transversais.
A matriz de auto-avaliação aqui apresentada (Tabela 2) propõe a participação de todos os níveis de decisão, incluindo os profissionais participantes da intervenção. Além da participação dos avaliadores internos, outros pontos considerados foram: objetividade, rapidez, baixo custo, simplicidade e a pronta resposta. A premissa desse modelo é que as SES possam adaptá-lo para sua auto-avaliação incluindo novos indicadores, ou tipos de coleta e fontes de evidência de acordo com as perguntas avaliativas pertinentes.
A matriz foi desenvolvida baseando-se na matriz de análise e julgamento utilizada na avaliação formativa e na adaptação do checklist, "institucionalização da avaliação", de Stufflebeam 17, mediante resposta à seguinte pergunta: "O que uma unidade de avaliação nas Secretarias Estaduais de Saúde necessitaria para institucionalizar a avaliação da atenção básica?". Outros indicadores foram incorporados considerando as atribuições das SES para o monitoramento e avaliação da atenção básica contidas na Política Nacional da Atenção Básica e no Pacto de Gestão 18,19. Ao final, a matriz contemplou indicadores compreendendo as dimensões: (i) gestão técnico-financeira das ações de monitoramento e avaliação; (ii) integração a outros componentes das políticas estadual e nacional de institucionalização do monitoramento e avaliação da atenção básica (intra e intersetorial) e; (iii) desenvolvimento da capacidade avaliativa e dos processos de capacitação em monitoramento e avaliação.
A matriz de auto-avaliação também contempla os tipos de coleta de dados, as fontes de evidências e a pontuação para o estabelecimento do gradiente de implantação. Para isso foram atribuídos pontos às dimensões, baseados nos estudos de caso. A pontuação máxima que cada dimensão poderá alcançar é a resultante dos somatórios do grupo de indicadores de cada dimensão. Para a pontuação foram consideradas, quando pertinentes, as metas estabelecidas e as observações da equipe de avaliadores internos do Ministério da Saúde 5.
É importante frisar que essa classificação, ou mesmo a pontuação estipulada para os indicadores, pode alterar na dependência da mudança associada à intervenção, ou seja, um indicador operacional classificado como básico pela equipe de coordenação poderá ser classificado como imprescindível em outro momento, ou vice-versa, permitindo a valoração diferenciada de mudanças operacionais ou de resultado. Essa flexibilidade permite a adequação das matrizes ao monitoramento e à avaliação de programas em estágios diferenciados de avaliação. Da mesma maneira a SES poderá incluir novos tipos de coleta ou de fontes de evidência, de acordo com o problema a ser avaliado.
Discussão
É inestimável a contribuição que a avaliação formativa pode fornecer para o processo de implantação de um programa, não só no sentido de simplesmente apontar acertos e/ou falhas, mas também de participar no processo de construção, delineando possíveis soluções, reorganizando atividades e serviços, possibilitando caminhos alternativos para maximizar a utilização de recursos disponíveis e uma melhor conscientização tanto dos profissionais como da própria comunidade sobre seus problemas e necessidades 20.
No sentido da incorporação dessas lições, que Patton 21 também denominou de "avaliação para o aprimoramento", ou seja, uma abordagem da avaliação que enfatiza o aprendizado, a melhoria e a identificação dos pontos fortes e fracos do programa, a avaliação formativa foi capaz de produzir um processo de auto-avaliação especialmente a partir da perspectiva dos beneficiados pelo projeto. Em tal abordagem, os usuários, beneficiados e avaliadores colaboraram em conjunto para aprender a serem mais efetivos e como mudar situações que determinam um funcionamento inadequado. Portanto, reforça-se a importância da participação dos usuários durante todo o processo da avaliação.
A concepção adotada neste estudo, considerando a necessidade de uma construção teórica que servisse de base ao desenho avaliativo proposto, permitiu a construção de um modelo teórico, elaborado por avaliadores externos, que periodicamente era discutido com a equipe do Ministério da Saúde. A avaliação formativa realizada resultou na construção de uma matriz de auto-avaliação para auxiliar os gestores e os profissionais responsáveis a avaliar a implementação de medidas com o intuito de: (i) identificar problemas; (ii) viabilizar recursos disponíveis para intervir; (iii) caracterizar fatores que impedem ou facilitam a execução de intervenções e; (iv) desenvolver mecanismos para se avaliar e responder a problemas críticos.
No Brasil, o método REM tem sido utilizado como uma ferramenta para aumentar o rendimento das análises de implantação. Uma das características dos métodos rápidos é desenvolver um estudo operacional, com foco na identificação do problema, nas perguntas avaliativas, nos tipos de coleta de dados, nas fontes de evidência e na análise.
A vantagem da matriz de auto-avaliação proposta é a sua construção a partir de um modelo teórico de avaliação, que teve como base a teoria do programa, dando assim maior validade interna e consistência. Outra vantagem é que todos os indicadores propostos foram testados. Destaca-se que o REM foi utilizado com o objetivo de aumentar o rendimento, tanto em custo, quanto em tempo.
Ainda, a matriz proposta enfatiza a observação de campo com a aquisição de informações de diferentes níveis, possibilitando o seguimento de um padrão hierárquico capaz de refletir a estrutura administrativa das secretarias de saúde e a ênfase maior na quantidade e qualidade do processo do que nos resultados esperados, pois pretende resultados rápidos e úteis para decisões gerenciais na implantação do programa 22.
Uma outra vantagem desse método é o fato de que a informação é adquirida por intermédio de diversas fontes, o que controla a validade interna. Os métodos quantitativo e qualitativo, apesar de suas diferenças, podem ser complementares no planejamento da pesquisa, na coleta de dados e na análise da informação. Esse processo - uso simultâneo de diversas técnicas de coleta e diversas fontes de evidência com o objetivo de uma única resposta - denominado triangulação, auxilia a verificar continuamente a confiabilidade, validade e interpretação da informação coletada. Este é um dos fundamentos do estudo de caso 17.
Enquanto um auxilia na delimitação do problema, na objetividade da coleta de dados e na utilização de técnicas estatísticas, o outro fornece aporte com relação à profundidade e ao detalhamento das informações obtidas 23. "São necessárias múltiplas medidas, usando-se fontes diferentes e métodos diferentes, para garantir que a questão da avaliação seja respondida na íntegra" 24 (p. 385). Um dos grandes desafios da utilização de abordagem mista - quantitativa e qualitativa - é a análise. Como sintetizar essas duas abordagens diferentes?
Os métodos de coleta de dados - quantitativos e/ou qualitativos - vão originar uma abordagem analítica para cada um deles. Dessa forma, a confirmação, a triangulação e a ponderação das evidências podem ser usadas para chegarmos à síntese dos resultados 16. A análise conjunta das diversas fontes de evidências permite o estabelecimento de convergências de informações oriundas de fontes diferentes 16.
O processo de avaliação rápida consiste de inúmeras partes interdependentes, pois as descobertas obtidas com um módulo de avaliação serão relevantes para responder perguntas em outra etapa da avaliação. Um dos princípios centrais do REM é que os módulos de avaliação não são simplesmente utilizados seqüencialmente, mas sim interativamente e cada um combinado ao outro 3.
É importante chamar atenção para o aspecto atribuição, considerado como uma grande dificuldade na avaliação de programas, ou seja, se atribuir impactos de diferentes procedimentos de implantação e distinguir entre os vários fatores potencialmente contribuintes. Essa assertiva encontra consonância com Phillips et al. 25 (p. 2) quando afirmam: "A avaliação formativa promove uma comparação entre os objetivos previstos de um programa e o que realmente está sendo alcançado". A perspectiva final é que este instrumento, utilizado de forma participativa como explicita a proposta, auxilie na identificação daquilo que está sendo alcançado e o que interfere na situação encontrada em diferentes contextos.
Colaboradores
E. Felisberto participou na interpretação dos dados, concepção e redação final do artigo. E. Freese trabalhou na revisão crítica do artigo e redação da versão a ser publicada. S. Natal colaborou na elaboração da metodologia, análise, interpretação dos dados e redação do artigo. C. K. A. Alves contribuiu na pesquisa, análise e interpretação dos dados, na redação e formatação final do artigo.
Referências
1. Coordenação de Acompanhamento e Avaliação, Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Avaliação da atenção básica em saúde: caminhos da institucionalização. Brasília: Ministério da Saúde; 2005.
2. Gadelha AMJ, Coimbra Jr. CEA, Stotz EN, Castiel LD, Hartz ZA, Czeresnia D. The integration of epidemiology and anthropology. Hist Ciênc Saúde-Manguinhos 2000; 6:689-705.
3. McNall M, Foster-Fishman PG. Methods of rapid evaluation, assessment, and appraisal. American Journal of Evaluation 2007; 28:151-68.
4. Bridis C, Hughes DC, Halfon N, Newacheck PW. The use of formative evaluation to assess integrated services for children. Eval Health Prof 1998; 21:77-90.
5. Natal S, Santos EM, Alves CKA, Felisberto E, Santos ES, Sousa A. A implementação do projeto estratégico de fortalecimento da capacidade técnica em monitoramento e avaliação das secretarias de saúde: avaliação formativa e auto-avaliação. In: Hartz, Z, Vieira-da-Silva LM, Felisberto E, organizadores. Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; no prelo.
6. Clemenhagen C, Champagne F. Quality assurance as part of program evaluation: guidelines for managers and clinical departmental heads. QRB Qual Rev Bull 1986; 12:383-7.
7. Chen H-T. Assessing implementation in the mature implementation stage. In: Chen H-T, editor. Practical program evaluation: assessing and improving planning, implementation, and effectiveness. Thousand Oaks: Sage Publications; 2005. p. 155-78.
8. Bishop JEH. Development of a framework for comprehensive evaluation of client outcomes in community mental health services. Canadian Journal of Program Evaluation 2006; 21:133-80.
9. Dahler-Larsen P. From programme theory to constructivism: on tragic, magic and competing programmes. American Journal of Evaluation 2001; 7:331-49.
10. Bledsoe KL, Graham JA. The use of multiple evaluation approaches in program evaluation. American Journal of Evaluation 2005; 26:302-19.
11. Denis JL, Champagne F. Análise da implantação. In: Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 49-88.
12. Framework for program evaluation in public health. MMWR Recomm Rep 1999; 48(RR-11):1-40.
13. Felisberto E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate. Ciênc Saúde Coletiva 2006; 11:553-63.
14. Anker M, Guidotti RJ, Orzeszyna S, Sapirie SA, Thuriaux MC. Rapid evaluation methods (REM) of health services performance: methodological observations. Bull World Health Organ 1993; 71:15-21.
15. Bursztyn I, Ribeiro JM. Avaliação participativa em programas de saúde: um modelo para o Programa de Saúde do Adolescente. Cad Saúde Pública 2005; 21:404-16.
16. Yin RK. Estudo de caso: planejamento e métodos. 3ª Ed. Porto Alegre: Editora Artmed/Bookman; 2005.
17. Stufflebeam DL. O modelo CIPP para avaliação. In: Instituto Fonte, organizador. Introdução à avaliação de programas sociais. São Paulo: Instituto Fonte; 2004. (Coletânea de Textos).
18. Ministério da Saúde. Diretrizes operacionais dos pactos pela vida, em defesa do SUS e de gestão. v. 1. Brasília: Ministério da Saúde; 2006. (Série Pactos pela Saúde).
19. Ministério da Saúde. Política nacional da atenção básica. v. 4. Brasília: Ministério da Saúde; 2006. (Série Pactos pela Saúde).
20. Samico I, Felisberto E, Mendes M. Uso da avaliação formativa para análise de serviços integrados para crianças. Rev IMIP 2000; 14:192-5.
21. Patton MQ. A microcosm of the global challenges facing the field: comentary on HIV/AIDS monitoring and evaluation. In: Rugg D, Peersman G, Carael M, editors. Global advances in HIV/AIDS monitoring evaluations: new directions for evaluation, nº. 103. San Francisco: Jossey-Bass/American Evaluation Association; 2004. p. 163-71.
22. Lee T, Price M. Indicators and research methods for rapid assessment of a tuberculosis control programme: case study of a rural area in South Africa. Tuber Lung Dis 1995; 76:441-9.
23. Richardson RJ. Pesquisa social: métodos e técnicas. São Paulo: Editora Atlas; 1999.
24. Whorten BR, Sanders JR, Fitzpatrick JL. Avaliação de programas: concepções e práticas. São Paulo: Editora Gente; 2004.
25. Phillips CJ, Palfrey CF, Thomas P. Evaluating health and social care. London: MacMillan; 1994.
Correspondência:
E. Felisberto
Grupo de Estudos de Gestão e Avaliação em Saúde
Instituto Materno Infantil Professor Fernando Figueira
Rua dos Coelhos 300, Recife
PE 50070-550, Brasil
eronildo@imip.org.br
Recebido em 07/Nov/2007
Versão final reapresentada em 18/Jan/2008
Aprovado em 26/Fev/2008