ARTIGO ARTICLE

Introdução

A inclusão de uma área temática em Epidemiologia e Avaliação dos Programas de Saúde na Pós-Graduação Stricto Sensu da ENSP/FIOCRUZ, a partir de 1993, colocou-nos o desafio de construir um espaço de formação que fomente a pesquisa na área e, simultaneamente, possa dar respostas aos que buscam na Avaliação uma possibilidade de reorientação para a melhoria da qualidade dos programas nos quais estão inseridos em função técnico-gerencial.

A fundamentação de seus conteúdos e a bibliografia mínima utilizada nos cursos/disciplinas realizados até o momento são a base da discussão que aqui será apresentada, numa tentativa de estabelecermos uma troca de idéias com outros colegas docentes-pesquisadores que também estejam envolvidos com esta problemática. A elaboração deste texto se inspirou na série publicada pela Abrasco (1984) sobre conteúdos programáticos para a Medicina Preventiva e Social. Esperamos estar contribuindo neste mesmo sentido, considerando, pela nossa experiência de participação e contatos em diferentes grupos de trabalho ligados às Universidades e outras instituições, que esta é ainda uma área incipiente no ensino da Epidemiologia. Este problema certamente não é exclusivo da área de avaliação, pois uma discussão acerca das estruturas dos cursos e das abordagens didático-pedagógicas é normalmente negligenciada no espaço acadêmico.

O primeiro esclarecimento que certamente precisamos fazer é sobre como entendemos Avaliação/Avaliador dos Programas de Saúde.

Apesar de reconhecer que existem inúmeras definições de Avaliação, sua essencialidade se localiza no julgamento de valor de uma intervenção. O enfoque no Programa de Saúde ultrapassa os limites da prestação dos serviços, como respostas dirigidas aos problemas de saúde individuais, sem, no entanto, excluí-los, colocando-os na perspectiva das intervenções coletivas que interagem no processo saúde-doença e exigem uma abordagem micro/macro contextual dos profissionais com ela envolvidos. Se as Políticas de Saúde estão relacionadas à melhoria do status de saúde da população, as ações programáticas constituem o suporte operacional no qual elas podem ter sua efetividade analisada.

A compreensão do aluno de pós-graduação que se habilita como Avaliador é a de um profissional que analisa a qualidade da assistência como um fator de proteção/risco inserido entre os determinantes da saúde. Este enfoque exige igualmente que ampliemos os objetivos da formação acadêmica, tradicionalmente mais voltada para a construção do usuário crítico e relevante colaborador de publicações científicas, para contemplar sua dualidade de pesquisador-ator comprometido eticamente com a prática que constitui objeto de sua avaliação. Assim, privilegiamos a abordagem profissional (professional school model) na organização de nossos cursos, também defendida por Fitzpatrick (1994), e que se inspira em trabalhos da década de 70, que vêem a pós-graduação como o espaço de construção do papel do profissional em uma sociedade. Não é suficiente a aquisição de conhecimentos, mas o desenvolvimento de competências que incluem atitudes, valores, interesses e normas da profissão que se quer praticar. Em uma pesquisa mencionada por Mertens (1994), somente 23% dos alunos de pós-graduação em avaliação nos Estados Unidos estavam formalmente vinculados à Academia. Em nossa experiência de ensino, a maioria dos alunos também não está ligada a instituições de pesquisa, e sim aos serviços de saúde, o que reforça a importância da profissionalização.

As competências devem ser de caráter conceitual, mas também técnico-administrativas e comunicativas (interpessoais). A questão é identificar os conteúdos que poderiam facilitar o desenvolvimento destas competências (knowledge and skills).

O que já tinha sido observado por Sanders (apud Fitzpatrick, 1994) continua sendo pertinente: o que parece faltar nos cursos é uma ênfase no desenvolvimento de habilidades práticas e de julgamento. É importante que os alunos atuem em grupo, construindo indicadores e normas sobre situações práticas semelhantes à sua vida profisional: a valoração, mais do que a metodologia, deveria constituir a essência da avaliação de programas.

Mertens (1994), a partir de uma análise de conteúdo em diferentes livros, textos, periódicos (vários deles incluídos na bibliografia por nós adotada) e ementas de cursos, fez uma sistematização que nos parece bastante apropriada, embora ainda não tenhamos podido abrangê-la na sua totalidade. São destacados, em primeiro plano, os conteúdos necessários à capacitação para planejar e conduzir adequadamente uma pesquisa em todas as suas etapas, o que implica familiarizar-se com as metodologias de pesquisa quantitativas e qualitativas: "while individual evaluators may not be expert in all quantitative and qualitative research methods they do need to be able to recomend the most appropriate approach". Em seguida, destaca a importância do conjunto de conhecimentos relacionados à Administração, Comunicação, Filosofia (particularmente a evolução de paradigmas e a ética no julgamento de valores). A Ciência Política e a Economia tornam-se sobretudo fundamentais nos casos de avaliação dos programas governamentais. A Epidemiologia aparece em destaque como a disciplina considerada única em sua especificidade para o campo da Avaliação.

Esta capacidade "natural" da epidemiologia para integrar a avaliação de programas/serviços como seu objeto de investigação é também enfatizada por autores como Donabedian (1985) e Silver (1990), que, inclusive, destacam o papel pioneiro do epidemiologista Paul Lembcke na avaliação dos serviços médico-hospitalares.

Embora a Epidemiologia forneça satisfatoriamente a base quantitativa para os estudos de Saúde Coletiva, vimos que, neste processo de formação, ela é a condição necessária mas não suficiente, e não se pode privilegiar somente desenhos de estudos, controle de viéses e técnicas estatísticas. Esta observação de Weir (1992) é bem ilustrativa: "in terms of teaching, although the purpose is different, health service research can be presented as yet another facet or use of the epidemiological method (...) Seldom will a health service research study be based solely on a single discipline or science (...) the combination of epidemiological or statistical techniques or components of organizational theory or behavioural science that are employed depends on the intended outcome of the particular study".

Uma outra questão é a predominância, quase exclusiva, nos departamentos de Epidemiologia, dos estudos etiológicos para a determinação de doenças, como ressalta Bruce (1991): "the focus of epidemiology in most academic departments is on causation rather than in Health Service Research and in particular to the need for an evaluation of services".

Uma constatação preocupante, que já tivemos a oportunidade de discutir previamente nas reuniões promovidas pela Comissão Nacional de Epidemiologia da Abrasco, é que, quando a Avaliação é contemplada nos cursos de Epidemiologia, ela normalmente se restringe às Análises de Impacto. Sendo assim, omitem-se os problemas metodológicos e operacionais implicados na monitoração dos serviços e análise dos efeitos intermediários, para conhecer o grau de implantação destas intervenções, condição indispensável para a validade do próprio julgamento sobre o Impacto observado (Mohr, 1992). Turcotte (1983), ao encerrar um encontro considerado entre os marcos conceituais da relação da Epidemiologia com os Serviços no Canadá, relembra que, se há unanimidade sobre o fato de a Avaliação ser a principal contribuição da Epidemiologia para a formulação e operacionalização das políticas de saúde, é preocupante que, na fase de implementação dos programas, "epidemiologists and other scientists play a relatively small role". Duas áreas são particularmente enfatizadas para a contribuição da epidemiologia nesta fase que nós chamaremos de análise da implantação ou implementação dos programas de saúde:

1) Organização do Sistema de Informação, que permitirá avaliar a efetividade do programa posteriormente.

2) Desenhar e participar de projetos-piloto experimentais ou estudos de caso para orientar as decisões dos gerentes de programas.

Todas estas considerações serviram de eixo para o conteúdo programático do curso que discutiremos a seguir.

Estrutura do Curso

Nosso curso foi organizado sob a forma de disciplina do Mestrado e Doutorado em Saúde Pública, mas admitindo alunos que atendem aos pré-requisitos correspondentes às disciplinas "Conceitos de Base em Epidemiologia" e "Bioestatística". Inicialmente oferecemos uma modalidade tradicional com quatro créditos, e neste último semestre sob a forma de seminário de leituras (dois créditos). Estamos também experimentando uma estrutura modular em projeto integrado com o Departamento de Planejamento da ENSP e com o Mestrado em Saúde Materno-Infantil (IMIP-PE). Não pretendemos apresentar aqui as (in)conveniências destas diferentes modalidades, o que nos parece bastante precoce, mas comentar a temática e suporte bibliográfico do que poderíamos chamar de "estrutura mínima de capacitação", que temos procurado manter nas diversas modalidades e que divideremos, para efeito didático, em quatro módulos:

Validade dos desenhos epidemiológicos na pesquisa avaliativa

O módulo se inicia com uma breve discussão sobre o conceito de Programa (Denis & Champagne, 1990) ou Ação Programática (Mendes-Gonçalves et al., 1990), e classificação das Pesquisas em Saúde, utilizando-se o esquema proposto por Contandriopoulos et al. (1994), que permite conceituar a Pesquisa Avaliativa na perspectiva de uma associação causal.

Explora-se a analogia entre determinar a efetividade de um programa e estabelecer que as intervenções do programa causaram determinado(s) efeito(s). Para estabelecer a relação causal invocam-se alguns dos critérios propostos por Hill (1965), a saber: existência de associação estatística entre efeito e possível causa, precedência da suposta causa sobre o efeito, eliminação de explicações alternativas para a associação, replicação dos achados em outros estudos e plausibilidade científica dos achados. A idéia de "ameaça à validade interna e à validade externa", conforme apresentada por Campbell & Stanley (1963), é utilizada para discutir o controle de confundimento, de viéses, do acaso; a regressão estatística e outras explicações alternativas para resultados de estudos. Os limites e possibilidades dos principais tipos de desenhos de estudo, desde o experimento (ensaio clínico aleatorizado) até o estudo de casos, para produzir evidência, dando suporte à hipótese de causalidade, são discutidos através da apresentação de trabalhos publicados em que o método epidemiológico foi usado na avaliação de programas. O enfoque é predominantemente metodológico e epidemiológico, sem perder de vista as particularidades da efetividade de programas de saúde como objeto do estudo/avaliação. Por exemplo, os chamados estudos ecológicos que têm grupos como unidades de análise, e que são geralmente considerados em epidemiologia apenas para gerar hipóteses, ganham nova dimensão quando o que se quer é justamente avaliar efeitos sobre grupos que não são bem representados pela simples agregação de efeitos individuais.

Morgenstern (1982) lembra que, freqüentemente, intervenções em populações involvem ações coletivas (uso de cinto de segurança, por exemplo), cuja avaliação não é dirigida à eficácia da intervenção, que já deve ter sido demonstrada quando da implementação do programa. Quando se trata de avaliar a efetividade, a capacidade de implementar a intervenção é que está em foco. Mesmo quando as intervenções são dirigidas a indivíduos, pode ocorrer que o impacto da intervenção na comunidade como um todo inclua efeitos indiretos sobre indivíduos que não receberam eles mesmos a intervenção. Por exemplo, a redução na ocorrência de problemas respiratórios resultante de ações de combate ao tabagismo deve refletir também o benefício da medida para os fumantes passivos.

Alguns exercícios simulados na avaliação de intervenções (Fink, 1993; Oleske, 1995) ajudam na construção das questões de pesquisa, definição de variáveis e identificação de viéses associados aos diferentes desenhos.

Validade e confiabilidade de medidas

Inicialmente procura-se conceituar a confiabilidade e a validade das medidas relacionadas à qualidade da estrutura e do processo de atendimento, bem como seus efeitos na saúde populacional, baseando-se na discussão dos textos de Brennan et al. (1989), Camacho (1994) e Carmines & Zeller (1979).

Aqui trabalha-se a noção de que a avaliação se apóia em medidas e classificações que resultam de processos imperfeitos de mensuração. Dessa forma, todo processo de mensuração poderia ser visto como uma tentativa de aproximação do valor real de um atributo, cujos valores observados trazem necessariamente embutidos desvios que resultam das imperfeições dos métodos. A discussão da natureza dos erros (sistemático e aleatório) no processo de mensuração permite introduzir os conceitos de validade e confiabilidade de medidas, bem como as estratégias para minimizar os erros correspondentes. Métodos de medida de baixa capacidade de replicar resultados semelhantes, quando aplicados em situações semelhantes (baixa confiabilidade), provocam a atenuação de correlações entre variávies, perda de poder estatístico e baixa acurácia (ou validade). A idéia de que a confiabilidade é uma condição necessária, mas não suficiente, para a validade é desenvolvida em conjunto com os conceitos de validade de conteúdo, de critério e de construção. Espera-se que os métodos (e seus respectivos instrumentos) de medida contemplem todas as dimensões do fenômeno ou atributo que se quer medir (validade de conteúdo), que as medidas concordem com critérios definidos por outros métodos tomados como referência (validade de critério) e que exista uma teoria estabelecida que permita correlacionar o conceito que está sendo medido com a medida empírica gerada pelo processo de mensuração (validade de construção). Esta última é particularmente relevante para a escolha e construção de indicadores de efetividade e avaliação de qualidade, para os quais referências para validade de critério não estão disponíveis. O processo de validação, nestes casos, equivale ao teste da teoria que dá suporte ao indicador.

Um exemplo de construção apresentado é o da qualidade do atendimento médico para a qual não existe critério único de referência. Nesse caso, os elementos da atenção médica tidos como essenciais para garantir os melhores resultados possíveis comporão o instrumento de avaliação de qualidade que servirá de base para o julgamento sobre a qualidade. Se o instrumento mede realmente a qualidade, ou seja, se é correto inferir melhor qualidade nos casos em que o instrumento indica melhor desempenho, espera-se que estes casos também apresentem desfechos mais favoráveis. Ou seja, espera-se uma correlação entre a mortalidade intra-hospitalar, a taxa de infecção hospitalar, o tempo de permanência etc., com o escore de qualidade gerado pelo instrumento de avaliação de qualidade.

Neste módulo torna-se particularmente importante a realização de exercícios, simulando-se técnicas de consenso para elaboração de instrumentos de medida, definindo-se indicadores e padrões, para as questões ou objetivos específicos, que favoreçam uma maior validade de construção e de conteúdo das medidas efetuadas. O texto de Clemenhagen & Champagne (1986), orientando na escolha dos focos da avaliação, e o capítulo de monitoração de Rossi & Freeman (1993) são excelentes guias para o trabalho. Já utilizamos também o Manual de acreditação hospitalar da OPAS (1992) e outros estudos sobre condições traçadoras e eventos-sentinela (Kessner, 1992; Hartz, 1995). Para uma revisão sumária das técnicas de consenso sugerimos Fávaro & Ferris (1991).

Pressupostos teórico-práticos na escolha dos modelos de avaliação

As bases desta discussão são dadas pela tipologia proposta por Contandriopoulos et al. (1992), que vem evoluindo de uma modelagem mais elementar, já publicada em 1985 na Révue d'Épidémiologie et Santé Publique, a uma apresentação mais complexa dos programas de saúde, considerando as inter-relações entre seus componentes e o contexto de sua inserção. O texto foi enriquecido com um histórico dos paradigmas e prioridades que caracterizam as diversas "gerações de avaliadores" e a incorporação da contribuição das diferentes disciplinas na modelagem atual dos programas. O desconhecimento da estrutura teórica da rede de causalidade de grande parte dos programas já em funcionamento e o reconhecimento da existencia de adaptações contextuais, em programas cujo grau de implantação é ignorado, tornam a avaliação extremamente complexa. Esta caracterização de nossa realidade exige que se concentre a atenção dos alunos em experiências sobre Análise das Intervenções (modelo teórico ou o "constructo" da intervenção) e Análise de Implantação/Implementação dos programas de saúde, sendo trabalhados os textos de Buckner (1991), Hartz (1993), Yin (1993) e Mercer & Goel (1994). A análise de implantação se distingue das abordagens descritivas porque permite estabelecer como a variação no grau de implantação (avaliação da estrutura e processo) atua sobre os efeitos da intervenção e como interagem as variáveis contextuais, o que amplia sua validade externa.

No que concerne mais especificamente às abordagens multidisciplinares ou ditas "triangulares", recomendamos os textos de Hall & Dornan (1988), Guba & Lincoln (1989), Smith (1989), Anker (1993), Yin (1994) e Luepker et al. (1994) .

Meta-avaliação, institucionalização e profissionalização dos avaliadores

É chegado também o momento de discutir o que poderíamos chamar "qualidade de uma avaliação da qualidade das ações programáticas" ou meta-avaliação. A idéia é introduzir simultaneamente a noção de socialização da profissão, à medida em que são apresentados os Standards for Program Evaluation das Associações Canadense e Americana para Avaliação de Programas. A discussão do texto de Whorten (1994) é fundamental, fazendo um histórico da origem destas associações a partir da necessidade de avalição dos programas de investimentos públicos, particularmente destinados às populações pobres, e do caráter pluridisciplinar de seus membros.

Nossa preocupação não é de caráter corporativista, mas a tentativa de que os estudantes não só conheçam a literatura da área, como também possam compreender a construção da especialidade em suas próprias bases organizacionais.

O texto de McQueen (1992) enfoca, com muita propriedade, as políticas de Institucionalização da Avaliação nas organizações federais, tomando como exemplo o caso do Canadá, ao passo que o texto de Scriven (1995) trata das diferentes modalidades de inserção institucional em seus aspectos financeiros e éticos. Aproveitamos para realçar a importância desta ética de participação e questionamento, não como um conhecimento legal e sistemático, mas que leva o profissional a se preocupar com a natureza e implicação do que ele faz enquanto ator inserido em um estudo com implicações sobre o desenvolvimento comunitário, através do acesso a bens e serviços de qualidade.

A inclusão do texto de Holmes et al. (1993) na última aula nos parece uma espécie de síntese das diretrizes teórico-práticas detalhadas anteriormente.

O trabalho final do curso prevê a elaboração de um projeto de pesquisa a ser acompanhado pelos docentes, ou, pelo menos, um plano de avaliação no caso dos cursos mais curtos e/ou com dificuldade de orientação. Considerando que ainda estamos concluindo a segunda experiência, não temos elementos suficientes para julgar os resultados deste processo de formação, mas esperamos, no futuro, poder organizar alguns reencontros de egressos que nos permitam apreciar os resultados de nosso trabalho e tê-los como parceiros de novas propostas de ensino-pesquisa.

Conclusão

Na origem deste projeto de formação está o compromisso de seus docentes em tentar compartilhar o aprendizado de suas experiências, como estudantes de Doutorado que foram, preocupados com a construção de modelos que viabilizassem a resposta às suas questões de pesquisa, voltadas para a melhoria da qualidade da assistência.

O propósito deste projeto foi de também querer estar contribuindo (e sensibilizando outros colegas a fazerem o mesmo) com a resolutividade da problemática nacional destacada no Plano Diretor da Epidemiologia (Abrasco, 1995): "Insuficiência de estudos epidemiológicos que permitam avaliar a necessidade, adequação e efetividade dos serviços prestados". Algumas estratégias sugeridas no documento devem ser vistas como objetivos/ambições a serem assumidas por estes e outros projetos para qualificação de avaliadores:

• Estimar o grau de implantação dos programas e correlacioná-los com os indicadores de impacto.

• Disponibilizar e validar informações dos aspectos quantitativos e qualitativos da assistência prestada.

• Considerar o monitoramento dos processos como etapa imprescindível à avaliação dos programas de saúde.

• Buscar formas de superar a desarticulação entre os diferentes níveis de atenção.

• Fomentar as pesquisas relativas à resolutividade dos serviços.

• Estimular a abordagem multidisciplinar

Talvez seja tido como ousadia apresentar uma proposta, que julgamos ainda em construção, da introdução da Avaliação de Programas aos que já têm a epidemiologia em sua base de formação ou, como tem ocorrido particularmente no lato sensu, introduzir a epidemiologia como pré-requisito aos que desejam se introduzir à Avaliação de Programas. Tivemos como eixo de nossa organização de curso/disciplina a preocupação de que a aprendizagem não pode se limitar ao âmbito universitário ou acadêmico, pois as qualificações devem sempre cumprir a função de instrumentalizar o estudante na sua relação com o trabalho em sociedade, mesmo que isto implique assumir o risco de investigações complexas, ampliando a utilização dos aportes de outras disciplinas ao lidar com dados nem sempre fáceis de serem dimensionados por atributos quantitativos ou "objetivos".

Embora a pesquisa avaliativa receba contribuição de diferentes disciplinas, o paralelismo existente nas reflexões epistemológicas ou abordagens metodológicas se espelham também nas linhas de investigações, sem permitir uma apreciação de programa em sua complexidade, acentuando divisões a serem minimizadas no processo de avaliação entre as contribuições da pesquisa biomédica e organizacional, a atenção individual e coletiva, as dimensões macro/micro teóricas da modelagem e, sobretudo, entre a academia e os serviços.

Hierarquizar a complexidade da investigação entre serviço e academia é tão inútil/improdutivo quanto ignorar suas diferenças e especificidades. Apesar de reconhecermos que um nível de separação entre serviço e academia é inevitável, e mesmo desejável, um esforço permanente deve ser empreendido para a elaboração/execução de projetos colaborativos e interdisciplinares que propiciem a oportunidade de pesquisa em serviços no ambiente acadêmico, assegurando a validade almejada e, ao mesmo tempo, dando aos epidemiologistas a experiência da prática dos sistemas e serviços de saúde dos níveis local e regional.

Se a formação não propiciar subsídios de integração, as "equipes" jamais terão a Indisciplinaridade, que deve caracterizar um projeto de avaliação com o enfoque da "triangulação", ou seja, o emprego de múltiplas teorias, métodos e procedimentos de coleta e análise de dados para o estudo adequado do problema. O termo "indisciplinaridade" traz um novo significado para a "(inter/trans)disciplinaridade", na qual cada disciplina isolada ainda continua com a "sua própria cegueira e sua própria arrogância", tentando definir fronteiras (Morin, 1990)

Referências

ABRASCO (Associação Brasileira de Saúde Coletiva), 1984. Ensino da Saúde Pública, Medicina Preventiva e Social no Brasil. Rio de Janeiro: Abrasco.         

ABRASCO (Associação Brasileira de Saúde Coletiva), 1995. Plano Diretor de Epidemiologia. Versão preliminar. Rio de Janeiro: Abrasco. (mimeo.)         

ANKER, M.; GUIDOTTI, R. J.; ORZESZYNA, S.; SAPIRIE, S. A. & THURIAUX, M. C., 1993. Rapid evaluation methods (REM) of health services performance: methodological observations. Bulletin of the World Health Organization, 71:15-21.         

BRENNAN, T. A.; LOCALIO, R. J. & LAIRD, N. L., 1989. Reliability and validity of judgements concerning adverse events suffered by hospitalized patients. Medical Care, 27:1148-1158.         

BRUCE, N. G., 1991. Epidemiology and the new public health: implications for training. Social Science and Medicine, 32:103-106.         

BUCKNER, J. C., 1991. Pathways into homelessness: an epidemiological analysis. New Directions for Program Evaluation, 52:17-30.         

CAMACHO, L. A. B., 1994. Assessment of the Validity and Reliability of Generic Screening for Hospital Quality Assessment. Tese de Doutorado, Baltimore: School of Hygiene and Public Health, Johns Hopkins University.         

CAMPBELL, D. T. & STANLEY, J. C., 1963. Experimental and Quasi-Experimental Designs for Research. Chicago: Rand McNally.         

CARMINES, E. G. & ZELLER, R. A., 1979. Reliability and Validity Assessment. Beverly Hills: Sage Publications.         

CLEMENHAGEN, C. & CHAMPAGNE, F., 1986. Quality assurance as part of program evaluation: guidelines for managers and clinical departmental heads. Journal of Quality Assurance, 12:383-387.         

CONTANDRIOPOULOS, A. P.; CHAMPAGNE, F.; DENIS, J. L. & PINEAULT, R., 1992. L'Évaluation dans le Domaine de la Santé: Concepts et Méthodes. Montréal: Université de Montréal.         

CONTANDRIOPOULOS, A.P.; CHAMPAGNE, F.; POTVIN, L.; DENIS, J. L. & BOYLE, P., 1994. Saber Preparar uma Pesquisa. São Paulo: Hucitec/Rio de Janeiro: Abrasco.         

DENIS, J. L. & CHAMPAGNE F., 1990. L'analyse de l'implantation: modèles et méthodes. Revue Canadienne d'Évaluation de Programme, 5:47-67.         

DONABEDIAN, A., 1985. The epidemiology of quality. Inquiry, 22:282-292.         

FÁVARO, P. & FERRIS, L. E., 1991. Program evaluation with limited fiscal and human resources. In: Evaluation Methods Sourcebook (A. J. Love, ed.), pp. 4-25, Ottawa: Canadian Evaluation Society.         

FINK, A. 1993. Evaluation Fundamentals. Newbury Park: Sage Publications.         

FITZPATRICK, J. L., 1994. Alternative models for the structuring of professional preparation programs. The Preparation of Professional Evaluators, 62:41-50.         

GUBA, E. G. & LINCOLN, Y. S., 1989. Fourth Generation Evaluation. Newbury Park: Sage Publications.         

HALL, J. & DORNAN, M. C., 1988. What patients like about their medical care and how often they are asked: a meta-analysis of the satisfaction literature. Social Science and Medicine, 27:935-939.         

HARTZ, Z. M. A., 1993. Évaluation du Programme de Santé Infantile dans une Région du Nord-Est du Brésil. Tese de Ph.D, Montréal: Faculté de Médeci-ne, Université de Montréal.         

HARTZ, Z. M. A, 1995. Vigilância epidemiológica da mortalidade infantil. Contribuição à planifica-ção dos programas de saúde da criança. Pediatria Atual, 8:31-34.         

HARTZ, Z. M. A. Uso de traçadores para avaliação de qualidade da assistência à criança: O controle da doença diarréica e das infecções respiratórias agudas em dois centros de saúde. Revista do Instituto Materno-Infantil de Pernambuco (no prelo).         

HILL, A. B., 1965. The environment and disease: association or causation? Proceedings of the Royal Society of Medicine, 58:295-300.         

HOLMES, D.; TERESI, J. & ORY, M., 1993. Serendipity and pseudoscience. Evaluation and the Health Professions, 16:363-378.         

KESSNER, D. M.; CAROLYN, E. K & SINGER, J., 1992. Evaluación de la calidad de la salud por el método de los procesos trazadores. In: Investigaciones sobre Servicios de Salud (K. L. White, ed.), pp. 555-563, Washington D. C.: Organización Panamericana de la Salud.         

LUEPKER, R. V.; MURRAY, D. M.; JACOBS, D. R.; MITTELMARK, M. B.; BRACHT, N.; CARLAE, R.; GROW, R.; ELMER, P.; FINNEGAN, J.; FOLSOM, A. R.; GRIMM, R.; HANNAN, P. J.; JEFFREY, R.; LANDO, H.; McGOVERN, P.; MULLIS, R.; PERRY, C. L.; PECHACEK, T.; PIRIE, P.; SPRAFKA, M.; WEISBROD, R. & BLACKBURN, H., 1994. Community education for cardiovascular disease prevention: risk factor changes in the Minnesota heart health program. American Journal of Public Health, 84:1383-1393.         

McQUEEN, C., 1992. Program evaluation in the Canadian Federal Government. In: Action Oriented Evaluation in Organizations (J. Hudson, J. Mayne & R. Thomlison, eds.), pp. 28-47, Toronto: Wall & Emerson.         

MENDES-GONÇALVES, R. B. M. G.; SCHRAIBER, L. B. & NEMES, M. I. N., 1990. Seis teses sobre a ação programática em saúde. In: Programação em Saúde Hoje (L. B. Schraiber, ed.), pp. 37-63, São Paulo: Hucitec.         

MERCER, S. L. & GOEL, V., 1994. Program evaluation in the absence of goals: a comprehensive approach to the evaluation of a population-based breast cancer screening program. Canadian Journal of Program Evaluation, 9:97-112.         

MERTENS, D. M., 1994. Training evaluators: unique skills and knowledge. New Directions for Program Evaluation, 62:17-27.         

MOHR, L. B., 1992. Impact Analysis for Program Evaluation. Beverly Hills: Sage Publications.         

MORGENSTERN, H., 1982. Uses of ecologic analysis in epidemiologic research. American Journal of Public Health, 72:1336-1344.         

MORIN, E., 1990. Communication et Complexité. Introduction à la Pensée Complexe. Paris: ESF Editeur.         

OLESKE, D. M., 1995. Epidemiology and the Delivery of Health Care Services. New York: Plenum Press.         

ROSSI, P. H. & FREEMAN, H. E., 1993. Program monitoring for evaluation and management. In: Evaluation: A Systematic Approach (P. H. Rossi & H. E. Freeman, eds.), pp. 163-213, Beverly Hills: Sage Publications.         

SCRIVEN, M., 1995. Evaluation consulting. Evaluation Practice, 16:47-57.         

SILVER, G. A., 1990. Paul Anthony Lembcke: a pioneer in medical care evaluation. American Journal of Public Health, 80:342-348.         

SMITH, G. S., 1989. Development of rapid epidemiologic assessment methods to evaluate health status and delivery of health services. International Journal of Epidemiology, 18(suppl.):2-15.         

TURCOTTE, F., 1983. The uses of epidemiology in health services policy: a discussion. In: Investigaciones sobre Servicios de Salud (K. L. White, ed.), pp. 555-563, Washington D. C.: Organización Panamericana de la Salud.         

WEIR, R. D., 1992. Epidemiology in health services research. In: Teaching Epidemiology. (J. Olsen & D. Trichopoulos, eds), New York: Oxford University Press.         

WHORTEN, B. R., 1994. Is evaluation a mature profession that warrants the preparation of evaluation professionals? In: The Preparation of Professional Evaluators: Issues, Perspectives and Programs (J. W. Alrschuld & M. Engle, eds.), pp. 3-15, San Francisco: Jossey-Bass Publishers.         

YIN, R. K., 1993. Case study designs for evaluating high-risk youth programs: the program dictates the design. In: Applications of Case Study Research (R. K. Yin, ed.), pp. 77-93, Newbury Park: Sage Publications.         

YIN, R. K., 1994. Discovering the future of the case study method in evaluation research. Evaluation Practice, 15:283-290.