Resumo:
Analisamos as relações entre duas subáreas da Saúde Coletiva - Planejamento e Avaliação - por meio de estudo bibliométrico de artigos, teses e dissertações, no período entre 1980 e 2016. A produção global relativa à Avaliação supera aquela do Planejamento, com predomínio acentuado a partir de meados da década de 2000. A capacidade de influenciar a gestão do setor Saúde parece impelir a disputa entre as duas subáreas. Considera-se que ambas têm recursos teóricos e metodológicos para superar suas reduções pela lógica instrumental do chamado gerencialismo, e se firmarem como dispositivos de reflexão e mudança.
Palavras-chave:
Avaliação em Saúde; Planejamento em Saúde; Gestão em Saúde; Indicadores Bibliométricos
Abstract:
The authors analyze the relations between two subareas of Collective Health - Planning and Evaluation - through a bibliometric study of articles, theses, and dissertations published from 1980 to 2016. The overall production on Evaluation exceeds that of Planning, particularly since the 2000s. The capacity to influence health sector administration appears to drive the dispute between the two subareas. Both have theoretical and methodological resources to overcome their reductions under the instrumental logic of so-called managerialism, as well as to consolidate themselves as devices for reflection and change.
Keywords:
Health Evaluation; Health Planning; Health Management; Bibliometric Indicators
Resumen:
Analizamos las relaciones entre dos subáreas de la Salud Colectiva -Planificación y Evaluación- mediante un estudio bibliométrico de artículos, tesis y disertaciones, durante el período entre 1980 y 2016. La producción global relativa a la Evaluación supera a la de la Planificación, con un predominio acentuado a partir de mediados de la década del 2000. La capacidad de influenciar en la gestión del sector salud parece impulsar la disputa entre las dos subáreas. Se considera que ambas tienen recursos teóricos y metodológicos para superar sus reducciones por la lógica instrumental del denominado gerencialismo, y se afianzan como dispositivos de reflexión y cambio.
Palabras-clave:
Evaluación en Salud; Planificación en Salud; Gestión en Salud; Indicadores Bibliométricos
Introdução
No âmbito das políticas públicas, no Brasil, a avaliação vem consolidando-se nas áreas da saúde, educação e bem-estar social, equiparando-se aos Estados Unidos, país pioneiro na formulação e implantação de práticas avaliativas 11. Crumpton CD, Medeiros JJ, Ferreira VRS, Sousa MM, Najberg E. Avaliação de políticas públicas no Brasil e nos Estados Unidos: análise da pesquisa nos últimos 10 anos. Rev Adm Pública 2016; 50:981-1001.. Especificamente na Saúde Coletiva, estudo sobre o subespaço da Avaliação aponta contínuo distanciamento e autonomia relativa do mesmo em relação ao Planejamento, à Epidemiologia e às Ciências Sociais, adquirindo especificidades teóricas e metodológicas 22. Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saúde Pública 2014; 30:2643-55.. Ainda que Planejamento e Avaliação sejam considerados etapas distintas de um mesmo processo e, em uma visão funcionalista, componham sequências desejáveis do ciclo de políticas públicas, ambas guardam significativas diferenças entre si. O desenvolvimento dos pensamentos em Planejamento e Avaliação no interior da Saúde Coletiva apresenta particularidades, sendo que a entrada e significativa expansão de práticas avaliativas, na última década, e suas implicações para o Planejamento precisam ser analisadas.
O Planejamento na Saúde Pública latino-americana foi especialmente difundido a partir do final dos anos 1970, quando a planificação normativa foi duramente criticada pela centralidade no aspecto econômico. A partir daí, foi configurado o denominado enfoque estratégico de Planejamento, sob influência do pensamento estratégico de Mario Testa (sanitarista argentino) e da planificação situacional de Carlos Matus (economista chileno), que consideraram a necessidade de planejar em contextos de conflitos ou colaborações entre os agentes, o que começava a ser viável na conjuntura de declínio dos regimes de exceção na América Latina 33. Campos RO. O planejamento no labirinto: uma viagem hermenêutica. São Paulo: Editora Hucitec; 2003.,44. Rivera FJU, Artmann E. Planejamento e gestão em saúde: histórico e tendências com base numa visão comunicativa. Ciênc Saúde Coletiva 2010; 15:2265-74.. Outros autores, como Mintzberg et al. 55. Mintzberg H, Ahlstrand B, Lampel J. Safari de estratégia: um roteiro pela selva do planejamento estratégico. Porto Alegre: Bookman; 2000., abordaram as várias correntes do planejamento estratégico, porém em uma vertente mais próxima do setor produtivo privado, distante das preocupações políticas dos autores latino-americanos citados.
A entrada do pensamento donabediano na subárea de Política, Planejamento e Gestão da Saúde Coletiva representa o efetivo ingresso da avaliação no interior de um espaço, até então, restrito às temáticas da formulação de políticas e do planejamento. A influência de Donabedian nas discussões e práticas da avaliação no Brasil foram reconhecidas, no final da década de 1980, quando afirmou-se que “dificilmente são encontrados artigos na literatura que não se baseiem ou citem, com destaque, o trabalho desse autor” 66. Reis EJFB, Santos FP, Campos FE, Acúrcio FA, Leite MTT, Leite MLC, et al. Avaliação da qualidade dos serviços de saúde: notas bibliográficas. Cad Saúde Pública 1990; 6:50-61. (p. 53) e seu pensamento permitiu articulações da Avaliação com os referenciais hegemônicos do Planejamento e Gestão no contexto da Reforma Sanitária Brasileira da época 77. Novaes HMD. Epidemiologia e avaliação em serviços de atenção médica: novas tendências na pesquisa. Cad Saúde Pública 1996; 12 Suppl 2:7-12., como atestam os trabalhos de Lynn Silver 88. Silver L. Aspecto metodológicos em avaliação dos serviços de saúde. In: Gallo E, Rivera FJU, Machado MH, organizadores. Planejamento criativo: novos desafios em políticas de saúde. Rio de Janeiro: Relume-Dumará; 1992. p. 195-210., pioneira no estabelecimento de interlocuções entre a área do Planejamento em Saúde e a Avaliação de inspiração donabediana. Com o advento da Avaliação, tem-se a peça que faltava para completar o chamado ciclo de análise das políticas públicas 99. Howlett M, Ramesh M. Studying public policy: policy cycles and policy subsystems. Toronto: Oxford University Press; 1995., que passa a integrar o eixo disciplinar Planejamento e Gestão de Sistemas e Serviços de Saúde, aprovado na Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), em 1993.
A análise da produção de conhecimento em Planejamento e Gestão na saúde e suas relações com as políticas deste mesmo setor no Brasil, no período de 1974 a 2000, demonstra o surgimento da temática do Planejamento como objeto de investigação no período compreendido entre 1980-1986 e, por sua vez, a avaliação de processos emergiu entre 1990-2000 1010. Levcovitz E, Baptista TWF, Uchôa SAC, Nespoli G, Mariani M. Produção do conhecimento em política, planejamento e gestão em saúde e políticas de saúde no Brasil (1974-2000). Brasília: Ministério da Saúde/Organização Pan-Americana da Saúde; 2003.. Nas palavras dos autores, a “...avaliação ainda não se destacaria como um momento específico, começando a apresentar sinais nas duas últimas fases. A fase de avaliação corresponde a um momento da política que se dedica aos resultados obtidos pela política implementada em contraposição às propostas...” 1010. Levcovitz E, Baptista TWF, Uchôa SAC, Nespoli G, Mariani M. Produção do conhecimento em política, planejamento e gestão em saúde e políticas de saúde no Brasil (1974-2000). Brasília: Ministério da Saúde/Organização Pan-Americana da Saúde; 2003. (p. 29).
A importância das questões políticas, éticas e epistemológicas envolvendo Avaliação e Planejamento é relevante 99. Howlett M, Ramesh M. Studying public policy: policy cycles and policy subsystems. Toronto: Oxford University Press; 1995.,1111. Schraiber LB, Peduzzi M, Sala A, Nemes MIB, Castanhera ERL, Kon R. Planejamento, gestão e avaliação em saúde: identificando problemas. Ciênc Saúde Coletiva 1999; 4:221-42., mas vem sendo abordada de maneira circunscrita ao interior de cada uma delas, tanto no Planejamento 33. Campos RO. O planejamento no labirinto: uma viagem hermenêutica. São Paulo: Editora Hucitec; 2003.,44. Rivera FJU, Artmann E. Planejamento e gestão em saúde: histórico e tendências com base numa visão comunicativa. Ciênc Saúde Coletiva 2010; 15:2265-74.,1212. Mattos RA. (Re)visitando alguns elementos do enfoque situacional: um exame crítico de algumas das contribuições de Carlos Matus. Ciênc Saúde Coletiva 2010; 15:2327-36. quanto na Avaliação 1313. Tanaka OY, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Ciênc Saúde Coletiva 2012; 17:821-8.,1414. Monitoramento e avaliação em saúde para a ação. Saúde em Debate 2017; 41(spe)., carecendo de análises que considerem justamente as interações entre ambas. Nesse sentido, constitui objeto do presente estudo analisar as implicações da significativa ampliação do interesse pela temática da Avaliação em Saúde nos últimos anos - evidenciado pelo maior volume de publicações indexadas da mesma - sobre o Planejamento em Saúde. Constitui nosso pressuposto que a expansão da Avaliação se faz em detrimento do Planejamento, em contexto de disputa pela capacidade em influenciar a gestão pública no setor Saúde.
Método
Adotou-se a pesquisa bibliométrica, que permite descrever volume de publicações, autores e vínculos institucionais, dentre outros, a respeito de determinada área 1515. Araújo CA. Bibliometria: evolução histórica e questões atuais. Em Questão 2006; 12:11-32.. Dado o propósito em identificar eventuais repercussões do aumento do interesse pela temática da Avaliação sobre o Planejamento no Brasil, utilizamos as bases Literatura Latino-Americana e do Caribe em Ciências da Saúde (LILACS) e Scientific Electronic Library Online (SciELO) que, dentre outros, agregam estudos pertinentes às três áreas que compõem a Saúde Coletiva - Epidemiologia; Política, Planejamento e Gestão; Ciências Humanas e Sociais em Saúde. Inicialmente, definimos como fonte de dados as oito revistas nacionais presentes na base SciELO, que apresentaram o maior número de publicações quando, no primeiro momento, foi utilizada a expressão “Planejamento em Saúde”, sem especificação de período, de modo a determinar periódicos com mais tradição de publicação sobre a temática do Planejamento.
Considerando-se a ordem decrescente de volume de artigos originários desse processo, obtivemos os seguintes periódicos: Cadernos de Saúde Pública, Ciência & Saúde Coletiva, Saúde em Debate, Saúde e Sociedade, Revista de Saúde Pública, Physis, Interface e Revista Brasileira de Epidemiologia. Num segundo momento, realizou-se o levantamento de artigos nessas oito revistas por meio dos descritores “Avaliação em Saúde” e “Planejamento em Saúde” nas duas bases de dados (SciELO e LILACS), no período compreendido entre 1980 e 2016. Esse período foi definido com base na periodização proposta por Levicovitz et al. 1010. Levcovitz E, Baptista TWF, Uchôa SAC, Nespoli G, Mariani M. Produção do conhecimento em política, planejamento e gestão em saúde e políticas de saúde no Brasil (1974-2000). Brasília: Ministério da Saúde/Organização Pan-Americana da Saúde; 2003. já citada, que identifica nos anos 1980 o surgimento da temática do Planejamento como objeto, e a atualidade.
De modo a ampliar as fontes de dados, por meio de triangulação, realizamos levantamento de dissertações e teses constantes nas bases Capes e LILACS, utilizando-se, respectivamente, as palavras-chave “Planejamento em Saúde” e “Avaliação em Saúde”, excluindo-se os resultados referentes a programas de pós-graduação de outros países que não o Brasil. Estabelecemos para artigos, dissertações e teses o período compreendido entre 1980 - novamente com base em Levcovitz et al. 1010. Levcovitz E, Baptista TWF, Uchôa SAC, Nespoli G, Mariani M. Produção do conhecimento em política, planejamento e gestão em saúde e políticas de saúde no Brasil (1974-2000). Brasília: Ministério da Saúde/Organização Pan-Americana da Saúde; 2003. - acrescentando-se o período posterior à última fase, até 2016. Tal período abarca a trajetória de desenvolvimento e consolidação tanto do Planejamento quanto da Avaliação no interior da Saúde Coletiva.
O privilégio às bases LILACS e SciELO é decorrente de nosso interesse pelo plano nacional. Podem haver, no entanto, publicações em outras revistas internacionais inseridas exclusivamente em outras bases. Dadas as limitações de realização de estudo bibliométrico de livros por meio de busca virtual, optamos por triangular com a base Capes de dissertações e teses.
Para construir a Tabela 1 referente à produção científica sobre a temática em análise, foram identificados os números de artigos (absolutos e relativos) por periódico e por termo descritor, e a quantidade de artigos com interlocução entre os termos, ou seja, que apresentavam simultaneamente como descritores “Avaliação em Saúde” e “Planejamento em Saúde”. Os 399 artigos foram consultados manualmente para identificar se o termo “Gestão em Saúde” e suas variações foram utilizados como descritores ou mencionados no resumo, resultando em um total de 46 artigos, sendo eles coincidentemente divididos equitativamente nas categorias Avaliação e Planejamento, com 23 para cada. Valendo-se do corpus constituído por 211 artigos sobre Avaliação em Saúde e 188 sobre Planejamento em Saúde, foram identificadas as autorias de todos os artigos, e para aqueles coletados com et al verificou-se a lista completa a fim de incluir todos os autores no estudo.
Resultados
No período analisado, observa-se maior número de publicações em formato de artigo contendo o assunto “Avaliação em Saúde” quando comparado àquelas cujo assunto é “Planejamento em Saúde”. No total, 211 publicações são concernentes à Avaliação em Saúde e 188 referem-se às temáticas do Planejamento, no conjunto das oito revistas consideradas, totalizando 399 artigos. Maior volume global de publicações em torno da temática da Avaliação do que em Planejamento em Saúde, no entanto, não se reproduz igualmente no interior dessas revistas quando analisadas separadamente (Tabela 1).
Cadernos de Saúde Pública, com 35% dos artigos do corpus analisado, apresentou predomínio daqueles de “Planejamento em Saúde” (55%). Esse periódico exibiu valores substanciais de artigos com ambos os termos, evidenciando sua importância para a comunicação do conhecimento da temática sob análise. A Revista de Saúde Pública destacou-se como o periódico com o maior percentual de concentração de trabalhos sobre a temática do “Planejamento em Saúde” (73%), seguido de Saúde e Sociedade com 58%.
A Revista Brasileira de Epidemiologia é o periódico com o maior percentual de trabalhos sobre a temática “Avaliação em Saúde” em relação a “Planejamento em Saúde” (80%), seguido de Interface (78%), Physis (76%), Ciência & Saúde Coletiva (65%) e Saúde e Sociedade (55%). O total de artigos sobre “Avaliação em Saúde” (211) foi superior ao de “Planejamento em Saúde” (188), evidenciando a tendência de mais publicações sobre esta temática. Ao analisar a incidência do termo Gestão em Saúde nos descritores dos artigos que compõem o corpus em estudo, identificou-se o total de 46 artigos, sendo metade deles (23) recorrente nos artigos sobre “Planejamento em Saúde” e a outra metade (23) naqueles de “Avaliação em Saúde”.
Quando levados em conta os subperíodos do período total estabelecido, observa-se preponderância do número de publicações referentes ao Planejamento na maior parte do tempo considerado. A temática do Planejamento mantém-se à frente no número de artigos relativos à temática da Avaliação entre 1980 e 2007, totalizando 107 artigos para a primeira temática e 15 para a segunda. A partir de 2008, essa relação é invertida, havendo predomínio do número de artigos cuja temática principal é qualificada como “Avaliação em Saúde”. No período de 2008 a 2016, aparece um total de 93 artigos relativos ao Planejamento e 198 à Avaliação (Figura 1).
Artigos de Avaliação e Planejamento publicados em oito revistas de Saúde Coletiva (1980-2016).
O primeiro artigo sobre “Planejamento em Saúde” no período analisado data de 1982, e o patamar de cinco publicações é atingido em 1987. Esse patamar - variando entre cinco e sete publicações anuais - é mantido até o ano de 2001 (excetuando os anos de 1995, 1998 e 1999, que apresentaram declínio com uma, zero e três publicações, respectivamente). Ocorre uma retomada do número de publicações sobre o Planejamento a partir de 2006 com dez publicações, sucedendo o período 2002-2005 caracterizado por um inexpressivo número de artigos.
No entanto, o significativo aumento de artigos sobre Planejamento, a partir de 2006, quando comparado com os anos anteriores para o mesmo tema, é superado pelos estudos que levam em conta a Avaliação em Saúde, a partir de 2008. Com exceção do ano de 2009, a temática da Avaliação apresenta maior número de artigos quando comparada à de Planejamento até o último ano considerado, de 2016.
A busca por dissertações e teses, disponíveis no portal da Capes e base LILACS, acessados por meio do descritor “Avaliação em Saúde”, para o período considerado, evidencia um total de 1.092 teses e dissertações. Já o descritor “Planejamento em Saúde” permitiu identificar 496 teses e dissertações. Assim como no caso dos artigos, se levado em conta o patamar mínimo de cinco publicações/ano, nota-se uma incipiente produção voltada ao Planejamento até 1990, e da Avaliação até 2000. Entre 2001 e 2007, mantendo volumes de produção relativamente próximos, as duas subáreas alternam-se à frente com base no maior número de dissertações e teses. A partir de 2008, no entanto, a preponderância da Avaliação sobre o Planejamento se estabelece, caracterizada pelo crescimento por significativa diferença no número de publicações da primeira em relação à segunda. Entre 2008 e 2016, o número de dissertações e teses em Avaliação atinge 970 estudos, e o de Planejamento soma 272 (Figura 2).
O Planejamento aparece na década de 1980 como artigo e como dissertações e teses. A Avaliação emerge no campo científico somente a partir da primeira metade dos anos 1990 em artigos, teses e dissertações. Percebe-se tanto nas publicações no formato de artigos quanto naquelas na forma de teses e dissertações um progressivo aumento absoluto das duas temáticas no período considerado. No entanto, em seu conjunto, artigos, dissertações e teses sobre Avaliação apresentam um maior número a partir de meados da primeira década do novo milênio, quando comparados com a produção relacionada ao Planejamento em Saúde. O recente predomínio da temática da Avaliação sobre o Planejamento, seus possíveis determinantes e consequências para o campo da Saúde Coletiva serão considerados no próximo tópico.
Discussão
Avatar do gerencialismo?
O crescimento de publicações sobre Avaliação no Brasil é relevante, como demonstra o número de artigos e teses sobre o assunto nos últimos anos, sobretudo a partir de meados dos anos 2000, conforme evidenciado no tópico anterior. Essa expansão no volume de estudos na área parece convergir com o aumento geral do interesse pela avaliação de políticas públicas no Brasil, com ênfase no setor Saúde, a ponto de nos aproximarmos dos Estados Unidos, país tradicionalmente proeminente em produções sobre a avaliação de programas e serviços 11. Crumpton CD, Medeiros JJ, Ferreira VRS, Sousa MM, Najberg E. Avaliação de políticas públicas no Brasil e nos Estados Unidos: análise da pesquisa nos últimos 10 anos. Rev Adm Pública 2016; 50:981-1001.. Por sua vez, a produção relativa ao Planejamento em Saúde também apresentou crescimento, ainda que em patamar inferior ao volume de publicações de Avaliação em Saúde, a partir dos anos 2000.
As estreitas relações entre política de saúde no Brasil e produção de conhecimento 66. Reis EJFB, Santos FP, Campos FE, Acúrcio FA, Leite MTT, Leite MLC, et al. Avaliação da qualidade dos serviços de saúde: notas bibliográficas. Cad Saúde Pública 1990; 6:50-61. se materializam, dentre outras formas, por meio do trânsito dos mesmos agentes tanto no campo científico quanto no campo burocrático - característica do espaço social da Saúde Coletiva, conforme estabelecido por Vieira-da-Silva & Pinell 1616. Vieira-da-Silva LM, Pinell P. The genesis of collective health in Brazil. Sociol Health Illn 2014; 36:432-46.. Nesse sentido, poderíamos indagar sobre o que o menor interesse no Planejamento como objeto de discussão no campo científico, quando comparado à Avaliação, revelaria sobre as práticas desenvolvidas no campo burocrático, aqui entendido como as três esferas do Sistema Único de Saúde (SUS). Dito de outra forma, o que estaria ocorrendo nas práticas no interior do sistema público de saúde, vistas com base em seus reflexos cristalizados nas produções acadêmicas? O que explicaria a maior ênfase na Avaliação quando comparada ao Planejamento, em dado momento?
A hegemonia do planejamento estratégico situacional matusiano, no final dos anos 1980, no Brasil, se explicaria pela necessidade de instrumentalizar a política em contexto de lutas pela redemocratização 1717. Campos RO. Planejamento e razão instrumental: uma análise da produção teórica sobre planejamento estratégico em saúde, nos anos noventa, no Brasil. Cad Saúde Pública 2000; 16:723-31., quando o político é incorporado ao planejamento não mais como um fator, mas como o seu objeto 1818. Giovanella L. As origens e as correntes atuais do enfoque estratégico em planejamento de saúde na América Latina. Cad Saúde Pública 1991; 7:26-44.. No entanto, as modalidades de planejamento hegemônicas em cada época refletem as necessidades e valores de uso funcionais ao tipo de Estado estabelecido 1919. Campos RO. Planejamento em saúde: a armadilha da dicotomia público-privado. Rev Adm Pública 2003; 37:189-200..
Nas últimas décadas, vem se avolumando críticas às políticas sociais. Para os conservadores, tais políticas deveriam ser mínimas e focais - destinadas a grupos e problemas específicos 2020. Home-Arias P. Revisión del contexto ideológico y económico del modelo de focalización. Entramado 2013; 9:40-54.. Tem sido sugerida uma ampla reforma no modo de operar as políticas sociais consideradas “inevitáveis”, a serem administradas segundo a lógica de mercado, sendo duas estratégias especialmente recomendadas. A primeira é a da privatização ou da terceirização da gestão, passando a prestação de serviços de natureza pública para entes privados ou filantrópicos. Essas empresas e organizações trariam para dentro do serviço público a cultura do empreendedorismo e da produtividade 2121. Amorim HS. Terceirização no serviço público: uma análise à luz da nova hermenêutica constitucional. São Paulo: LTR; 2009.. A segunda, em geral articulada à terceirização, tem sido a de substituir o planejamento focado nas necessidades sociais e na busca de efetividade e eficiência, por um sistema de avaliação acoplado a benefícios e punições segundo o desempenho de cada organização ou de cada trabalhador. Essa avaliação induziria os gestores a reformularem suas organizações e o processo de trabalho, tendo em vista a obtenção de melhores resultados segundo indicadores estabelecidos 2222. Bresser-Pererira LC. Da administração pública burocrática à gerencial. In: Bresser-Pereira LC, Spink P, organizadores. Reforma do Estado e da administração pública gerencial. São Paulo: Editora FGV; 1998. p. 237-70..
Assim, a importância na formulação e acompanhamento das políticas públicas sociais, pelo Planejamento, seria reduzida baseando-se em um ponto de inflexão marcado pela contraposição ao caráter político e compromisso com a res publica deste último, no contexto de recrudescimento da ideologia de mercado na contemporaneidade. À Avaliação seria dado o papel, até então atribuído ao Planejamento, de conferir racionalidade e eventuais correções de rota às políticas, programas e serviços, se necessário.
Considerando-se o locus da Avaliação no ciclo das políticas públicas, tradicionalmente inserida ao final do mesmo 44. Rivera FJU, Artmann E. Planejamento e gestão em saúde: histórico e tendências com base numa visão comunicativa. Ciênc Saúde Coletiva 2010; 15:2265-74., trata-se de uma racionalidade a posteriori, que assumiria aqui papel de adequação dos meios para garantir os objetivos estabelecidos, sem necessariamente levar em consideração estes mesmos fins. Ou seja, haveria riscos de que a Avaliação passasse a ser usada justamente para que se prescinda das questões essenciais e virtualmente possíveis de serem feitas, como indagações sobre imagens-objetivos e outras formas de análises anteriores ao “o que” e “como” fazer 33. Campos RO. O planejamento no labirinto: uma viagem hermenêutica. São Paulo: Editora Hucitec; 2003.. Nesse sentido, a Avaliação como uma espécie de avatar da Gestão e do Planejamento, segundo afirmado por Spenlehauer & Warin 2323. Spenlehauer V, Warin P. L'évaluation au servisse des conseils régionaux. Sociol Trav 2000; 42:245-62., pode ser útil a interesses em impedir que os propósitos, demandas e justificativas de dada intervenção sejam colocados em análise, restringindo o foco apenas ao aprimoramento dos meios. Por essa via, a Avaliação correria o risco de ser colocada a serviço do aperfeiçoamento do status quo sem questioná-lo, inserindo-se no registro da razão instrumental, como afirmado por Birman 2424. Birman J. O eclipse do sujeito e da singularidade no discurso da avaliação. In: Balandier G, organizador. O que avaliar quer dizer? São Paulo: Editora Unifesp; 2015. p. 237-62. (p. 254): “...o correlato simbólico e cognitivo da substituição da ideia de sociedade pela de mercado, tanto no projeto de avaliação quanto no discurso da gestão da contemporaneidade”.
Por essa razão, o uso da Avaliação de maneira instrumental, em várias áreas e setores na atualidade, dentro e fora da saúde, tem gerado críticas. Possível utilização abusiva da Avaliação, como razão instrumental, vem sendo considerada desde o início do atual milênio, com base na perspectiva da psicanálise 2525. Miller J-A, Miller J-C. Você quer mesmo ser avaliado? São Paulo: Manole; 2004., da filosofia 2626. Rey A. La tyrannie de l'évaluation. Paris: La Decouverte; 2013. e da sociologia, com números inteiros de duas revistas dedicados ao tema 2727. Ce qu'évaluer voudrait dire. Cahiers Internationaux de Sociologie 2010; 1-2.,2828. L'idéologie de l'évaluation. Cités 2009; 37(1)., refletindo diferentes formas de controle e mesmo de opressão sob a roupagem de práticas de Avaliação.
A alocação do orçamento público com base em sistema de Avaliação gera uma questão que não pode ser ignorada: o que seria ou não digno de mérito? A existência e persistências de necessidades não atendidas, de vulnerabilidade social e de risco se transformam em um dado secundário, já que o programa ou a política pode ser extinto independentemente dos problemas sociais que buscam mitigar ou superar. Essa forma de indução de políticas e gerenciamento público centrada em resultados - como forma de controlar a complexa máquina pública 2929. Secchi L. Modelos organizacionais e reformas da administração pública. Rev Adm Pública 2009; 43:347-69. - não é restrita a certas práticas de Avaliação, antes constituindo modalidade de política de governo. Embora haja exceções 3030. Trosa S. L'administration est-elle un acteur de la modernisation? Pyramides 2010; 19:29-52., prepondera a modalidade conservadora de fazer política e de governar, conhecida como gestão com base em resultados ou gerencialismo 3131. Carnut L, Narvai PC. Avaliação de desempenho de sistemas de saúde e gerencialismo na gestão pública brasileira. Saúde Soc 2016; 25:290-305.,3232. Newman J, Clarke J. Gerencialismo. Educação e Realidade 2012; 37:353-81.. Nessa concepção, inexiste apoio institucional para os piores avaliados ou menos aptos, ajuda financeira, técnica, científica ou em planejamento para os agentes com desempenho fora do padrão. Essa modalidade de gestão é considerada como método ideal pela racionalidade do mercado 3333. Antunes R. As novas formas de acumulação de capital e as formas contemporâneas do estranhamento (alienação). Cadernos CRH 2002; (37):23-45., mas incompatível com a lógica pública, como em parte se demonstrou com a experiência do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB), do Ministério da Saúde.
Para os formuladores do PMAQ-AB, a melhoria do acesso e da qualidade da atenção básica no país seria assegurada mediante um extenso modelo de avaliação, seguido de distribuição de incentivos financeiros às equipes melhores pontuadas. Esse projeto teve componentes positivos à gestão ao fomentar discussões na rede do SUS sobre indicadores e metas. Todavia, destinou mais recursos às equipes melhores estruturadas do que àquelas com grande vulnerabilidade sanitária e, eventualmente, com problemas de infraestrutura e de pessoal 3434. Rocha EMS. Programa de melhoria do acesso e da qualidade da atenção básica: ambiguidades no discurso oficial. Rev Bras Pesqui Saúde 2016; 18:21-35.. Além disso, em vários aspectos, o PMAQ-AB fundiu fronteiras, antes relativamente estabelecidas, entre gestão e pesquisa avaliativa 3535. Moraes PN, Iguti AM. Avaliação do desempenho do trabalhador como forma peculiar de prescrição do trabalho: uma análise do PMAQ-AB. Saúde Debate 2013; 37:416-26..
No que concerne especificamente à Avaliação, estamos levando em conta o risco de sua cooptação, desvirtuando-a de seus potenciais objetivos de qualificar práticas, gerar conhecimentos sobre as intervenções e desenvolver coletivos nela envolvidos 3636. Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc Saúde Coletiva 2001; 6:165-81.. Tal risco se manifestaria na medida em que a Avaliação fosse usada para evitar questionamentos legítimos e essenciais sobre uma dada intervenção, bem como os seus propósitos essenciais e sentidos. As funções de dotar processos de racionalidade, transparência e accountability, tradicionalmente conferidas à Avaliação, correm o risco de serem desviadas ou substituídas por outras, qual seja a de suprimir oportunidades de análises das finalidades e sentidos de uma dada intervenção, conforme tradicionalmente atribuído ao Planejamento.
A garantia de que o crescimento da Avaliação no interior da Saúde Coletiva esteja a serviço do aumento dos coeficientes de democracia e participação dos agentes nos rumos das instituições e serviços de saúde - e da ampliação de sua capacidade de analisar os determinantes envolvidos nas intervenções em saúde - é algo a ser conquistado. A ênfase na Avaliação pode eventualmente prestar-se à segmentação da reflexão sobre determinado serviço, por exemplo, apenas no que concerne ao desempenho ou atributos tomados isoladamente, como cobertura, eficácia, eficiência e satisfação, evitando remeter indagações aos aspectos mais essenciais que justificariam a própria existência da intervenção abordada 3131. Carnut L, Narvai PC. Avaliação de desempenho de sistemas de saúde e gerencialismo na gestão pública brasileira. Saúde Soc 2016; 25:290-305..
Tais riscos, no entanto, não advêm de características intrínsecas seja ao Planejamento ou à Avaliação, mas do uso que se pode eventualmente fazer de ambos. Traçar futuros possíveis para determinadas situações problemáticas, seguir os meios para atingi-los e indagar sobre a resultante do encontro entre ideias e uma realidade que frequentemente oferecerá alguma resistência, constituem ações fundamentais na formulação e implementação de projetos em saúde, a que Planejamento e Avaliação críticos podem colaborar de maneira ímpar.
O menor interesse pelo Planejamento e ampliação da importância da Avaliação, evidenciados nas publicações analisadas, parece alinhar-se a um contexto político e institucional nos quais a ênfase repousa no “como” e “quanto” em detrimento do “o que” e “para quê” das intervenções eventualmente consideradas. Tal estratégia é implantada por meio da redução, pela via do Estado e/ou governos, de espaços de debates para a proposição e definição de horizontes e, simultaneamente, pela segmentação e hipertrofia dos meios para o acompanhamento de desempenhos de rotas pré-definidas.
A situação do Planejamento e da Avaliação objetivada nas publicações seria consequência dessa estratégia. Entretanto, consideramos que parte da solução para o enfrentamento do que vimos discutindo poderia ser procurada por meio da utilização e potencialização de acúmulos e referenciais já existentes no interior das duas subáreas abordadas. Tanto a Avaliação quanto o Planejamento em saúde no Brasil apresentam acúmulos teóricos e metodológicos suficientes para fazerem frente a eventuais reduções e/ou instrumentalizações de seus componentes, conforme discutiremos no tópico seguinte.
Planejamento e Avaliação como dispositivos de mudança
O Planejamento lidou, ao longo de sua história, com a necessidade de equacionar a relação meios e fins e com a tensão advinda do estímulo a que agentes se agregassem aos projetos versus a tendência a controlá-los. O objeto de preocupação das correntes de Planejamento, vigente na área de saúde no Brasil das últimas décadas, foi caracterizado pela forma como enfrentaram os dilemas entre autonomia e controle, por um lado, e coletividade e subjetividade, por outro 3737. Campos RTO. O planejamento em saúde sob o foco da hermenêutica. Ciênc Saúde Coletiva 2001; 6:197-207..
Por essa razão, o Planejamento em Saúde no Brasil apresenta relativamente longa tradição de debate e posicionamento em relação ao chamado Planejamento normativo e/ou de viés hegemonicamente econômico, com significativa influência dos pensamentos de Mario Testa e Carlos Matus, em torno do pensamento estratégico em saúde 44. Rivera FJU, Artmann E. Planejamento e gestão em saúde: histórico e tendências com base numa visão comunicativa. Ciênc Saúde Coletiva 2010; 15:2265-74., presentes em quatro correntes distintas: a chamada Ações Programáticas em Saúde 3838. Schraiber LB, organizadora. Programação em saúde hoje. São Paulo: Editora Hucitec; 1990., o grupo de pesquisa em planejamento e programação da Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz (ENSP/Fiocruz) 44. Rivera FJU, Artmann E. Planejamento e gestão em saúde: histórico e tendências com base numa visão comunicativa. Ciênc Saúde Coletiva 2010; 15:2265-74., o grupo de Vigilância da Saúde 3939. Teixeira CF, organizadora. Planejamento em saúde: conceitos, métodos e experiências. Salvador: EDUFBA; 2010. e o Laboratório de Planejamento da Universidade Estadual de Campinas (Unicamp) 4040. Campos RO, Merhy EE. Agir em saúde: um desafio para o público. São Paulo: Editora Hucitec; 1997.. Em que pese as diferenças que caracterizam essas quatro linhas, há convergência entre elas no que tange às críticas ao monopólio do Estado, à defesa da pluralidade de atores e mais horizontalidade entre os grupos envolvidos no processo de Planejamento.
O espaço da Avaliação no Brasil vem desenvolvendo discussões e elaborando propostas que podem contribuir para o enfrentamento do risco de sua subjugação a instrumento de gestão e outras formas de reducionismo de suas atribuições. O conjunto de enfoques emergentes e qualitativos em Avaliação no Brasil e na América Latina 4141. Bosi MLM, Mercado FJ, organizadores. Avaliação qualitativa de programas de saúde: enforques emergentes. Rio de Janeiro: Editora Vozes; 2006., o enfrentamento de desafios à área 4242. Campos RO, Furtado JP, organizadores. Desafios da avaliação de programas e serviços em saúde. Campinas: Editora Unicamp; 2016. e a consideração da transposição de modelos teóricos para a prática avaliativa 4343. Santos EM, Cruz MM. Avaliação em saúde: dos modelos teóricos à prática da avaliação de programas de controle de processos endêmicos. Rio de Janeiro: Editora Fiocruz; 2014.,4444. Hartz ZMA, Vieira-da-Silva LM. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz; 2005., atestam o esforço em consolidar propostas nacionais. Além disso, a tradução para o Português de clássicos críticos às correntes hegemônicas em avaliação dos Estados Unidos 4545. Guba EG, Lincoln YS. Avaliação de quarta geração. Campinas: Editora Unicamp; 2011. e as análises lógicas e estratégicas propostas por Champagne et al. 4646. Champagne F, Brousselle A, Contandriopoulos A-P, Hartz ZMA. A análise estratégica. In: Brousselle A, Champagner F, Contandriopoulos A-P, Hartz ZMA, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p. 95-104., assimiladas no debate nacional da área 4747. Hartz ZMA. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997., integram continuum de possibilidades avaliativas, representando o esforço de ampliar o escopo da Avaliação ao colocar em questão o modelo da caixa preta e levando em conta outros atributos que não apenas a correlação entre objetivos e resultados obtidos.
Conforme afirmado em outro momento, a Avaliação poderia constituir o dispositivo a contribuir na renovação de serviços e programas 2323. Spenlehauer V, Warin P. L'évaluation au servisse des conseils régionaux. Sociol Trav 2000; 42:245-62., convergindo com outras iniciativas, das quais destacamos o Planejamento, além da educação permanente, da análise das questões institucionais e do desenvolvimento de coletivos com maior grau de autonomia e horizontalidade 4848. Campos GWS. Um método para análise e co-gestão de coletivos. São Paulo: Editora Hucitec; 2000.. Tal estratégia agrega à Avaliação o compromisso com a capacitação e desenvolvimento dos grupos implicados, aumentando sua capacidade de analisar e intervir 3636. Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc Saúde Coletiva 2001; 6:165-81.. Afinal, do ponto de vista organizacional, serviços e equipes com desempenho inadequado não deveriam ser eliminados ou sofrer sanções a priori, mas, ao contrário, constituiriam objeto de apoio e estímulo diante do evidenciado por meio da Avaliação e/ou do Planejamento.
Levando-se em consideração o compromisso da Avaliação com o julgamento e o subsídio à tomada de decisão, caberia aos agentes ligados à Avaliação colocar em questão o risco de a mesma ser utilizada como nova forma de gestão autocrática e mesmo de dominação ou, como já afirmado aqui, de avatar da gestão. Em políticas sociais, as iniciativas de planejamento, definição de objetivos e estratégias de ação são essenciais, sobretudo em contextos de acirramento na retração das funções do Estado. A Avaliação pode anteceder e ser simultânea ao Planejamento, ambos orientando a gestão e a reflexão sobre as iniciativas cuja importância, no caso da saúde, está no compromisso em minorar o sofrimento e atender às diversas formas de demandas e necessidades das populações.
Planejamento e Avaliação, em suas perspectivas críticas, são subáreas detentoras de meios para fazer frente e resistir à sua cooptação para o cerceamento da capacidade de reflexão e análise. Ao contrário, podem ser fonte de proposição e experimentação e, sobretudo, de autonomia e desenvolvimento dos coletivos envolvidos na condução de intervenções tornadas objetos de planejamento ou avaliação. Nesse sentido, há muito mais pontos para o estabelecimento de sinergias entre Avaliação e Planejamento do que disputas. Eventuais beneficiários de contendas entre as duas subáreas, de hegemonia de uma sobre a outra ou do uso reducionista de ambas parecem situar em outros espaços sociais estranhos àqueles aos quais os dois subespaços aqui analisados se encontram.
Conclusão
O confronto entre Planejamento e Avaliação em Saúde parece servir à expansão gerencialista, no contexto de reformas da gestão pública baseadas quase que exclusivamente no desempenho. No entanto, importa resgatar o que essas duas importantes subáreas e respectivos acúmulos teóricos e metodológicos têm a contribuir no contexto de precarização das relações e dinâmicas de trabalho e do próprio setor Saúde na atualidade. A articulação e potencialização do que Planejamento e Avaliação podem oferecer, por intermédio de seus acúmulos teórico-metodológico nas últimas décadas - propiciar análise dos diversos níveis institucionais; instaurar novas aprendizagens e revisões das intervenções abordadas; melhorar a comunicação entre os integrantes das equipes, gestores e demais agentes; aumentar a capacidade de produção de saúde pelos coletivos envolvidos; qualificar a oferta aos usuários, dentre outras - é a saída para que ambos não sejam subjugados, servindo de instrumentos a diferentes formas de dominação.
Não será por utilizar o nome de planejamento nem o de avaliação que se retirará das práticas gerencialistas seu papel de controle e dominação social no mundo onde predomina a noção de eficiência. É fundamental manter aberta a possibilidade de nos interrogarmos sobre o que produzem nossas práticas de planejamento, gestão e avaliação, não só como técnicas ou métodos específicos, mas em termos de redistribuição de poder, desalienação dos sujeitos e efetivo compromisso com as finalidades, a chamada eficácia 1616. Vieira-da-Silva LM, Pinell P. The genesis of collective health in Brazil. Sociol Health Illn 2014; 36:432-46..
A capacidade crítica possibilita aos agentes da área perceber e problematizar situações nas quais, sob o manto da eficiência, opera-se o chamado desmonte das políticas públicas, reduzindo direitos, estreitando o universal em favor do focal. A área de política, planejamento e gestão, no interior da Saúde Coletiva, deve preservar o compromisso com a análise, buscando preservar tenazmente sua capacidade de indagar o “para quê”, os sentidos e propósitos das iniciativas que constituem seu objeto, seja por meio da Avaliação, do Planejamento ou de qualquer outra área.
Utilizamos para a busca, bases de dados nacionais, dado o interesse na evolução da produção bibliográfica no contexto brasileiro. Contudo, isso pode constituir limitação para quem busque correlações com a literatura internacional ou com a produção por meio de livros. Além disso, futuros estudos poderão detalhar a produção aqui abordada em seu conjunto por meio da bibliometria. De toda maneira, esperamos ter efetivamente contribuído para a análise da produção, instigando a reflexões sobre o campo.
Agradecimentos
Agradecemos a Cláudia Renata dos Santos Barros pela leitura e contribuição das versões iniciais, e a Carla Mara Hilário pela contribuição na análise dos dados.
Referências
- 1Crumpton CD, Medeiros JJ, Ferreira VRS, Sousa MM, Najberg E. Avaliação de políticas públicas no Brasil e nos Estados Unidos: análise da pesquisa nos últimos 10 anos. Rev Adm Pública 2016; 50:981-1001.
- 2Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saúde Pública 2014; 30:2643-55.
- 3Campos RO. O planejamento no labirinto: uma viagem hermenêutica. São Paulo: Editora Hucitec; 2003.
- 4Rivera FJU, Artmann E. Planejamento e gestão em saúde: histórico e tendências com base numa visão comunicativa. Ciênc Saúde Coletiva 2010; 15:2265-74.
- 5Mintzberg H, Ahlstrand B, Lampel J. Safari de estratégia: um roteiro pela selva do planejamento estratégico. Porto Alegre: Bookman; 2000.
- 6Reis EJFB, Santos FP, Campos FE, Acúrcio FA, Leite MTT, Leite MLC, et al. Avaliação da qualidade dos serviços de saúde: notas bibliográficas. Cad Saúde Pública 1990; 6:50-61.
- 7Novaes HMD. Epidemiologia e avaliação em serviços de atenção médica: novas tendências na pesquisa. Cad Saúde Pública 1996; 12 Suppl 2:7-12.
- 8Silver L. Aspecto metodológicos em avaliação dos serviços de saúde. In: Gallo E, Rivera FJU, Machado MH, organizadores. Planejamento criativo: novos desafios em políticas de saúde. Rio de Janeiro: Relume-Dumará; 1992. p. 195-210.
- 9Howlett M, Ramesh M. Studying public policy: policy cycles and policy subsystems. Toronto: Oxford University Press; 1995.
- 10Levcovitz E, Baptista TWF, Uchôa SAC, Nespoli G, Mariani M. Produção do conhecimento em política, planejamento e gestão em saúde e políticas de saúde no Brasil (1974-2000). Brasília: Ministério da Saúde/Organização Pan-Americana da Saúde; 2003.
- 11Schraiber LB, Peduzzi M, Sala A, Nemes MIB, Castanhera ERL, Kon R. Planejamento, gestão e avaliação em saúde: identificando problemas. Ciênc Saúde Coletiva 1999; 4:221-42.
- 12Mattos RA. (Re)visitando alguns elementos do enfoque situacional: um exame crítico de algumas das contribuições de Carlos Matus. Ciênc Saúde Coletiva 2010; 15:2327-36.
- 13Tanaka OY, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Ciênc Saúde Coletiva 2012; 17:821-8.
- 14Monitoramento e avaliação em saúde para a ação. Saúde em Debate 2017; 41(spe).
- 15Araújo CA. Bibliometria: evolução histórica e questões atuais. Em Questão 2006; 12:11-32.
- 16Vieira-da-Silva LM, Pinell P. The genesis of collective health in Brazil. Sociol Health Illn 2014; 36:432-46.
- 17Campos RO. Planejamento e razão instrumental: uma análise da produção teórica sobre planejamento estratégico em saúde, nos anos noventa, no Brasil. Cad Saúde Pública 2000; 16:723-31.
- 18Giovanella L. As origens e as correntes atuais do enfoque estratégico em planejamento de saúde na América Latina. Cad Saúde Pública 1991; 7:26-44.
- 19Campos RO. Planejamento em saúde: a armadilha da dicotomia público-privado. Rev Adm Pública 2003; 37:189-200.
- 20Home-Arias P. Revisión del contexto ideológico y económico del modelo de focalización. Entramado 2013; 9:40-54.
- 21Amorim HS. Terceirização no serviço público: uma análise à luz da nova hermenêutica constitucional. São Paulo: LTR; 2009.
- 22Bresser-Pererira LC. Da administração pública burocrática à gerencial. In: Bresser-Pereira LC, Spink P, organizadores. Reforma do Estado e da administração pública gerencial. São Paulo: Editora FGV; 1998. p. 237-70.
- 23Spenlehauer V, Warin P. L'évaluation au servisse des conseils régionaux. Sociol Trav 2000; 42:245-62.
- 24Birman J. O eclipse do sujeito e da singularidade no discurso da avaliação. In: Balandier G, organizador. O que avaliar quer dizer? São Paulo: Editora Unifesp; 2015. p. 237-62.
- 25Miller J-A, Miller J-C. Você quer mesmo ser avaliado? São Paulo: Manole; 2004.
- 26Rey A. La tyrannie de l'évaluation. Paris: La Decouverte; 2013.
- 27Ce qu'évaluer voudrait dire. Cahiers Internationaux de Sociologie 2010; 1-2.
- 28L'idéologie de l'évaluation. Cités 2009; 37(1).
- 29Secchi L. Modelos organizacionais e reformas da administração pública. Rev Adm Pública 2009; 43:347-69.
- 30Trosa S. L'administration est-elle un acteur de la modernisation? Pyramides 2010; 19:29-52.
- 31Carnut L, Narvai PC. Avaliação de desempenho de sistemas de saúde e gerencialismo na gestão pública brasileira. Saúde Soc 2016; 25:290-305.
- 32Newman J, Clarke J. Gerencialismo. Educação e Realidade 2012; 37:353-81.
- 33Antunes R. As novas formas de acumulação de capital e as formas contemporâneas do estranhamento (alienação). Cadernos CRH 2002; (37):23-45.
- 34Rocha EMS. Programa de melhoria do acesso e da qualidade da atenção básica: ambiguidades no discurso oficial. Rev Bras Pesqui Saúde 2016; 18:21-35.
- 35Moraes PN, Iguti AM. Avaliação do desempenho do trabalhador como forma peculiar de prescrição do trabalho: uma análise do PMAQ-AB. Saúde Debate 2013; 37:416-26.
- 36Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc Saúde Coletiva 2001; 6:165-81.
- 37Campos RTO. O planejamento em saúde sob o foco da hermenêutica. Ciênc Saúde Coletiva 2001; 6:197-207.
- 38Schraiber LB, organizadora. Programação em saúde hoje. São Paulo: Editora Hucitec; 1990.
- 39Teixeira CF, organizadora. Planejamento em saúde: conceitos, métodos e experiências. Salvador: EDUFBA; 2010.
- 40Campos RO, Merhy EE. Agir em saúde: um desafio para o público. São Paulo: Editora Hucitec; 1997.
- 41Bosi MLM, Mercado FJ, organizadores. Avaliação qualitativa de programas de saúde: enforques emergentes. Rio de Janeiro: Editora Vozes; 2006.
- 42Campos RO, Furtado JP, organizadores. Desafios da avaliação de programas e serviços em saúde. Campinas: Editora Unicamp; 2016.
- 43Santos EM, Cruz MM. Avaliação em saúde: dos modelos teóricos à prática da avaliação de programas de controle de processos endêmicos. Rio de Janeiro: Editora Fiocruz; 2014.
- 44Hartz ZMA, Vieira-da-Silva LM. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz; 2005.
- 45Guba EG, Lincoln YS. Avaliação de quarta geração. Campinas: Editora Unicamp; 2011.
- 46Champagne F, Brousselle A, Contandriopoulos A-P, Hartz ZMA. A análise estratégica. In: Brousselle A, Champagner F, Contandriopoulos A-P, Hartz ZMA, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p. 95-104.
- 47Hartz ZMA. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997.
- 48Campos GWS. Um método para análise e co-gestão de coletivos. São Paulo: Editora Hucitec; 2000.
Datas de Publicação
- Publicação nesta coleção
23 Jul 2018
Histórico
- Recebido
23 Maio 2017 - Revisado
04 Dez 2017 - Aceito
26 Jan 2018