Resumo

Nesse ensaio identificamos que há usos distintos para os termos avaliação e análise. Ilustramos essa diferença por meio de abordagem exploratória de títulos de artigos de interesse. A interlocução com agentes da área possibilitou corroborar o que foi apontado pela revisão exploratória. A vinculação da avaliação com a prática constitui um dos possíveis fatores de distinção com a noção de análise, gerando consequências para o status de uma e outra tanto no campo científico quanto junto ao senso comum.

Palavras-chave
Avaliação em saúde; Saúde coletiva; Epistemologia

Abstract

In this essay we identified that there are distinct uses for the terms evaluation and analysis. We illustrate this difference by means of an exploratory approach to the titles of articles of interest. Interlocution with agents of the area made it possible to corroborate what was revealed in the exploratory review. The link between evaluation and practice is one of the possible factors for distinguishing it from the notion of analysis, generating consequences for the status of each of them, both in the scientific field and also in terms of common sense.

Key words
Health evaluation; Public health; Epistemology

Introdução

O espaço social da avaliação em saúde no Brasil encontra-se em formação e as concepções e investimentos de seus agentes sobre a área é variável. Há, no entanto, consenso entre a produção nacional e a literatura especializada de outros países de que avaliar é julgar o mérito de determinada intervenção (serviço, programa, política etc.) com critérios e referenciais explícitos, utilizando dados e informações rigorosamente tratadas para subsidiar tomadas de decisões¹1 Viera-da-Silva LM. Avaliação de políticas e programas de saúde. Rio de Janeiro: Fiocruz; 2014.

2 Fournier DM. Evaluation. In: Mathison S, editor. Encyclopedia of evaluation. Thousand Oaks: Sage; 2005.^-33 Hartz ZMA. Avaliação em saúde - dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Fiocruz; 1997..

Por sua vez, compreende-se análise como desmembramento de dados em unidades menores, revelando os elementos e estruturas que os sustentam. Por meio da análise, pode-se eventualmente buscar sentidos para os dados coletados, com base em teorias que orientam um dado trabalho e que irão permitir a geração de novas ideias sobre os mesmos dados. É intrínseco à análise corroborar, refutar ou modificar pressupostos⁴4 Gray DE. Pesquisa no mundo real. Porto Alegre: Penso; 2012.

5 Gibbs G. Análise de dados qualitativos. Porto Alegre: Artmed; 2009.

6 Poupart J. A pesquisa avaliativa. Petrópolis: Vozes; 2010.^-77 Délpelteau F. La démarche d´une recherche en sciences humaines. Laval: Ed. Université de Laval; 2005..

Com base nas duas noções acima, percebe-se que avaliação e análise não se constituem exatamente a mesma coisa, ainda que não sejam necessariamente antagônicas. No uso corriqueiro, esses dois termos se aproximam frequentemente como sinônimos ou, por outro lado, para significar concepções e conceitos distintos, complementares ou não.

Foram publicados exatos cem artigos nos últimos dez anos, na área temática “Ciências da Saúde”, em coleções brasileiras da Scielo, que apresentam simultaneamente, em seus respectivos títulos, as palavras avaliação e análise, conforme busca realizada por dois pesquisadores independentes. Restringindo-se o conjunto anterior ao período de dez anos (2007-2016) e às revistas ligadas à Saúde Coletiva (Cadernos de Saúde Pública, Saúde em Debate, Ciência & Saúde Coletiva, Revista da Escola de Enfermagem da USP, Revista Brasileira de Saúde Materno Infantil, Revista de Saúde Pública, Interface e Saúde e Sociedade), tem-se vinte e cinco publicações. A partir daí, excluídos sete artigos cujo tratamento da temática não se adequam ao que tradicionalmente se compreende como avaliação de serviços, programas ou políticas de saúde, tem-se dezoito artigos.

De maneira complementar foi realizada busca em duas das principais revistas da área de Epidemiologia no país (Revista Brasileira de Epidemiologia e Epidemiologia e Serviços de Saúde), considerando o fato de este ser um dos campos componentes da Saúde Coletiva brasileira. A busca nestes periódicos resultou em somente um artigo que não se tratava de avaliação de programas, serviços ou políticas de saúde e, portanto, foi excluído.

Dentre esse último conjunto, foi possível verificar que:

1. - seis deles consideravam as próprias avaliações como objeto de análise;

2. - outros seis continham análises realizadas para subsidiar avaliações;

3. - em três deles, ao contrário, a avaliação se constituía subsídios para análise;

4. - finalmente, em três artigos, os termos avaliação e análise eram claramente utilizados como sinônimos.

Constatou-se que seis estudos, dentre aqueles analisados, utilizam a designação “análise” para nomear abordagem de uma dada avaliação já concluída, indagando os métodos e referenciais utilizados e o próprio mérito da avaliação desenvolvida. Tais artigos, no entanto, não referem à chamada meta-avaliação - processo conhecido no interior de iniciativas avaliativas por colocar a própria avaliação sob avaliação. Por meio da meta-avaliação, procura-se submeter processos avaliativos à uma reflexão externa, verificando o maior ou menor rigor que liga os passos dados às conclusões obtidas ou se (e como) a avaliação contemplou princípios éticos caros à área e aos grupos envolvidos⁸8 Furtado JP, Laperrière, H. A avaliação da avaliação. In: Onocko-Campos R, Furtado JP. Desafios da avaliação de programas e serviços em saúde, Campinas: Editora Unicamp; 2016. p. 17-37.^,99 Hartz ZM, Felisberto E, Silva LMV. Meta-avaliação da atenção básica à saúde - teoria e prática. Rio de Janeiro: Fiocruz; 2008.. Nesse caso, a análise constitui forma de abordar criticamente uma dada avaliação, alinhando-se à meta-avaliação, indicando que a análise estaria em nível mais abrangente do que a avaliação.

Para outros autores dos textos que vimos considerando, análises seriam procedimentos que subsidiam avaliações. De maneira oposta, há autores para os quais as avaliações ofereceriam contribuições para a realização de análises. Finalmente, haveria aqueles para os quais avaliação e análise são nomes diferentes para coisas equivalentes.

Verificar que há usos distintos para avaliar e analisar no âmbito da avaliação de programas e serviços e mesmo de políticas¹⁰10 Fronza CS, Nogueira VMR. A avaliação e a análise de políticas públicas: uma distinção necessária. Arguentum 2015; 7(2):103-116. constitui primeiro passo. Faz-se necessário compreender os possíveis determinantes dessa diferenciação entre avaliação e análise. E, finalmente, abordar possíveis desdobramentos para o espaço e capital científicos que cada um desses ocupa e acumula na prática acadêmica de investigação de serviços¹¹11 Novaes HMD. Pesquisa em, sobre e para os serviços de saúde: panorama internacional e questões para a pesquisa em saúde no Brasil. Cad Saude Publica 2004; 20(2):147-173..

Diferença na vinculação com a prática?

O Pragmatismo como filosofia surge no final do século XIX, nos EUA, tendo como expoentes Charles Sanders Peirce (1839-1914), Willian James (1842-1910) e John Dewey (1859-1952), cujos pensamentos ainda que não sejam uniformes entre si, apresentam convergência em torno de uma teoria da verdade indutiva e experimental. Para essa escola do pensamento, a verdade é aquilo que estabelece uma relação satisfatória com a realidade e gera perspectivas relevantes em termos práticos para a sociedade. Segundo o Pragmatismo, é pela ação que se altera os limites da condição humana¹²12 Marcondes D. Desfazendo mitos sobre a pragmática. Alceu. 2000; 1(1):38-46..

A avaliação de programas e serviços em geral e de saúde em particular, nos países centrais e países periféricos, como o Brasil, é influenciada pela avaliação surgida nos EUA dos anos 1960, no contexto da Great Society americana¹³13 Monnier E. Évaluation de l´action des pouvoirs publics: du project au bilan. Paris: Economica; 1987.. E as raízes filosóficas da chamada program evaluation, nos EUA, em parte são tributárias do pensamento do Pragmatismo, baseado nas proposições de Peirce, James e Dewey, já citados. Para Zuñiga¹⁴14 Zúñiga R. La evaluación en la acción social - autonomias y solidariedades. Montreal: 2006 (mimeo)., que identifica no Pragmatismo um pano-de-fundo unificador na área da avaliação, os três autores citados

(...) buscam uma forma de pensamento que represente reflexão sobre a ação transformadora, escapando das tradições puramente filosóficas e também de um simples utilitarismo, unindo a intenção e inteligência de um dado ator e seu concreto trabalho transformador, em contextos específicos. (Zúñiga¹⁴14 Zúñiga R. La evaluación en la acción social - autonomias y solidariedades. Montreal: 2006 (mimeo).).

Outros autores também identificam na filosofia do Pragmatismo elementos de sustentação de reflexões e práticas em avaliação. Afinal, aspectos centrais que movem a prática social da avaliação - tais como a importância da ação, a correlação entre verdade e respectivas consequências práticas e a crença de que o mundo pode e deve ser modificado - encontram no Pragmatismo respaldo e sustentação¹⁵15 Mertens DM. Philosophical assumptions and program evaluation. Szpaio Filosofico 2015; 13:75-85.

16 Hall JN. Pragmatism, Evidence and Mixed Method Evaluation. New Directions for Evaluation 2013; 138:15-26.^-1717 Hartz ZM. Creating a dialogue between the concepts of complexity pradigms and the pragmatic approaches proposed for evaluating complex interventions. The Canadian Journal of Program Evaluation 2012; 26(3):115-118..

Esse pano-de-fundo ou referencial filosófico da avaliação evidencia a estreita relação entre avaliação e prática. Afirmar que ao avaliarmos buscamos estabelecer correlações entre concepções e ideias e seus efeitos sobre as necessidades humanas, na prática, estabelece um horizonte de possibilidades de averiguação ao interior do campo científico. Assim, o Pragmatismo constitui um dos caminhos possíveis por meio do qual práticas avaliativas ingressariam na prática científica, a partir de indagações sobre a verdade dos entes avaliados.

Mas a evidenciação da vinculação entre avaliação e prática, se por um lado potencialmente faculta à primeira integrar-se ao interior da ciência, pela via do Pragmatismo, por outro lado pode restringir o seu alcance exatamente pela via do pragmatismo, agora com p minúsculo, segundo o sentido estabelecido no senso comum. Da forma como se concebe o pragmatismo no senso comum, a avaliação seria equivalente a algo prático, avessa às questões ideológicas e metafísicas, preocupada apenas com os desdobramentos de uma determinada intervenção¹²12 Marcondes D. Desfazendo mitos sobre a pragmática. Alceu. 2000; 1(1):38-46..

Mesmo a integração da avaliação ao interior da ciência está sujeita a estigma dado o seu compromisso teleológico, quando busca subsidiar decisões e mudanças no ente avaliado. Assim, a avaliação no interior do campo científico correria riscos de estar à serviço do utilitarismo, como apontam autores americanos¹⁸18 Denzin N. Triangulation 2.0. Journal of Mixed Methods Research 2012; 6(2):80-88.^,1919 Greene JC. Mixed methods in social inquiry. San Francisco: Jossey-Bass; 2007., ou restrita ao papel de método – aqui entendido como técnica de coleta de dados – conforme observamos em pesquisa empírica sobre o espaço da avaliação em saúde no Brasil²⁰20 Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saude Publica 2014; 30(12):2643-2655..

Estaria, nos pressupostos filosóficos de vinculação da avaliação com a prática, no campo científico e na sua circunscrição a um caráter eminentemente tarefeiro, pelo senso comum, um dos determinantes de seu distanciamento da noção de análise? A estreita relação com a prática figuraria a avaliação mais a uma tarefa aos olhos do senso comum e, ao interior do campo científico, a levaria a ocupar espaço menos valorizado, quando comparado àquele destinado ao que se convencionou chamar de análise?

A distinção entre avaliação e análise parece se dar justamente na maior ou menor proximidade e compromisso com questões práticas, com a maior ou menor proximidade com questões situadas além da prática, leia-se teoria, filosofia e metafísica. Um problema, nesse sentido, é que tanto pela via da filosofia do Pragmatismo quanto de um certo utilitarismo, a avaliação seria caracterizada respectivamente por um baixo ou mesmo ausente grau de abstração, enquanto a análise atingiria mais abrangência e profundidade – ou sutileza.

Em estudo de revisão sobre análise de políticas públicas, os autores advertem para que não se confunda análise com avaliação de políticas públicas²¹21 Serafim MP, Dias RB. Análise de política: uma revisão da literatura. Cadernos Gestão Social 2012; 3(1):121-134.. Para eles, a análise envolveria abordagens significativamente mais complexas de aspectos que constituem a política pública, enquanto a avaliação se ocuparia dos resultados, usando categorias como efetividade e eficiência ou a comparação entre metas e resultados. Nas palavras dos autores

Embora compartilhem o objeto central que exploram (a política pública), a avaliação e a análise constituem exercícios bastante diferentes. O avaliador (...) se ocupa fundamentalmente, da apreciação dos resultados da política (...). O analista, por sua vez, atenta para elementos de natureza muito mais sutil. (Serafim e Dias²¹21 Serafim MP, Dias RB. Análise de política: uma revisão da literatura. Cadernos Gestão Social 2012; 3(1):121-134.)

Para Viera-da-Silva, pesquisadora com várias publicações na área da avaliação em saúde, atributos pré-definidos como cobertura, acesso, impacto, implantação, inerentes aos processos avaliativos, inevitavelmente determinariam questões de antemão, restringindo o horizonte de considerações quando comparada com diversas formas de análises que, via de regra, não pressupõem tais atributos. Para a autora, a avaliação não necessariamente conta com um referencial teórico explícito e empregado na abordagem do objeto avaliado, o que a rigor deveria estar presente em processos que se propõem a realizar análises.

Embora a análise possa integrar uma das etapas de “pesquisa científica” em geral, como é de praxe encontrar nos manuais de metodologia, ela o faz exatamente compondo com as demais técnicas de coleta e processamento dos dados e informações, ou seja, integrando o protocolo de apreensão do empírico. No entanto, a análise pode assumir conotação mais amplas, próximo da hermenêutica e de outros procedimentos tido como de mais profundidade. Nesse sentido, a questão essencial seria não só sobre a distinção, mas sobretudo sobre o alcance de uma e outra na produção científica. Tal questão pode acirrar disputas e controvérsias que inevitavelmente tangenciarão aspectos corporativos. Uma forma de abordar a questão é colocar sob reflexão a própria pergunta, procurando compreender melhor as suas motivações e respectivas pertinências - tanto no plano teórico quanto na prática cotidiana do trabalho científico.

Ao considerar o campo científico como um campo social, constituído de posições desigualmente desejáveis e palco de disputas por capitais específicos do mesmo, Bourdieu²²22 Bourdieu P. Homo Academicus. Florianópolis: Editora UFSC; 2011. permite considerar eventuais embates no interior do espaço da avaliação (ou desse espaço com outras áreas ou campos) como as verdadeiras motivações para o debate que vimos considerando até aqui. O que equivale a dizer que a disputa por mais capitais para uma ou outra área – no caso a avaliação em saúde ou a pesquisa acadêmica mais geral – pode mover tanto a apropriação de um ou outro significante quanto os significados que avaliação e análise podem assumir.

Sobretudo se considerarmos que, no que tange a avaliação em saúde, trata-se de um espaço social que ainda que venha se consolidando como área de estudo e prática no Brasil, quando comparado aos EUA, com destaque para a área da saúde²³23 Crumpton CD, Medeiros JJ, Ferreira VRS, Sousa MM, Najberg E. Evaluation of public policies in Brazil and the United States: a research analysis in the last 10 years. Rev. Adm. Pública 2016; 50(6):981-1001., mantém-se carente de mais implicação de seus agentes²⁰20 Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saude Publica 2014; 30(12):2643-2655. e de mais reflexão baseada e fomentada a partir das práticas e teorias realizadas em seu interior²⁴24 Dubois N, Marceau R. Un état des lieux théoriques de l'évaluation: une discipline à la remorque d´une révolution scientifique que n´en finit pas. The Canadian Journal of Program Evaluation 2005; 20(1):1-36., o que pode auxiliar na superação da avaliação como uma área à reboque de métodos e reflexões geradas em outras áreas. Em outras palavras, consideramos que o debate sobre a diferença entre avaliação e análise, como também sua diferenciação e convergência com o planejamento, a gestão e a própria pesquisa científica pode ser útil para o melhor delineamento e mesmo afirmação do espaço social acadêmico destinado às pesquisas avaliativas de programas e serviços em saúde.

Conclusão

Pesquisa qualitativa e quantitativa, epidemiologia descritiva e analítica, individual e coletivo são exemplos de paradigmas distintos que surgiram e se mantiveram polarizados mas que, cada vez mais, tem os pontos de contato reconhecidos, sem desmerecer suas diferenças. Nesse sentido, avaliação e análise se distinguem pela maior vinculação com a prática e atributos prévios da primeira e pela intenção em se distanciar e abstrair do objeto considerado por via de teorias pré-estabelecidas, pela segunda. Há colaborações possíveis entre as duas sob diversas combinações possíveis: de equilíbrio entre ambas a eventual predomínio de uma ou outra, de acordo com o interesse dos pesquisadores, objeto e objetivo da investigação. A nosso ver, a diferenciação constitui entrave quando presta serviço ao estigma, mascara disputas ou reproduz posições a serem superadas, como o desapreço de parte do campo acadêmico por questões práticas. E a distinção pode ser oportuna quando permite delinear melhor espaços diferentes e, no caso da avaliação, colabora para compreender melhor as potencialidades e limitações da mesma, sobretudo quando vivemos a utilização indiscriminada das avaliações desde o plano institucional até o cotidiano dos indivíduos, por meio de aplicativos presentes nos aparelhos de telefones celulares.

De modo a não se constituir mais um instrumento a serviço da dominação e/ou da alienação, do monitoramento e vigilância de todos por todos, ou uma forma de nomear diferentemente antigas técnicas de gestão, é imperativo que o espaço social da avaliação de programas e serviços institua e amplie canais de reflexão e desenvolva estratégias para que processos avaliativos sejam justamente modos de contrapor a tudo isso. A avaliação deveria firmar o seu sentido ético essencialmente como oportunidade de aprendizagem, convívio da diferença e qualificação tanto de intervenções quanto dos próprios trabalhadores e demais coletivos e grupos de interesse envolvidos²⁵25 Campos GWS. Um método para análise e co-gestão de coletivos. São Paulo: Hucitec; 2000.^,2626 Furtado JP. Um método construtivista para a avaliação em saúde. Cien Saude Colet 2001; 6(1):165-181.. Nesse processo de fortalecimento de modos distintos e contra-hegemônicos de abordar serviços, programas e políticas em saúde, a (auto)avaliação e (auto)análise do espaço da avaliação em saúde no Brasil serão igualmente oportunos e fundamentais.

Referências

Datas de Publicação

Histórico