RESUMO

Partindo de uma avaliação de desempenho, o artigo traz algumas reflexões conceituais que tomam como base teórica a translação do conhecimento e sua relação com os usos e influências de uma avaliação. Realizou-se estudo exploratório com análise documental, tendo como questões norteadoras a identificação de possíveis alianças e fatores que pudessem facilitar ou dificultar a translação do conhecimento. Os resultados indicaram que a teoria instrumenta a validação de construto do processo de utilização, estabelecendo base racional e lógica para abranger diferentes actantes e os interesses que os mobilizam. Algumas limitações da interface entre avaliação e a teoria do ator rede foram identificadas.

PALAVRAS-CHAVE:
Avaliação em saúde; Avaliação de programa; Gestão do conhecimento

ABSTRACT

This article, based on a performance evaluation, aims to discuss some conceptual reflections on knowledge translation theory and its relation to the uses and influences of evaluation. An exploratory study was conducted, centered on documental analysis, aiming to identify possible alliances and factors that could facilitate or hinder the translation of knowledge. The results indicated that the theory is a tool that enables the validation of utilization construct process, establishing the rational and logical basis for incorporating different actants and the interests involved. We could also identify some limitations of the interface between evaluation and the actor-network theory.

KEYWORDS:
Health evaluation; Program evaluation; Knowledge management

Introdução

Este artigo problematiza os usos e influências de uma avaliação de desempenho do Programa Nacional de Controle da Tuberculose (PNCT) em três municípios brasileiros. O artigo pretende trazer algumas reflexões conceituais, tendo como base teórica a translação do conhecimento (LATOUR, 2012______. Reagregando o social. Bauru: Edusc; Salvador: Edufba, 2012.) e sua relação com a avaliação (CLAVIER ., 2011CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011.). A incorporação recente das ações do PNCT na atenção primária (KRITSKI , 2007KRITSKI, A. L. et al. Duas décadas de pesquisa em tuberculose no Brasil: estado da arte das publicações científicas. Revista Saúde Pública, São Paulo, v. 41, n.1, p. 9-14, 2007.) tem suscitado questões estratégicas e operacionais que interferem no desempenho do programa por emergência de novos atores e ou actantes, dependendo da abordagem teórica que se utilize. Dessa forma, este artigo apresenta reflexões sobre as potencialidades teóricas das diversas abordagens dos efeitos do processo avaliativo, considerando as concepções de uso, utilização, influência e translação, a partir da avaliação de abordagem colaborativa (RODRÍGUEZ-CAMPOS; RINCONES-GÓMEZ, 2012) do desempenho do PNCT na atenção primária.

Um dos desafios dos avaliadores é produzir avaliações que sejam úteis, que promovam melhorias nas práticas sociais e que subsidiem a tomada de decisão (WEISS, 1999). Os efeitos da avaliação e o que faz com que achados de avaliações sejam utilizados tem sido uma preocupação dos avaliadores e o centro de debates e de desenvolvimento de pesquisas e teorias (HANNEY 2003HANNEY, S. R. et al. The utilization of health research in policy-making: concepts, examples and methods of assessment. Health Research Policy and Systems, Londres, v. 1, n. 2, p. 1-28, 2003.; HENRY; MARK, 2003HENRY, G. T.; MARK, M. M. Beyond use: Understanding evaluations' influence on attitudes and actions. American Journal of Evaluation, Stamford v. 24, n. 3, p. 293-314, 2003.). Carol Weiss, considerada uma das principais referências sobre o assunto, em 1972 já argumentava que um avaliador deveria começar uma avaliação com o uso em mente e não esperar somente o momento de difusão dos resultados.

Observando os propósitos da avaliação de produzir conhecimento, melhorar o funcionamento das ações e a tomada de decisão (VIEIRA; FORMIGLI, 2005), avaliadores se debruçaram sobre as diferentes tipologias e modelos de uso e de influência das avaliações, bem como nos seus fatores determinantes (LEVITON; HUGHES, 1981LEVITON, L. C.; HUGHES, F. X. E. Research on the utilization of evaluations: a review and Synthesis. Sage Publications, Thousand Oaks, v. 5, n. 4, p. 525-548, ago. 1981.; PATTON, 1997PATTON, M. Q. Utilization-focused evaluation: the new century text. 3. ed. Thousand Oaks: Sage, 1997.; HENRY; MARK, 2003HENRY, G. T.; MARK, M. M. Beyond use: Understanding evaluations' influence on attitudes and actions. American Journal of Evaluation, Stamford v. 24, n. 3, p. 293-314, 2003.; WEISS ET AL., 2005). Apesar do crescimento das avaliações em saúde no Brasil, um dos grandes desafios tem sido a incorporação dos achados dessas avaliações no ajuste das intervenções e na tomada de decisões mais oportunas e adequadas (FELISBERTO, 2006FELISBERTO, E. Da teoria à formulação de uma política nacional de avaliação em saúde: reabrindo o debate. Ciência & Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 553-563, jul./set. 2006.; HARTZ , 2008aHARTZ, Z. M. A.; MOREIRA, E.; MATIDA, A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: HARTZ, Z. M. A; VIEIRA-DA- SILVA, L. M.; FELISBERTO, E. (Org.). Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Fiocruz, 2008a. p. 325-340.; TANAKA, 2012). Essas evidências assinalam a pertinência da construção de teorias e metodologias que apreendam como os processos avaliativos transformam as intervenções.

Os usos e influências da avaliação na formulação de políticas e programas de saúde

As diferenças entre as concepções de uso e de influência adotadas neste artigo baseiam-se na literatura. Entende-se como uso a capacidade das avaliações de modificar e introduzir habilidades e técnicas em intervenções. Influência está vinculada à capacidade de os processos avaliativos gerarem efeitos no nível do conhecer, do produzir e de mudar percepções simbólico-culturais e políticas (KIRKHART, 2000KIRKHART, K. E. Reconceptualizing evaluation use: An integrated theory of influence. New Directions for Evaluation. San Francisco, v. 88, n. 1, p. 5-23, 2000.; HARTZ ., 2008aHARTZ, Z. M. A.; MOREIRA, E.; MATIDA, A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: HARTZ, Z. M. A; VIEIRA-DA- SILVA, L. M.; FELISBERTO, E. (Org.). Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Fiocruz, 2008a. p. 325-340.; HENRY; MARK, 2003HENRY, G. T.; MARK, M. M. Beyond use: Understanding evaluations' influence on attitudes and actions. American Journal of Evaluation, Stamford v. 24, n. 3, p. 293-314, 2003.; MARK ; HENRY, 2004MARK, M. M.; HENRY, G. T. The mechanisms and outcomes of evaluation influence. Evaluation, London, v. 10. p. 35-57, 2004.; FIGUEIRÓ, 2012FIGUEIRÓ, A. C. Usos e influência da avaliação em saúde: um estudo exploratório do Programa Nacional de Controle da Dengue. 2012. 105 f. Tese (Doutorado em Saúde Pública) - Centro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz, Recife, 2012.).

Leviton e Hughes (1981)LEVITON, L. C.; HUGHES, F. X. E. Research on the utilization of evaluations: a review and Synthesis. Sage Publications, Thousand Oaks, v. 5, n. 4, p. 525-548, ago. 1981. identificaram nos trabalhos analisados cinco grupamentos de variáveis que afetam a utilização da avaliação: (1) a relevância da avaliação para os interessados potenciais; (2) o grau de comunicação entre os interessados potenciais e os que conduzem a avaliação; (3) a tradução das avaliações em ações para os programas e políticas; (4) a credibilidade ou confiança depositada nas avaliações; e (5) o envolvimento e o comprometimento dos interessados. Para os autores, o uso de uma avaliação está relacionado ao reconhecimento de sua utilidade, como também à decisão de incorporar ou não os achados. Outro fator importante para o uso da avaliação é que haja consenso sobre sua importância entre os diferentes interessados, principalmente entre os tomadores de decisão.

Vinte anos após a revisão de Leviton e Hughes (1981)LEVITON, L. C.; HUGHES, F. X. E. Research on the utilization of evaluations: a review and Synthesis. Sage Publications, Thousand Oaks, v. 5, n. 4, p. 525-548, ago. 1981., Henry e Mark (2003)HENRY, G. T.; MARK, M. M. Beyond use: Understanding evaluations' influence on attitudes and actions. American Journal of Evaluation, Stamford v. 24, n. 3, p. 293-314, 2003. afirmaram que, dependendo dos conflitos e interesses em uma avaliação, os achados podem ser mal utilizados, levando os avaliadores a falhar no propósito final, que é o 'desenvolvimento social', ou social betterment.

Com relação às diferentes tipologias, Weiss, Murphy-Graham e Birkeland (2005) identificaram três principais tipos ou categorias de uso na formulação de políticas: instrumental, política ou simbólica, e cognitiva. O uso instrumental é aquele decorrente dos achados da avaliação ou do próprio processo avaliativo, capaz de ocasionar mudanças na vida da intervenção ou organização ou, ainda, apoiar a tomada de decisão. No uso instrumental para a tomada de decisão, os responsáveis pela implementação de políticas baseiam-se nos resultados da avaliação para realizar as mudanças e ajustes necessários. Acrescentando, Leviton e Hughes (1981)LEVITON, L. C.; HUGHES, F. X. E. Research on the utilization of evaluations: a review and Synthesis. Sage Publications, Thousand Oaks, v. 5, n. 4, p. 525-548, ago. 1981., ressaltaram a dificuldade de relacionar quais achados específicos embasariam decisões particulares, sobretudo quanto maior fosse o hiato de tempo entre a avaliação e a tomada de decisão.

O segundo tipo de uso, político ou simbólico, fornece legitimação na medida em que é utilizado para justificar uma decisão ou uma posição pré-concebida. É geralmente empregado para persuadir ou convencer. Apesar de desmerecido por alguns, esse tipo de uso é importante para fortalecer uma ação (WEISS; MURPHY-GRAHAM; BIRKELAND, 2005).

Por fim, o uso conceitual relaciona-se à produção de conhecimento para a escolha de melhores intervenções para resolver problemas e para produzir conhecimento sobre o próprio campo da avaliação. Esse tipo de uso indireto foi chamado por Weiss (1999) de enlightenment, pois leva, no longo prazo, a decisões que são fruto de um acúmulo de conhecimento pela implementação de intervenções e por suas avaliações. As categorias não são excludentes, podendo o uso instrumental levar ao uso conceitual, por exemplo.

Outros tipos de uso foram propostos, assim como o uso processual, que são referentes às mudanças individuais de conhecimento, atitudes e comportamento, além das mudanças organizacionais ou na intervenção durante o processo de avaliação (PATTON, 2008______. Intended Process Uses: Impacts of Evaluative Thinking and Experiences In: ______. Utilization-focused evaluation. 4. ed. Thousand Oaks: Sage, 2008. p. 151-194.). Para o autor, a avaliação participativa aumenta a chance do uso processual. Outros autores valorizam especialmente a avaliação participativa como estratégia de legitimação (MATUS, 1993MATUS, C. Política, Planejamento e Governo. Brasília, DF: Ipea, 1993.; RIVERA; ARTMANN, 2016RIVERA, F. J. U.; ARTMANN, E. Inovação e Agir Comunicativo: redes e tecnologias de gestão para a saúde. Cad. de Saúde Pública, Rio de Janeiro, v. 32, supl. 2, p. s1-s11, 2016.). Weiss, Murphy-Graham e Birkeland (2005) não consideraram o uso processual como um novo tipo, pois se refere mais a uma adaptação do desenho da avaliação ao contexto de sua implementação.

Diversas são as teorias sobre usos e influência da avaliação, mas o que tem sido debatido por alguns autores (KIRKHART, 2000KIRKHART, K. E. Reconceptualizing evaluation use: An integrated theory of influence. New Directions for Evaluation. San Francisco, v. 88, n. 1, p. 5-23, 2000.; HENRY; MARK, 2003HENRY, G. T.; MARK, M. M. Beyond use: Understanding evaluations' influence on attitudes and actions. American Journal of Evaluation, Stamford v. 24, n. 3, p. 293-314, 2003.) é que a avaliação deve ir além do uso. Kirkhart (2000)KIRKHART, K. E. Reconceptualizing evaluation use: An integrated theory of influence. New Directions for Evaluation. San Francisco, v. 88, n. 1, p. 5-23, 2000., considerando que o conceito de uso não era suficiente para explicar os efeitos de uma avaliação, propôs uma mudança de 'uso' para 'influência' e a adoção de uma teoria integrada. Segundo sua teoria, a influência pode ser verificada por meio de três dimensões: fonte, intenção e tempo de influência.

Henry e Mark (2003)HENRY, G. T.; MARK, M. M. Beyond use: Understanding evaluations' influence on attitudes and actions. American Journal of Evaluation, Stamford v. 24, n. 3, p. 293-314, 2003., percebendo a lacuna deixada por esse debate, propuseram um modelo de classificação por níveis de influência: individual, interpessoal e coletivo. O nível individual se refere às mudanças ocorridas nas atitudes e modos de pensar de um ou mais indivíduos. No nível interpessoal, as mudanças ocorrem pela interação entre os atores, onde diferentes opiniões são tensionadas, sendo o espaço da persuasão e do surgimento de lideranças. O terceiro nível, o coletivo, se refere à influência da avaliação na organização. Os autores ressaltam que as mudanças podem ocorrer tanto pelo processo avaliativo como por seus achados e que a influência ocorrida em um nível pode afetar os outros níveis.

Para Mark e Henry (2004)MARK, M. M.; HENRY, G. T. The mechanisms and outcomes of evaluation influence. Evaluation, London, v. 10. p. 35-57, 2004., os tipos de uso se distinguem por diferentes atributos. Enquanto o uso conceitual e instrumental está relacionado ao tipo de mudança provocada pela avaliação, o simbólico está mais ligado à intenção dos principais interessados. O uso simbólico é maior quando a incerteza é de caráter político, enquanto o uso conceitual e instrumental é maior quando a incerteza é de caráter técnico (BROUSSELLE , 2009BROUSSELLE, A.; CONTANDRIOPOULOS, A. P.; LEMIRE, M. Using logic analysis to evaluate knowledge transfer initiatives. Evaluation, Londres, v. 15, n. 2, p.165-183, 2009.). Os autores sugeriram um modelo que pudesse auxiliar a identificar as influências da avaliação: a) influência geral (elementos básicos da mudança); b) cognitiva e afetiva (conhecimentos e sentimentos); c) motivacional (objetivos e ações); e d) comportamental (alterações nas ações, pode ser mediado pelo processo motivacional).

Alinhados à tradição Popperiana (1987)POPPER, K. A Sociedade Aberta e seus Inimigos. São Paulo: Edusp; Belo Horizonte: Itatiaia, 1987. (v. 2). e a de Donald Campbell (1974)______. Evolutionary epistemology. In: SCHILPP, P. (Org.). The Philosophy of Karl R. Popper. La Salle : Hardcover, 1974. p. 412-463., Henry e Mark (2003)HENRY, G. T.; MARK, M. M. Beyond use: Understanding evaluations' influence on attitudes and actions. American Journal of Evaluation, Stamford v. 24, n. 3, p. 293-314, 2003. propuseram um modelo para abordar as influências do processo avaliativo que combina diferentes níveis de mecanismos capazes de clarificar os padrões de seus efeitos.

A teorização sobre 'mecanismos causais' e sobre condições que os ativem tem sido objeto de debates acadêmicos, seja no que se relaciona com a potencialidade de a intervenção mudar o problema ou no que diz respeito à capacidade de a avaliação mudar a intervenção (VAESSEN; LEEUW, 2010). Alguns aspectos desse debate merecem ser explorados para abordar a teorização sobre efeitos de avaliações, como processos de translação. O primeiro ponto refere-se à compreensão de Campbell (1969)CAMPBELL, D. T. Reforms as experiments. American Psychologist, Washington, DC, v. 24, p. 409-429, 1969. sobre a importância da experimentação em avaliação. Para o autor, 'testar' a efetividade de uma intervenção se constitui na base da compreensão do que funciona, de forma a embasar políticas e reformas sociais bem-sucedidas.

Analisando a contribuição de Campbell, Shadish et al. (1991) referem-se à sua relevância para o desenvolvimento de uma teoria sobre a prática avaliativa como uma manipulable solution theory of practice. Da mesma forma, tomando-se avaliações como intervenções, pode-se abordar a apreciação de seus usos e influências sob o ponto de vista de teorias da causalidade; em outras palavras, como a avaliação causa uma mudança na intervenção.

Do ponto de vista teórico, conforme abordado por Tilley (2010) e Pawson (2010)PAWSON, R. Middle Range Theory and Program Theory Evaluation: from provenance to practice. In: VAESSEN, J.; LEEUW, F. L. (Ed.). Mind the Gap: perspectives on policy evaluation and the social sciences. New Jersey: Transanction Publishers, 2010. p. 171-202., os mecanismos mediadores que conectem efeitos e contexto são fundamentais para a compreensão da relação intervenção e processo avaliativo. Para além da discussão das relações de macro e micro comumente exploradas pela teoria sociológica e pela teoria das intervenções (CHEN, 1990CHEN, H. Theory Driven Evaluation. Newbury Park: Sage. 1990. 326p.; FUNNEL; ROGERS, 2011FUNNELL, S. C.; ROGERS, P. J. Purposeful Program Theory: Effective of Theories of Change and Logic Models. San Francisco: Jossey-Bass, 2011.), Tilley e Pawson, baseados no trabalho de Robert Merton (1968), assumem que políticas e programas sociais objetivam modificar 'regularidades' problemáticas mediadas por mecanismos intermediários.

A elaboração teórica desenvolvida por Pawson (2010)PAWSON, R. Middle Range Theory and Program Theory Evaluation: from provenance to practice. In: VAESSEN, J.; LEEUW, F. L. (Ed.). Mind the Gap: perspectives on policy evaluation and the social sciences. New Jersey: Transanction Publishers, 2010. p. 171-202. e consolidada na avaliação realista retoma então a middle range theory proposta por Merton para esclarecer as relações intermediárias entre contexto, mecanismos e resultado (CMO, do inglês context, mechanisms e outcomes). Embora os autores estejam postulando uma teoria para explicar hipóteses sobre como a intervenção ou política pode modificar um problema, ela é suficientemente abrangente para incorporar mecanismos que expliquem os efeitos de avaliações.

A perspectiva dos mecanismos intermediários é retomada com outro referencial teórico por Clavier (2011)CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011.. Essa proposição se alinha a estudos que abordam a contribuição da translação para a compreensão de um novo papel para o avaliador, o de translador do conhecimento (DONNELY, 2014DONNELLY, C. et al. Supporting knowledge translation through evaluation: Evaluator as Knowledge Broker. The Canadian Journal of Program Evaluation, Toronto, v. 29, n. 1, p. 36-61, 2014.; CLAVIER , 2011CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011.; MANTOURA ., 2007MANTOURA, P.; GENDRON, S.; POTVIN, L. Participatory research in public health: Creating innovative alliances for health. Health & Place, Oxford, v. 13, p. 440-451, 2007.; SANTOS ET AL., 2014). O envolvimento dos interessados, a recriação in situ do conhecimento produzido e as ressignificações de valor, elementos prioritários do processo avaliativo, são revisitados sob o olhar das operações de translação.

Translação do conhecimento

A translação do conhecimento, originária da teoria da translação utilizada no campo da linguística e da comunicação, vem sendo adotada em diversos campos, inclusive o da saúde, para se referir ao intercâmbio, síntese e aplicação do conhecimento (DAVISON, 2009DAVISON, C. M. Knowledge translation: Implications for evaluation. In: OTTOSON, J. M.; HAWE, P. (Org.). Knowledge utilization, diffusion, implementation, transfer, and translation: Implications for evaluation. New Directions for Evaluation, Hoken, 2009. p. 75-87.). A utilização do termo na área da saúde surgiu timidamente em meados da década de 1970 e começou a ser amplamente usado a partir da década de 1990 (DAVISON, 2009DAVISON, C. M. Knowledge translation: Implications for evaluation. In: OTTOSON, J. M.; HAWE, P. (Org.). Knowledge utilization, diffusion, implementation, transfer, and translation: Implications for evaluation. New Directions for Evaluation, Hoken, 2009. p. 75-87.; DONNELLY, 2014DONNELLY, C. et al. Supporting knowledge translation through evaluation: Evaluator as Knowledge Broker. The Canadian Journal of Program Evaluation, Toronto, v. 29, n. 1, p. 36-61, 2014.).

O Canadian Institute of Health Research (CIHR) define translação do conhecimento como:

Davison (2009)DAVISON, C. M. Knowledge translation: Implications for evaluation. In: OTTOSON, J. M.; HAWE, P. (Org.). Knowledge utilization, diffusion, implementation, transfer, and translation: Implications for evaluation. New Directions for Evaluation, Hoken, 2009. p. 75-87. identificou, dentre diversas definições sobre translação do conhecimento, três que julga mais importantes: (1) a troca, síntese e aplicação ética por meio de um sistema complexo de interação entre pesquisadores e usuários; (2) a troca, síntese e comunicação efetiva dos achados relevantes e confiáveis; e (3) a revisão, estudo, identificação e aplicação prática da pesquisa de qualidade pelos stakeholders.

O autor destaca quatro características importantes abordadas pelas diferentes correntes teóricas sobre translação do conhecimento: (1) ela é multidimensional; (2) envolve interação entre os diferentes atores com a identificação do público-alvo e do contexto onde estão inseridos; (3) a mensagem frequentemente vem do pesquisador, do seu trabalho e do conhecimento sobre os processos e os produtos da pesquisa; e (4) existem facilitadores e barreiras para que a translação do conhecimento ocorra.

É crescente o uso de modelos que atribuem mais responsabilidade aos pesquisadores no processo de incorporação e transferência dos resultados na tomada de decisão (BROUSSELLE, 2009BROUSSELLE, A.; CONTANDRIOPOULOS, A. P.; LEMIRE, M. Using logic analysis to evaluate knowledge transfer initiatives. Evaluation, Londres, v. 15, n. 2, p.165-183, 2009.). Isso contribuiu para o surgimento de uma nova área de pesquisa que objetiva identificar o melhor modo de transferência dos achados acadêmicos para as arenas política e organizacional. A translação envolve múltiplos processos com o objetivo de modificar as práticas em diferentes níveis (HANNEY , 2003HANNEY, S. R. et al. The utilization of health research in policy-making: concepts, examples and methods of assessment. Health Research Policy and Systems, Londres, v. 1, n. 2, p. 1-28, 2003.). Por meio dela os avaliadores podem compreender como o conhecimento está sendo utilizado e como ele perpassa as ações (DAVISON, 2009DAVISON, C. M. Knowledge translation: Implications for evaluation. In: OTTOSON, J. M.; HAWE, P. (Org.). Knowledge utilization, diffusion, implementation, transfer, and translation: Implications for evaluation. New Directions for Evaluation, Hoken, 2009. p. 75-87.). Além disso, transforma a avaliação em um mecanismo para traduzir o conhecimento em prática (DONNELY ., 2014DONNELLY, C. et al. Supporting knowledge translation through evaluation: Evaluator as Knowledge Broker. The Canadian Journal of Program Evaluation, Toronto, v. 29, n. 1, p. 36-61, 2014.).

Donnelly (2014)DONNELLY, C. et al. Supporting knowledge translation through evaluation: Evaluator as Knowledge Broker. The Canadian Journal of Program Evaluation, Toronto, v. 29, n. 1, p. 36-61, 2014. realizaram uma avaliação de abordagem participativa numa clínica de atenção primária em Ontário, Canadá, com o objetivo de verificar de que modo a translação do conhecimento foi estimulada e qual foi o papel do avaliador nesse processo. Para os autores, é importante tanto a participação dos stakeholders como do avaliador, ou seja, dos atores intermediários. O envolvimento e conhecimento sobre o programa é fundamental para integrar as evidências, as redes de conhecimento, a capacidade organizativa e para a construção de alianças que possibilitem a translação do conhecimento.

As alianças formadas entre os diferentes atores aumentam a relevância da pesquisa por possibilitar um espaço de ação coordenada de atores com diferentes visões e práticas (CLAVIER 2011CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011.). Apesar de fundamental para a transformação, para Mantoura (2007)MANTOURA, P.; GENDRON, S.; POTVIN, L. Participatory research in public health: Creating innovative alliances for health. Health & Place, Oxford, v. 13, p. 440-451, 2007., a natureza das alianças influencia o conhecimento produzido, sejam alianças baseadas na confiança (coletivo acima do individual) ou no oportunismo (individual acima do coletivo). Citando Callon et al. (1999), os autores afirmam que a noção de translação é útil para situar o desenvolvimento do conhecimento por meio do processo de construção de redes (teoria do ator-rede) ligando diferentes interesses que as reconfiguram gradualmente.

A teoria do ator-rede e a translação

Bruno Latour, ao lado de Michel Callon, foi um dos desenvolvedores da teoria do ator-rede. Para Latour (2012)______. Reagregando o social. Bauru: Edusc; Salvador: Edufba, 2012., tanto o processo de investigação como os achados de uma pesquisa são modificados por atores humanos e não humanos (objetos, instituições, animais e máquinas, por exemplo). Esses atores, também chamados de actantes, transitam e se comunicam por meio de conexões que estão sempre sendo alteradas.

Nos últimos anos, as discussões na literatura (MANTOURA , 2007MANTOURA, P.; GENDRON, S.; POTVIN, L. Participatory research in public health: Creating innovative alliances for health. Health & Place, Oxford, v. 13, p. 440-451, 2007.; HARTZ ., 2008aHARTZ, Z. M. A.; MOREIRA, E.; MATIDA, A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: HARTZ, Z. M. A; VIEIRA-DA- SILVA, L. M.; FELISBERTO, E. (Org.). Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Fiocruz, 2008a. p. 325-340.; CLAVIER ., 2011CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011.; FIGUEIRÓ, 2012FIGUEIRÓ, A. C. Usos e influência da avaliação em saúde: um estudo exploratório do Programa Nacional de Controle da Dengue. 2012. 105 f. Tese (Doutorado em Saúde Pública) - Centro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz, Recife, 2012.) têm aproximado a teoria sobre a influência da avaliação daquela referente ao ator-rede. Essa aproximação tem acontecido via operações de translação (teoria da tradução). Considerando que o conhecimento se constrói a partir da interação entre elementos humanos e não humanos, a teoria da tradução poderia facilitar o entendimento de como ele é compartilhado, reproduzido e transformado entre esses vários 'opostos', como, por exemplo, ciência e prática (HARTZ ., 2008AHARTZ, Z. M. A.; MOREIRA, E.; MATIDA, A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: HARTZ, Z. M. A; VIEIRA-DA- SILVA, L. M.; FELISBERTO, E. (Org.). Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Fiocruz, 2008a. p. 325-340.). A teoria da tradução possibilita seguir as conexões dos actantes nas redes, identificando controvérsias, convergências, inscritos e reconfigurações da própria rede (HARTZ ., 2008BHARTZ, Z. M. A. et al. From knowledge to action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: POTVIN, L.; McQUEEN, D. (Org.). Health promotion evaluation practices in the Americas: values and research. New York: Springer, 2008b. p. 101-120.).

Hartz (2008b)HARTZ, Z. M. A. et al. From knowledge to action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: POTVIN, L.; McQUEEN, D. (Org.). Health promotion evaluation practices in the Americas: values and research. New York: Springer, 2008b. p. 101-120. propuseram um modelo de utilização da avaliação com base na teoria da tradução, alinhando as quatro operações a exemplos da área da saúde. Essas operações configuram um processo de aprendizagem social em que as trocas e conexões viabilizam a influência da avaliação em domínios simbólicos, práticos e dos próprios saberes.

As operações referidas, são descritas como: 1) a problematização, isto é, a definição do tema, actante e conexão, com a caracterização de convergências e controvérsias sobre os mesmos; 2) a motivação, que trata da sensibilização e negociação de interesses entre os atores, buscando um alinhamento para a resolução da controvérsia; 3) o enredamento ou envolvimento, quando se estabelece o papel de cada actante na rede por meio de ações e práticas relacionadas; e 4) a mobilização, ou seja, o emprego de métodos e uso de negociação, onde os atores são incluídos para o desenvolvimento das ações pertinentes às controvérsias identificadas no sentido de legitimar ou reconfigurar a rede.

O modelo apresentado por Clavier (2011)CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011., problematizando a questão dos atores intermediários em pesquisas participativas, baseia-se na teoria do ator-rede e constrói uma proposta para iluminar as conexões entre actantes como mecanismos relacionais. Esse modelo contribuiu para a operacionalização da teoria da translação ao discutir a produção social do conhecimento e teorizar sobre as conexões entre atores intermediários, especialmente as conexões entre pesquisadores (especialistas) e usuários (leigos) que ocorrem no âmbito de uma pesquisa participativa.

Para Clavier (2011)CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011., a translação ocorre em três domínios que compreendem diferentes tipos de conexões: cognitivo (circulação multidirecional do conhecimento e das preferências dos diversos parceiros); estratégico (mobilização de procedimentos voltados para equilibrar os diferentes interesses dos vários actantes); e logístico (implementação de ações e processos para garantir as conexões entre parceiros, tais como agenda de reuniões, canais de comunicações, memórias e atas de encontros). Os autores consideram que o pesquisador deve ter o conhecimento necessário para conduzir o processo e manter os atores da rede mobilizados e motivados para que a translação ocorra.

Desse modo, este artigo, à luz dos conceitos apresentados, pretende refletir sobre as seguintes questões: O que foi problematizado e como? Esta questão refere-se à representação de uso, utilização e influência entre os participantes da rede, assinalando convergências e divergências. Quais alianças foram construídas e como? Quais novos significados foram valorizados e como? As duas últimas perguntas envolveram a descrição de modificações de valores e de papeis dos participantes da rede. Como ocorreram os processos de enredamento e mobilização? Para responder a esta pergunta, caracterizou-se quais processos foram mobilizados para promover a mudança, considerando os achados possíveis da avaliação.

Métodos

Trata-se de estudo exploratório que tem como caso uma pesquisa avaliativa do desempenho do PNCT na atenção primária. A avaliação de desempenho foi realizada em dois estados brasileiros com alta incidência de tuberculose (TB), altas taxas de abandono e baixo índice de cura. Em cada estado, foram selecionados dois municípios com mais de 100.000 habitantes, sendo um município de presumido sucesso e outro presumidamente crítico em relação às taxas de cura e abandono do tratamento de TB. A pesquisa foi realizada pelo Laboratório de Análises Endêmicas Regionais (Laser), situado no Departamento de Endemias Samuel Pessoa da Escola Nacional de Saúde Pública Sergio Arouca da Fundação Oswaldo Cruz (Densp/Ensp/Fiocruz), e contou com o financiamento do Programa de Apoio à Pesquisa, Desenvolvimento e Inovação em Saúde Pública da Ensp (Inova-Ensp) (CARDOSO , 2016CARDOSO, G. C. P. et al. Avaliação de Desempenho do Programa de Controle da Tuberculose na Atenção Primária em três Municípios. Relatório Final. Rio de Janeiro: LASER; ENSP, Fiocruz, 2016.).

Para a discussão dos usos e influências de um processo avaliativo a partir da teoria do ator-rede foram utilizados os registros de observação dos pesquisadores, atas de reuniões e seis relatórios parciais da avaliação de desempenho previamente citada. Realizou-se uma análise documental seguindo as questões norteadoras já descritas. A identificação de stakeholders, controvérsias e convergências viabilizaram a descrição das conexões entre avaliadores e profissionais de saúde. Possíveis alianças e fatores que pudessem facilitar ou dificultar a mobilização intra e intergrupos foram enfatizadas ao longo da análise documental.

As interações entre os pesquisadores e os profissionais envolvidos na avaliação, especialmente em relação à abordagem e ao processo colaborativo entre os dois grupos, foram sistematizadas por meio de três interfaces identificadas nos documentos analisados: (1) Interface com o PNCT; (2) Interface com os programas de controle de tuberculose (PCT) estaduais; e (3) Interface com os programas municipais de controle da tuberculose (PMCT).

Após a sistematização, aplicou-se o modelo de Clavier (2011)CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011. adaptado (quadro 1) para refletir sobre três domínios de práticas de translação. Vale lembrar que a discussão proposta refere-se à teorização sobre atores intermediários em pesquisa participativa. A transposição para os usos da pesquisa avaliativa, à luz das operações de translação proposta por Bruno Latour (problematização, motivação, enredamento e mobilização), requereu a incorporação de elementos teóricos adicionais. A adaptação proposta agrega às práticas de translação, como definidas por Clavier (2011)CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011. para a pesquisa participativa, dois elementos constitutivos do processo avaliativo: a intencionalidade de mudança e a revaloração de mérito.

Interfaces de interação: espaços de translação

A implementação das ações de controle de TB envolvem situações complexas (WILLIAMS; HUNNELBRUNNER, 2010; FUNNELL; ROGERS, 2011FUNNELL, S. C.; ROGERS, P. J. Purposeful Program Theory: Effective of Theories of Change and Logic Models. San Francisco: Jossey-Bass, 2011.) marcadas pela mobilização dos diversos entes que compõem o pacto federativo. Para sistematizar os múltiplos interesses existentes, incluindo aqueles dos avaliadores, construiu-se três interfaces nas quais as operações de translação foram investigadas.

Interface dos avaliadores com o Programa Nacional de Controle de Tuberculose (PNCT)

A equipe de avaliadores problematizou, por meio de uma reunião com os técnicos do PNCT, três pontos para a elaboração metodológica da avaliação: os propósitos da avaliação, os critérios de seleção dos municípios participantes e o padrão de comparação para cada medida observada. A reunião contou com a presença do coordenador do programa e técnicos da área de monitoramento e avaliação. Foram, então, definidos quatro municípios dentre os prioritários, sendo dois deles capitais estaduais.

Interface dos avaliadores com os programas de controle de tuberculose (PCT) estaduais

Após a reunião com o PNCT, foram realizadas reuniões nos dois estados envolvidos: Estados 1 e 2. Essas reuniões, além de esclarecer e negociar os objetivos da avaliação, contribuíram para o refinamento e adequação dos seus processos logísticos. Em cada um dos estados, foram selecionados dois municípios, caracterizados como de sucesso presumido (1A e 2A) e com problemas (1B e 2B).

No 'Estado 1', foi realizada uma reunião com os coordenadores estaduais da atenção básica, do PCT e das coordenações do Programa Municipal de Controle de Tuberculose (PMCT). Alguns pontos metodológicos foram resolvidos, como, por exemplo, a escolha das unidades de saúde. Considerando o tempo e o orçamento disponíveis, a equipe de avaliação manteve o desenho de estudos de casos contrastantes (YIN, 2005).

No 'Estado 2', a reunião incluiu a coordenação estadual do programa de TB. A existência de vários municípios elegíveis gerou o processo de escolha de dois municípios, compartilhado entre a coordenação estadual e a equipe de avaliação.

Interface dos avaliadores com os municípios selecionados

Em seguida à reunião com o PCT, os coordenadores do PMCT foram contactados para a apresentação da avaliação, definição conjunta das unidades e acertos operacionais para a coleta de evidências. Como já descrito, o processo foi facilitado no 'Estado 1', pela participação prévia dos coordenadores municipais. No 'Estado 2', como não houve uma intermediação direta da equipe estadual, o processo foi mais demorado.

Um dos municípios com sucesso presumido recusou-se a participar do estudo, alegando ter participado de processos avaliativos recentes. Procedeu-se à sua substituição, repetindo-se a escolha partilhada com os atores envolvidos. Apesar da substituição, mudanças de gestão no novo município de escolha implicaram nova recusa, mesmo após inúmeras tentativas da equipe de avaliação.

Algumas particularidades da interface com cada município serão apresentadas a seguir. No 'Município 1A', a reunião envolveu a coordenadora do PMCT e uma técnica da vigilância epidemiológica. Na ocasião, foi apresentada a proposta da pesquisa e a equipe do município disponibilizou as informações sobre as unidades de saúde. A partir desses dados, foram selecionadas aquelas que seriam avaliadas. Agendou-se o período do trabalho de campo, que foi reagendado em função de mudança da coordenação do PMCT, e estabeleceu-se a forma de abordagem também compartilhada. As visitas às unidades avaliadas seriam realizadas por pesquisadores de campo e um representante do programa de TB.

No 'Município 1B', a coordenação do PMCT tomou a iniciativa de organizar uma reunião prévia para a apresentação do estudo avaliativo aos seis coordenadores distritais. Nessa reunião, ficou acordado o mesmo processo de abordagem planejado para o município anterior, no sentido de facilitar o acesso. Ambas coordenações colocaram à disposição um veículo para translado durante toda a semana, conforme o cronograma.

Houve receptividade à pesquisa por parte dos coordenadores municipais e distritais da TB e profissionais de saúde. A maioria foi muito colaborativa, mostrando-se interessada nos desdobramentos da avaliação. Os avaliadores asseguraram a volta ao município para o compartilhamento dos resultados.

Enquanto no 'Estado 1' os coordenadores municipais foram intermediadores ativos entre a equipe de avaliação e os profissionais das unidades de atenção básica, o mesmo não ocorreu no 'Estado 2'.

No 'Município 2B', foi necessária a ida prévia a cada unidade de saúde para discutir o projeto. A equipe de avaliação foi bem recebida em todas as unidades. Ela demandou a apresentação do projeto no centro de estudos do Centro de Saúde a qual a unidade estava vinculada. O gestor do Centro de Saúde demonstrou o desejo de que a avaliação pudesse ajudar na solução de alguns problemas já diagnosticados. Negociou-se junto à coordenação da pesquisa a participação de uma especialista em TB do Centro de Saúde na análise dos resultados do estudo e de eventuais publicações científicas sobre os achados da avaliação, no que tange à unidade selecionada.

Este estudo está de acordo com a Resolução nº 466/2012 do Conselho Nacional de Saúde e foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca sob o parecer de número 1.607.019.

Resultados e discussão

Os resultados e discussão são apresentados de acordo com as interfaces descritas na metodologia, isto é, interfaces dos pesquisadores com o PNCT, com os estados e com os municípios. As operações de translação e os domínios das conexões identificadas estão organizados segundo o modelo de Clavier (2011)CLAVIER, C. et al. A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, Henley-on-Thames, v. 34, n. 5, p. 791-805, 2011. adaptado, e sintetizadas no quadro 2, que apresenta as controvérsias recorrentes e problematizadas nas três interfaces de interações.

Na interface dos avaliadores com a equipe do PNCT, ocorreu uma grande interação entre avaliadores e profissionais. A estratégia utilizada pela equipe de avaliação de apresentar a proposta da avaliação de desempenho (problematização), estimulando a colaboração, acolhendo as sugestões dadas pelo PNCT proporcionou um espaço de confiança e o alinhamento entre os atores (enredamento e mobilização). Este alinhamento propiciou o compartilhamento do conhecimento existente e a produção de novas informações em contexto, gerando um novo conhecimento (MANTOURA , 2007MANTOURA, P.; GENDRON, S.; POTVIN, L. Participatory research in public health: Creating innovative alliances for health. Health & Place, Oxford, v. 13, p. 440-451, 2007.). A coprodução de critérios de seleção dos avaliandos, da concepção e do escopo do desempenho, da pactuação do processo de valoração são fatores relevantes para a mobilização, alinhamento e desenvolvimento institucional, potencializando a influência e utilização dos achados da avaliação. O alinhamento do processo de valoração instigou a discussão da concepção de desempenho para além do mero cumprimento de metas epidemiológicas e operacionais (ressignificação), iluminando a função dos contextos locais nos processos de controle do agravo.

A consideração do contexto para definição do desempenho das ações pressupõe a redefinição da teoria de ação e da teoria de mudança das intervenções (FUNNELL; ROGERS, 2011FUNNELL, S. C.; ROGERS, P. J. Purposeful Program Theory: Effective of Theories of Change and Logic Models. San Francisco: Jossey-Bass, 2011.). As conexões estabelecidas entre as equipes de avaliação e do programa nacional foram facilitadas pela inclusão, no grupo de avaliadores, de um pesquisador que já havia integrado a equipe do PNCT. A sua mediação facilitou os processos de motivação e enredamento, notadamente nas práticas de translação estratégica e logística, como, por exemplo, o alinhamento de interesses e pactuação de acordos e o apoio à implementação da pesquisa e seus achados. Um dos limitantes da interação descrita foi a não inclusão de representantes da atenção básica.

Na interface dos avaliadores com os estados, as interações ocorreram de forma distinta. Apesar de apresentarem perfil epidemiológico de TB semelhante, as gerências estaduais tiveram diferentes graus de colaboração com a equipe de avaliação. Enquanto, no 'Estado 2', o papel do gestor ficou restrito ao de provedor de informações, no 'Estado 1', o gestor foi proativo. Além do fornecimento das informações necessárias, o coordenador do PCT do 'Estado 1' fez contato com os municípios selecionados, incluindo-os na reunião com a equipe de avaliação (intencionalidade da mudança). A reunião incluindo os coordenadores municipais e representantes da atenção básica permitiu o fortalecimento do compromisso com possíveis mudanças ocasionadas pela avaliação e a inclusão de protagonismo dos coordenadores (estratégico), por meio da mobilização e da construção de interesses comuns em torno da problematização do aprimoramento das ações. Adicionalmente, promoveu, entre os atores, o entendimento dos respectivos papéis na avaliação, fomentando a capacitação em Monitoramento e Avaliação (ressignificação e transvaloração).

O enredamento no 'Estado 1' pode estar relacionada à relevância (valor) que os seus atores atribuíram à pesquisa avaliativa a ser realizada. Como a relevância atribuída é um dos fatores considerados importantes para promover o uso dos achados da avaliação (LEVITON; HUGHES, 1981LEVITON, L. C.; HUGHES, F. X. E. Research on the utilization of evaluations: a review and Synthesis. Sage Publications, Thousand Oaks, v. 5, n. 4, p. 525-548, ago. 1981.), poderia ser explorada como explicação para o desinteresse dos dois municípios que não participaram da avaliação.

O processo de translação demanda operações distintas para diferentes contextos e se diferencia da mera utilização do conhecimento, porque, para que ocorra, depende do envolvimento dos interessados (DAVISON, 2009DAVISON, C. M. Knowledge translation: Implications for evaluation. In: OTTOSON, J. M.; HAWE, P. (Org.). Knowledge utilization, diffusion, implementation, transfer, and translation: Implications for evaluation. New Directions for Evaluation, Hoken, 2009. p. 75-87.).

Na interface dos avaliadores com os municípios, esse envolvimento dos interessados de modo distinto nos dois estados gerou reflexos no nível municipal. As equipes de profissionais dos 'Municípios 1A e 1B' mostraram-se, em sua maioria, interessadas na avaliação e em seus desdobramentos. A reunião envolvendo os coordenadores distritais do 'Município 1B' permitiu o alinhamento do processo avaliativo ao processo de implementação das ações de prevenção e controle em curso, além de promover a aproximação entre profissionais de saúde e avaliadores. Esses coordenadores atuaram como mediadores na realização do trabalho de campo, viabilizando conexões para ressignificação de padrões (metas nacionais x municipais) e construção de alianças para melhoria da intervenção (categoria de ressignificação).

Os profissionais de saúde participantes, apesar do pouco envolvimento e aprofundamento nos detalhes da pesquisa avaliativa, foram colaborativos e demonstraram grande interesse no feedback dos resultados. No 'Município 1A', essa mediação ocorreu por meio de um técnico da coordenação do PMCT. A maior fragilidade das conexões estabelecidas pode ser atribuída ao pouco tempo de exercício da função do técnico em questão e ao fato de o mesmo concentrar toda a interação da equipe de avaliação com os profissionais de saúde. A interface município e equipe de avaliação problematizou (conhecimentos e habilidades) os mecanismos de monitoramento existentes entre estado e município.

Considerando os diferentes níveis de apoio das coordenações estadual e municipal no 'Estado 2', a equipe de avaliadores precisou mobilizar diferentes estratégias para garantir a participação dos interessados, tais como aproximações individuais com as unidades municipais (logístico). A ida ao campo demandou esforço de negociação muito maior por parte da equipe e só foi possível no 'Município 2B'. O esforço da equipe de avaliação ao participar de um Centro de Estudos de uma das unidades em avaliação propiciou um momento em que controvérsias e divergências tiveram que ser elaboradas cognitiva e estrategicamente. A condição colocada pela coordenação da unidade de saúde para inclusão da unidade no processo avaliativo foi a de participar da análise e coproduzir artigo científico (ressignificação e transvaloração). Isso enfatiza a importância do protagonismo do avaliando em processos colaborativos de avaliação (FETTERMAN 2014FETTERMAN, D. et al. Collaborative, Participatory and Empowerment Evaluation: Building a Strong Conceptual Foundation for Stakeholder Involvement Approaches to Evaluation (A Response to Cousins, Whitmore, and Shulha, 2013). American Journal of Evaluation, Stanford, v. 35, n. 1, p. 144-148, 2014.). A negociação entre os grupos pode ser descrita como uma operação de enredamento e construção de alianças.

Na prática, o processo avaliativo se deparou com a controvérsia entre a compreensão da avaliação como pesquisa, cujo produto valorizado é o artigo científico, e a avaliação para ação, voltada para o desenvolvimento institucional. A perspectiva de uma publicação conjunta pode ser vista como a construção de um acordo, descrito por Bernier (2006)BERNIER, J. et al. Structuring an Inter-sector Research Partnership: A Negotiated Zone. Sozial- Und Praventivmedizin, Zurique, v. 51, n. 6, p. 335-344, 2006. como um incentivo à participação. Para os autores, existem alguns fatores que podem facilitar essa parceria, como o reconhecimento dos interesses específicos e da cultura organizacional. As relações que emergem em conexões não podem ser reduzidas a atributos de cada um dos atores, mas devem ser consideradas e, se possível, elaboradas em inscritos compartilhados (LATOUR, 2011LATOUR, B. Ciência em ação: como seguir os cientistas e engenheiros sociedade afora. São Paulo: Unesp, 2011.).

Considerações finais

Este artigo ilumina algumas hipóteses interessantes para investigar as relações entre usos e influências de avaliações e a translação do conhecimento. Uma avaliação só é considerada útil se ela vai ao encontro dos interesses da rede de atores envolvidos. E mesmo, em uma rede, sua utilidade pode não ser unânime entre os actantes. Além disso, ser útil não é garantia de uso da avaliação. Apesar das incertezas, o engajamento e o envolvimento dos interessados parece potencializar a utilização. A participação, o enredamento de avaliadores e avaliandos, reconfigura o conhecimento referente ao processo avaliativo, traduzindo-o em (situ)ação.

A emergência de actantes e a interação entre eles se dá de forma distinta em diferentes contextos, como evidenciado pelas interfaces consideradas. A compreensão dessa questão, sistematizada pelo referencial da translação, pode expandir as análises de desempenho para além do imperativo da accountability, incorporando às teorias de ação o componente de flexibilidade extremamente necessário às avaliações complexas de intervenções complexas. Essa contribuição torna mais plausível o aprendizado (aprender a aprender) e o desenvolvimento institucional.

A abordagem dos efeitos da avaliação como influência ainda é insuficiente para contemplar as nuances das avaliações democráticas (HOUSE, 2006HOUSE, E. Democracy and evaluation (Article based on a keynote address at the 2004 European Evaluation Society Conference in Berlin, Germany). Evaluation, London, v. 12, n. 1, p. 119-127, 2006.) e colaborativas (CHELIMSKY, 2006). A necessidade de teorização do papel dos atores intermediários em contexto e de mobilização do conhecimento na sociedade contemporânea torna prioritários esforços para o desenvolvimento de teorias que integrem os diversos protagonismos das mudanças sociais inclusivas, enfatizando os processos de ressignificação e transvaloração. Nessa perspectiva, a translação pode se constituir em uma nova geração da avaliação, seguindo a tradição de gerações discutida por Guba e Lincoln (2011)GUBA, E. G.; LINCOLN, Y. S. Avaliação de Quarta Geração. Campinas: Unicamp, 2011..

Agradecimentos

Agradecemos à equipe participante do Projeto de Avaliação de Desempenho do Programa Nacional de Controle da Tuberculose em Três Municípios Brasileiros.

Referências

Datas de Publicação

Histórico