Resumos

Introdução

Na história recente do Brasil, a participação constitui verdadeira “ideia-força”, aqui entendida como pensamentos e ideias mobilizadores em um dado momento histórico, não necessariamente uniformes¹Magendzo A. Pensamiento e ideas-fuerza en la educación en derechos humanos en Iberoamerica. Santiago: Unesco; 2009.. O estabelecimento de ligações entre a avaliação participativa e as noções de participação nos planos prático (que permeia ações de movimentos populares) e abstrato (que integra o debate ao interior da teoria democrática) permanece território a ser explorado²American Evaluation Association. Guiding principles for evaluators [Internet]. Washington; 2018 [citado 11 Mar 2020]. Disponível em: https://www.eval.org/About/Guiding-Principles
https://www.eval.org/About/Guiding-Princ... ^,3Lavalle AG. Participação: valor, utilidade, efeitos e causas. In: Pires RRC, organizador. Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: IPEA; 2011. p. 33-42..

No plano da crítica democrática, a simultaneidade de aspectos práticos, institucionais e teóricos confere caráter multifacetado à participação e torna escorregadias as tentativas de lhe atribuir definição precisa, dificultando tentativas de sistematização de seus possíveis efeitos. Afinal, para considerar os resultados da participação é necessário saber como ela é concebida e o que se espera dela³Lavalle AG. Participação: valor, utilidade, efeitos e causas. In: Pires RRC, organizador. Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: IPEA; 2011. p. 33-42.. Quando à participação se agregam outras áreas já consolidadas – como é o caso da pesquisa ou da avaliação, constituindo a pesquisa participante ou a avaliação participativa, por exemplo –, temos novo e especial desafio para sistematizar os efeitos processuais e finais dessas abordagens híbridas⁴Sandoval JA, Lucero J, Oetzel J, Avila M, Belone L, Mau M, et al. Process and outcome constructs for evaluating community-based participatory research projects: a matrix of existing measures. Health Educ Res. 2012; 27(4):680-90..

A noção de participação, no Brasil, tem no ideário participativo dos anos 1960 seu antecedente mais direto e que conferiu sentido às ações populares emancipatórias e alavancou demandas redistributivas. Esse movimento convergiu com o pensamento crítico latino-americano, a pesquisa comprometida com a transformação social radical na América Latina e a constituição de uma sociologia periférica⁵Bringel B, Domingues JM. Teoria social, extroversão e autonomia: impasses e horizontes da sociologia (semi)periférica contemporânea. Cad CRH. 2015; 28(73):59-76.. Nesse contexto, Paulo Freire (1921-1997) e Orlando Fals Borda (1925-2008) articularam expressiva produção intelectual a lutas de independência e liberação nacional em vários países, desenvolvendo, respectivamente entre os anos 1960 e 1970, a Pedagogia do Oprimido e a Investigação-Ação-Participativa (IAP). Ambos sofreram influência da Revolução Cubana e buscaram fortalecer a participação e a resistência de trabalhadores rurais e das periferias articulando educação e produção de conhecimento. Embora com distinções, as propostas dos dois autores citados convergem ao conceber a educação e o conhecimento como dimensões inseparáveis da política de libertação⁶Santos BS. O fim do império cognitivo: a afirmação das epistemologias do sul. Belo Horizonte: Autêntica; 2019..

A Investigação-Ação-Participativa de Fals Borda⁷Fals-Borda O. Reflexões sobre a aplicação do método de Estudo-Ação na Colômbia. Direito Prax. 2016; 7(13):771-88. pressupõe uma estreita relação entre teoria e prática, entre reflexões críticas e ações transformadoras. Nesse sentido, como ressaltam Jaumont e Versiani⁸Jaumont J, Versiani R. A pesquisa militante na América Latina: trajetória, caminhos e possibilidades. Direito Prax. 2015; 7(13):414-64., mais do que adotar técnicas de investigação participativas e a vivência dos espaços pesquisados, os pesquisadores deveriam se envolver nas ações e lutas que contribuem para o entendimento da realidade e sua elaboração conceitual e teórica.

O projeto de Freire parte da educação popular transformadora, conduzida de forma dialógica e participativa, para a conscientização dos alfabetizandos em seus contextos, por meio da co-construção de conhecimento. Para Gaventa⁹Gaventa J. Toward a knowledge democracy: viewpoints on participatory research in North America. In: Fals-Borda O, Rahman MA, organizadores. Action and knowledge: breaking the monopoly with participatory action-research. New York: The Apex Press; 1991., a influência de Freire na pesquisa participativa se deu por meio do rompimento da distinção entre pesquisadores e pesquisados, e entre sujeitos e objetos da produção do saber, e da inserção ativa das pessoas na obtenção e na criação de conhecimentos.

As primeiras reflexões e práticas sobre investigação participativa surgidas com as obras seminais de Freire e Fals Borda foram sucessivamente adaptadas, a partir do final dos anos 1970, em diversos países de outros continentes¹⁰Encyclopedia.com. Participatory research [Internet]. 2019 [citado 1 Abr 2020]. Disponível em: https://www.encyclopedia.com/social-sciences/encyclopedias-almanacs-transcripts-and-maps/participatory-research
https://www.encyclopedia.com/social-scie... . Uma crítica profunda foi lançada por pesquisadores e trabalhadores indianos à pesquisa definida como vertical (top-down) que, em nome da objetividade, mantinha distância entre o avaliador e demais envolvidos com o ente avaliado¹¹Fernandes W, Tandon R. Participatory research and evaluation: experiments in research as a process of liberation. New Deli: Indian Social Institute; 1981.. Trabalhos importantes também foram realizados nos Estados Unidos e no Canadá, aproveitando o clima favorável criado pelos movimentos dos anos 1970. John Gaventa⁹Gaventa J. Toward a knowledge democracy: viewpoints on participatory research in North America. In: Fals-Borda O, Rahman MA, organizadores. Action and knowledge: breaking the monopoly with participatory action-research. New York: The Apex Press; 1991., inspirado em Freire, realizou várias pesquisas participativas, estudando a opressão política e econômica nas comunidades dos Apalaches e os esforços de associações populares para remover as barreiras econômicas e sociais.

O desenvolvimento da avaliação participativa, na década de 1980, foi reforçado pelas críticas à ciência social positivista, notadamente aquelas inspiradas na teoria crítica: os neomarxistas e o movimento feminista. A Pedagogia freireana, para além de contribuições no campo educacional e na epistemologia, inspirou diversos campos de conhecimentos, incluindo a área da avaliação. Essa influência na área que nos interessa particularmente aqui é atestada por expoentes da avaliação norte-americana. Michael Patton¹²Patton MQ. Pedagogical principles of evaluation: interpreting Freire. In: Patton MQ, organizador. Pedagogy of evaluation. Hoboken: John Wiley & Sons; 2017. p. 49-77. (New Directions for Evaluation). identifica dez princípios extraídos da obra de Paulo Freire que serviram de base para a formulação de uma crítica da teoria e da prática da avaliação. David Fetterman¹³Fetterman D. Transformative empowerment evaluation and Freirean pedagogy: alignment with an emancipatory tradition. In: Patton MQ, organizador. Pedagogy of Evaluation. Hoboken: John Wiley & Sons; 2017. p. 111-26. (New Directions for Evaluation). reconhece a influência freireana no desenvolvimento de seu método chamado Empowerment Evaluation, caracterizado por ser inclusivo, buscar ampliar a democracia em processos avaliativos e oferecer subsídios à expansão da justiça social.

Apesar da existência de controvérsias, há relativo consenso em caracterizar a avaliação participativa como a inserção de grupos de interesse (ou stakeholders) afetados por uma dada intervenção avaliada e que, por meio da criação de dispositivos específicos, poderão influenciar e co-conduzir parte ou todo o processo avaliativo¹⁴Furtado JP. A avaliação participativa. In: Otero MR, organizador. Contexto e prática da avaliação de iniciativas sociais no Brasil: temas atuais. São Paulo: Petrópolis; 2012. p. 21-41.. Autores norte-americanos clássicos propuseram modos de engajamento ativo de grupos de interesse no processo a partir do final dos anos 1970, como é o caso de Guba e Lincoln¹⁵Guba EG, Lincoln YS. Avaliação de quarta geração. Campinas: Unicamp; 2011., Stake¹⁶Stake RE. Standards-based and responsive evaluation. Thousand Oaks: Sage; 2003., Greene¹⁷Greene JG. Stakeholder participation and utilization in program evaluation. Eval Rev. 1988; 12(2):91-116., Fetterman¹⁸Fetterman D. Empowerment evaluation: an introduction to theory and practice. In: Fetterman D, Kaftarian SJ, Wandersman A, organizadores. Empowerment evaluation: knowledge and tools for self-assessment & accountability. Thousand Oaks: Sage; 1996. e Cousins¹⁹Cousins JB, Whitmore E. Framing participatory evaluation. New Dir Eval. 2004; 1998(80):5-23.. A consolidação da avaliação participativa nos Estados Unidos pode ser observada não somente no debate ali presente sobre o tema, mas sobretudo por vir considerando os seus potenciais efeitos e impactos²⁰Daigneault P-M, Jacob S. Toward accurate measurement of participation: rethinking the conceptualization and operationalization of participatory evaluation. Am J Eval. 2009; 30(3):330-48.^,21Kongats K, Springett J, Wright MT, Cook T. Demonstrating impact in participatory health research. In: Wright MT, Kongats K, organizadores. Participatory health research: voices from around the world. Cham: Springer International Publishing; 2018. p. 55-69.. No Brasil, no entanto, a avaliação participativa é ainda abordada com base em seus potenciais benefícios – genericamente abordados e discutidos – negligenciando as dificuldades, os desafios e impasses oriundos de sua implementação¹⁴Furtado JP. A avaliação participativa. In: Otero MR, organizador. Contexto e prática da avaliação de iniciativas sociais no Brasil: temas atuais. São Paulo: Petrópolis; 2012. p. 21-41.. Parece haver carência de análises dos aspectos provenientes da prática avaliativa participativa e de mais interação com autores latino-americanos seminais que desenvolveram a temática da participação²²Hall BL. From margins to center? The development and purpose of participatory research. Am Sociol. 1992; 23(4):15-28..

A avaliação participativa na atualidade, suas concepções e modus operandi foram delineados em um número especial da revista New Directions for Evaluation, na qual Cousins e Whitmore¹⁹Cousins JB, Whitmore E. Framing participatory evaluation. New Dir Eval. 2004; 1998(80):5-23. propuseram os contornos para essa modalidade que seguem sendo reconhecidos e utilizados²³Smits PA, Champagne F. An assessment of the theoretical underpinnings of practical participatory evaluation. Am J Eval. 2008; 29(4):427-42.. Os autores¹⁹Cousins JB, Whitmore E. Framing participatory evaluation. New Dir Eval. 2004; 1998(80):5-23. caracterizaram iniciativas de avaliação participativa segundo a ênfase no uso dos resultados (pragmática) ou no fortalecimento de grupos vulneráveis (transformadora). A corrente pragmática prioriza a solução de problemas, a aprendizagem sobre a intervenção e os grupos diretamente envolvidos, como trabalhadores, gestores e financiadores. A corrente transformadora prioriza o chamado empoderamento ou desenvolvimento de autonomia, dando voz a grupos afetados por uma intervenção e buscando ampliar sua capacidade de formulação e intervenção no contexto, priorizando os aspectos políticos envolvidos.

O objetivo deste artigo é analisar a dimensão participativa da avaliação em uma pesquisa avaliativa de Núcleos Ampliados de Saúde da Família e Atenção Básica (Nasf-AB). Os aspectos participativos da pesquisa citada serão abordados com base em parâmetros propostos por Weaver e Cousins²⁴Weaver L, Cousins JB. Unpacking the participatory process. J Multidiscip Eval. 2004; 1(1):19-40. e retomados por Ridde²⁵Ridde V. Suggestions d’améliorations d’un cadre conceptuel de l’évaluation participative. Rev Can D´Évaluation Programme. 2006; 21(2):1-23. e Daigneault²⁰Daigneault P-M, Jacob S. Toward accurate measurement of participation: rethinking the conceptualization and operationalization of participatory evaluation. Am J Eval. 2009; 30(3):330-48., explicitados a seguir e discutidos à luz das correntes pragmática e transformadora citadas¹⁹Cousins JB, Whitmore E. Framing participatory evaluation. New Dir Eval. 2004; 1998(80):5-23., agregadas das questões teleológicas de transformação da realidade propostas por Freire e Fals Borda⁵Bringel B, Domingues JM. Teoria social, extroversão e autonomia: impasses e horizontes da sociologia (semi)periférica contemporânea. Cad CRH. 2015; 28(73):59-76..

Método

Constitui objeto deste estudo o processo participativo empreendido no interior de uma pesquisa avaliativa, realizada entre maio de 2018 e março de 2019, com a Nasf-AB, estruturada ainda como Núcleo de Apoio à Saúde da Família, segundo o formato proposto na Política Nacional de Atenção Básica (PNAB), definida em 2011²⁶Brasil. Ministério da Saúde. Portaria nº 2.488, de 21 de Outubro de 2011. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas para a organização da Atenção Básica, para a Estratégia Saúde da Família (ESF) e o Programa de Agentes Comunitários de Saúde (Pacs). Diário Oficial da União. 22 Out 2011.. Constituía objetivo da pesquisa a avaliação do grau de implantação e a efetividade dos núcleos. A principal estratégia de interação e participação utilizada na pesquisa foi o desenvolvimento de um curso sobre Avaliação em Saúde (Quadro 1). Foram 11 dias inteiros de encontros, distribuídos quinzenalmente, com 24 trabalhadores (oito de cada um dos três municípios envolvidos), em dez meses, sob o formato de curso de aperfeiçoamento de 180 horas, certificado pela universidade de parte dos pesquisadores. Os trabalhadores participantes foram indicados pelas Secretarias Municipais de Saúde (SMS), que observaram o critério sugerido pelos pesquisadores de garantir representação da maior parte das categorias profissionais presentes nas equipes, estarem vinculados a diferentes equipes e vínculo há mais de seis meses nos Nasf.

O curso foi composto por uma parte teórica, pela manhã, que abordou inicialmente conteúdos da avaliação de programas e serviços – seus fundamentos e métodos, com ênfase no modelo lógico, em indicadores e estratégias qualitativas – e, posteriormente, temas considerados centrais nos Nasf: clínica ampliada, território, trabalho em rede, Atenção Básica e a clínica desses núcleos. No período vespertino de cada encontro, eram realizados três subgrupos (um por município participante) para elaborações do que foi abordado pela manhã e aprofundamentos em torno de questões relativas aos Nasf, além de pautas trazidas livremente pelos integrantes e agregadas à discussão. Cada subgrupo contou com o acompanhamento de um mesmo pesquisador ao longo dos dez meses e foi inspirado nos Grupos de Apreciação Compartilhada (GAP)²⁷Jalbert Y, Pinault L, Renaud G, Zuñiga RB. Epsilon: guide d’auto-évaluation des organismes communautaires. Montréal: Coalition des organismes communautaires québécois de lutte contre le sida; 1997., que visam que a avaliação seja contínua e realizada pelos envolvidos, julgando ações, serviços e programas e formulando eventuais ajustes.

Paralelamente ao curso, foram realizadas, em cada município, as seguintes atividades: 40 h de observação participante (cobrindo uma semana completa); um grupo focal com integrantes das equipes de Saúde da Família (eSF) matriciadas pelos Nasf em questão; coleta de informações adicionais nas Secretarias Municipais de Saúde dos três municípios; e, finalmente, agregou-se relato individual de cada profissional (feito de próprio punho) de uma jornada de trabalho, de livre escolha, no seu respectivo Nasf. Perspectivas dos próprios trabalhadores de Nasf se juntaram àquelas dos pesquisadores que foram a campo acompanhar o cotidiano dos núcleos nas unidades de saúde, enquanto as questões e os pontos de vista da eSF foram levantados por meio de grupos focais. Conforme previsto, todas as atividades em campo foram anotadas em diários de pesquisa e os grupos e subgrupos gravados e transcritos. Essa triangulação de métodos, de fonte de dados e de pesquisadores produziu um corpus denso e multifacetado, revelando distintos aspectos da realidade empírica²⁸Minayo MCS, Cruz Neto O. Triangulación de métodos en la evaluación de programas y servicios de salud. In: Bronfman M, Castro R, organizadores. Salud, cambio social y política: perspectivas desde América Latina. México, DF: Edamex; 1999. p. 65-80..

Para sistematização do trabalho empírico e da análise dos aspectos participativos da pesquisa considerada, foi utilizado um conjunto de cinco dimensões dirigidas a abordar avaliações de caráter participativo²⁰Daigneault P-M, Jacob S. Toward accurate measurement of participation: rethinking the conceptualization and operationalization of participatory evaluation. Am J Eval. 2009; 30(3):330-48.^,25Ridde V. Suggestions d’améliorations d’un cadre conceptuel de l’évaluation participative. Rev Can D´Évaluation Programme. 2006; 21(2):1-23.^,29Furtado JP, Laperrière H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Cienc Saude Colet. 2012; 17(3):695-705.^,30Baron G, Monnier E. Une approche pluraliste et participative. Inf Soc. 2003; (110):120-9., que consideram como e com que profundidade os chamados não especialistas interferem nas decisões, são reconhecidos e efetivamente exercem o poder na parceria estabelecida. Tais dimensões encontram-se detalhadas no Quadro 2.

Finalmente, discutiu-se a pertinência dos aspectos pragmáticos e transformadores³¹Preskill H, Torres RT. The learning dimension of evaluation use. New Dir Eval. 2000; 2000(88):25-37. na estratégia participativa utilizada, segundo tipologia proposta por Cousins¹⁹Cousins JB, Whitmore E. Framing participatory evaluation. New Dir Eval. 2004; 1998(80):5-23., suas potencialidades e também limitações a serem enfrentadas com base no pensamento de Paulo Freire³²Freire P. Pedagogia do oprimido. Rio de Janeiro: Paz e Terra; 2019..

A presente pesquisa foi submetida e aprovada no Comitê de Ética de Pesquisa da Universidade Federal de São Paulo sob o n. 0786/2018 e CAAE 93295318.7.0000.5505.

Resultados

1. “O controle das decisões técnicas” iniciais relativas à pesquisa, entendido como a definição de questões, método, cronograma e análise, foi de inteira responsabilidade dos pesquisadores responsáveis por ocasião da formulação do projeto do processo avaliativo aqui abordado. Ainda que prevendo efetiva inserção dos trabalhadores, não foi possível assegurar a colaboração deles no desenho inicial, visto que a submissão do projeto para obtenção do financiamento, que viabilizaria a interação com eles, implica o claro estabelecimento prévio de praticamente toda a proposta. Assim sendo, o caráter participativo do presente estudo foi garantido por meio de menção da abertura às possíveis questões de investigação dos participantes e definição conjunta dos principais temas a serem incluídos no curso de aperfeiçoamento. Nesse sentido, em seu conjunto, constatamos um controle relativamente restrito dos trabalhadores, quando comparado ao grupo de pesquisadores, no que concerne a aspectos técnicos centrais da investigação.

2. Com relação aos “grupos de interesse participantes”, eles se limitaram aos trabalhadores dos Nasf. Limitações de prazos e recursos financeiros que não contemplaram nenhum dos bolsistas solicitados, diferentemente do solicitado, levaram à opção pelo que se considerou o grupo mais estratégico naquele momento. Essa restrição foi atenuada, ainda que não superada, por outras perspectivas como de trabalhadores da Atenção Básica, captadas por meio de grupos focais e das observações participantes e, de maneira cuidadosa, veiculadas no interior do grupo de interesse constituído pelos trabalhadores dos Nasf. Parte dos encontros das manhãs foi aberta à participação de gestores dos Nasf, profissionais residentes nesses núcleos e demais colegas das redes municipais de saúde. Essas iniciativas de abertura a outras perspectivas trouxeram pontos de vista de mais grupos de interesse, mas não representaram efetivamente ampliação qualitativa de coletivos ligados à intervenção avaliada. Ainda que a restrição a um único perfil de grupos de interesse tenha permitido o aprofundamento do convívio, o processo todo não contou com diversidade de grupos de interesse além dos trabalhadores, tornando essa dimensão igualmente restrita, como no tópico anterior.

3. “As relações de poder entre os grupos de interesse” se deram de maneiras distintas, marcadas primeiramente pelas diferenças entre agentes dos campos científico (composto pelos pesquisadores) e burocrático (composto pelos trabalhadores). Internamente a ambos, havia também desníveis segundo a inserção como docente ou pós-graduando no caso dos acadêmicos, e relativo às categorias com mais prestígio na saúde e à ocupação atual ou pregressa de cargos de gestão nas redes municipais de saúde, no caso dos profissionais dos Nasf. O reconhecimento social da universidade como sede do saber e o fato de ser dali proveniente não só a iniciativa da avaliação, como também o controle dos recursos financeiros da pesquisa, estabeleceram diferenças evidentes de capacidade de liderar e influenciar o processo. Some-se a isso o fato de que o percurso foi estruturado em torno de um curso, sendo recorrente à relação pedagógica a diferença de status entre aquele que se supõe detentor do saber e aqueles que pretendem aprender. Por outro lado, os trabalhadores possuíam profundo conhecimento sobre a resultante da transposição das propostas ministeriais dos Nasf para a prática e suas vicissitudes, algo complexo e delicado que somente poderia ser acessado com a anuência deles. A capacidade de pautar os resultados da pesquisa nos fóruns de decisões e no plano das práticas constituía prerrogativa daqueles inseridos nos núcleos e SMS. Assim, as interações entre os dois grupos implicaram capitais e interesses distintos que, justamente por serem assimétricos e interdependentes, favoreceram certo equilíbrio nas relações de poder entre os dois grupos na medida em que o êxito da trajetória dependia de ambos. Nesse quesito, as relações de poder entre os participantes podem ser consideradas equilibradas.

4. “A plasticidade do processo de gestão da pesquisa” e sua abertura aos imprevistos e às emergências inerentes ao trabalho podem ser objetivados na inserção, pelos trabalhadores, de temas de discussão não previstos inicialmente no curso com ampliação do número de participantes por meio de reivindicações das Secretarias Municipais de Saúde e, sobretudo, pela permeabilidade ao que foi se evidenciando no transcorrer dos trabalhos. Nesse sentido, o desenho da pesquisa sofreu alterações importantes ao abolir a proposta de formulação e aplicação de indicadores em favor da análise das concepções e problemáticas que justificam os Nasf, priorizando as chamadas análises lógica e estratégica. Isso levou a estender discussões e exercícios em torno do modelo lógico e a enfatizar, durante as demais exposições no curso, reflexões sobre as atribuições e os novos desenhos possíveis para a prática desses núcleos. Tais mudanças foram provenientes da permeabilidade ao que foi sendo apreendido nos encontros temáticos e emergindo das análises do corpus paulatinamente estabelecido. Essas alterações substanciais do plano e do cronograma iniciais atestam plasticidade do processo de gestão da pesquisa, embora tenham gerado frustrações e deixado a “sensação de que as perguntas avaliativas e os indicadores não foram finalizados”, conforme afirmado por alguns trabalhadores quando sistematizaram suas impressões, ao término dos encontros.

5. O “nível de participação dos chamados não avaliadores” ou não especialistas no processo é, parcialmente, decorrência do que vem sendo considerado nos tópicos acima. Uma outra parte se deve ao provimento de oportunidades de ampliação da capacidade dos não especialistas para compreenderem o processo em andamento e interferirem nele, proporcionado pelo curso, e à interação contínua, superando riscos de superficialidade. Não foi criado um comitê de gestão da pesquisa, tendo a interação sistemática, periódica e efetivamente reflexiva de ambas as partes se dado nos encontros do curso. O curso representou fonte de convívio e de clima propício ao estabelecimento de confiança entre pesquisadores e trabalhadores dos Nasf para a troca de saberes, dúvidas e incertezas tanto sobre o próprio serviço abordado quanto sobre os passos seguintes da investigação. Um outro modo de qualificação da participação de não especialistas é ilustrado nos cuidados relativos à observação participante realizada. A ida ao campo dos pesquisadores para acompanhar uma semana de atividades foi precedida de apresentação sobre etnografia por um especialista da área no interior do referido curso. Desse modo, ainda que na inexorável situação de observados, os trabalhadores tiveram clara noção do que embasa essa estratégia e, consequentemente, puderam interagir e eventualmente se proteger dela. Como afirmado por trabalhadores de um município: “Foi muito bom ter compreendido que aquela semana inteira de observação tinha a ver com estranhamento e familiaridade. Ajudou a gente a olhar para nós mesmos. Melhor ainda que terminou com o pesquisador compartilhando suas impressões com todo mundo no último dia”. Esse exemplo desvela um importante aspecto ligado à profundidade da participação: na situação relatada, a condição de objeto a ser observado foi evidentemente superada em favor de uma interação consciente dos riscos e oportunidades contidos na observação utilizada, configurando participação fundada no esclarecimento e na aprendizagem ao longo do processo. Além disso, a reflexão sobre a intervenção e as propostas dali decorrentes – aspecto importante de processos avaliativos – foi especialmente desenvolvida. Como afirmado por participantes em um GAP, “O curso da pesquisa Nasf tem ajudado a ler, a discutir e a pensar sobre temas. Um exemplo é a discussão sobre matriciamento, em que somos provocadas a pensar o modo como fazemos, por que fazemos etc.”. O nível de participação dos trabalhadores – com base no estabelecimento de confiança com os pesquisadores e na apreensão dos referenciais de avaliação, por meio do curso e das demais estratégias de interação utilizadas – foi progressivamente sendo qualificado na medida em que os participantes alcançavam mais embasamento, compreensão e apropriação dos referenciais utilizados na investigação.

Discussão

De modo geral, pode-se afirmar que o processo participativo empreendido apresentou limitações se considerados o estrito controle do grupo de interesse inserido na formulação inicial do projeto e a ausência de pluralidade de grupos de interesse. Por outro lado, as relações de poder relativamente equilibradas entre os grupos de trabalhadores e pesquisadores, a permeabilidade da condução da pesquisa às questões originadas no percurso e um nível de profundidade na participação qualificado pelo esclarecimento das bases teóricas e práticas que sustentaram a investigação, em seu conjunto, asseguraram ao processo suplantar a posição de simples objetos ou fornecedores de dados e informações dos trabalhadores dos núcleos, algo caro às propostas de Freire³²Freire P. Pedagogia do oprimido. Rio de Janeiro: Paz e Terra; 2019. e Fals Borda⁷Fals-Borda O. Reflexões sobre a aplicação do método de Estudo-Ação na Colômbia. Direito Prax. 2016; 7(13):771-88..

Considerando a tipologia proposta por Cousins¹⁹Cousins JB, Whitmore E. Framing participatory evaluation. New Dir Eval. 2004; 1998(80):5-23. e retomada por outros autores²³Smits PA, Champagne F. An assessment of the theoretical underpinnings of practical participatory evaluation. Am J Eval. 2008; 29(4):427-42., relativa às duas grandes vertentes do interior da avaliação participativa – pragmática e emancipadora –, poderia se afirmar que a participação aqui empreendida se caracterizou mais como “pragmática”, especialmente compromissada com questões que envolvem a intervenção e com eventual utilização qualificada dos resultados da avaliação, do que como “transformadora”, vinculada a racionalidades emancipatórias e políticas. É provável que aí resida um paradoxo que permeou a abordagem participativa aqui considerada: a definição de indicadores e outros aspectos ligados aos resultados, mais afeitos ao que se espera de uma avaliação tradicional, foi preterida em favor da análise dos aspectos estratégicos e lógicos da intervenção. Em outras palavras, ao final constituiu o principal objeto da avaliação, o próprio modelo (e suas concepções) que sustenta os Nasf, em vez de mensurar e aferir eventuais resultados de sua prática. No entanto, enfrentar esse nível de abstração e as inexoráveis relações de e com o poder instituído (que elaboraram e zelaram pela implementação do plano), por sua vez, aumentou não só a complexidade da abordagem como requeria maior capacidade do grupo de se autorizar a repensar aquilo que guia suas práticas e elaborações. Isso demandaria o desenvolvimento de maior capacidade de análise e autonomia dos trabalhadores, que só muito parcialmente se pode encontrar no chamado tipo pragmático de participação. O paradoxo encontra-se no fato de que, nesse caso, os objetivos pragmáticos seriam tanto mais alcançados, por seu lado, quanto mais os aspectos transformadores fossem desenvolvidos nesta mesma pesquisa avaliativa participativa, por outro.

Com relação às iniciativas de moldagem do processo, sabemos que a submissão de propostas aos órgãos financiadores exige extenso detalhamento prévio da investigação, implicando o estabelecimento a priori de boa parte, senão de todas, das etapas que compõem o estudo. Como se sabe, a avaliação participativa gera custos³³Anggraeni M, Gupta J, Verrest HJLM. Cost and value of stakeholders participation: A systematic literature review. Environ Sci Policy. 2019; 101:364-73. e não costuma haver provisão de recursos que viabilizem a interação e a cooperação entre grupos de interesses na fase de redação da proposta. O Programa de Pesquisa para o SUS (PPSUS), que articula os vários níveis do SUS, as agências estaduais de pesquisa e universidades, constitui exceção que ressalta a regra ao prever apoio à formulação conjunta, entre as partes interessadas, do projeto de pesquisa.

A priorização dos trabalhadores dos núcleos se deu com base em revisão da literatura especializada sobre as questões que permeavam a sua implementação³⁴Correia PCI, Goulart PM, Furtado JP. A avaliabilidade dos Núcleos de Apoio à Saúde da Família (Nasf). Saude Debate. 2017; 41 Spe:345-59.. Tal fonte indicou especial fragilidade no arcabouço teórico dos núcleos, apontando a necessidade de abordagens dirigidas aos problemas existentes no encontro entre as concepções iniciais e o modo de funcionamento deles. Ou seja, havia indícios da existência de questões que antecediam e sobrepunham os resultados e eventuais impactos da intervenção, requerendo a análise de aspectos intrínsecos a ela por meio de análises de sua lógica e estratégia³⁵Brousselle A, Champagne F, Contandriopoulos A-P, Hartz ZMA. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011.. Embora contando com normatizações e orientações ministeriais diversificadas e produzidas em diferentes momentos, como portarias³⁶Brasil. Ministério da Saúde. Portaria MS/GM nº 3124, de 28 de Dezembro de 2012. Redefine os parâmetros de vinculação dos Núcleos de Apoio à Saúde da Família (NASF) Modalidades 1 e 2 às Equipes Saúde da Família e/ou Equipes de Atenção Básica para populações específicas, cria a Modalidade NASF 3, e dá outras providências. Diário Oficial da União. 28 Dez 2012. e publicações especializadas³⁷Brasil. Ministério da Saúde. Núcleo de Apoio à Saúde da Família. Brasília: Ministério da Saúde; 2014. (Cadernos de Atenção Básica)., o grau de incertezas sobre as bases e os modos de operar dos Nasf era significativo³³Anggraeni M, Gupta J, Verrest HJLM. Cost and value of stakeholders participation: A systematic literature review. Environ Sci Policy. 2019; 101:364-73.. Isso tornou os trabalhadores uma categoria essencial para que se pudesse perceber melhor como se dava a transposição da proposta para a prática.

A utilização de um curso formalmente estabelecido como interface entre avaliadores e avaliados para viabilizar a participação e a colaboração entre ambos se mostrou especialmente adequada. A periodicidade garantiu o convívio, a interação e a construção de confiança para o compartilhamento de saberes. Os encontros foram reconhecidos como agradáveis e estimulantes, tendo havido contínua qualificação dos facilitadores dos grupos de apreciação partilhada (GAP), especial empenho para trazer nomes de expressão nacional para as temáticas abordadas e zelo nos aspectos ligados à ambiência. A articulação entre exposições dialogadas, pela manhã, e subgrupos reflexivos, à tarde (GAP), foi essencial para garantir a apropriação crítica das temáticas abordadas e a sistematização de conhecimentos oriundos das práticas dos profissionais.

O andamento do curso e demais estratégias metodológicas paulatinamente evidenciaram que boa parte das questões relativas aos núcleos era proveniente do próprio modelo que sustentava a prática, conforme alertava estudo precedente³³Anggraeni M, Gupta J, Verrest HJLM. Cost and value of stakeholders participation: A systematic literature review. Environ Sci Policy. 2019; 101:364-73.. Nesse momento, tangenciou um desafio especialmente complexo, uma vez que se tratava de colocar em questão aspectos essenciais do projeto do MS. Durante os GAP pudemos perceber, diversas vezes, o reconhecimento de limitações da proposta Nasf pelos profissionais, mas que não eram acompanhadas do apontamento de possíveis soluções, mesmo que especulativas, para além das fronteiras do que já estava estabelecido. Parecem residir justamente aqui as limitações provenientes da perspectiva pragmática de participação, a qual se mostrou potente e adequada com relação ao (re)conhecimento da intervenção, da elucidação de questões e da identificação dos problemas cotidianos do serviço, garantindo estreita colaboração entre avaliadores e profissionais dos núcleos. No entanto, as análises estratégica e lógica de uma intervenção, voltadas às questões essenciais e importantes do modelo teórico que as sustenta, exigem especial capacidade de articular forças e propor mudanças, características mais próximas da perspectiva transformadora.

Ou seja, o caso analisado indicou a necessidade de geração de subsídios para que o grupo envolvido fosse capaz não somente de rever e analisar suas práticas, identificando problemas no cotidiano, mas que também se autorizasse a avançar em direção às causas mais profundas de seus problemas, vislumbrando alternativas. Para isso, a produção de autonomia presente no pensamento e nas propostas de Freire e Fals Borda seria crucial, favorecendo a superação de lacunas da perspectiva pragmática. Inevitavelmente, o aprofundamento da análise por parte do grupo participante tocaria em outros condicionantes da situação, como as esferas da gestão, do financiamento e da organização do próprio SUS, requerendo mais abrangência de eventuais análises e proposições.

Destacamos a pertinência de resgatar as contribuições de Paulo Freire e Fals Borda – assim como as abordagens teórico-metodológicas neles baseadas e sucessivamente retomadas por diferentes autores norte-americanos – para acentuar a necessidade do caráter transformador de determinadas avaliações participativas. Tal resgate contribuiria para contrastar as diferenças entre a solução de problemas práticos nas intervenções e a transformação dos grupos de interesse, bem como suas imbricações, por vezes necessárias. Ressaltamos não reconhecer antagonismos entre as duas vertentes, mas especificidades e eventuais complementaridades. O que deve ser levado em conta, mesmo que a posteriori, é a pertinência de uma ou outra segundo o caso ou a eventual articulação de ambas. No presente estudo, a agregação da perspectiva transformadora poderia potencializar e garantir avanços em torno das questões provenientes da abordagem pragmática.

Permanece aberta, para ambas as perspectivas de avaliação participativa, a inserção dos grupos de interesse como usuários, de outros segmentos da sociedade civil e a inevitável lida com os conflitos advindos de potenciais diferenças e disputas entre segmentos distintos durante o processo de avaliação. Se a participação se limita a um reduzido número de stakeholders (os que mais têm poder de decisão), há o risco de que a avaliação seja considerada parcial. Se ela inclui gestores e profissionais, suas diferenças de perspectiva e interesses podem suscitar conflitos e disputas específicos. No caso aqui discutido, o grupo de interesse participante foi de profissionais dos Nasf, com alguma inserção pontual de gestores. Dado que as normas e diretrizes desses núcleos são eminentemente federais, o aprofundamento transformador da estratégia participativa, que efetivamente levasse à proposição de novas regras e modos de atuação dos Nasf, demandaria envolvimento tanto de profissionais como de gestores de vários níveis, além de usuários da Atenção Básica, para a implementação de mudanças substanciais.

Quanto ao papel dos avaliadores, a função de dar voz a todos os atores envolvidos no processo e protegê-los da hegemonia de interesses particulares varia segundo a perspectiva de avaliação adotada³⁸Serapioni M. Conceitos e métodos para a avaliação de programas sociais e políticas públicas. Sociol Rev Fac Let Univ Porto. 2016; (31):59-80., podendo ser de parceiro ou amigo crítico para Fetterman¹⁸Fetterman D. Empowerment evaluation: an introduction to theory and practice. In: Fetterman D, Kaftarian SJ, Wandersman A, organizadores. Empowerment evaluation: knowledge and tools for self-assessment & accountability. Thousand Oaks: Sage; 1996., defensor e promotor de funções de advocacia para Stake¹⁶Stake RE. Standards-based and responsive evaluation. Thousand Oaks: Sage; 2003., ou facilitador e mediador para Guba e Lincoln¹⁵Guba EG, Lincoln YS. Avaliação de quarta geração. Campinas: Unicamp; 2011.. No caso das análises lógica e estratégica dos Nasf, o papel do avaliador assumiu posição especialmente delicada. Apesar da relativa inovação institucional representada pelos Nasf, ainda que com regras estáveis por mais de década, a retomada crítica de suas bases constitui tarefa a ser empreendida com precisão e profundidade. A escassez de análises críticas quanto ao modelo que sustenta os Nasf, bem como a necessidade de mais acúmulos de reflexividade por parte da Saúde Coletiva em temas que lhe são caros (integralidade, interdisciplinaridade, resolubilidade, entre outros), ampliou os desafios para a tarefa dos avaliadores, dada a necessidade simultânea de abordagem do modelo e dos referenciais que o sustentam.

Constitui limitação deste estudo a ausência de trabalhadores que participaram do processo e das secretarias municipais parceiras, o que agregaria perspectivas importantes nesta análise da participação na avaliação realizada.

Conclusão

Em contexto de incerteza sobre os melhores caminhos a seguir em um programa ou serviço, não é incomum a busca de contornos e horizontes recorrendo-se à instrumentalização da avaliação³⁹Furtado JP, Campos GWS, Oda WY, Onocko-Campos R. Planejamento e avaliação em saúde: entre antagonismo e colaboração. Cad Saude Publica. 2018; 34(7):e00087917., sobretudo em sua versão clássica, por meio de indicadores como guias. Embora a existência de indicadores possa aplacar demandas de racionalidade na condução e no acompanhamento de uma intervenção, no caso abordado responderiam muito mais à necessidade de esclarecer o que deveria ser feito do que e quanto foi efetivamente realizado. O trabalho de pesquisa conduzido com proximidade e colaboração dos trabalhadores permitiu evitar esse uso abusivo de indicadores e considerar uma questão, relativa ao próprio modelo, que efetivamente atravessa e determina várias outras.

Identificamos aqui os pontos fortes e fracos de elementos que podem compor pesquisas avaliativas com base em um caso considerado; e buscamos oferecer subsídios à superação do hiato existente entre proposições de métodos e tipologias avaliativas, por um lado, e reflexões sobre a aplicação deles, por outro.

Referências

Datas de Publicação

Histórico