RESUMO

A multidimensionalidade da pobreza foi premissa central do Plano Brasil Sem Miséria (2011-2014), que visava a erradicar a extrema pobreza no País. A Fundação Oswaldo Cruz coordenou um programa de indução à pesquisa em saúde que promoveu investigações destinadas a produzir conhecimento para mitigar problemas relacionados à miséria. O estudo de avaliabilidade foi orientado pelo instrumento teórico-metodológico da Teoria da Mudança, que permitiu traçar o caminho do cenário inicial para um cenário esperado, com base nos resultados da indução, representados no modelo lógico do programa, no qual também foram descritos a estrutura, os processos e os resultados. A partir da análise documental e entrevistas com stakeholders das instituições envolvidas foi possível identificar os objetivos do programa, os resultados esperados, o público beneficiado pelo programa e o público beneficiado pela avaliação dos resultados do programa. Este estudo orientou o planejamento da avaliação que se seguiu, bem como a definição do modelo canadense de mensuração do retorno de investimento em pesquisa em saúde como estratégia metodológica. As limitações foram reconhecidas, bem como os pontos que favoreceram a implantação e o desenvolvimento do programa de indução. Espera-se, ainda, que este estudo possa contribuir para avaliações e/ou pré-avaliações de outros programas com escopo semelhante.

PALAVRAS-CHAVE:
Áreas de pobreza; Pobreza; Brasil; Avaliação de programas e projetos de saúde

Introdução

O Brasil é conhecido como um país desafiador e complexo do ponto de vista do combate à pobreza. Juntamente com o Oriente Médio e a África Subsaariana, o Brasil permanece entre as três regiões mais desiguais do mundo, de acordo com o Relatório Mundial sobre Desigualdade, de 2018, que afirma que “a desigualdade de renda permaneceu relativamente estável, em níveis extremamente altos”¹1 Alvaredo F, Chancel L, Piketty T, et al., coordenadores. World inequality report: english version. [Paris]: World Inequality Lab; 2018.⁽⁶⁾.

Apesar do aumento do desenvolvimento econômico nas últimas cinco décadas, quando o Brasil entrou no grupo das 10 maiores economias do mundo em Produto Interno Bruto (PIB) absoluto, o País nunca distribuiu essa riqueza em uma direção que pudesse enfrentar a desigualdade histórica. É notável que o índice de Gini, um indicador mundialmente aceito de desigualdade, diminuiu continuamente entre 2001 e 2014, e, depois das mudanças nas políticas econômicas, à medida que a crise política no Brasil se agravou, subiu novamente²2 Neri MC. What was the impact of the crisis on poverty and income distribution? Rio de Janeiro: FGV; 2018..

O melhor período de redução da desigualdade no Brasil é explicado por um conjunto de medidas macroeconômicas baseadas em políticas para abrir frentes de trabalho, aumentando continuamente o valor líquido do salário mínimo e da transferência de renda, por meio do Programa Bolsa Família (PBF). Nesse período, a questão do enfrentamento à extrema pobreza ganhou destaque na agenda nacional brasileira. De fato, o PBF foi o maior programa de transferência de renda condicionado do mundo e permitiu que milhões de brasileiros saíssem da extrema pobreza. No entanto, o diagnóstico realizado em 2010³3 Instituto Brasileiro de Geografia e Estatística. Universo preliminar do censo demográfico 2010. Rio de Janeiro: IBGE; [2010]. constatou a permanência de um núcleo duro de pobreza, que significava cerca de 16 milhões de pessoas vivendo abaixo da linha da pobreza, em locais com total ausência do Estado.

Para enfrentar esse cenário, o Plano Brasil Sem Miséria⁴4 Brasil. Decreto nº 7.492, de 02 de junho de 2011. Institui o Plano Brasil Sem Miséria. Diário Oficial da União. 3 Jun 2011. (PBSM) foi lançado em 2011. Por meio dele, o governo federal estabeleceu a meta de erradicar a extrema pobreza em 4 anos, de 2011 a 2014. Sob a coordenação do Ministério do Desenvolvimento Social e Combate à Fome (MDS), como foi nomeado e estruturado na época, a promoção de direitos estava no centro da narrativa da política oficial do plano⁵5 Paes-Sousa R. Plano Brasil Sem Miséria: incremento e mudança na política de proteção e promoção social no Brasil. Work. pap. 2013; Ago 113.. O PBSM apoiou suas diretrizes sobre a articulação de ações de garantia de renda somadas as ações destinadas a melhorar as condições de vida da população extremamente pobre, considerando a multidimensionalidade da situação de pobreza⁶6 Paes-Sousa R, Vaitsman J. The zero hunger and Brazil without extreme poverty programs: a step forward in brazilian social protection policy. Ciênc. Saúde Colet. 2014; 19(11)4351-4360.^,77 Campello T, Mello J. O processo de formulação e os desafios do plano Brasil sem miséria: por um país rico e com oportunidades para todos. In: Ministério do Desenvolvimento Social e Combate à Fome (Brasil). O Brasil sem miséria. Brasília, DF: Ministério do Desenvolvimento Social; 2014..

Baseado na integração e articulação de políticas, programas e ações sociais, o objetivo do PBSM era fortalecer as ações existentes e articulá-las a novos programas, com o objetivo de incluir a população mais pobre nas oportunidades geradas pelo crescimento econômico brasileiro daquele período. De acordo com o relatório do MDS⁸8 Brasil. Ministério do Desenvolvimento Social. Plano Brasil sem miséria: caderno de resultados (junho/2011 a dezembro/2014). Brasília, DF: Ministério do Desenvolvimento Social; 2015. , na perspectiva da renda e pelos padrões do período, o fim da extrema pobreza foi atingido, ainda em 2013, com a inclusão de cerca de 20 milhões de brasileiros que viviam abaixo da linha da pobreza, com o alcance de todas as metas previstas no PBSM.

No campo da saúde, destacou-se o tema ‘doenças negligenciadas, erradicação da pobreza e o Plano Brasil Sem Miséria’, vinculado ao eixo de acesso aos serviços públicos. Essa inclusão foi resultado da articulação do MDS e da Fundação Oswaldo Cruz (Fiocruz), com a decisão final da Presidência da República. Como a Fiocruz é a maior instituição acadêmica não universitária do País e responsável por mais de 25 cursos de doutorado em diferentes áreas da saúde, um dos principais desenvolvimentos dessa articulação foi a implementação de um programa de indução à pesquisa em saúde, de 2013 a 2018, por meio de uma cooperação entre Fiocruz, MDS e a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), órgão oficial que coordena e financia o ensino superior em nível de doutorado.

Esse programa de indução, chamado Programa Fiocruz-Capes-Brasil Sem Miséria, foi um dos primeiros programas de indução da Capes, uma experiência inédita na Fiocruz e uma aproximação desejável entre a academia e as políticas sociais. O principal objetivo do programa foi gerar conhecimento em saúde para mitigar problemas relacionados à pobreza extrema, por meio da implementação de bolsas de estudo para doutorandos e pesquisadores de pós-doutorado. Com o envolvimento de 16 cursos de doutorado, após o período de desenvolvimento, os produtos foram apresentados na forma de teses, artigos científicos, produções técnicas e educacionais.

Este artigo apresenta os primeiros resultados da pesquisa avaliativa desse programa de indução, aqui também denominado como intervenção, por meio do estudo de avaliabilidade⁹9 Leviton LC, Collins CB, Laird BL, et al. Teaching evaluation using evaluability assessment. London: Evaluation; 1998. , que reuniu um conjunto de ações para planejar a avaliação, considerando as partes interessadas nos seus resultados, a fim de maximizar sua utilidade e responder se a intervenção era elegível para avaliação.

Os resultados mostraram que foi possível identificar os objetivos, a estrutura, as atividades e os produtos esperados que envolveram a intervenção e se esses elementos respondiam à situação-problema que se pretendia solucionar, assim como representá-los graficamente no modelo lógico da intervenção. O contexto político no qual a intervenção foi concebida e implementada e as perguntas avaliativas, que deveriam ser priorizadas nas etapas subsequentes da avaliação, também são resultados deste estudo.

Material e métodos

Este estudo de avaliabilidade adotou uma abordagem descritivo-qualitativa com as seguintes etapas: i) análise dos documentos oficiais para a construção da primeira versão do modelo lógico e identificação das partes interessadas (stakeholders); ii) validação do modelo lógico do programa com os stakeholders, por meio de entrevistas semiestruturadas; e iii) formulação e seleção de questões avaliativas que subsidiaram a avaliação¹⁰10 Thurston WE, Ramaliu A. Evaluability assessment of survivors of a torture program: lessons learned. Can. J. Program Eval. 2005; (20):1-25.^,1111 Mendes MF. Avaliabilidade ou pré-avaliação de um programa. In: Samico I, Felisberto E, Figueiró AC, et al., organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010.. Obtém, ainda, o suporte teórico da ‘Teoria da Mudança’¹²12 Anderson AA. The community builder's approach to theory of change: a practical guide to theory development. New York: Aspen Institute Roundtable on Community Change; 2006.^,1313 Arnold M. Theories of change in internacional development: communications, learning or ccountability? London: Justice and Security Research Programme; 2014. como um processo pelo qual o ‘caminho da mudança’ pode ser traçado, isto é, o que era esperado dos resultados e efeitos do programa quando ele foi concebido.

A análise documental¹⁴14 Cutolo LR, Madeira KH. O trabalho em equipe na estratégia saúde da família: uma análise documental. Arq. Catarin. Med. 2010; 39(3):79-84.^,1515 Prates JC, Prates FC. Problematizando o uso da técnica de análise documental no serviço social e no direito. Soc. Debate. 2009; 15(2):111-125. reuniu seis documentos oficiais do programa de indução. A saber: i) Nota técnica nº 1/2011/IOC-Fiocruz; ii) Decreto nº 7.492, de 02/06/2011, que instituiu o Plano Brasil Sem Miséria; iii) Documento aprovado na Câmara Técnica de Ensino da Fiocruz - setembro/2011; iv) Acordo de Cooperação nº 123/2011 - Fiocruz/Capes; v) Acordo de Cooperação nº 128/2011 - Fiocruz/MDS; e vi) Planejamento estratégico do Ministério da Saúde (2011-2015). Aprovado por Comitê de Ética em Pesquisa com seres humanos, CAEE: 62571016.5.0000.5248, parecer nº 1.950.248.

A referida análise orientou a primeira versão do modelo lógico da intervenção, por ser uma fonte de coleta de dados considerada adequada para essa etapa, uma vez que tinha como objetivo subsidiar a descrição do programa para representá-lo graficamente¹⁶16 Bezerra LCA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, et al., organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010.^,1717 Cassiolato MM, Gueresi S. Como elaborar modelo lógico: roteiro para formular programas e organizar avaliação. Brasília, DF: Ipea; 2010..

Essa versão inicial foi apresentada no final das seis entrevistas com as partes interessadas das três instituições envolvidas, para contribuições e validação. As entrevistas ocorreram no período de outubro/2017 a fevereiro/2018, seguiram um roteiro semiestruturado e permitiram a caracterização do contexto político em que o programa foi concebido, bem como os objetivos, os resultados esperados, o público beneficiado pelo programa e pela avaliação e as perguntas que deveriam ser respondidas na avaliação. Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido e concordaram com a gravação em áudio, que foi transcrita e analisada por meio de uma análise interpretativa¹⁸18 Vianna IO. Metodologia do trabalho científico: um enfoque didático da produção científica. São Paulo: EPU; 2001..

Os stakeholders (SH) foram selecionados em virtude das posições-chave que ocupavam no período de criação do programa, em uma situação de representação, com autonomia e poder de decisão nas três instituições envolvidas.

Do MDS, o formulador estratégico do PBSM, três grandes partes interessadas foram convidadas e concordaram em participar do estudo (SH1,2,3); da Capes, a agência que possibilitou a intervenção por meio de concessões de bolsas, participou o então diretor de programas de bolsas de estudo (SH4); da Fiocruz, instituição de pesquisa, foram entrevistados um representante da coordenação geral da pós-graduação e o então coordenador de desenvolvimento institucional (SH5,6).

Resultados e discussão

O primeiro resultado do estudo de avaliabilidade foi a elaboração e validação do modelo lógico da intervenção pelos stakeholders, apresentado na figura 1, no qual foi possível identificar e descrever as seguintes questões: i) situação problemática que gerou a necessidade da criação do programa; ii) o objetivo do programa; iii) o público-alvo do programa; iv) a estrutura e as atividades do programa; e v) os resultados esperados.

É possível observar no modelo lógico que, embora a intervenção envolvesse três instituições, a responsabilidade sobre as estruturas e os processos estava centralizada na Fiocruz, o que vai ao encontro da centralidade da instituição identificada no número de documentos oficiais sobre a intervenção, objetos da análise documental.

O segundo resultado deste estudo foi a caracterização do contexto político externo e interno à Fiocruz e a descrição, na perspectiva dos stakeholders, dos objetivos do programa e dos resultados esperados, o que tornou possível traçar o caminho da mudança pretendida com esta intervenção.

Caracterização do contexto político

O contexto político, geralmente, não está descrito em documentos oficiais de programas, e, no caso da intervenção em análise, não foi diferente. Contudo, é desejável conhecê-lo, para planejar a avaliação, uma vez que o sucesso ou não de uma intervenção pode ser (co)determinado pelo contexto em que está inserido.

Neste sentido, os participantes da entrevista foram convidados a descrever o contexto político sob qual o programa de indução Fiocruz-Capes-Brasil Sem Miséria foi concebido.

Foi possível identificar convergência e complementaridade nos relatos dos atores-chave, no sentido de um contexto muito favorável no País para implementação do PBSM e suas ações. Os relatos revelaram, também, a atenção/preocupação dos gestores frente à constatação da limitação dos programas sociais vigentes até 2010 e a necessidade de atuação focalizada nos extremamente pobres. Nas palavras do principal stakeholder do MDS:

Sobre a participação da Fiocruz, além da contribuição da reconhecida instituição acadêmica, buscavam-se parceiros para dar legitimidade ao PBSM. Dessa forma, dois aspectos foram considerados pelos gestores do MDS: um gerencial, a capacidade de apresentar resultados e produzir conhecimento em saúde, com foco em doenças negligenciadas; e outro político, o potencial simbólico da instituição.

Embora o contexto externo fosse favorável e a proposta fosse convergente com a agenda da Fiocruz e com sua própria missão frente às desigualdades sociais, houve resistência por parte da academia, ao ser pautada pela agenda política, como destaca o então coordenador de gestão e desenvolvimento institucional:

A nota técnica foi precursora desse processo, mas o envolvimento político, ele facilitou muito avançar no projeto, que mesmo assim enfrentou a questão cultural da autonomia científica. (SH6, Fiocruz).

Essa constatação revelou que não havia consenso na Fiocruz sobre a cooperação e orientou um aspecto nas próximas etapas da avaliação, que era identificar o motivo da não adesão e/ou baixa adesão de pós-graduações ao programa de indução, assim como a concentração das pesquisas em uma única pós-graduação: Medicina Tropical, que teve 40% das bolsas de indução.

Cabe ressaltar que o contexto interno favorável na concepção do programa, mesmo que não consensual, não se manteve durante sua implementação, visto que a fundação passou por um momento de divisão interna, que teve efeitos diretos à intervenção avaliada. Entre os efeitos, destaca-se a reestruturação do comitê gestor do programa de indução, com a saída de atores-chave desde sua concepção. À luz da teoria da mudança e do caminho que se buscou representar no modelo lógico, essa constatação foi fundamental para definição de indicadores de gestão na avaliação dessa intervenção.

Na perspectiva da Capes, que vivia um momento de expansão, com aumento de previsão orçamentária para fomento à pesquisa, por meio de bolsas de pós-graduação, o diretor do programa de bolsas da época iniciou fomentos às induções temáticas, o que veio ao encontro da proposta da Fiocruz, de induzir pesquisas em saúde para enfrentamento das doenças da pobreza:

Embora a Capes tenha sido fundamental para essa intervenção, seja pelos recursos destinados às bolsas de estudo, seja pelo entusiasmo em fomentar pesquisa em saúde com foco no público do Plano Brasil Sem Miséria, a instituição não acompanhou o processo de implementação e resultados do programa. Um dos motivos a serem ressaltados sobre esse não envolvimento é o histórico problema de descontinuidade das ações públicas brasileiras que refletem características e dinâmicas dos tomadores de decisão do momento, com uma sequência de interrupções e rupturas que interfere, diretamente, no alcance dos resultados de programas¹⁹19 Brousselle A, Champagne F, Contandriopoulos A, et al., organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011..

Objetivos do programa de indução

Ao serem questionados sobre o que se esperava, em 2011, da indução à pesquisa em saúde e que resultados foram projetados, os entrevistados destacaram a aplicabilidade do conhecimento, ou seja, que de alguma forma o conhecimento gerado retornasse direta ou indiretamente aos mais pobres e à sociedade de forma geral.

Para os representantes da Fiocruz, a maior contribuição do programa de indução ao PBSM era o conhecimento sistematizado, e um dos principais meios eram as Notas Técnicas, fruto das pesquisas, para orientar gestores e tomadores de decisão na formulação de políticas públicas.

Os stakeholders 1 e 4, representantes do MDS e da Capes, respectivamente, compartilhavam a ideia de que a academia precisava se preocupar com os problemas do País:

A articulação das políticas públicas para o aperfeiçoamento das próprias políticas públicas, com consequente melhoria de vida para a população, também era um resultado esperado da intervenção.

Sobre os audaciosos objetivos dos stakeholders, é importante destacar que o programa de indução tinha um caráter experimental, e, no âmbito de formação de pesquisadores, os objetivos eram, em alguma medida, muito mais ‘vontade’ do que algo a ser possível de ser realizado. Essa constatação foi muito importante durante o traçado do caminho da mudança, uma vez que a translação do conhecimento e o aperfeiçoamento de políticas públicas com efeitos diretos na população são desafios históricos do País.

Público beneficiado pelo programa de indução

O público beneficiado pelo programa de indução, de acordo com os entrevistados, é muito diversificado, passando pelos próprios pesquisadores, por atores políticos, gestores e tomadores de decisão, a partir do aperfeiçoamento e/ou da implementação de políticas públicas à população em geral, por meio da aplicação do conhecimento gerado.

A amplitude e a diversidade do público beneficiado pelo programa de indução, identificado durante a construção do caminho da mudança, refletem as imensas lacunas e carências de um dos países mais desiguais do mundo. Refletem, também, a falsa dicotomia entre o saber acadêmico e a ideia de ‘utilidade’, revelada durante as entrevistas.

Público beneficiado pela avaliação do programa de indução

O público beneficiado pela avaliação do programa, de acordo com os entrevistados, são especialmente as instituições envolvidas, assim como os formuladores de políticas públicas e tomadores de decisão, uma vez que os resultados podem reorientar a formulação de programas com escopo semelhante.

Os benefícios da avaliação do programa, na perspectiva dos stakeholders, convergem para a perspectiva de aprendizagem das autoras, quando assumiram o compromisso de avaliar e aprender com essa experiência, para verificar se esse caminho era promissor. A expectativa é que, a partir de uma pesquisa avaliativa, que tem início com este estudo de avaliabilidade, seja produzido conhecimento para novas ações com características semelhantes.

Perguntas avaliativas

Este estudo nasceu e foi conduzido sob a premissa de que a avaliação em andamento consideraria, fortemente, a perspectiva dos interessados no programa. Dessa forma, as perguntas avaliativas levantadas pelos representantes das três instituições foram estratégicas para este estudo de avaliabilidade, e foram determinantes para a decisão da estratégia metodológica da avaliação.

As perguntas estão organizadas por instituição, propositalmente, para permitir que as diferentes perspectivas institucionais sejam visualizadas.

Identificar as perguntas avaliativas dos stakeholders foi um passo importante para o planejamento da avaliação. Esse levantamento permitiu compreender o que era importante ser respondido para quem concebeu o programa e permitiu, também, identificar que o momento da entrevista foi, para alguns, o primeiro momento em que refletiram sobre essa avaliação, fato que corrobora o desafio de institucionalização da avaliação nas instituições públicas do País²⁰20 Carvalho AL, Shimizu HE. A institucionalização das práticas de monitoramento e avaliação: desafios e perspectivas na visão dos gestores estaduais do Sistema Único de Saúde (SUS). Interface. 2017; 21(60):23-33..

A última etapa foi selecionar quais dessas perguntas poderiam ser respondidas, considerando questões como: tempo para realização da pesquisa, viabilidade da coleta e análise dos dados e possibilidades metodológicas. As questões selecionadas foram as que envolviam produtos acadêmicos e técnicos, incluindo a análise qualitativa. Questões que tinham uma proposta mais ampla sobre mudanças institucionais e efeitos ou consequências do conhecimento produzido não se enquadraram no escopo da avaliação, embora tanto o mérito quanto a legitimidade sejam reconhecidos.

Considerações finais

Os objetivos do estudo de avaliabilidade foram alcançados a partir dos seguintes resultados: i) o modelo lógico do programa elaborado e validado pelos interessados; ii) o contexto político descrito como favorável à implantação e realização do programa; e iii) as perguntas avaliativas foram identificadas e reconhecidas, em grande parte, como possíveis de serem respondidas.

Este estudo também foi decisivo para a escolha da estratégia metodológica da avaliação, que foi o modelo desenvolvido pela Academia Canadense de Ciências em Saúde, disponível no documento ‘Making an Impact: A preferred Framework and Indicators to Measure Returns on Investiment in Health Research’²¹21 Canadian Academy of Health Sciences. Making an impact: a preferred framework and indicators to measure returns on investment in health research. Canadian Academy of Health Sciences: Canada; 2009. , uma vez que a grande orientação para avaliação foi a de responder se o investimento público na produção de conhecimentos retornou ao público e/ou à sociedade.

Cabe reconhecer que a descontinuidade das políticas públicas no Brasil é a principal limitação deste estudo e da própria avaliação a posteriori, especialmente sob a perspectiva de aprendizagem adotada para avaliação que sucedeu este estudo, ou seja, que a partir dos resultados e das recomendações dessa avaliação, novos programas de indução à pesquisa em saúde pudessem ser fomentados e aperfeiçoados.

Visto, ainda, que parte importante dos resultados do programa de indução servia, a partir do conhecimento produzido, para subsidiar a (re)orientação de políticas públicas vigentes e/ou orientar a formulação de novas políticas, e que isso dependia de articulações políticas com o governo, que foi interrompido em 2016, a linearidade esperada e apresentada no modelo lógico não aconteceu e muito dificilmente acontecerá no atual governo, que possui um projeto político diametralmente oposto ao que concebeu o programa de indução.

Contudo, segue-se com mais de 15 milhões de brasileiros vivendo, em 2018, abaixo da linha da extrema pobreza, de acordo com o Instituto Brasileiro de Geografia e Estatística (IBGE)²²22 Instituto Brasileiro de Geografia e Estatística. Síntese de indicadores sociais: uma análise das condições de vida da população brasileira. Rio de Janeiro: IBGE; 2018.. Se forem considerados novos estudos do Banco Mundial, que têm em conta as múltiplas dimensões de bem-estar, chegamos ao número de 50 milhões de brasileiros vivendo abaixo da linha da pobreza. Esses dados demonstram a atualidade do objeto do estudo e o reconhecimento de que há muito a se fazer para erradicação da miséria no País, e tanto a academia quanto o campo da saúde têm papel central no cuidado a milhões de brasileiros que se mantém no ciclo pobreza-doença-pobreza.

Referências

Datas de Publicação

Histórico