Resumos

Introdução

Desde o final dos anos 1970, o debate em torno da promoção da saúde e do desenvolvimento social tem trazido novas perspectivas para o desenho de políticas, programas e intervenções¹1. De Salazar L, Anderson M L Health Promotion in the Americas: Divergent and Common Ground. In: Potvin L, Mc Queen D. Health Promotion Evaluation Practices in the Americas: values and research. New York: Springer; 2008. p. 13-23.. O reconhecimento do papel e da responsabilidade dos governos locais sobre os determinantes econômicos, sociais e ambientais da saúde e do perfil de bem estar da população forjaram novos consensos em torno da importância do desenvolvimento de ações intersetoriais. A perspectiva das cidades saudáveis construída a partir dos pressupostos e marcos reflexivos do campo da promoção da saúde contribuiu para o desenho de novas estratégias de intervenção em vários países²2. Duhl L, Hancock T. Community self-evaluation: a guide to assessing healthy cities. Copenhagen: Healthy Cities Papers, FADL; 1999.^,33. McQueen D. Evidence and theory. Continuing debates on evidence and effectiveness. In: Mc Queen D, Jones C, editors. Global Perspectives on Health Promotion Effectiveness. New York: Springer; 2007. p. 281-303.. Nesta trajetória, questões mais amplas como a pobreza, a violência ou o perfil associativo local passaram a integrar a agenda da saúde na medida em que repercutem, impactam ou mesmo conformam o perfil sanitário da população. Os programas tornaram-se dinâmicos e complexos, incorporando múltiplos atores e espaços sociais. As fronteiras entre a saúde e o desenvolvimento social foram tensionadas assim como as barreiras disciplinares na medida em que nenhuma organização pública agindo isoladamente consegue agregar os recursos, o conhecimento, as redes de apoio e a confiança necessários para a promoção da saúde e do bem- estar da população.

Este redesenho do espaço sociossanitário envolveu a crítica ao padrão tradicionalmente fragmentado das intervenções e à redução das assimetrias entre agências estatais, setor privado e associações comunitárias favorecendo, desta maneira, a integração entre diferentes recursos gerenciais, financeiros e humanos. O foco em objetivos imediatos e de curto prazo foi deslocado. Neste sentido, ganhou centralidade a análise dos processos complexos de interação entre cada programa e as redes sociotécnicas locais a fim de compreender a natureza das evidências de efetividade⁴4. Potvin L, Haddad S, Frolich KL. Beyond Process & Outcome Evaluation: a Comprehensive Approach for Evaluating Health Promotion Programmes. In: Rootman I, Goodstadt M, Hindman B, McQueen DV, Potvin L, Springett J, Ziglio E, editors. Evaluation in Health Promotion: Principles & Perspective. Geneva: World Health Organization (WHO); 2001. p. 45-62. (Regional Publications, European Series, n. 92)^,55. Bodstein R. The complexity of the discussion on effectiveness and evidence in health promotion practices. Promotion & Education 2007; 1(Supl.):16-20.. Sabemos que o tema da avaliação de políticas e programas sociais não é novo. De acordo com Guba e Lincoln⁶6. Guba EG, Lincoln YS. Fourth generation evaluation. Beverly Hills: Sage; 1981., há 4 mil anos na China já eram usados métodos avaliativos para recrutar trabalhadores. No entanto, durante a Revolução Industrial e ao longo do processo de urbanização e democratização da maioria das sociedades ocidentais no século XX ganha destaque a avaliação da estrutura, a dinâmica e o financiamento da ação dos governos. Aos poucos, surge uma multiplicidade de abordagens e metodologias orientando a produção de conhecimento sobre o impacto das políticas públicas⁷7. Champagne F, Contandriopoulos AO, Brouselle A, Hartz Z, DenisJ. L'évaluation dans le domaine de la santé: concepts et methods. In: Brouselle A, Champagne F, Contandriopoulos AO, Hartz Z, editeurs. L'évaluation: concepts et methods. Montréal: Les Presses de l'Université de Montreal; 2009. p. 35-56.. Porém, como mostra Chen⁸8. Chen TH. Theory-driven Evaluations. London: Sage Publications; 1990., o interesse em conquistar maior legitimidade científica e a preocupação com a accountability contribuíram para a hegemonia dos estudos avaliativos com enfoque experimental, voltados para a busca de regularidades empiricamente observáveis e estruturados a partir de grupos controle e modelos estatísticos. Na direção contrária, o enfoque construtivista ancorado fortemente na tradição fenomenológica trouxe a maior valorização do contexto e dos aspectos subjetivos ligados às percepções e representações dos atores sociais envolvidos na dinâmica dos programas. Diferentemente da lógica experimental, baseada em amostras representativas e inferências estatísticas, o interesse foi voltado para o estudo das singularidades e especificidades de cada iniciativa. No entanto, como analisa Pawson⁹9. Pawson R. Nothing as practical as a good theory. Evaluation 2003; 9(4):471-490., as objeções aos modelos avaliativos tradicionais contribuíram para o esvaziamento da análise das estruturas institucionais e padrões diferenciais de poder. Para o autor isto foi problemático já que o mundo social, assim como as políticas e os programas públicos, representa mais do que a soma das crenças e expectativas dos indivíduos. Além disso, ainda que cada contexto traga oportunidades e limites próprios para o alcance das mudanças pretendidas é possível generalizar aprendizados e gerar conhecimento útil para orientar novas experiências.

Neste debate acirrado e inconcluso a chamada theory driven evaluation busca tratar os programas como um conjunto de premissas, conceitos, justificativas e expectativas em torno de metas e resultados. De acordo com Chen e Rossi¹⁰10. Chen TH, Rossi P. Issues in the theory-driven perspective. Evaluation and program planning 1989; 12(4): 299-306., de um lado, esta abordagem abandona a visão da avaliação como uma rota pré-determinada aplicável de maneira mecânica a qualquer programa e em qualquer contexto. Por outro lado, ao privilegiar a base teórica das intervenções e o que ocorre em cada contexto local é capaz de apontar as falhas na abordagem do problema e, também, contingências e efeitos não previstos. Na medida em que atividades semelhantes podem levar a resultados opostos em contextos mais ou menos favoráveis a principal tarefa do avaliador é testar se a teoria do programa funciona e como funciona.

Para Weiss¹¹11. Weiss C. Evaluation. New Jersey: Prentice Hall; 1998. as teorias que orientam os programas não são necessariamente corretas ou consensuais, ao contrário, podem revelar ambiguidades e contradições. Ao mesmo tempo, existem discrepâncias entre o que foi previsto no desenho original do programa e os incentivos, os interesses e os valores dos atores envolvidos na implementação das ações. Para compreender como se dá o processo de tradução dos objetivos em atividades e resultados é preciso, portanto, confrontar a teoria do programa com os elementos cognitivos, sociais e culturais mobilizados no desenvolvimento das ações. Desta maneira, a chamada theory driven evaluation e a reflexão sobre as relações entre modelos causais, atividades, contexto e resultados busca captar não só os resultados finais dos programas, mas também compreender como os efeitos foram alcançados. A partir desta abordagem e utilizando os dados de um estudo de caso exploratório sobre a implementação do programa Bolsa Família, como exemplo ilustrativo, o presente artigo apresenta uma proposta de matriz metodológica para acompanhamento e avaliação da implementação de intervenções públicas multiestratégicas, como as iniciativas voltadas à promoção da saúde e redução da pobreza. O instrumento sugere a integração de diferentes fontes de informação e auxilia na identificação dos problemas e desafios presentes nos diferentes contextos locais de implementação a partir de questões avaliativas. A validade, a pertinência e a consistência interna da matriz estão vinculadas à sua aplicação e adaptação em cada realidade.

Metodologia

Para a elaboração da matriz avaliativa foram realizadas as seguintes etapas: a) sistematização das informações de um estudo de caso exploratório de caráter qualitativo do processo de implementação do programa Bolsa Família realizado em Manguinhos, zona norte do município do Rio de Janeiro; b) análise dos principais elementos teóricos, componentes do programa e estratégias de operacionalização presentes na dinâmica local; c) elaboração e organização de dimensões de análise e questões avaliativas em uma matriz metodológica. A região de Manguinhos, foco do presente estudo, é marcada pela violência ligada ao tráfico de drogas e pela precariedade dos serviços públicos. Como discutem Zaluar e Alvito¹²12. Zaluar A, Alvito M. Um século de favela. Rio de Janeiro: Editora FGV; 1998., as regiões de favelas no Rio de Janeiro, têm sido representadas oficialmente como espaços onde prevalecem habitações irregularmente construídas, falta de arruamento, ausência de equipamentos públicos e extrema pobreza. Os problemas de saúde pública envolvem questões de saneamento básico, moradia, alimentação, condições de higiene, e eventos de saúde relacionados à violência e outras causas externas A ausência de políticas públicas voltadas às favelas e relações de patronagem alimentaram uma dinâmica fortemente clientelista entre setores do estado, políticos e moradores. Além disso, a partir dos anos 80 houve uma privatização crescente das favelas pelos grupos paraestatais ligados ao jogo do bicho e ao tráfico de drogas. Lideranças comunitárias e espaços de organização legítima foram sufocados pela violência de quadrilhas e milícias. No entanto, as favelas expressaram também cenários de resistência através de seus circuitos de reciprocidade e das diferentes formas de interação com instituições e organizações civis. Com isso, apesar dos traços comuns, as favelas apresentam singularidades e desafios próprios. No caso de Manguinhos, apesar das dificuldades, o contexto recente mostra que há também oportunidades para ações sociais, políticas públicas e reorientação de práticas de promoção da saúde e desenvolvimento social. A implementação do Programa de Aceleração do Crescimento (PAC) a partir de 2008 trouxe novas perspectivas para o território e, conjuntamente, uma demanda pelo monitoramento efetivo dos impactos e resultados à médio e longo prazo do conjunto de programas e iniciativas públicas intersetoriais em curso.

O estudo de caso exploratório foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública (Fundação Oswaldo Cruz). Os indivíduos foram informados sobre o objetivo da pesquisa e aceitaram participar de entrevistas semiestruturadas. Durante os meses de dezembro de 2010 a setembro de 2011, além da observação local e análise de portarias, normas operacionais e demais documentos normativos do programa Bolsa Família, disponíveis no site do Ministério do Desenvolvimento Social¹³13. Brasil. Medida Provisória nº 132, de 20 de outubro de 2003. Cria o programa e dá outras providências. Diário Oficial da União 2003; 20 de out.^,1414. Brasil. Ministério do desenvolvimento Social (MDS). Bolsa Família. [site da internet]. [acessado 2010 dez 12]. Disponível em: http://www.mds.gov.br/bolsafamília
http://www.mds.gov.br/bolsafamília... , foram entrevistados agentes implementadores incluindo gestores, técnicos e profissionais vinculados à operacionalização das ações totalizando 11 depoimentos. Os roteiros incluíram 15 questões referentes às dimensões: Teoria do Programa; Implementação, Monitoramento e Avaliação; Experiências Intersetoriais e Dinâmica Participativa. Se a análise dos documentos e instrumentos normativos permitiu identificar modelos causais adotados, a realização de entrevistas em profundidade favoreceu a aproximação com as percepções, interesses e motivações dos profissionais envolvidos. As entrevistas foram conduzidas no Departamento de Ciências Sociais da Escola Nacional de Saúde Pública (ENSP), Centro de Saúde Escola Germano Sinval Faria (ENSP), secretarias e centros regionais de saúde, educação e assistência social e equipamentos públicos da região como escolas e a Clínica de Saúde da Família Vitor Valla em Manguinhos. O estudo de caso permitiu avançar na reflexão sobre dimensões e questões avaliativas relevantes.

Como dito anteriormente, a experiência do programa federal de transferência condicionada de renda Bolsa Família serviu como marco de referência e exemplo ilustrativo para a conformação de uma proposta de matriz avaliativa capaz de apoiar a análise da implementação de programas multiestratégicos e intersetoriais. Assim, a sistematização de portarias e demais documentos normativos permitiu reconhecer 4 premissas teóricas que sustentam a cadeia de recursos, atividades e metas do programa:

O programa apresenta, portanto, objetivos de curto, médio e longo prazo, metas de saúde específicas para determinados grupos etários e diferentes componentes, os quais demandam critérios de exclusão e inclusão específicos além de forte articulação intersetorial. Podemos dizer que a teoria do programa Bolsa Família impõe a sinergia entre a complexa rede de intervenções sociais existentes nas áreas da assistência, da saúde, educação e trabalho (Figura 1).

No que se refere à estrutura organizacional, o programa Bolsa Família é coordenado pelo governo federal através do MDS. Os Centros de Referência da Assistência Social (CRAS) são responsáveis, dentre outras inúmeras atribuições ligadas à implementação de programas sociais, pelo cadastramento das famílias do programa de transferência condicionada de renda Bolsa Família. De acordo com o desenho do programa os critérios de inclusão dos beneficiários devem ser equânimes. O acompanhamento das condicionalidades é realizado por cada secretaria - saúde, educação e assistência social - e as informações devem ser enviadas bimestralmente para o Governo Federal. As famílias que não cumprem as condicionalidades podem perder o benefício. Existem incentivos financeiros - o Índice de Gestão Descentralizada Municipal (IGD) e o Índice de Gestão Descentralizada Estadual (IGDE) - para que os municípios e estados colaborem no alcance de metas e resultados¹⁵15. Brasil. Portaria Nº 148, de 27 de Abril de 2006. Estabelece normas, critérios e procedimentos para o apoio à gestão do Programa Bolsa Família e do Cadastro Único de Programas Sociais do Governo Federal no âmbito dos municípios, e cria o Índice de Gestão Descentralizada do Programa. Diário Oficial da União 2006; 27 abr.. O cálculo é baseado nos dados de atualização e qualidade dos cadastros do CadÚnico, da frequência escolar, do acompanhamento das condicionalidades da saúde e da capacidade gerencial dos municípios Estes recursos são administrados pelas secretarias de Assistência Social e repassados para os demais setores em cada município de acordo com o cumprimento das metas. Foram criadas comissões intersetoriais e instâncias de controle social para a fiscalização e integração das iniciativas onde participam representantes do poder executivo municipal e das secretarias de saúde, educação e assistência, sindicatos e associações civis. Tais arranjos buscaram, teoricamente, garantir a cooperação horizontal e vertical entre níveis de governo e comunidades, corroborando assim com o pressuposto de que a gestão descentralizada e compartilhada favorece a implementação do programa e a maior efetividade das ações.

Em relação ao uso do critério de renda monetária para a discriminação das situações de pobreza, o debate é marcado por controvérsias¹⁶16. Rocha S. A Pobreza no Brasil Afinal do que se trata? Rio de Janeiro: FGV Editora; 2003.

17. Sen A. A desigualdade reexaminada. Rio de Janeiro: Record; 2001.^-1818. Magalhães R, Burlandy L, Senna MCM. Pobreza, Desigualdades Sociais e Saúde: desafios para as políticas públicas. Cien Saude Colet 2007; 12(6):1412.. A informação sobre a renda na maioria das vezes é pouco fidedigna e não reflete as diferentes privações vividas pelas famílias nos contextos rurais e urbanos. No caso do programa Bolsa Família, o critério contrasta com o enfoque da pobreza como problema multidimensional. Além disso, apesar do critério de inclusão no programa ser a renda monetária declarada através de comprovantes oficiais ou de próprio punho não há garantia de que todas as famílias consideradas pobres ou extremamente pobres sejam incluídas. De acordo com os gestores e os profissionais do programa entrevistados algumas famílias poderiam ser priorizadas se apresentassem menor renda quando comparadas com outras, mesmo que todas estivessem dentro do critério estabelecido pelo programa. Em Manguinhos, havia demora entre o cadastramento e o recebimento do auxílio monetário. Segundo os entrevistados, isto era devido às inúmeras dificuldades burocráticas e erros na digitação de dados. A não inclusão de famílias, apesar de apresentarem rendimentos monetários compatíveis com o critério de seleção do programa e a demora entre o cadastramento e o recebimento do auxílio, eram problemas presentes também em outras regiões do país¹⁹19. Instituto Brasileiro de Análises Sociais e Econômicas (IBASE). Repercussões do Programa Bolsa Família na segurança alimentar e nutricional: relatório síntese. Rio de Janeiro: IBASE; 2008. e geravam sentimentos difusos de injustiça entre as famílias, os gestores e os profissionais. Também foi possível verificar como as ações ligadas ao acesso aos serviços de saúde, educação, mercado de trabalho eram acompanhadas e contribuíam para a perspectiva de redução da pobreza à longo prazo. Apesar de consistente no plano teórico, a articulação das atividades e mecanismos de ação no programa a fim de garantir a convergência das ações de saúde, educação e proteção social era frágil. Como mostram os dados da Pesquisa de Avaliação do Impacto do Programa Bolsa Família realizada pelo Ministério do Desenvolvimento Social (MDS)²⁰ 20. Vaitsman J, Paes-Souza R. Avaliação de Políticas e Programas do MDS. Brasília: Secretaria de Avaliação do Desenvolvimento Social e Combate à Fome do Ministério do Desenvolvimento Social e Combate à Fome (MDS); 2007.esta dificuldade perpassava a dinâmica de implementação do programa desde 2005. De acordo com a pesquisa, o monitoramento das condicionalidades da saúde no primeiro semestre de 2005 era de apenas 6% e a cobertura vacinal das crianças entre 0 e 6 anos não apresentava diferença significativa quando comparada ao grupo não beneficiário na mesma faixa etária. Em 2011 o monitoramento das condicionalidades da saúde ainda era baixo, sobretudo quando comparado ao acompanhamento das condicionalidades da educação²¹21. Andrade M, Chein F, Souza LR, Junoy-Puig J. Income transfer policies and impacts on the imunization of children: the Bolsa Família Program. Cad Saude Publica 2012; 28(7):1347-1358..

Em Manguinhos, não havia garantia de que as famílias eram monitoradas integralmente nos serviços de saúde. Em relação às condicionalidades da educação, o monitoramento da frequência escolar era facilitado por ser um dado que integrava tradicionalmente a rotina das escolas. Mas, a ausência de critérios voltados ao acompanhamento do desempenho escolar entre as crian ças e jovens dificultava a apreensão dos efeitos do programa nos níveis de escolaridade a médio e longo prazo. Neste aspecto, é preciso lembrar que, segundo os dados da Pesquisa Nacional por Amostra de Domicílios (Pnad)²²22. Instituto Brasileiro de Geografia e Estatística (IBGE). Pesquisa Nacional por Amostra de Domicílios, Síntese de Indicadores. Rio de Janeiro: IBGE; 2011., entre 2009 e 2011 a média de anos de estudo no país foi de apenas 7,3 anos e a taxa de escolarização do grupo de 15 a 17 anos caiu de 85,2 % para 83,7%. No que se refere aos programas complementares, os entrevistados corroboraram os resultados de pesquisa realizada por Santos e Magalhães²³23. Santos CB, Magalhães R. Pobreza e Política Social: a implementação de programas complementares do Programa Bolsa Família. Cien Saude Colet 2012; 17(5):1215-1222., em 2010, na região de Manguinhos entre gestores e famílias beneficiárias do programa Bolsa Família. Os assistentes sociais entrevistados desconheciam quais eram as ofertas de ações complementares como projetos de alfabetização de adultos e capacitação profissional no contexto local. Apesar disso, era grande a demanda por cursos de informática para jovens. Segundo os entrevistados, os programas complementares formulados pelo Governo Federal, em geral voltados à capacitação de pedreiros e eletricistas, não eram adequados à realidade local marcada pelo processo histórico de autoconstrução das moradias. Já o manejo dos recursos do IGD e IGDE pelas secretarias municipal e estadual de assistência social era pouco transparente e nem sempre havia clareza sobre o montante financeiro ou sobre os prazos para o repasse. Gestores das secretarias de educação e saúde entrevistados desconheciam o valor a ser repassado. Especialmente no caso da secretaria de saúde, um agente implementador desconhecia até o que significava a sigla IGD. Assim, se de um lado os incentivos contribuíam para a pactuação intersetorial já que as metas não atendidas por cada setor afetavam negativamente o total de recursos, por outro lado, a gestão financeira centrada na assistência gerava barreiras para a cooperação. Outra questão importante foi a ausência de um banco de dados unificado sobre o acompanhamento das condicionalidades e acesso às ações complementares do programa. No caso do acompanhamento do crescimento e desenvolvimento infantil, por exemplo, as informações do Sistema de Vigilância Alimentar e Nutricional (Sisvan) e do Bolsa Família não eram integradas e, portanto, eram digitadas duas vezes pelos gestores. Em 2011, as equipes da Estratégia de Saúde da Família não eram capazes de mapear as famílias inseridas no programa e, portanto, de adequar as ações de atenção básica às demandas e necessidades daquelas socialmente mais vulneráveis.

Teoria, processos e resultados: uma proposta de matriz avaliativa

Um dos maiores desafios metodológicos para a avaliação de intervenções complexas é estender o alcance das lições apreendidas em um dado contexto local sem perder seu significado e coerência. Para enfrentar este dilema ferramentas e estratégias avaliativas devem buscar reconstruir o processo de implementação dos programas e intervenções e descobrir o quanto existe de adaptação e de fidelidade ao desenho original em cada realidade²⁴24. Patton MQ. Utilization-focused evaluation. 4th ed. London: Sage Publications; 2008.^,2525. Magalhães R, Bodstein R. Avaliação de iniciativas e programas intersetoriais em saúde: desafios e aprendizados Cien Saude Colet 2009; 14(3):861-868.. Também é importante reconhecer e discriminar quais são os componentes do programa que tendem a revelar maior dependência do contexto local de implementação. No caso do programa Bolsa Família, por exemplo, a capacitação profissional voltada à inserção produtiva pode ser mais efetiva se for adequada às demandas e habilidades dos grupos sociais locais.

Além das próprias comunidades e grupos de interesse, muitas instituições e arenas decisórias aparentemente estáveis também são reconformadas de maneira não prevista. No entanto, a avaliação de possíveis discrepâncias em relação ao desenho original e possíveis implicações nos diferentes contextos pode contribuir efetivamente para orientar decisões sobre a expansão ou a descontinuidade das intervenções Mas, para avançar neste caminho é preciso confrontar os pressupostos teóricos das intervenções públicas os quais sustentam a plausibilidade dos resultados esperados com os padrões de interação entre instituições, recursos e atores no cotidiano local. No entanto, poucas vezes os gestores e agentes implementadores têm clareza sobre o desenho lógico dos programas ou a consistência entre as atividades e a natureza das metas previstas. Além disso, é razoável supor que antes que a intervenção avance em rotinas, atribuições e papéis definidos, conflitos em torno da alocação de recursos ou do fluxo de informações, por exemplo, possam emergir dificultando o fortalecimento de laços de confiança necessários para uma agenda comum. Nos programas multiestratégicos e intersetoriais desacordos e controvérsias tendem a crescer na medida em que avança a complexidade das parcerias e alianças exigidas. Frente a este quadro, matrizes metodológicas são ferramentas que contribuem para o processo de hierarquização e sistematização de informações sobre o programa. O instrumento, associado às demais estratégias avaliativas pode apoiar a investigação sobre como e porque as ações alcançam os efeitos pretendidos ou fracassam (Quadro 1).

Diferentemente do tratamento linear de aspectos e variáveis isoladas a matriz proposta neste artigo busca privilegiar as relações de interdependência entre as dimensões validade da teoria (I) - consistência das associações causais, mecanismos de ação, recursos e atividades previstas; processo (II) - adesão dos agentes implementadores, conflitos de interesse, rotinas ligadas aos diferentes componentes do programa; e avaliação de efeitos e alcances (III) - articulação e relações de interdependência entre a teoria do programa e o processo de implementação. A análise das condições prévias e do contexto de implementação (A) envolve a descrição e a interpretação das trajetórias institucional e social em torno do problema. Nenhum programa é implementado em um vazio social e cultural. Se, de um lado a presença de associações civis mobilizadas ou experiências bem sucedidas em torno do problema tendem a contribuir positivamente para o alcance de melhores resultados, práticas clientelistas são barreiras para mudanças efetivas.

O reconhecimento dos grupos sociais que tendem a ser mais afetados pela intervenção a curto, médio e longo prazo em cada contexto também é crucial para o maior alcance das estratégias avaliativas. Cada célula da matriz, portanto, expressa a relação entre tais dimensões e o contexto local. Desta maneira, as questões avaliativas contribuem para reconhecer os limites do processo de integração vertical e horizontal das ações e os obstáculos enfrentados no curso das iniciativas estimulando a apropriação coletiva de informações relevantes, a revisão de estratégias e mudanças incrementais. Admitindo a avaliação como processo reflexivo, contextualizado e contínuo, as perguntas sugeridas neste instrumento devem ser adaptadas às demandas e prioridades locais a partir do diálogo entre avaliadores, stakeholders e usuários. A discussão coletiva em torno do roteiro metodológico tende a favorecer a negociação de responsabilidades, a recomposição da rede sociotécnica e as mudanças efetivas.

Considerações finais

As teorias que sustentam os programas sociais devem ser vistas como proposições sobre como diferentes mecanismos são disparados em determinados contextos a fim de produzir resultados²⁶26. Weiss C. Nothing as Practical as Good Theory: exploring theory-based evaluation for comprehensive community initiatives for children and family. In: Connell JP, Kubisch AC, Schorr LB, Weiss C, editors. New Approaches to Evaluating Community Initiatives. Washington: Aspen Institute; 1995. p. 65-93.^,2727. Chen TH. Theory-driven Evaluations. London: Sage Publications; 1990.. Os programas e as intervenções públicas estruturados de maneira consistente tendem a revelar maior coerência entre objetivos, metas e estratégias de implementação. Mas, muitas vezes existem ambiguidades e expectativas pouco realistas em torno dos alvos de mudança. Ou seja, a teoria que orienta o desenho original do programa pode ser frágil. Ao mesmo tempo, como sugerem Pawson e Tilley²⁸28. Pawson R, Tilley N. Realistic Evaluation. London: Sage Publications; 1997., alguns contextos alimentam os problemas que o programa busca resolver²⁹29. Magalhães R, Burlandy L, Senna M, Schottz V, Scalercio G. A implementação do programa Bolsa Família: as experiências de São Francisco de Itabapoa na e Duque de Caxias. Cien Saude Colet 2007; 12(6):1513-1524.. Nesta perspectiva, é importante explorar o desenho normativo e analisar as sinergias entre os diversos componentes do programa e, também, se existem objetivos os quais tendem a revelar maior dependência do contexto de implementação. Neste percurso, é importante compreender e tornar explícitas as motivações e os interesses dos agentes implementadores locais - os chamados stakeholders - assim como os aspectos ligados à cultura institucional local. Evidências sobre programas complexos e interseto riais devem estar disponíveis não só para técnicos, mas também para as comunidades e usuários tornando-se, desta forma, aprendizados e informações úteis para o seu aprimoramento.

Referências

Datas de Publicação

Histórico