ARTIGO ARTICLE

Avaliação participativa em programas de saúde: um modelo para o Programa de Saúde do Adolescente

Participatory evaluation in health programs: a proposal for the Adolescent Health Care Program

Ivani Bursztyn^I; José Mendes Ribeiro^II

^INúcleo de Estudos de Saúde Coletiva, Universidade Federal do Rio de Janeiro, Rio de Janeiro, Brasil
^IIEscola Nacional de Saúde Pública, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil

Endereço para correspondência

RESUMO 

Este artigo apresenta um modelo de avaliação participativa criado para o Programa de Saúde do Adolescente (PROSAD). Sua elaboração pautou-se pela discussão do conceito de participação, pela revisão de metodologias de planejamento validadas internacionalmente (RAP, logFRAME, ZOPP, PCM) e pelas características programáticas do PROSAD. O modelo proposto compõe-se de quatro passos, envolvendo a constituição da matriz de análise, a oficina de auto-avaliação, síntese dos resultados e respectiva representação gráfica. Este modelo promove a prática participativa na gestão dos programas de saúde, por meio do emprego de técnicas que possibilitam realizar a oficina em um tempo médio de setenta minutos, produzem resultados reconhecidos e são de fácil apropriação pela equipe local.

Planejamento Participativo; Saúde do Adolescente; Avaliação

ABSTRACT

This article presents a model for participatory evaluation of the Adolescent Health Program (PROSAD) in Brazil. The study focuses on the concept of participation, with a review of internationally validated planning methodologies (RAP, logFRAME, ZOPP, PCM) and the programmatic characteristics of PROSAD. The proposed model comprises 4 steps, involving the constitution of the analytical matrix, a self-evaluation workshop, a summary of results, and graphic representation. The model promotes participatory practice in health program management by using techniques that allow a workshop to be held in 70 minutes (mean time), producing results that are recognized and easily grasped by the local team.

Participative Planning; Adolescent Health; Evaluation

Introdução

As grandes transformações na maneira de pensar as questões atinentes ao campo da saúde e da medicina desde as últimas décadas do século XX têm contribuído para o estabelecimento de novos paradigmas, centrados nos conceitos de promoção da saúde, humanização, foco no paciente e cidadania. Na medida em que se avança nesta perspectiva torna-se necessário recriar as práticas cotidianas, definindo um modelo de atenção à saúde de bases programáticas — "eficiente, no que concerne aos custos; inclusivo, no que concerne à eqüidade e universalização do acesso; e efetivo, no que concerne aos resultados da intervenção" ¹ (p. 90). Como apontam autores de diferentes países ^{2,3,4,5,6,7,8}, a atividade de planejamento, gestão e avaliação, neste cenário, ganha especial importância vis-à-vis à atividade assistencial propriamente dita.

A definição de ação programática em saúde não trata simplesmente da incorporação de práticas de planejamento/programação para organizar os recursos assistenciais. Esta seria uma dimensão mais política, ou externa, da questão, enquanto a ação programática origina-se nas dimensões técnicas, o processo de trabalho em saúde propriamente dito, articulando o saber sanitário e o saber clínico, ao reconhecer as necessidades de saúde no fenômeno saúde/doença na população ou grupos sociais e o caráter individual do sofrimento ⁹. A organização programática da assistência reúne as seguintes características: programas organizados por grupos populacionais (criança, adolescente, mulher, idoso etc.) e por doenças de importância sanitária (tuberculose, hipertensão etc.); objetivos definidos com base no diagnóstico de saúde da população; organização interna das atividades (consulta médica, atendimento de enfermagem, grupos de atendimento, visita domiciliar etc.); utilização de equipe multidisciplinar; padronização de fluxogramas de atividades e condutas diagnósticas e terapêuticas; sistema de informação e avaliação permanente; hierarquização e regionalização dos serviços.

O modelo programático contrapõe-se à tradição de programas verticais e planejamento normativo do Ministério da Saúde e, apesar dos avanços na descentralização das ações, experimentados pelo Sistema Único de Saúde (SUS) desde a última década, permanecem alguns desafios para serem respondidos pela prática de gestão: não há métodos eficazes e universalmente aceitos para articular a participação do nível local do sistema preservando-se os objetivos do SUS; a autonomia e poder de decisão outorgados a cada equipe não pode contrapor-se à coordenação operacional e política do sistema; a efetiva participação do usuário nem sempre acontece nas instâncias formais; é necessário motivar os profissionais aumentado sua auto-estima, para que possam comprometer-se de forma criativa com os objetivos da assistência ¹⁰.

Neste artigo apresenta-se um modelo de avaliação desenvolvido para ser aplicado ao Programa de Saúde do Adolescente (PROSAD) da Secretaria Municipal de Saúde do Rio de Janeiro, Brasil. Trata-se de uma ferramenta que visa a apoiar as equipes locais na apreensão e desenvolvimento da proposta programática, aumentando sua capacidade de superar problemas e direcionar esforços a partir da maior integração da equipe interdisciplinar. O modelo é participativo e constituiu-se baseando-se numa revisão de metodologias de planejamento/avaliação e gestão que vêm sendo aplicadas à saúde.

Por que a abordagem participativa? 

O desenvolvimento da abordagem participativa na pesquisa e prática de planejamento e gestão de programas sociais tem em Paulo Freire um precursor. Em seu livro A Pedagogia do Oprimido, Freire ¹¹ abordou as relações de poder e dominação no interior da sociedade a partir de uma visão que enfatiza o caráter intrinsecamente estrutural dos conflitos sociais, salienta que somente os oprimidos têm a "grande tarefa humanista e histórica" ¹¹ (p. 31) de romper a relação de opressão, libertando a si e ao opressor. O opressor poderia pretender amenizar ou, no máximo, solidarizar-se com o oprimido. No primeiro caso estaria apenas perpetuando a relação de poder desigual, mas no segundo, entendendo os papéis sociais históricos, poderia contribuir para o desenvolvimento de uma consciência crítica e libertadora. A desumanização é reconhecida como condição dos dois pólos — oprimido e opressor — e determinada por uma ordem social injusta. Daí, a afirmação de que "ninguém liberta ninguém, ninguém se liberta sozinho: os homens se libertam em comunhão" ¹¹ (p. 27). A consciência individualista, levaria o oprimido a objetivar a posição do opressor, ou seja, a trocar de posição sem romper a relação. Este limite é mediado pela prática prescritiva. Em contraposição, a "pedagogia do oprimido" é "aquela que tem de ser forjada com ele e não para ele, enquanto homens ou povos, na luta incessante de recuperação de sua humanidade" ¹¹ (p. 32).

Observada no âmbito das políticas sociais, a adoção de programas verticalizados e baseados em práticas prescritivas foi hegemônica ao longo das décadas de 60 e 70. Nas políticas de saúde, de um modo geral, o ponto de inflexão está representado pela emergência, nos anos 80, da estratégia saúde para todos até o ano 2000 e nos princípios da atenção primária, propostos pela Conferência de Alma-Ata (Declaração de Alma-Ata. http://dtr2001.saude.gov.br/ sps/areastecnicas/Promocao/cartas/declaracao %20de%20alma%20ata.htm, acessado em 12/Mai/2003), que tinham a participação comunitária como um eixo de destaque.

Comparando o modelo tradicionalmente utilizado pelas agências internacionais de cooperação para o desenvolvimento com a abordagem participativa que vem se estabelecendo nos últimos anos, identificam-se as diferenças como algo presente, basicamente, na atitude ou postura (stance) dos financiadores e gerentes de projetos ¹². Trata-se, no caso participativo, de uma postura colaborativa, em contraposição à tradicional postura de especialistas externos. No primeiro caso, a participação e engajamento dos interessados seriam estimulados até o ponto de partilharem as decisões e controle do projeto. No segundo, os interessados são no máximo valorizados como informantes, porém, as decisões e o controle permanecem na esfera do grupo técnico. Em todos os casos, há um razoável consenso de que a abordagem tradicional mostrou-se ineficaz para a produção de transformações sociais, e espera-se que na abordagem participativa se processe um tipo de aprendizado social que crie condições para a mudança ¹².

Por outro lado, outros autores assinalam que a participação social não é vista como virtuosa em si ^13,14, e destacam elementos típicos de controle sobre a sociedade e a possibilidade dos mediadores (técnicos e especialistas) não compartilharem as mesmas percepções que a população local. Além disso, a formatação jurídico-institucional das instâncias oficiais de participação, tais como os conselhos de saúde, possibilitaria uma representação tendenciosa e manipulada, na medida em que os segmentos mais pobres e menos organizados da classe trabalhadora são alvos históricos da política clientelista ¹⁵. De toda forma, o impulso individual à participação coletiva tem sido apontado como fator de reforço psicossocial, com efeitos benéficos na vida cotidiana ¹⁶.

A prática participativa, que em meados do século XX era vista como fator potencial de convulsão social passou a ser assumida, décadas depois, como essencial para produção de mudanças sociais. O custo deste aprendizado foram décadas de insucessos e fracassos de programas de desenvolvimento social. Ressaltamos, contudo, que a abordagem participativa proposta pelas agências internacionais, embora constitua um avanço significativo, não pode ser confundida e nem substitui a formulação de Paulo Freire. Seu legado é referido contemporaneamente pelos grupos que trabalham com a pesquisa participante, que visa a integrar os setores populares à determinação dos conteúdos, bem como à investigação na qualidade de atores do processo ¹⁷.

Facilitar a participação social é um desafio para o qual as equipes locais de saúde precisam estar preparadas. Cabe às instâncias de coordenação mais altas instrumentalizar e fortalecer a gestão local, reforçando a cultura da participação e do trabalho em equipe.

As metodologias participativas, suas possibilidades e limites

Com vistas a elaborar uma metodologia de avaliação participativa adequada aos programas de saúde desenvolvidos na rede do SUS do Rio de Janeiro, realizamos um levantamento de metodologias preexistentes discutindo suas possibilidades e limitações. Procuramos selecionar aquelas que enfatizam os processos de implementação de políticas específicas e operacionais, utilizando-se de técnicas de fácil aplicação e disseminação. O Planejamento Estratégico Situacional, apesar de muito usado no setor de saúde brasileiro desde a década de 90, não está incluído nesta seleção em virtude das dificuldades operacionais já identificadas por alguns de seus usuários pioneiros. Trata-se de aspectos críticos que inibem a própria participação ao tornarem excessivamente complexo o processo de tomada de decisão, o que levou estes autores a proporem formas híbridas de aplicação do método, importando elementos da qualidade total ¹⁸ ou do Zielorientiert Projekt Plannung (ZOPP) ¹⁹. Procuramos manter-nos alertas para o risco de manipulação ou ilusão de participação que podem ocorrer na aplicação do planejamento participativo ²⁰.

Destacamos a seguir quatro modelos conhecidos de planejamento participativo, com base nos quais foram retirados elementos que compõem o modelo de avaliação aqui aplicado. 

Logical framework

A logical framework (logFRAME) foi desenvolvida em 1969 pela United States Agency for International Development (USAID), como um instrumento de gestão, visando a melhorar o planejamento e gerenciamento de projetos de cooperação para o desenvolvimento. Compõe-se de uma matriz sintética de todas as fases de um projeto, apresentando de maneira objetiva e sistemática todos os elementos para o entendimento e gerenciamento da intervenção proposta (Tabela 1). A logFRAME deriva da "Gestão por Objetivos" (Management by Objectives — MbO) e propõe-se a ser uma ferramenta facilitadora da negociação entre os interessados (stakeholders) pelo projeto, na medida em que permite a cada um formular e expressar de maneira clara e transparente suas intenções ^12.

Na Tabela 1, a primeira coluna expressa, de cima para baixo, a estratégia do projeto. A quarta coluna é reservada para enumeração de fatores fora da governabilidade do projeto que podem influenciá-lo positiva ou negativamente. Os números em cada célula indicam a ordem de preenchimento, evidenciando que, a tarefa que segue a definição da estratégia do projeto é a de prever o comportamento dos fatores externos, os quais podem facilitá-lo ou inviabilizá-lo. A escolha dos indicadores e suas fontes constitui tarefa final. A análise de coerência é realizada de baixo para cima, ou seja, desde as atividades até o objetivo superior. Por exemplo, se as atividades descritas na célula 4 forem realizadas e as suposições importantes da célula 5 se concretizarem, então os resultados descritos na célula 3 serão alcançados. Se os resultados da célula 3 são alcançados e as suposições importantes da célula 6 se concretizam, então o objetivo do projeto estará alcançado, e assim sucessivamente.

O principal problema recai na tendência desta estrutura lógica tornar-se um instrumento rígido e sem flexibilidade para incorporar as mudanças e os novos cenários que vão se apresentando, e que podem afetar a programação inicial. O foco estrito nos resultados pré-fixados e seus indicadores retiram atenção dos processos, podendo levar à perda de oportunidades para aprimorá-los, assim como ao empobrecimento na relação de aprendizado com base na experiência. O grau de complexidade e inter-relação entre as células da planilha dificulta a elaboração do plano e pode inibir a participação, propiciando uma dominância do técnico sobre os próprios beneficiários do projeto.

Por outro lado, a logFRAME possibilita um olhar objetivo sobre o desenho lógico e sistemático do projeto e seus componentes, mostrando a interdependência deste com o ambiente/cenários; pode ser um instrumento de negociação e pactuação entre os interessados; e promove condições para a continuidade do plano, quando há substituições na equipe.

Planejamento de projeto orientado aos objetivos (Zielorientiert Projekt Plannung )

O método ZOPP foi desenvolvido pela Sociedade Alemã de Cooperação Técnica (GTZ), na década de 80, como um instrumento para o gerenciamento dos projetos de desenvolvimento realizados por meio de cooperação internacional.

Baseando-se na preexistente logFRAME, o ZOPP ressalta três características essenciais ²¹:

(1) Propostas construídas a partir de um processo participativo: a abordagem é, necessariamente, de equipe e interdisciplinar. São participantes potenciais das oficinas de ZOPP todos aqueles interessados direta ou indiretamente pelo problema em questão, e/ou que possam influenciar positiva ou negativamente a execução da proposta resultante da oficina.

(2) Emprego de técnicas de visualização nas oficinas de trabalho: tendo em vista a heterogeneidade dos participantes, há o risco de monopolização da discussão ou, mesmo, a repetição estéril das queixas mais prementes. O emprego da técnica de visualização é feito para assegurar a participação e o entendimento homogêneo. Todas as questões levantadas têm de ser representadas de forma bastante sintética em fichas que são afixadas em quadros de alfinetes. Desta forma, todos podem acompanhar visualmente o que está sendo dito, dinamizando o desenrolar do processo de discussão e elaboração do plano.

(3) Transparência do processo para todos os participantes: tendo em vista tratar-se de metodologia participativa e de construção coletiva, o processo transparente possibilita que todos saiam com o mesmo entendimento do que foi dito e discutido e, principalmente, com a mesma clareza do compromisso firmado sob a forma de plano de ação a ser desenvolvido.

O ZOPP compreende as etapas de diagnóstico, priorização de problemas e construção do plano, os quais constituem módulos relativamente independentes e podem ser aplicados de maneiras variadas, dependendo da situação concreta. Ao todo são percorridos 12 passos, partindo-se da análise participativa, análise dos problemas, análise dos objetivos, eleição de objetivos prioritários para elaboração do plano e construção do plano por meio do preenchimento da matriz de planejamento.

A análise participativa é anterior à oficina, e consiste no levantamento e sistematização das organizações e/ou pessoas interessadas (beneficiárias ou afetadas) pelo projeto, a rotulação de sua relação com projeto (contribuem ou obstaculizam), e seleção daqueles a serem convidados a participar da oficina. A análise do problema é o primeiro momento da oficina, e se inicia com uma negociação visando a identificar um único problema nuclear, em torno do qual se organizarão os demais problemas. Produz-se assim uma árvore em que o problema nuclear representa o tronco e os demais formam as raízes ou galhos, segundo sua relação de causa ou efeito com o problema nuclear. Os problemas são sempre nomeados enquanto uma condição negativa e, ao serem transcritos para o positivo conforma-se a árvore dos objetivos. A análise dos objetivos é realizada a partir da identificação da relação "se [objetivo x], então [objetivo y]" ou "[objetivo x] por meio de [objetivo y]" entre galhos e raízes da árvore. Por meio deste procedimento selecionam-se objetivos prioritários e passa-se a preencher a matriz de planejamento do projeto, que corresponde à logFRAME já apresentada.

A experiência acumulada pela ampla utilização do ZOPP, dentro e fora da Alemanha, possibilitou identificar as principais fraquezas do método, propiciando sua revisão e reformulação nos últimos tempos, saindo de uma proposta de gerenciamento para uma concepção de gestão do projeto. Este processo envolve um avanço no entendimento do conceito de participação, assumindo-se de maneira mais clara a existência de diferentes posições/interesses/objetivos entre diferentes atores sociais.

Os principais problemas do ZOPP estão ligados à sua forte recorrência à matriz lógica. Conforme já apontado, esta técnica pode comprometer e enviesar os resultados quando aplicada com rigidez extremada. Neste sentido, o sucesso depende muito da habilidade e competência do moderador da oficina, assim como da equipe responsável pela gestão e monitoramento do projeto. Quando o processo de planejamento é imposto de forma vertical (de cima para baixo) corre o risco de tornar-se um ritual burocrático, em que o preenchimento da matriz acaba ocorrendo posteriormente à definição do projeto, não servindo como instrumento catalisador da discussão e pactuação entre os participantes, que passam a se sentir apenas parte de uma encenação ²².

Ressaltamos, porém, que quando aplicado profissionalmente, o ZOPP ajuda os planejadores a procederem de maneira lógica e sistemática, dando a devida atenção aos aspectos de transparência, consistência, realismo e sustentabilidade ²³. 

O Project Cycle Management (PCM) surge na década de 90 como uma alternativa de flexibilização do ZOPP, e superação das limitações e distorções que vinham sendo apontadas por seus críticos ²⁴.

Visando a ajustar o foco do projeto no beneficiário, o PCM propõe sempre expressar a proposta do projeto em termos de um benefício sustentável para o grupo alvo; estabelecer um "formato básico" colocando concisamente os aspectos vitais que, quando não considerados, podem levar o projeto ao fracasso; estabelecer um mecanismo para guiar com clareza o processo de tomada de decisão por meio do ciclo do projeto.

Desta forma, o PCM reconhece a diferença de aspirações e interesses dos diferentes atores sociais e estabelece níveis de objetivos qualitativamente diferentes: (a) os grupos alvo saem de uma situação inicial para alcançar um objetivo de desenvolvimento sustentável; (b) as organizações parceiras locais partem da idéia do projeto/programa e visam a alcançar o objetivo do projeto/programa; (c) a agência de cooperação internacional parte da proposta de cooperação internacional e visa a alcançar os objetivos da cooperação ²⁵.

O ciclo do projeto compreende três fases. A primeira, fase de identificação, envolve desde a idéia do projeto até a sistematização dos objetivos. Os beneficiários têm o peso maior na apresentação da proposta de projeto, a qual deve considerar o histórico do problema, intervenção prevista, fatores que colocam em risco sua execução, recursos necessários e disponíveis para implementação, fatores de sustentabilidade, monitoramento e avaliação.

A segunda fase corresponde à concepção do projeto, ou seja, a elaboração do plano. Este é o momento de mais intensa negociação entre os interessados em torno dos objetivos e demais aspectos do projeto. A terceira fase corresponde à execução do projeto, e nela tem importância especial os mecanismos de monitoramento e avaliação para ajustes e correções que se façam necessários.

Na prática o PCM tem sido usado de maneira agregada ao ZOPP. Trata-se, de fato, de uma utilização do instrumental do ZOPP de maneira mais flexível, reconhecendo a necessidade de promover o empoderamento dos beneficiários, para que sua participação reflita, efetivamente, os seus interesses próprios, sem manipulação da agência externa ou organizações locais.

Para alguns autores, entre os quais destacamos Gasper ²², sustenta-se a crítica a esta metodologia, na medida em que persiste o uso da logFRAME, considerada uma camisa de força, cujo preenchimento é feito, muitas vezes, somente para o atendimento de uma exigência formal do processo de prestação de contas.

Por outro lado, não podemos deixar de reconhecer o esforço desta metodologia em avançar na questão da participação, na medida em que enfatiza os objetivos de desenvolvimento sustentável e atividades voltadas para o empoderamento e fortalecimento da participação dos beneficiários. O trabalho de moderadores bem preparados e com criatividade para lidar com as diferentes situações que se apresentam é essencial para o êxito de todo processo participativo.

Metodologias rápidas

As metodologias rápidas, que chamaremos aqui genericamente de RAP (Rapid Assessment Procedures), podem ser caracterizadas pelos seguintes elementos: baixo custo, devolução dos resultados em tempo ágil, questionários curtos e objetivos, coleta de dados por informantes chaves, grupos focais ou amostragem reduzida ^26,27. Metodologias rápidas têm sido usadas em diferentes campos, envolvendo diversas disciplinas, tais como: antropologia, economia, epidemiologia, avaliação de políticas e programas sociais. O emprego conjunto de diferentes técnicas e enfoques propicia uma fertilização cruzada (cross-fertilization) de idéias entre as disciplinas ²⁸, o que constitui um dos seus principais aspectos positivos.

Ao estabelecer uma taxionomia das técnicas de RAP, Macintyre ²⁸ enumera: (1) Rapid Rural Appraisal (RRA), originado nos programas de desenvolvimento agrário/rural, foi utilizado amplamente pelo Banco Mundial e pela USAID desde meados da década de 70 até fins de 80; (2) Rapid Assessment Procedures (RAP), originado na antropologia, nutrição e cuidados primários de saúde, tem sido amplamente utilizado por diversas agências das Nações Unidas desde fins da década de 70; (3) EPI/Cluster Sample Survey (EPI-CSS), originado na epidemiologia e estatística, tem sido amplamente utilizado pela Organização Mundial da Saúde (OMS) e Fundo das Nações Unidas para a Infância (UNICEF) para a avaliação do Programa Ampliado de Imunização; (4) Priority Survey (PS), originado em estudos urbanos e sobre a pobreza, vem sendo utilizado pelo Banco Mundial desde a década de 80; (5) Rapid Evaluation Method (REM), originado nos programas de saúde materno-infantil e planejamento familiar, tem sido utilizado pela OMS em países africanos; (6) Community Health Interview Surveys (CHIS), originado no campo das doenças tropicais e epidemiologia, foi utilizado pela OMS na Tanzânia entre fins da década de 80 e início de 90; (7) Rapid Health Survey (RHS), originado no campo da saúde pública, foi utilizado pela OMS em Burma em meados dos anos 80; (8) Verbal Authopsy (VA), originado em estudos da mortalidade infantil, foi utilizado pela OMS no Brasil e no Kenya no início da década de 90; (9) Geographic Information Siystems (GIS), originado em estudos geográficos e de planejamento, foi utilizado pela Comunidade Econômica Européia na Holanda e Grã-Bretanha no início dos anos 90; e (10) Rapid Nutrition Reconaissance (RNR), originado no campo da nutrição e cuidado primário de saúde, foi utilizado amplamente pela OMS e UNICEF na década de 80.

O emprego de RAP tem sido alvo de críticas por parte do meio acadêmico por incorporar um alto grau de subjetividade. Sua condução está sujeita à disponibilidade/prontidão para participação, possibilitando uma seleção enviesada de informantes chaves. Os resultados assim obtidos dificilmente podem ser generalizados. Entretanto, não se pode deixar de considerar que, além de prover com agilidade subsídios para a ação, as RAP promovem discussões locais e a participação, favorecendo a qualificação e o fortalecimento de lideranças.

Elementos para um novo modelo avaliativo

Uma das soluções comuns para lidar com metodologias e tecnologias de planejamento alternativas pode ser trabalhar segundo a lógica da caixa de ferramentas, ou seja, fazer uso de soluções apontadas de diferentes modelos e tratar como módulos reagrupados de acordo com cada caso analisado.

As diversas metodologias apresentadas revelam uma coerência lógica com a evolução das políticas de cooperação para o desenvolvimento na segunda metade do século XX. Num primeiro momento os países centrais decidem "cooperar" transferindo suas fórmulas, saberes e tecnologias por meio de programas e práticas de intervenção verticais, autoritárias e prescritivas. Do fracasso fatal e previsível desta política emerge a consciência de que o custo de impor-se novos hábitos e comportamentos a uma população, desprezando-se a realidade objetiva e subjetiva que originam e moldam seus hábitos e comportamentos, é muito alto. Com base nesta consciência abre-se, no campo institucional, um espaço para crescimento das propostas participativas, que floresciam de forma alternativa e contra-hegemônica. Entre a participação voltada para o desenvolvimento da consciência crítica e libertadora e as práticas prescritivas de natureza controladora, vão se delineando matizes que podem ser evidenciadas nos modelos de planejamento apresentados.

A logFRAME está mais comprometida com a pactuação em torno dos objetivos do que com o diagnóstico do problema. Daí o risco de um resultado manipulado pelos técnicos, com maior capacidade de argumentação, e pouco representativo dos beneficiários do projeto em questão. O ZOPP sucede a logFRAME, acrescendo a análise do problema, porém, a experiência torna claro que a participação para ser efetiva necessita mais do que a instância formal. É necessário desenvolver uma consciência efetiva do poder e força destas populações que vivem em situação de desvantagem à margem da cidadania. O PCM avança ao assegurar um espaço próprio e tarefas exclusivas dos beneficiários na identificação do problema a ser abordado pelo projeto, visando a regulação do poder dos técnicos. As RAP são, via de regra, mais flexíveis e permeáveis à escuta e apreensão do que se passa nesta realidade. Podem ser divididas em duas vertentes: uma que prioriza o diagnóstico epidemiológico de base estatística, e outra, a visão do contexto baseada em técnicas da pesquisa social e antropológica.

O modelo de avaliação do PROSAD, que apresentamos a seguir, tem as características de uma metodologia rápida, incorporando técnicas de produção do consenso e utilizando as disposições programáticas do PROSAD como balizamento da avaliação.

Construção de um modelo participativo para avaliação do Programa de Saúde do Adolescente

Este modelo objetiva a avaliação do PROSAD nas unidades de saúde da rede básica. Trata-se de uma proposta que contempla a complexidade das práticas programáticas e busca fortalecer a participação da equipe local, visando a estimular uma atitude favorável à participação do adolescente e desenvolvimento da cidadania.

Criado em 1989 e implantado de forma mais sistemática a partir de 1992, o PROSAD enfrenta os seguintes desafios ^29,30: (1) garantir a prioridade para os adolescentes nas unidades de saúde; (2) adequar os serviços de saúde para favorecer a captação e adesão dos adolescentes, priorizando as atividades de grupo e a promoção de saúde; (3) resguardar o enfoque de saúde integral, com ênfase na vigilância do crescimento e desenvolvimento; (4) levar em consideração características e singularidades relativas a gênero, condição sócio-econômica, vínculos familiares, domicílio, incapacidades, escolaridade e trabalho; (5) fortalecer a integração entre os profissionais dos diferentes programas e setores da unidade; (6) estabelecer parcerias com outros setores, oferecendo acesso a atividades profissionalizantes, esportivas, artísticas e de lazer, e implantar projetos integrados; (7) ampliar o foco das ações de maneira a contemplar de forma mais abrangente a família e a comunidade; (8) mudar o enfoque adolescente = problema para adolescente = solução, pelo incentivo à participação dos adolescentes nos serviços e nas atividades de promoção de saúde na comunidade, e da parceria com grupos organizados de jovens na comunidade; (9) prover treinamento e educação continuada para os profissionais; e (10) favorecer a implementação de avaliação permanente.

O foco do modelo de avaliação está centrado nas equipes locais, reforçando a perspectiva do planejamento ascendente e estimulando o processamento dos problemas no nível organizacional em que representem alto valor ³¹. Como princípios norteadores para a elaboração do modelo de avaliação foram destacados a utilização de técnicas participativas, rapidez e objetividade, visando a responder à situação de recursos escassos, sejam eles materiais, de tempo ou de poder ³². O envolvimento da equipe como um todo favorece a valorização e integração dos profissionais, agiliza as discussões e permite o retorno ágil dos resultados uma vez que este se dá no próprio processo de discussão. A avaliação tem de fornecer informações úteis para a tomada de decisão. Portanto, deve ser realizada num prazo curto para que seus resultados possam repercutir na realidade. Num processo demorado, a realidade pode se modificar e tornar sem sentido os resultados da avaliação. A rapidez e agilidade ensejadas dependem, em grande medida, da objetividade nos processos de coleta e análise de dados. "O que queremos avaliar" e "como avaliar" precisam estar bem definidos antes de se iniciar o trabalho de campo, para que o trabalho não se disperse e se torne improdutivo. O excesso de dados desnecessários ou de difícil utilização prolonga o processo e o desvia de seu eixo, comprometendo os resultados. O esforço de objetividade deve contemplar a complexidade do programa de saúde, evitando qualquer reducionismo, assim como, respeitar o ritmo e a capacidade dos participantes.

O modelo proposto envolve quatro passos como veremos a seguir.

Passo 1: constituição da matriz de análise

Esta matriz deve comportar os elementos básicos da prática programática em saúde, definida anteriormente como um conceito que articula as racionalidades clínica e epidemiológica, e propicia a organização da assistência integral à saúde, reconhecendo o processo saúde e doença enquanto fenômeno social, sem desprezar os aspectos individuais e singulares do sofrimento ⁹. Com base em uma pesquisa realizada por meio de observação e entrevistas semi-estruturadas com informantes-chave (gerente do programa, diversas categorias profissionais envolvidas no atendimento ao adolescente no nível local, usuários do serviço), construiu-se uma matriz de análise constituída de cinco eixos (Bursztyn I. Projeto Horizontes/subprojeto. Avaliação do Programa de Saúde do Adolescente na CAP 3.3. Relatório final apresentado à Secretaria Municipal de Saúde do Rio de Janeiro; 1999). Cada eixo compreende um conjunto de critérios identificados e agrupados de acordo com a proposta do programa, o entendimento dessas propostas entre os profissionais do nível local e os aspectos definidos pela gerência central do programa como paradigmáticos.

Eixo A — implantação das ações do PROSAD: compreende critérios relacionados às ações propriamente ditas, à captação e cobertura dos grupos de maior risco; eixo B — equipe interdisciplinar de saúde: compreende critérios relacionados à composição e dinâmica da equipe, assim como acesso a treinamentos e reciclagem; eixo C — organização da assistência: compreende critérios relacionados a estratégias que visam a facilitar a relação e conferir maior adesão e efetividade ao programa; eixo D — parcerias: compreende critérios relacionados a aspectos quantitativos (tendo em vista os objetivos de cobertura do programa) e qualitativos (tendo em vista a necessidade de captação de grupos em maior risco e a intersetorialidade no que concerne a encaminhamentos para assistência social, formação profissional, atividades esportivas, culturais e outras); e eixo E — participação do adolescente: compreende critérios relacionados à abertura do serviço de saúde para ouvir e atender as demandas e necessidades do adolescente no que diz respeito aos temas abordados, dinâmicas de trabalho, apoio em trabalhos externos de iniciativa de grupos de adolescentes e o envolvimento deles como multiplicadores nas atividades desenvolvidas na própria unidade e na comunidade.

Na Tabela 2 observam-se algumas superposições, uma vez que alguns critérios aparecem em mais de um eixo. Essas superposições estão relacionadas à lógica de interdependência entre os eixos e foram mantidas sem prejuízo para o resultado e a análise.

Passo 2: realização de oficinas

As oficinas são realizadas em cada serviço e delas participam os profissionais que se sentem mais diretamente envolvidos no atendimento aos adolescentes e outros de programas/ações correlatos (odontologia, teste instantâneo de gravidez, contracepção, dermatologia e outros), que nem sempre se sentem fazendo parte da equipe do PROSAD. A seleção desses profissionais pode se basear num estudo prévio sobre a distribuição dos adolescentes nos diferentes serviços da unidade. É importante que sejam incluídas diversas categorias profissionais, chefias e setores como porta de entrada, e representantes dos usuários. A exemplo do método ZOPP, utiliza-se a técnica de visualização objetivando a agilização da discussão e facilitação da negociação e consenso. O grupo discute os cinco eixos, utilizando a matriz como roteiro. Dados preexistentes ou oriundos do sistema de informação regular do serviço, referentes ao número de atendimento e/ou diagnósticos da população podem e devem ser incorporados na discussão.

Passo 3: pontuação do desempenho pela equipe

Ao final da discussão, o grupo é convidado a conferir notas de 1 a 5 para o desempenho da unidade em cada um dos eixos, sendo 5 a nota máxima e 1 a mínima. O resultado da oficina é transcrito para um planilha (Tabela 3).

A primeira coluna corresponde aos eixos, na segunda descreve-se, sinteticamente, os achados da discussão do grupo sobre aquele eixo e na terceira coluna figura a nota que lhe foi atribuída.

A obrigatoriedade em conferir nota possibilita à equipe chegar a um entendimento consensual acerca da qualidade do desempenho do serviço, seus principais problemas e possíveis estratégias de superação.

Passo 4: visualização gráfica da avaliação

Com as notas de cada eixo produz-se um gráfico radial (Figura 1), em que a figura totalmente cheia significaria que o programa estaria funcionando em sua plenitude naquela unidade, atendendo de maneira absoluta todos os critérios definidos para a avaliação. A representação visual obtida facilita a apreensão mais homogênea e rápida dos resultados da oficina e possibilita a identificação imediata dos pontos fracos e fortes do programa na unidade, assim como permite estabelecer conjecturas quanto à maneira, ou em que medida, os pontos fortes podem ser utilizados estrategicamente na superação das fraquezas.

Considerações finais 

Vamos aqui, mesmo que rapidamente, tecer algumas considerações acerca do exemplo apresentado (Figura 1, Tabela 3), que expressa os resultados de uma segunda oficina realizada em um Centro Municipal de Saúde, dois anos após a primeira.

A auto-avaliação destacou as parcerias como o ponto forte do programa na unidade e a participação dos adolescentes e a equipe interdisciplinar como os pontos fracos. Por ocasião da primeira avaliação ficou claro que, apesar de um bom clima de trabalho entre os profissionais e forte compromisso com o programa, havia se cristalizado uma divisão de tarefas, de forma que cada qual cuidava das ações sob sua responsabilidade sem que houvesse uma troca efetiva e um trabalho de equipe. Havia, também, uma importante limitação de diversidade da equipe, uma vez que a quase totalidade dos envolvidos com o programa compunha-se de enfermeiras. Daí ressaltarmos como importante o relato de que o leque de diversidades de profissionais foi ampliado (e isto se deu com a incorporação de profissionais que já trabalhavam no serviço) e que os momentos de pausa para o café estavam sendo utilizados para suprir a necessidade de discutir e compartilhar a tomada de decisão.

Ambos os avanços foram referidos pelos participantes como um desdobramento da primeira oficina. A identificação da participação do adolescente como ponto crítico corrobora os achados de outros estudos que identificam como entrave a falta de tradição em participação ²⁹ e a baixa auto-estima e confiança na própria ação coletiva ³³. No intervalo entre a primeira avaliação e a segunda, a preocupação e o entendimento da equipe com a questão da participação cresceu significativamente, mostrando uma mudança de atitude no que diz respeito à busca de novas parcerias. Houve um empenho da equipe em ampliar e diversificar as parcerias, que passaram a ser vistas como estratégicas para melhorar a implantação das ações do programa, ampliar a cobertura e construir um modelo de atendimento adequado aos diferentes perfis da clientela. Por meio da auto-avaliação a equipe rompe com a atitude de sempre localizar os problemas na falta de suporte externo, e assume compromissos com a mudança.

Implementar a participação na avaliação e planejamento em saúde contrapõe-se a uma cultura que privilegia o trabalho autônomo, em detrimento da equipe, e o manejo do caso, em detrimento do olhar sobre o coletivo. O modelo de avaliação proposto promove a prática participativa na gestão dos programas de saúde por meio do emprego de técnicas que possibilitam realizar a oficina em um tempo médio de setenta minutos, produzindo resultados reconhecidos e de fácil apropriação pela equipe local. A matriz de análise constitui um elemento chave para o sucesso do modelo. É importante que ela reflita os objetivos do programa, consubstanciados na experiência dos profissionais e na prática dos serviços. Quanto melhor a qualidade da matriz, maior a sua capacidade de, juntamente com as técnicas de visualização, tornar as discussões ágeis e produtivas, contribuindo para a incorporação das atividades de planejamento à rotina do serviço.

A participação do usuário é favorecida por sua presença nas oficinas e pelas mudanças que se produzem no trabalho e na equipe de saúde. Ainda que o poder no nível local do sistema seja limitado, exercê-lo até o seu limite contribui para consolidá-lo e expandi-lo.

Colaboradores 

I. Bursztyn participou da revisão da literatura, elaboração do projeto, desenvolvimento da proposta de trabalho e redação do artigo. J. M. Ribeiro contribuiu com a orientação do projeto e revisão final do artigo.

Referências

1. Bursztyn I, Tura LFR. Avaliação em saúde e a teoria das representações sociais: notas para análise de possíveis interfaces. In: Moreira ASP, organizador. Representações sociais: teoria e prática. João Pessoa: Editora Universitária; 2001. p. 89-102.        

2. Schraiber LB, Nemes MIB, Sala A, Peduzzi M, Castanheda ERL, Kon R. Planejamento, gestão e avaliação em saúde: identificando problemas. Ciênc Saúde Coletiva 1999; 4:221-42.        

3. Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e políticas institucionais. Ciênc Saúde Coletiva 1999; 4:341-54.        

4. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área de saúde: conceitos e métodos. In: Hartz ZMA, organizador. Avaliação em saúde. Rio de Janeiro: Editora Fiocruz; 2000. p. 29-47.        

5. Luber E. Woher kommen gute gesundheitsziele und: warum gibt es in Deutschland so wenige? In: Geene R, Luber E, editors. Gesundheitsziele: planung in der gesundheitspolitik. Frankfurt/Main: Marbuse-Verlag; 2000. p 59-66.        

6. Bitzer E, Wassem J, Kohlman T, Dierks ML. Health outcomes und evaluation in public health. Public Health Forum 2000; 8:2-3.        

7. Naylor PJ, Wharf-Higins J, Blair L, Green L, O'Connor B. Evaluating the participatory process in a community-based heart health project. Soc Sci Med 2002; 55:1173-87.        

8. Martin JF. Physicians/care providers and politics, life and society viewed from different angles: a cross-cultural issue. Eur J Public Health 2003; 13:182-4.        

9. Nemes MIB. Prática programática em saúde. In: Schraiber LB, Nemes MIB, Mendes-Gonçalves RB, organizadores. Saúde do adulto: programas e ações na unidade básica. São Paulo: Editora Hucitec; 1996. p. 48-65.        

10. Campos GWS. O anti-Taylor: sobre a invenção de um método para co-governar instituições de saúde produzindo liberdade e compromisso. Cad Saúde Pública 1998; 14:863-70.        

11. Freire P. A pedagogia do oprimido. Rio de Janeiro: Paz e Terra; 1970.        

12. World Bank. The World Bank participation sourcebook. Washington DC: Environmentally Sustainable Development, World Bank; 1996.        

13. Valla VV. Sobre participação popular: uma questão de perspectiva. Cad Saúde Pública 1998; 14 Suppl 2:7-18.        

14. Oliveira RM, Valla VV. As condições e as experiências de vida de grupos populares no Rio de Janeiro: repensando a mobilização popular no controle da dengue. Cad Saúde Pública 2001; 17 Suppl: 77-88.        

15. Stotz EN. Movimentos sociais e saúde: notas para uma discussão. Cad Saúde Pública 1994; 10:264-8.        

16. Valla VV. Educação popular, saúde comunitária e apoio social numa conjuntura de globalização. Cad Saúde Pública 1999; 15 Suppl 2:7-14.        

17. Gajardo M. Pesquisa participante: propostas e projetos. In: Brandão CR, organizador. Repensando a pesquisa participante. São Paulo: Editora Brasiliense; 2000. p.15-50.        

18. Rivera FJU. Planejamento estratégico-situacional ou controle de qualidade total em saúde? Um contraponto teórico-metodológico. Cad FUNDAP 1996; 19:25-45.        

19. Cecílio LCO. Uma sistematização e discussão de tecnologia leve de planejamento estratégico aplicada ao setor governamental. In: Mehry EE, Onocko R, organizadores. Agir em saúde: um desafio para o público. São Paulo: Editora Hucitec; 1997. p. 161-9.        

20. Gandin D. A posição do planejamento estratégico entre as ferramentas de intervenção na realidade. Currículo sem Fronteiras 2001; 1:81-95.        

21. Helming S, Göbel M. Ziel Orientiert Projekt Plannung — ZOPP. Eschborn: Deutsche Gesellschaft für Technische Zusammenarbeit; 1998.        

22. Gasper D. Problems in the Logical Framework Approach and challenges for "Project Cycle Planning". Courier 1999; 173:75-7.        

23. Schubert B. The bride kept her distance: reflexions on GTZ's 'ZOPP marries PRA?' Seminar 1996. AT Forum 1997; 9:10-1.        

24. Eggers HW. Project cycle management revisited. Courier 1998; 169:69-72.        

25. Deutsche Gesellschaft für Technische Zusammenarbeit. Project Cycle Planning (PCM) and Zielorientiert Projekt Plannung (ZOPP). Eschborn: Deutsche Gesellschaft für Technische Zusammenarbeit; 1996.        

26. Scrimshaw S, Hurtado S. Rapid assessment procedures for nutrition and primary health care: antropological approaches to improving programme effectiveness. Los Angeles: UCLA Latin America; 1987.        

27. World Health Organization. Improving urban health: guidelines for rapid appraisal to assess community health and needs. Geneva: World Health Organization; 1988. (WHO/SHS/NHP/88.4).        

28. Macintyre K. The case for rapid assessment surveys for family planning program evaluation. In: Annual Meeting of the Population Association of America [online] 1995; http://www.cpc.unc.edu/ pubs/paa_papers/1995/macintyre.htm (acessado em 12/Mai/2003).        

29. Branco VMC. Os sentidos da saúde do adolescente para os profissionais [Dissertação de Mestrado]. Rio de Janeiro: Núcleo de Estudos de Saúde Coletiva, Universidade Federal do Rio de Janeiro; 2002.        

30. Bursztyn I, Branco VMC, Tura LFR. Avaliação do PROSAD: uma construção a partir dos atores. Saúde em Foco 2001; 21:97-114.        

31. Matus C. Adeus, senhor presidente. São Paulo: Edições Fundap; 1996.        

32. Matus C. Fundamentos da planificação situacional. In: Rivera FJU, organizador. Planejamento e programação em saúde: um enfoque estratégico. São Paulo: Cortez Editora; 1989. p. 105-76.        

33. Cromack LMF. O olhar do adolescente sobre a saúde: um estudo de representações sociais [Dissertação de Mestrado]. Rio de Janeiro: Núcleo de Estudos de Saúde Coletiva, Universidade Federal do Rio de Janeiro; 2003.        

Endereço para correspondência
I. Bursztyn
Núcleo de Estudos de Saúde Coletiva
Universidade Federal do Rio de Janeiro
C. P. 68037, Rio de Janeiro, RJ
21944-970, Brasil
ivani@nesc.ufrj.br

Recebido em 10/Out/2003
Versão final reapresentada em 05/Mai/2004
Aprovado em 03/Set/2004