ARTIGO ARTICLE
Avaliação e o monitoramento da atenção básica no Estado do Ceará, Brasil: explorando concepções e experiências no nível central
Evaluation and monitoring of primary health care in Ceará State, Brazil: exploring concepts and experiences at the central level
Suziana Martins de Vasconcelos; Maria Lúcia Magalhães Bosi; Ricardo José Soares Pontes
Faculdade de Medicina, Universidade Federal do Ceará, Fortaleza, Brasil
RESUMO
O modelo de atenção básica operacionalizado pela Estratégia Saúde da Família ainda não dispõe de mecanismos sistematizados e validados para seu monitoramento e avaliação. Derivado de uma experiência concreta, este estudo objetivou compreender experiências e explorar concepções de técnicos e gestores da Secretaria da Saúde do Estado do Ceará, Brasil, em relações às práticas de avaliação e monitoramento por ela desenvolvidas. A metodologia inscreve-se na tradição qualitativa, tendo sido a amostra teórica composta pelo grupo responsável pela atenção básica em nível estadual. Para a obtenção do material empírico utilizamos como principal técnica o grupo focal. Na etapa interpretativa, dentre os temas centrais destacam-se: natureza e finalidades da avaliação e experiências com avaliação. Ambos são focalizados neste artigo, evidenciando que os atores informantes não participam do processo de discussão das avaliações de programas e serviços de saúde, o que faz com que o conceito de avaliação seja pouco compreendido, tornando-o desgastado no processo de operacionalização das atividades. Nas experiências avaliativas, prevalece o modelo normativo, tradicional, revelando-se uma distância nos planos conceitual e praxiológico, em relação às propostas que confluem para o enfoque qualitativo-participativo.
Programa Saúde da Família; Avaliação em Saúde; Gestão em Saúde
ABSTRACT
The primary health care model implemented by the Family Health Program in Brazil still lacks systematized, validated mechanisms for its monitoring and evaluation. Based on an actual experience, the current study sought to understand experiences and explore concepts held by staff and managers in the Ceará State Health Department in Brazil, in relation to their evaluative and monitoring practices. A qualitative methodology was used, with the sample consisting of the group responsible for primary care at the State level. The focus group technique was used to obtain the empirical material. Themes that stood out in the interpretation were the nature and goals of evaluation and experiences with evaluation. Both are discussed in the current article and show that the key informants do not participate in the discussion on evaluation of health programs and services, meaning that the concept of evaluation is poorly understood and suffers attrition during the process of implementing activities. The traditional normative model predominates in the evaluative experiences, revealing a mismatch between concepts and practice in relation to proposals with a qualitative-participatory approach.
Family Health Program; Health Evaluation; Health Management
Introdução
A Estratégia Saúde da Família como modelo reorientador da atenção básica configura-se como uma proposta de implementação efetiva das diretrizes do Sistema Único de Saúde (SUS), buscando impulsionar mudanças na forma como os serviços e as práticas de saúde se organizam 1. Visa, portanto, a contribuir para que os princípios universais, democráticos e participativos do SUS sejam operacionalizados no cotidiano da população usuária do sistema de saúde.
Localizado na Região Nordeste do Brasil, o Estado do Ceará iniciou a implementação da Estratégia Saúde da Família no ano de 1994, buscando reorientar o modelo antecessor, no qual a atenção centrava-se no indivíduo e na doença. Segundo dados do Plano Estadual para o Fortalecimento das Ações de Monitoramento e Avaliação da Atenção Básica no Estado do Ceará 2, em 2004, o número de equipes implantadas era de 81, em vinte municípios. Hoje é de 1.632, em todos os 184 municípios cearenses 3.
Diante desse acelerado processo de crescimento da Estratégia Saúde da Família, emerge a necessidade de processos avaliativos, em especial aqueles com capacidade de avaliar a qualidade dessa estratégia. Tal conceito reveste-se de expressiva complexidade, dada sua multidimensionalidade, requerendo demarcação rigorosa do que se concebe como avaliação da qualidade e o lugar da avaliação qualitativa como um dos seus componentes 4.
Nesse contexto, evidenciou-se a necessidade de se estruturar uma política de monitoramento e de avaliação do funcionamento das ações de atenção básica no Estado do Ceará, vinculada ao processo de planejamento e desempenho intersetorial da Secretaria da Saúde do Estado do Ceará (SESA-CE). Tal propósito remete à necessidade de melhorar a qualidade dos serviços da atenção básica, tendo ainda como objetivo fortalecer o papel da gestão da SESA-CE, das células regionais (CERES) e dos municípios, bem como da participação da sociedade e de suas representações 2.
O objetivo central de uma avaliação em serviços ou programas de saúde deve ser subsidiar o processo de decisão, e seu enfoque principal recai na caracterização das práticas desenvolvidas nas ações de saúde. Caracteriza-se, portanto, como ferramenta de gestão dos serviços de saúde e da atenção básica, facilitando processos decisórios ao prover informações confiáveis, confluindo para a formulação e execução de políticas públicas.
É importante retomar aqui o termo/conceito monitoramento, grosso modo compreendido como supervisão contínua de uma atividade, com o propósito de verificar se os planos e procedimentos planejados estão sendo seguidos pelos atores do serviço de saúde 5. Ressaltamos a estreita vinculação entre monitoramento e avaliação, no plano da implementação e desenvolvimento dos programas de saúde. Assim, a avaliação de um serviço de saúde, da situação de saúde da população ou de um programa específico resulta, em grande parte, do processo de monitoramento das atividades, realizado a partir das informações produzidas, no interior do serviço, no cotidiano das ações da atenção à saúde 6. Quando se trata da gestão da atenção básica em saúde, a avaliação está intrinsecamente relacionada às ações do cotidiano, pois é nesse nível de atenção à saúde - "porta de entrada" do sistema - que se situam as ações básicas para uma grande parcela da população.
O presente estudo deriva de uma experiência concreta vivenciada pelos autores na operacionalização do Plano Estadual para o Fortalecimento das Ações de Monitoramento e Avaliação da Atenção Básica do Estado do Ceará, uma iniciativa do Ministério da Saúde para todos os estados do Brasil, objetivando o desenvolvimento do componente III do Projeto de Expansão e Consolidação do Saúde da Família (PROESF), referente às etapas de monitoramento e avaliação.
Um procedimento do referido projeto foi a contratação de entidades de ensino e pesquisa, denominadas "centros colaboradores", para prestar assessoria com vistas ao fortalecimento da capacidade técnica e operacional do corpo de servidores e profissionais 1 para a implementação das ações de monitoramento e avaliação da atenção básica das secretarias estaduais de saúde. Com base nessa experiência, focalizamos neste artigo experiências e percepções referentes às práticas de avaliação e monitoramento, tal como percebidas pelos técnicos e gestores na SESA-CE. Em acréscimo identificamos aspectos facilitadores e obstáculos para a incorporação e utilização da avaliação no âmbito da atenção básica à saúde. Pretendeu-se, ainda, analisar a correspondência entre as propostas colocadas em prática e as percepções dos atores relativas a essas práticas.
Metodologia
Dada a natureza do objeto aqui intencionado, este estudo se orientou pela abordagem qualitativa no âmbito da investigação em saúde, em um percurso que buscou observar o fenômeno na sua singularidade, com ele interagir e, por meio do exercício hermenêutico, interpretar as concepções dos sujeitos-informantes do estudo, em uma perspectiva crítica, ou seja, dialogando com categorias analíticas oriundas do referencial teórico adotado que se evidenciará adiante.
A escolha dos informantes se fundamentou em premissas da tradição qualitativa, na qual não se confere relevância à representatividade estatística da amostra, no sentido de visar à generalização dos achados 7,8,9 mas ao acúmulo subjetivo ante o objeto a desvelar - correspondendo ao que se designa como amostra teórica 10. Nesses termos, a amostra foi dimensionada a ponto de permitir a subseqüente compreensão, em profundidade, da produção subjetiva emergente na relação com os grupos/atores investigados.
Com base nesses critérios da amostragem qualitativa, os informantes deste estudo são cinco dos sete técnicos de nível superior que atuavam, no momento do estudo, na SESA-CE no nível central.
Para a apreensão das narrativas, foi utilizada a técnica de grupo focal que segundo Morgan & Kruger 11 e Cotrin 12 possibilita a obtenção de material de natureza qualitativa, por meio não apenas de relatos individuais, mas de interações entre os atores. Realizamos o grupo focal em dia e horário consensuados entre os membros do centro colaborador e os do nível central da Secretaria, ocorrendo em um dia útil, durante o expediente de trabalho. O grupo foi realizado na sala de grupo focal instalada na instituição acadêmica a que se vincula o centro colaborador, com duração aproximada de duas horas.
Observamos que, dentre os técnicos presentes ao grupo focal, todos possuíam formação em nível superior na área da saúde, alguns deles referindo extensa experiência no campo da atenção básica à saúde, em áreas como: imunização, gestão, coordenação de postos de saúde, atuando em distritos sanitários, na microrregional e no Programa Saúde da Família (PSF) no interior do Estado, dentre outras práticas.
Vale recordar que se tratando de uma pesquisa caracterizada como etapa de uma experiência concreta do centro colaborador, portanto, de uma parceria com a equipe do nível central, havia interesse desses atores em participar, porque estavam construindo a proposta de monitoramento e avaliação e identificando o lugar do centro colaborador naquela parceria. Tal circunstância se, por um lado, potencializou o alcance da técnica, tendo em vista os vínculos já existentes, por outro lado, impôs um controle mais rigoroso por parte dos pesquisadores no que concerne à reflexividade 13.
A condução do grupo focal foi realizada pelos coordenadores do projeto. O instrumento utilizado para a obtenção do material foi um eixo flexível orientado por algumas perguntas condutoras. A transcrição das fitas das gravações da discussão do grupo focal foi realizada com a supervisão e o apoio da equipe de pesquisadores. Após essa etapa, foram realizadas leitura das anotações de campo e a leitura transversal das transcrições, repetidas vezes, de maneira a permitir a impregnação pelo sentido do "todo" de cada depoimento, bem como a identificação das unidades expressas nos vários "temas" presentes no material discursivo, constituindo o eixo da análise empreendida.
A partir da organização e análise das informações, procedemos à interpretação das informações e à construção da "rede interpretativa" 14. A análise das informações foi então estruturada em torno de três temas centrais, a saber: (1) natureza e finalidades da avaliação; (2) experiências com avaliação; (3) o espaço da qualidade na avaliação, que por sua vez, desdobram-se em distintas dimensões, conforme ilustrado na Tabela 1.
Cabe assinalar que, dados os limites desta exposição ante a extensão do material produzido em campo, exploramos, neste artigo, apenas os dois primeiros temas, restando o terceiro - "o espaço da qualidade na avaliação" - como um eixo ainda sob análise, em relação ao qual já se expressam as dimensões delineadas na Tabela 1, cujo exercício interpretativo será objeto de produção futura.
Percorrendo a rede interpretativa
Natureza e finalidades da avaliação
Observamos que o lugar da avaliação nas ações dos programas, primeira dimensão nesse tema, no qual procuramos recuperar a experiência prática dos informantes referida aos programas em que atuaram, define a avaliação como a última etapa do processo, ou seja, a situa no final da execução das atividades de um serviço.
"...Porque sempre fica pro final, na etapa final, e, de repente, a gente não conclui por uma série de outras coisas ou não faz de uma forma bem feita..." (Informante 1).
Entretanto, se isso se observa na prática, na concepção dos informantes, a avaliação deveria ser contínua e desenvolvida no decorrer das ações programáticas do serviço. Ou seja, a avaliação necessitaria ser um processo inerente ao serviço e que fizesse parte da operacionalização das atividades de um programa ou do próprio serviço de saúde.
"...Eu acredito no processo em que a gente começa avaliar por etapas, e não só no final; não é uma coisa que é finalizada, é uma coisa contínua, que a gente tem sempre que estar se auto-avaliando, avaliando as equipes para o crescimento dos projetos, dos programas, até do próprio contexto da saúde como um todo. Eu acho que avaliar é contínuo, não é aquela etapa final" (Informante 2).
A prática de situar a avaliação como uma etapa final de um projeto é relacionada pelo grupo à dificuldade que o serviço tem de avaliar suas ações. Como etapa isolada, a avaliação, segundo os entrevistados, não terá a capacidade de redirecionar as ações para atingir os objetivos previstos no seu planejamento; tampouco o monitoramento das ações cotidianas será útil para o serviço de saúde, deixando, assim, de contribuir para a melhoria do programa, de forma a aplicar o resultado da avaliação, confluindo para o que advertem Aguilar & Ander-Egg 15. Na verdade, pudemos perceber que, na prática vivenciada no nível central, a avaliação acaba não sendo efetivamente realizada.
"Avaliar. Sempre colocamos nos valores do projeto e nos preocupamos com as várias etapas dele e, a última etapa sempre está lá, avaliação. E muitas vezes no 'fazendo' do processo a gente esquece no final de fazer avaliação. Você vai fazendo, vai adaptando, vai encaminhando, vai indo, e, às vezes, não pára pra avaliar como está esse processo; o que é que você precisa reformar, quais as idas e vindas que você tem que ter e atropela muitas vezes esse processo de avaliação. Então é como eu considero hoje o PSF" (Informante 3).
Conforme se constata, as concepções que os informantes apresentam sobre avaliação não estão relacionadas às experiências com essas práticas no cotidiano das ações no serviço de saúde. Em outras palavras, formula-se uma concepção de avaliação como um processo contínuo, mas não se operacionaliza essa visão na prática do serviço. Por fim, a avaliação não está interligada ao processo gerencial do nível central.
Patton 16 discorre sobre a importância da avaliação como uma ferramenta de gestão, e para isso, a avaliação precisa estar integrada ao processo gerencial, ou seja, ser compreendida na visão dinâmica desse processo, em que as suas diferentes dimensões se interligam entre si e co-dependem umas das outras.
Verifica-se, portanto, que a avaliação não interfere na dinâmica de funcionamento da gestão. Quando muito, avaliações pontuais, não raro encomendadas pelos financiadores, chegam apenas a ser informadas a um gestor local, algumas na forma de publicações, sem qualquer pretensão de formular um juízo de valor com a capacidade de intervir e melhorar o sistema de saúde.
"...Tinha que fazer essa avaliação muito longa, muito cansativa, mas fizemos e mandamos para o Ministério, foi uma avaliação que foi publicada e poucas pessoas tiveram acesso à sua leitura, à publicação..." (Informante 4).
Para os fins já mencionados, a avaliação é realizada sem incluir a visão dos atores do serviço de saúde ou usuários. Em suma, o que importa aos que encomendam esse tipo de avaliação são os resultados financeiros que um determinado programa pode trazer aos financiadores do mesmo. O foco do programa volta-se para os custos da atenção em saúde e, por conseguinte, para a medição, priorizando aspectos quantificáveis em detrimento dos aspectos qualitativos da assistência prestada.
"...A avaliação não retorna assim pra gente na forma de como interferir nas ações do serviço. Ela é feita, mostra os números em publicações, mas os resultados não chegam até os municípios" (Informante 5).
Quanto à segunda dimensão demarcada nesse tema, relativa aos objetivos e finalidades, no quotidiano do serviço de saúde é de grande relevância que, desde o planejamento das atividades, passando pelo monitoramento das mesmas, os objetivos e finalidades da avaliação sejam evidenciados e compreendidos pelos atores integrantes desse processo. Portanto, se a avaliação não tem objetivos e finalidades claros, não ocupará seu devido espaço, tornando-se, na prática, inoperante, já que não terá a capacidade de dinamizar o serviço e produzir mudanças no seu quotidiano.
"Nós temos dez anos de PSF no Estado do Ceará e eu não sei se existe uma avaliação concreta desses dez anos do processo..., de que forma foi que ele cresceu, de que forma ele se desenvolveu, qual a necessidade que ele tem de mudança. Nós continuamos com a preconização técnica e mínima iniciada há dez anos atrás e será que essa equipe satisfaz? E temos também esse trabalho no município. Será que o município faz a sua avaliação e consegue trabalhar no seu dia-a-dia, fazer o seu planejamento em cima de uma avaliação?..." (Informante 3).
Conseqüentemente, a avaliação é percebida pelos informantes como um termo esgotado, porque está sempre presente nas ações do serviço, mas com outros fins, e não no sentido de dinamizar o serviço e facilitar a execução das ações no serviço de saúde como ferramenta do processo de gestão.
"...Nós não paramos ... pra avaliar o processo em que a gente está trabalhando. Por isso eu digo que a palavra acaba se tornando, no meu entender, gasta ... e, na realidade, você fala a palavra, mas você não usa o verdadeiro sentido da palavra, o aplicar avaliação, o parar pra pensar avaliação, o avaliar o trabalho, o planejar em cima dessa avaliação. Então, avalia por avaliar" (Informante 4).
Além disso, nas experiências com processos de avaliação verticalizados, os atores diretamente envolvidos na operacionalização das ações do serviço não são integrados ao processo de discussão e formulação da proposta avaliativa. Resulta que os instrumentos de avaliação são aplicados junto ao público, e não apresentam as respostas necessárias para melhorar o programa de saúde.
"...Agora, no processo de trabalho, no processo do grupo, de uma equipe, que é o caso da atenção primária, ela [a avaliação] se desgastou muito porque sempre alguém está pensando em fazer um instrumento de avaliação e a gente sempre aplica, mas a gente nunca vê o resultado e como vai acompanhar isso, generaliza e pronto" (Informante 3).
Possivelmente, devido à riqueza das experiências dos informantes, evidenciou-se que estes apresentam nas falas as várias finalidades de uma avaliação de programas e serviços, onde percebem, assim, a sua importância e o valor dos resultados que as práticas avaliativas podem trazer para os serviços e programas.
"...Avaliar como se fosse assim uma espécie de planejar pra tentar melhorar o processo ... se o resultado foi atingido realmente; ter um resultado no que pode melhorar" (Informante 1).
"Conhecimento da situação, melhoria do processo de desempenho. Queremos identificar pontos que devem melhorar" (Informante 2).
"Intervenção. Quando eu falo intervir, eu falo para o serviço: é o conhecer a realidade, o avaliar; é o conhecer o processo que está dando certo ou de intervir em área A, B ou C, dependendo das falhas em que elas vão apresentando ou fazendo oposições, mas sempre oposições de intervenção, de manutenção ou não, mas sempre de intervenção" (Informante 3).
Porém, o que observamos é um sentimento de impotência e desestímulo dos informantes diante das práticas avaliativas, porque o objetivo principal, que seria, segundo Patton 16, a avaliação ser utilizada, não é alcançado na prática do serviço, pois no contexto analisado, não se avalia com essa finalidade. Isso nos lembra a célebre advertência desse autor, para quem há uma evidente distância entre produzir dados e fazer com que esses dados sejam efetivamente utilizados 16.
Além disso, conforme veremos adiante no segundo tema central (experiências com avaliação) os informantes passaram por processos avaliativos verticalizados, correspondendo ao que a literatura aponta como "avaliação de primeira geração", consoante as proposições de Guba & Lincoln 17. Nesse enfoque, a avaliação tem a perspectiva de mensurar resultados e emitir julgamentos em conformidade com padrões preestabelecidos. Distancia-se, portanto, do enfoque que prevê a participação dos diferentes atores envolvidos no serviço, em que a avaliação é tomada como "um processo de negociação". As expressões utilizadas pelos informantes nos apresentam a situação de desconforto em relação ao modelo adotado.
"Nós, técnicos ... eu me sinto muito impotente nessa coisa, às vezes eu tento e fico meio desestimulada porque vem muita coisa ... vamos fazer uma avaliação, vamos descer nos municípios, vamos às CERES e o retorno é muito pouco e é uma cobrança que, às vezes, também o próprio grupo está impotente..." (Informante 4).
"...Avaliação ... um vazio ... nós estamos com um espaço que não está preenchido, ele existe, é imposto, eu tenho uma sensação incômoda..." (Informante 3).
Experiências com avaliação
Nesse segundo tema, exploraremos ao longo das três dimensões que o constituem, as experiências dos informantes em relação à avaliação de programas e serviços, bem como aos conceitos e terminologias utilizados nas práticas avaliativas, relacionando-os com as experiências relatadas pelos informantes.
No que se refere à avaliação, as ações da atenção básica à saúde, conforme já antecipado, são operacionalizadas no nível central. Na estrutura organizacional da instituição, esse nível é definido pelos informantes como um setor que não está articulado com os demais para desenvolver a avaliação da atenção básica. As práticas de avaliação na SESA são desenvolvidas no núcleo da epidemiologia, no núcleo de análises e tendências e em outros núcleos específicos, como, por exemplo, os da atenção à criança, atenção ao idoso, ou seja, fora do nível central. Na realidade, observamos que cada "setor" faz sua "avaliação individual", e os informantes percebem que os dados são soltos, portanto, desarticulados do contexto e não trabalhados para transformá-los em informações que possam retroalimentar o serviço de saúde e, sobretudo, sua gestão.
"...As ações dos serviços e decisões acontecem sem os resultados da avaliação ... o espaço da avaliação é um vazio e a informação não passa onde precisa passar..." (Informante 3).
A estrutura organizacional da SESA, onde estão inseridas as chamadas "caixinhas" e "caixotes", termos empregados pelos profissionais da SESA para ilustrar a organização interna, contribui para essa realidade na área da avaliação na atenção básica e o nível central não tem acesso aos dados que geram informações.
"O núcleo, ele é hoje uma caixa solta na Secretaria, nós temos, na realidade, como eu falei no início, o núcleo de organização da atenção primária, mas, na realidade, a parte da avaliação está ... está sob a responsabilidade dos núcleos de atenção da criança, do adulto, quer dizer ... fora da organização da atenção primária" (Informante 4).
"...Nós vamos ter sempre conhecimento do dado, mas trabalhar o dado ... quer dizer: nós somos conhecedores da informação, mas trabalhar o dado antes dele se transformar em informação, isso é uma coisa que a gente vai ter que arrancar" (Informante 3).
Essa interpretação reforça a discussão empreendida no tema anterior quando enfocamos a dimensão natureza e finalidades da avaliação, quanto à importância da inserção da avaliação no processo gerencial e também quanto à evidência de o nível central não desenvolver práticas avaliativas no serviço. Compreendendo, conforme já assinalado, a avaliação como um instrumento de gestão, percebemos, na experiência do grupo, que a avaliação não se configura como esse instrumento, uma vez que não retroalimenta o sistema de saúde, daí a percepção do grupo de que a avaliação inexiste.
"O setor de análise e tendências, de três em três meses, manda uma avaliação do município, quer dizer, com aquele dado, podemos ver se o município alcançou ou não a meta, ou como é que está, e de três em três meses a gente recebe via e-mail o resultado do pacto, dos indicadores, até aquele momento. Mas não existe uma discussão ... você estar acompanhando mais de perto, até pra estar discutindo isso com a regional ... que ela esteja estimulando aquele município quanto aos indicadores dele..." (Informante 3).
Quanto aos modelos de avaliação, segunda dimensão deste tema, mais uma vez evidencia-se que as experiências de avaliação do nível central possuem fortes características de "avaliação de primeira geração". Conforme já assinalado, esse é um modelo de avaliação caracterizado pela forte preocupação de medir os fenômenos avaliados, sendo a avaliação um processo de mensuração 18. Um avanço desse modelo é a "avaliação de segunda geração", centrada na descrição dos fatores que podem interferir no objeto estudado; na "terceira geração" inclui-se o julgamento e na "quarta geração" temos a participação dos diferentes atores interessados na avaliação 17, caracterizando-se como negociação.
O resgate, ainda que breve, desses vários modelos de avaliação nos auxilia a visualizar em que momento do "processo evolutivo" se encontra a avaliação dos programas e serviços de saúde, no contexto da investigação e que, no presente estudo, nos inquieta ante a constatação da utilização do modelo de avaliação centrado unicamente na medição dos componentes do fenômeno.
Nas narrativas, percebemos, naqueles casos em que a avaliação é realizada no serviço de saúde, um uso quase exclusivo da abordagem tradicional, quantitativa. No contexto estudado, o alcance das respostas que esse método consegue dar ao avaliador, ou seja, medir, contabilizar, não parece responder às questões que o serviço precisa responder nem aos processos a serem compreendidos cuja natureza ultrapassa, em muito, o alcance daqueles números. A carência de informações sobre o significado de uma estratégia de intervenção como a Estratégia Saúde da Família e os processos nela implicados são questões presentes nos serviços de atenção básica à saúde.
"...Se você hoje me perguntar ... sobre a realidade do PSF, eu vou lhe apresentar o número de equipes existentes, eu vou lhe dar o percentual no Estado, vou lhe dizer o número de médicos, de enfermeiros, mas, eu não vou saber lhe dizer ... a que esses 100% de PSF correspondem ..., se a estratégia está dando certo..." (Informante 3).
"Recentemente, nós fizemos também um questionário que, pra mim, foi muito pobre; é como ela diz: está funcionando, está trabalhando as quarenta horas, isso pra mim é muito inconsistente, eu queria também ver a ação" (Informante 1).
Um modelo de avaliação centrado na medição dos fenômenos não tem a capacidade de alcançar as respostas de que o grupo necessita para entender a extensão da atuação da atenção básica à saúde e orientar sua ação. O que efetivamente se espera de uma avaliação nesse programa não é apenas (embora também) a medição de alcance ou contabilização de recursos para se chegar a determinados resultados e, sim, a capacidade de apreender significados de processos relacionados a esses mesmos resultados e atender às expectativas dos diferentes atores envolvidos na atenção básica à saúde.
Nesse sentido, observamos que o serviço apresenta uma grande dissonância, no que diz respeito à avaliação, porque existe a necessidade concreta de se obter respostas a partir de um problema, utilizando um método que não tem a capacidade de responder o que pretende.
"...Eu não sei dizer se a estratégia está dando certo, ele pode estar lá como número, ele pode estar lá como recurso financeiro para o município, mas como está na realidade, eu não sei" (Informante 3).
Na terceira e última dimensão (avaliação quantitativa e a utilização do sistema de informação) percebemos que, nos espaços em que são realizadas práticas avaliativas pela SESA, utiliza-se um sistema de informação - Sistema de Informação da Atenção Básica (SIAB) - que armazena taxas, indicadores e metas a alcançar. O SIAB pressupõe coleta de dados e demonstração de uma realidade com base nesses mesmos dados. Representa uma ferramenta em que sua alimentação com os dados do serviço de saúde pode gerar informação que, dentre outros objetivos, no decorrer do processo, pode subsidiar uma avaliação, ainda que seja uma avaliação baseada em expressões numéricas.
A situação assume um grau de complexidade maior, quando nos aproximamos da realidade da operacionalização desse sistema de informação em que, no cotidiano do serviço, os dados do sistema de informação alimentam processos burocráticos para repasse de recursos. Em outras palavras, com base na observação e no relato de quem o utiliza, o SIAB é uma poderosa fonte de repasse de recursos financeiros para os municípios, sob a penalidade de suspensão dos mesmos, no caso de o sistema não ser alimentado em tempo e prazos verticalmente estabelecidos.
"...Assim, uma figura que sempre tive disso na minha cabeça e quando eu penso nisso, vem a mesma figura, que é aquele disquete voando aqui da sala da Secretaria de Saúde Municipal, onde chega aquele monte de papel de cada equipe do PSF. Aí, é digitado no sistema de informação, o SIAB. A garotinha pega o disquete e coloca no envelope e manda o motorista ir correndo pra regional, porque tem que entregar até o segundo dia útil do mês ... ele corre com esse disquete pra entregar na regional, a regional, por sua vez, manda pra SESA, a SESA transforma em alguma informação e passa pro Ministério. Se você chegar no município e disser assim: o que é que você faz com o dado que você tem aí no sistema de informação do SIAB? Nós vamos ter alguns municípios bem organizados e tem aquela equipe que depois que digita esses dados, tira um relatório, analisa aquele relatório e vai agir em cima daquele relatório, vai discutir com as equipes. Mas isso é num número muito pequeno dos municípios. A maioria é a figura do disquete, ou seja, o dado vem de baixo pra cima, vai lá pra cima e quando ele chega lá em cima a pessoa determina se eles vão receber dinheiro ou não, aí o dinheiro é determinado pelo seguinte: se o médico e o enfermeiro estão no serviço ou se o número de famílias cadastradas é o mesmo número de, no mínimo, 95% de famílias acompanhadas; se esse número está errado, aí o município não vai receber dinheiro, então o SIAB, na realidade, ele se transformou numa fonte de recursos; ele é uma fonte riquíssima de informação, de análise mas se transformou simplesmente numa fonte de acreditação de recurso" (Informante 3; grifos nossos).
Essa evidência, transcrita na íntegra dado o seu valor ilustrativo, nos permite perceber um grande distanciamento entre os objetivos e finalidades da avaliação e as práticas desenvolvidas nos serviços de saúde. Isso porque compreendemos a avaliação como um processo pelo qual se atribui mérito ou valor aos serviços e programas de saúde, visando à sua aplicação e utilização, seja para retroalimentar o sistema gerencial, seja para utilizar seus resultados nas diversas ações dos serviços de saúde, consoante as premissas da avaliação centrada na utilização formulada por Patton 16.
Outra experiência de avaliação relacionada ao PSF, realizada pelo nível federal, Ministério da Saúde, relatada pelos informantes, não levou em consideração o contexto local e foi realizada de maneira verticalizada, sem discussão e sem participação dos atores envolvidos no processo e sob o peso da punição "pós-julgamento", utilizando a aplicação de pena com corte no orçamento financeiro. Tal prática, segundo os relatos, prejudicou o serviço de saúde no seu aspecto geral, na sua estrutura, na execução das ações e nos resultados dos seus serviços, quando, na realidade, o fim de um processo avaliativo deve ser a eficácia dos programas e serviços de saúde bem como orientar as decisões das futuras programações 16.
"O Ministério fez a pesquisa, mas o Ministério não devolveu a cada secretário de saúde o perfil do seu município..." (Informante 1).
"...O instrumento já veio pronto ... a pessoa chegou do Ministério, entrou lá na Secretaria só pra dizer assim: 'estou chegando e quero uma pessoa que me oriente pra implantar o plano', e acabou. De lá, preencheu e foi embora. Não fez pergunta nenhuma, não falou nada, ele disse que queria ir na equipe, e só, e também na volta nem pra dizer assim 'tchau, obrigada! Estou indo embora'" (Informante 3).
"E a intervenção foi só no sentido do corte financeiro, não na intervenção de uma ação pra melhoria do sistema" (Informante 5).
De início, a perspectiva do processo avaliativo utilizado pelo Ministério da Saúde (autoritário e centrado no que apenas o avaliador pensa) subverte todo legado que as gerações de avaliação nos deixaram, uma vez que essas gerações evidenciaram a importância da participação e do envolvimento direto de todos os interessados.
Diante dessa hierarquia que ainda persiste entre as esferas federal e estadual, a despeito das críticas, evidencia-se também um estado de conformismo dos membros da equipe quanto ao que lhes é imposto pelo Ministério. O quadro exposto nas falas representa uma postura de adequação ao instituído, dado se reconhecer o potencial transformador dos atores implicados quando estes se sentem protagonistas de uma situação e, portanto, sujeitos ativos no processo do qual são partes integrantes.
Considerações finais
Observamos que, na experiência prática dos informantes, o lugar da avaliação nas ações dos programas aos quais estiveram vinculados no nível central, define-se como etapa última do processo, ou seja, situa-se ao final da execução das atividades de um programa ou serviço, não sendo, na quase totalidade dos casos, efetivada. Entretanto, se isto se dá na materialidade das práticas, observa-se que na concepção dos atores informantes deste estudo, a avaliação deveria ser desenvolvida de forma contínua no decorrer das ações programáticas do serviço. Em outras palavras, as concepções que os informantes apresentam sobre avaliação não coincidem com as experiências dessas práticas no cotidiano das ações no serviço de saúde, fundadas em uma concepção de avaliação como processo contínuo, sem, contudo, essa visão se operacionalizar na prática. Por fim, a avaliação não está interligada ao processo gerencial do nível central, podendo-se afirmar que a avaliação, em seu sentido pleno, não ocorre.
Evidencia-se, ainda, que nas experiências desenvolvidas de maneira verticalizada pelo Ministério da Saúde, as práticas avaliativas orientam-se por procedimentos de medição e mensuração de resultados - vertente quantitativista - em que os resultados das mesmas são, simplesmente, publicados ou, quando muito, informados ao gestor local. Percebemos, portanto, que o modelo de avaliação operacionalizado revela-se insuficiente como ferramenta para tomada de decisão visando à melhoria do sistema de saúde haja vista o uso exclusivo dessa vertente. Contudo, reconhecemos que o monitoramento de aspectos "objetivos", tais como disponibilidade de equipes de saúde, sua composição e perfil dos cuidados prestados, dentre outros, possibilita a construção de indicadores relativos a aspectos reconhecidamente de importância na avaliação de serviços e programas de saúde, podendo-se dentre eles ressaltar a cobertura e o acesso. Tal enfoque se enriqueceria sobremaneira se adotado em relação de complementaridade com a tradição qualitativa.
Nota-se, também, que a avaliação é percebida pelos informantes como um termo esgotado, ou seja, esvaziado em seu sentido e potencial no âmbito da gestão dos sistemas de saúde. Tal percepção, ao que parece, vincula-se ao fato de a avaliação ser sempre mencionada nas ações do serviço, sem, contudo, focalizar a dinamização dos serviços ou facilitar a execução das ações, voltando-se, grosso modo, para outras finalidades. Compreendendo a avaliação como um instrumento de gestão, percebemos no espaço investigado que a avaliação não se configura como tal e, conseqüentemente, não retroalimenta o sistema de saúde. Constatamos, ainda, que as experiências de avaliação do nível central possuem fortes características do que se considera "avaliação de primeira geração", reduzindo-se o processo avaliativo, quando muito, a um processo de mensuração de resultados.
Tais evidências nos permitem perceber um forte distanciamento entre os objetivos e finalidades de um processo avaliativo e as práticas desenvolvidas pelo grupo. A despeito dessa constatação, a avaliação em serviços de saúde é compreendida pelo grupo de forma mais ampla, como uma atividade eminentemente especializada, gerando, por um lado, uma visão de complexidade dessa prática e, por outro, a percepção de ser ela uma atividade distante daquela executada pelos próprios atores do serviço.
Cabe ressaltar que a iniciativa do grupo de operacionalizar metodologias pretensamente inovadoras para a avaliação da atenção básica à saúde não significa uma ruptura com esse modelo vertical de gestão do Ministério e, conseqüentemente, a busca de novos meios de executar uma avaliação mais coerente com as suas necessidades. Ao lado disso, constata-se um estado de conformismo dos membros da equipe quanto ao que lhes é imposto pelo Ministério, ao passo que os modelos de avaliação que partem do nível federal são verticalizados e caracterizados como uma atividade sem participação, sem uma construção conjunta ou uma discussão preliminar com os diferentes atores envolvidos.
Por último, observamos que já não cabe mais uma abordagem centrada unicamente nos aspectos quantitativos, marca das abordagens e instrumentos descritos pelo grupo, uma vez que estes não possuem as especificidades próprias das abordagens qualitativas para apresentar ao avaliador a amplitude das questões que são problematizadas em uma avaliação de programas e serviços de saúde, em particular, na atenção básica. A complexidade inerente a esse nível de atenção, com todas as suas nuances e particularidades, aponta, dentre outros desafios, para a necessidade da incorporação da subjetividade ao processo avaliativo.
Colaboradores
S. M. Vasconcelos, M. L. M. Bosi e R. J. S. Pontes participaram da concepção do estudo, do trabalho de campo, da construção do modelo analítico e da interpretação do material obtido, bem como da elaboração do artigo e revisão da versão final.
Agradecimentos
A Carlos André Moura Arruda, mestrando em Saúde Pública na Universidade Federal do Ceará, pelo apoio na formatação final deste artigo bem como pela participação na revisão final.
Referências
1. Ministério da Saúde. Planos estaduais para o fortalecimento das ações de monitoramento e avaliação da atenção básica: diretrizes e orientações. Brasília: Ministério da Saúde; 2004.
2. Universidade Federal do Ceará. Plano estadual para o fortalecimento das ações de monitoramento e avaliação da atenção básica no Estado do Ceará. Fortaleza: Universidade Federal do Ceará; 2004.
3. Ministério da Saúde. Saúde da família. http://dtr2004.saude.gov.br/dab/abnumeros.php (acessado em 06/Set/2007).
4. Bosi MLM, Mercado FJ, organizadores. Avaliação qualitativa de programa de saúde: enfoques emergentes. Petrópolis: Editora Vozes; 2006.
5. Serapioni M. Capacitação em avaliação em saúde. Fortaleza: Universidade Federal do Ceará; 2006.
6. Felisberto E. Monitoramento e avaliação na atenção básica: novos horizontes. Rev Bras Saúde Matern Infant 2004; 4:317-21.
7. Triviños ANS. Introdução à pesquisa em ciências sociais: a pesquisa qualitativa em educação. São Paulo: Editora Atlas; 1987.
8. Patton MQ. How to use qualitative methods in evaluation. Thousand Oaks: Sage Publications; 1987.
9. Minayo MCS. O desafio do conhecimento: pesquisa qualitativa em saúde. São Paulo: Editora Hucitec; 1998.
10. Tesch R. Qualitative research: analysis, type & software tools. New York: The Falmer Press; 1995.
11. Morgan DL, Kruger RA. The focus group kit. Thousands Oaks: Sage Publications; 1998.
12. Cotrin BC. Potencialidades da técnica qualitativa grupo focal em investigações sobre abuso de substâncias. Rev Saúde Pública 1996; 30:285-93.
13. Breuer F, Mruck K, Roth W-M. Subjectivity and reflexivity: an introduction. Forum Qualitative Sozialforschung/Forum: Qualitative Social Research 2002; 3(3). http://www.qualitative-research.net/fqs-texte/3-02/3-02hrsg-e.htm .
14. Geluda K, Bosi MLM, Cunha AJLA, Trajman A. "Quando um não quer, dois não brigam": um estudo sobre o não uso constante de preservativo por adolescentes do Município do Rio de Janeiro, Brasil. Cad Saúde Pública 2006; 22:1671-80.
15. Aguilar MJ, Ander-Egg E. Avaliação de serviços e programas sociais. Petrópolis: Editora Vozes; 1994.
16. Patton MQ. Utilizations-focused evaluation: the new century text. Thousand Oaks: Sage Publications; 1997.
17. Guba EG, Lincoln YS. Fourth generation evaluation. Newbury Park: Sage Publications; 1989.
18. Minayo MCS, Sanches O. Quantitativo-qualitativo: oposição ou complementaridade? Cad Saúde Pública 1993; 9:237-48.
Correspondência:
M. L. M. Bosi
Departamento de Saúde Comunitária
Faculdade de Medicina
Universidade Federal do Ceará
Rua Silva Jatahy 1060, apto. 600
Fortaleza, CE 60165-070, Brasil
malubosi@ufc.br
Recebido em 05/Dez/2007
Versão final reapresentada em 24/Mar/2008
Aprovado em 07/Mai/2008