Indicadores para avaliação dos Centros de Atenção Psicossocial tipo III: resultados de um desenho participativo

Rosana Onocko-Campos Juarez Pereira Furtado Thiago Lavras Trapé Bruno Ferrari Emerich Luciana Togni de Lima e Silva Surjus Sobre os autores

RESUMO

Os Centros de Atenção Psicossocial III são considerados estratégicos na reorientação do modelo assistencial em saúde mental, contudo, ainda carecem de mecanismos de avaliação sistemáticos. O presente estudo apresenta um conjunto de indicadores desenvolvidos em processo participativo para os Centros de Atenção Psicossocial III do estado de São Paulo. Foram elaborados 16 indicadores, agrupados em 8 temas: Atenção à situação de crise; Qualificação dos atendimentos grupais; Trabalho em rede; Gestão dos Centros de Atenção Psicossocial; Educação permanente; Singularização da atenção; Atenção às pessoas com deficiência intelectual; e Uso de medicação. Os indicadores foram testados nos serviços e constituíram um conjunto potencialmente útil para subsidiar a avaliação, o monitoramento e a gestão dos Centros de Atenção Psicossocial III.

PALAVRAS-CHAVE:
Avaliação em saúde; Saúde mental; Serviços de saúde mental

Introdução

A despeito de sua responsabilidade na quase totalidade dos procedimentos diagnósticos e terapêuticos, e na atenção individual, os serviços são insuficientemente considerados nos estudos em saúde. Pesquisas desenvolvidas pela clínica e pela epidemiologia raramente levam em conta a importância dos serviços sobre os fatores de risco na morbimortalidade populacional ou sobre sua efetividade na assistência aos pacientes. A pesquisa sobre serviços de saúde considera o desafio de contribuir para a superação dessa insuficiente abordagem sistemática dos serviços, visando à contínua qualificação da assistência em saúde, sendo os processos avaliativos compreendidos como uma das modalidades desse tipo de investigação (WALKER, 2014WALKER, D. M. An introduction to health services research. Newbury Park: Sage, 2014.)

Os Centros de Atenção Psicossocial (Caps) se destacam entre os serviços oriundos da reforma psiquiátrica no Brasil, sendo considerados ordenadores da rede de atenção em saúde mental e, mais recentemente, componentes importantes da rede de atenção psicossocial, com efetividade reconhecida na assistência de pessoas com sofrimento psíquico grave (SALLES; BARROS, 2013SALLES, M. M.; BARROS, S. Transformações na atenção em saúde mental e na vida cotidiana de usuários: do hospital psiquiátrico ao Centro de Atenção Psicossocial. Saúde em Debate, Rio de Janeiro, v. 37, n. 97, p. 324-335, jun. 2013.). Estudo que aborda o modelo normativo atual de saúde mental no Brasil evidencia que a política orientada pelas Redes de Atenção Psicossocial (Raps), do Ministério da Saúde, mantém o Caps como recurso central (TRAPÉ, 2015TRAPÉ, T. L. Redes de Atenção à Saúde Mental: Estudo Comparado Brasil-Catalunha. 120 f. 2015. Tese (Doutorado em Saúde Coletiva) - Faculdade de Ciências Médicas, Universidade Estadual de Campinas. Campinas, 2015.).

Na segunda metade da década de 1980, as origens dos Caps como serviços pioneiros na cidade de São Paulo (SP) e, logo depois, como rede substitutiva ao hospital psiquiátrico na cidade de Santos (SP), constituíram ponto de inflexão nas práticas de assistência a pessoas com transtorno mental grave no interior do Sistema Único de Saúde (SUS). Os trabalhos de Pitta (1995)PITTA, A. M. F. et al. Determinantes da qualidade de serviços de saúde mental em municípios brasileiros: estudo da satisfação com os resultados das atividades desenvolvidas por pacientes, familiares e trabalhadores dos serviços. J. Bras. Psiquiatr, Rio de Janeiro, v. 44, n. 9, p. 441-452, 1995. e Libério (1999)LIBÉRIO, M. M. Estudo da satisfação com o CAPS da cidade do Rio de Janeiro: ouvindo seus atores principais. 1999. Dissertação (Mestrado em Psiquiatria) - Instituto de Psiquiatria, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 1999. sobre a qualidade da atenção nos Caps, e de Bandeira (2000)BANDEIRA, M.; PITTA, A. M. F.; MERCIER, C. Escalas brasileiras de avaliação de satisfação (SATIS-BR) e da sobrecarga (IMPACTO-BR) da equipe técnica em serviços de saúde mental. J. Bras. Psiquiatri, Rio de Janeiro, v. 49, n. 4, p. 105-115, abr. 2000., relativos à sobrecarga dos trabalhadores desses serviços, configuram as primeiras iniciativas de avaliação sistemática do novo modelo de assistência em saúde mental em curso no Brasil, a partir da década de 1990.

Estudo de revisão (DANTAS; ODA, 2014DANTAS, C. R.; ODA, A. M. G. R. Cartografia das pesquisas avaliativas de serviços de saúde mental no Brasil (2004-2013). Physis, Rio de Janeiro, v. 24, n. 4, p. 1127-1179, dez. 2014.) aponta, a partir dos anos 2000, significativo aumento da produção em torno dos Caps. Para as autoras do estudo, a preponderância do que elas consideram pesquisas qualitativas e metodologias participativas vem dificultando o estabelecimento de indicadores de avaliação em saúde mental. No entanto, nas últimas décadas, instrumentos de natureza distinta daqueles enfocados pelas autoras vêm sendo ofertados pela Organização Pan-Americana da Saúde/Organização Mundial de Saúde (Opas/OMS) para tipos específicos de Caps e para políticas e sistemas de saúde mental no País, dirigidos a fomentar o uso de indicadores em saúde mental, porém, sem sucesso em promover efetiva apropriação e utilização dos mesmos.

No que concerne à gestão do SUS, o Índice de Desempenho do SUS (IDSUS) e o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) se destacam como iniciativas avaliativas de âmbito nacional para a saúde. Nos dois casos, observamos uma série de indicadores aplicados a um serviço ou rede de serviços, de modo a avaliar e induzir práticas. Na composição do IDSUS, não existe indicador relacionado à saúde mental. E no PMAQ-AB, encontramos quatro indicadores de práticas em saúde mental, com foco exclusivo no uso abusivo de substâncias psicoativas. Trata-se de um escopo tímido, diante da complexidade das práticas em saúde mental e da organização dos serviços.

A OMS e seus escritórios regionais produzem sistematicamente informes técnicos, relatórios e análises para subsidiarem a implementação de objetivos comuns e padrões para as políticas setoriais (OMS, 2013), buscando estabelecer consensos e estimular a criação de indicadores de saúde mental. Os roteiros ligados à avaliação da qualidade da atenção em saúde mental e ao instrumento de avaliação para sistemas de saúde propõem um conjunto de indicadores organizados em tornos de eixos distintos, como políticas e programas de saúde mental, atenção primária em saúde, recursos humanos, direitos dos usuários, reabilitação psicossocial e ações intersetoriais, entre vários outros. Em que pese a explícita intenção, nos instrumentos citados, de induzir boas práticas e, ao mesmo tempo, fomentar a transparência e a prestação de contas das iniciativas em saúde mental, o distanciamento entre formuladores e eventuais usuários das propostas pode levar à não utilização das propostas ou ao uso descontextualizado das mesmas e à sua 'tecnificação', conforme afirmado por Ardila e Stolkiner (2009)ARDILA, S.; STOLKINER, A. Estrategias de evaluación de programas y servicios de atención comunitaria en salud mental: consideraciones metodológicas. In: CONGRESSO INTERNACIONAL DEL INVESTIGACIÓN Y PRÁTICA PROFESIONAL EN PSICOLOGIA DEL MERCOSUR, 1., 2009, Buenos Aires. Anais... Buenos Aires: Acta Academica, 2009. p. 252-257. Disponível em: <http://www.aacademica.org/000-020/210>. Acesso em: 24 out. 2016.
http://www.aacademica.org/000-020/210...
, o que implica ignorar a partir de onde e como se construíram certas ferramentas e suas respectivas intencionalidades.

O propósito deste artigo é apresentar e discutir um conjunto de 16 indicadores dirigidos ao monitoramento, à avaliação e à potencial qualificação dos Caps III, desenvolvidos a partir da colaboração entre avaliadores ligados a 2 universidades e 58 trabalhadores e gestores de Caps do tipo III, no estado de São Paulo. Estabeleceram-se os serviços como foco central da avaliação, privilegiando efetiva troca de saberes entre agentes da academia e trabalhadores, levando-se em conta os diferentes contextos políticos e institucionais nos quais os Caps estavam inseridos. Procurou-se delimitar questões cruciais aos serviços a serem avaliados e superar limitações, tais como o distanciamento entre formuladores e utilizadores, e os riscos da tecnificação dos instrumentos avaliativos.

Metodologia

A importância da inclusão de não especialistas em processos avaliativos (BARON; MONNIER, 2003BARON, G.; MONNIER, E. Une approche pluraliste et participative. Informations sociales, Paris, n. 110, p. 120-129, 2003.), por meio da inserção dos agentes envolvidos com a intervenção avaliada, em parte ou em todos os momentos da avaliação, vem sendo ressaltada e implementada, seja por razões pragmáticas, ideológicas, com vistas a aumentar as chances de uso dos resultados da avaliação, ou para potencializar os efeitos do próprio processo avaliativo, referido na literatura como process use (PRESKILL; ZUCKERMAN; MATTHEWS, 2013PRESKILL, H.; ZUCKERMAN, B.; MATTHEWS, B. An exploratory study of process use: findings and implications for future research. American Journal of Evaluation, New Mexico, v. 24, n. 4, p. 423-442, 2013.). Neste estudo, foram incluídos trabalhadores e gestores de Caps III no processo de elaboração e definição de indicadores para esses serviços, visando contemplar efetivamente as questões que perpassam o cotidiano dos trabalhadores e subsidiar a incorporação e posterior utilização dos indicadores pelas equipes envolvidas.

Como dispositivo para mediar a participação e possibilitar a elaboração dos indicadores, foi proposto um curso sobre avaliação em saúde mental, com 120 horas de carga horária, ministrado regularmente ao longo de 11 meses. Os temas foram elencados a partir dos resultados de uma pesquisa conduzida pelos mesmos pesquisadores, em momento anterior, que formulou e definiu um guia de boas práticas para organização da atenção dos Caps III: 1) Avaliação em saúde; 2) Atenção à crise; 3) Trabalho com grupos; 4) Território e saúde mental; 5) Gestão em saúde mental; 6) Projeto terapêutico individual; 7) Deficiência intelectual; 8) Medicação psiquiátrica; 9) Serviços residenciais terapêuticos; 10) Reabilitação psicossocial; e 11) Educação permanente. Foi ofertado aos grupos, como ponto de partida, um conjunto de indicadores desenvolvidos anteriormente para a rede de Caps III de uma cidade paulista (FURTADO; ONOCKO- CAMPOS, 2008FURTADO, J. P.; ONOCKO-CAMPOS, R. Participação, produção de conhecimento e pesquisa avaliativa: a inserção de diferentes atores em uma investigação em saúde mental. Cad. Saúde Pública, Rio de Janeiro, v. 24, n. 11, p. 2671-2680, nov. 2008.).

A opção por definir indicadores a partir de questões oriundas de Caps do tipo III deveu-se ao posicionamento estratégico desses serviços para a consolidação da reforma psiquiátrica e a implementação de uma rede de cuidados, de fato, substitutiva ao modelo asilar. Funcionando 24 horas por dia, 7 dias por semana, constituindo-se em referência para uma área igual ou superior a 150 mil habitantes, respondendo ao cuidado contínuo de adultos com transtornos mentais graves, inclusive, nas situações de crise, este tipo de serviço lida com as questões inerentes aos demais tipos de Caps (I e II).

Foram disponibilizadas duas vagas por serviço, sendo uma para gestão e uma para trabalhador. Estes foram selecionados internamente pelas unidades, a partir de critérios pré-definidos: formação universitária (nível superior); desejo e disponibilidade para participar integralmente do projeto; e mais de seis meses de inserção nos serviços. Os 58 gestores e trabalhadores (5 unidades solicitaram mais de 2 vagas, pelo interesse das equipes em participar, o que foi liberado pela coordenação do curso, além de 3 vagas terem sido disponibilizadas a gestores da Secretaria Estadual de Saúde de São Paulo), de 25 (dos 26) Caps III paulistas existentes à época (1 dos Caps iniciou o processo e desistiu após o primeiro encontro, alegando dificuldades de agenda), foram divididos em 2 turmas, de acordo com a proximidade de suas cidades de origem em relação às 2 universidades envolvidas.

Nos encontros presenciais, após exposições dialogadas pela manhã, conduzidas por convidados de reconhecido domínio sobre algum dos temas listados acima, realizavam-se os Grupos de Apreciação Partilhada (GAP), que eram apoiados por mestrandos e doutorandos de programas de pós-graduação das universidades-sedes. Cada GAP foi constituído por, aproximadamente, dez alunos do curso, e acompanhado, ao longo de todo o ano, por um mesmo apoiador. Tais grupos eram destinados a aprofundar as temáticas abordadas, na parte da manhã, e a esboçar indicadores ligados a esses mesmos temas, à tarde.

Os chamados GAP surgem da constatação de que um programa ou serviço não pode ser reduzido aos documentos escritos ou ao que foi preconizado por aqueles que os concebem ou os gerenciam, mas que outras fontes devem ser consideradas, incluindo a palavra que circula de maneira informal (ZÚÑIGA; LULY, 2005ZÚÑIGA, R.; LULY, M. H.; Savoir-faire et savoir-dire. Un guide d'évaluation communautaire. Montréal: COCQ-sida, 2005.). Jalbert (1997)JALBERT, Y. et al. Epsilon: guide d'auto-évaluation des organismes communautaires. Montréal: COCQ-Sida, 1997. propuseram e experimentaram os GAP (Groupes d'Appréciation Partagée, no original, em francês), de modo a permitir a consolidação do sentimento de participação, assegurando a expressão do maior número possível de membros em torno da reflexão e da avaliação da ação empreendida.

Trata-se de, por meio dos GAP, levar diferentes atores envolvidos com o programa ou serviço (trabalhadores, voluntários, usuários etc.) a partilharem sua análise da ação que realizam no serviço, contribuindo, assim, com a construção e o aprimoramento dessa ação coletiva. Parece-nos uma forma original para fomentar a reflexão dos serviços e sua autoavaliação. (ZÚÑIGA; LULY, 2005ZÚÑIGA, R.; LULY, M. H.; Savoir-faire et savoir-dire. Un guide d'évaluation communautaire. Montréal: COCQ-sida, 2005., P. 11, TRADUÇÃO NOSSA).

A definição preliminar de possíveis indicadores deu-se a partir da convergência entre problemáticas percebidas pelos agentes em seu cotidiano, a reflexão induzida pelas exposições temáticas no interior dos GAP e o posterior confronto entre os indicadores propostos e as considerações das equipes de origem desses mesmos agentes, em seus respectivos municípios, de modo a retroalimentar o processo. Além disso, realizaram-se 2 grandes encontros presenciais, envolvendo os 58 participantes, nas 2 universidades, no primeiro e no último mês do curso, para o estabelecimento de diretrizes e, no final, para alinhamento de propostas de indicadores até então concebidos e testados no interior de subgrupos.

Esta pesquisa foi submetida e aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Ciências Médicas da Universidade Estadual de Campinas (Unicamp), sob o parecer 410/2011. Contou com financiamentos da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), processo 2009/53130-3, e do International Development Research Centre (IDRC), do Canadá, processo 02 P-18737-2009.

Resultados

Os indicadores definidos foram agrupados em oito temas: Atenção à situação de crise; Qualificação dos atendimentos grupais; Trabalho em rede; Gestão dos Caps; Educação permanente; Singularização da atenção; Atenção às pessoas com deficiência intelectual; e Uso de medicação. Tanto as aulas teóricas, como os GAP e a proposição de indicadores ao longo do curso, foram organizados em função desses eixos temáticos, identificados como centrais em pesquisa anterior (ONOCKO-CAMPOS , 2009ONOCKO-CAMPOS, R. et al. Avaliação da rede de centros de atenção psicossocial: entre a saúde coletiva e a saúde mental. Rev. Saúde Pública, São Paulo, v. 43, p. 16-22. 2009.). Durante os GAP, dezenas de indicadores foram sugeridas, debatidos e analisados. No final do processo, cada um desses temas foi contemplado com um número, que variou entre um e três indicadores. Cada um dos indicadores teve seus componentes centrais desdobrados e detalhados, a saber: o nome do indicador; sua definição (que problemática aborda); interpretação (que aspecto permite avaliar); fonte de dados (onde obter as informações necessárias); período de aferição (intervalo de tempo entre uma aferição e a próxima); método de cálculo (o que deve compor numerador e denominador do indicador); e observações complementares para indicadores específicos.

Quadro 1
Indicadores de Centros de Atenção Psicossociais tipo III

Atenção à situação de crise

A situação de crise foi um dos assuntos mais debatidos pelos participantes nos GAP e evidenciou diferentes concepções sobre o tema. O papel substitutivo dos Caps, em geral, e dos Caps III, em particular, passa invariavelmente pela capacidade de lidar com os momentos de crise de seus usuários. Por esta razão, o indicador de número 1 (Atendimento às situações de crise) valoriza a capacidade do serviço de responder localmente às condições agudas e suas eventuais situações extremas, evitando encaminhamentos para enfermarias ou prontos-socorros psiquiátricos. O indicador de número 2 (Atenção à família de pacientes em crise) valoriza a capacidade do Caps de operar sobre aspectos que extrapolam o caso em si, considerando demandas e necessidades oriundas dos familiares e o virtual compartilhamento, com estes, da atenção.

Qualificação dos atendimentos grupais

A necessidade de incorporação de práticas que extrapolem a consulta individual é um paradigma que sustenta o modelo psicossocial e a reorientação da clínica para os serviços substitutivos. No entanto, justamente por serem consenso, os trabalhos grupais são implementados sem um acompanhamento sistemático, capaz de prover reformulações e sua contínua qualificação. Os indicadores aqui definidos evidenciam a preocupação dos trabalhadores em tornar as ofertas grupais objetos de discussão e eventual revisão pelas equipes, e, também, em extrapolar sua oferta para o entorno afetivo dos usuários - no caso, para os familiares.

Trabalho em rede

A articulação de instituições e profissionais constitui pedra angular da reorientação do modelo de atenção em saúde mental, sendo a necessidade de trabalho em rede um horizonte compartilhado pela quase totalidade dos integrantes do processo de elaboração desses indicadores. O modo encontrado pelo coletivo responsável pela produção de tais indicadores, para evidenciar o efetivo trabalho compartilhado, deu-se por meio da relação entre projetos terapêuticos conduzidos simultaneamente pelos Caps e demais serviços da saúde, ou de outros setores, com o número total de pessoas atendidas. Este indicador procura captar as capacidades de trabalho interprofissional e intersetorial, que traduzem para o plano operacional a noção de trabalho em rede.

Gestão dos Caps

Na elaboração dos indicadores, a indissociabilidade entre clínica e gestão foi reafirmada pela maioria dos participantes. A organização da gestão tem impacto direto no modo como as equipes se orientam, corroborando a necessidade de estratégias que integrem modos de gerenciamento e a clínica praticada nos serviços (ONOCKO CAMPOS ., 2009ONOCKO-CAMPOS, R. et al. Avaliação da rede de centros de atenção psicossocial: entre a saúde coletiva e a saúde mental. Rev. Saúde Pública, São Paulo, v. 43, p. 16-22. 2009.). Neste sentido, um dos indicadores dirigidos à gestão do Caps busca captar a participação do gerente nos diversos espaços de gestão e discussão coletiva, nos quais trabalhadores e usuários possam participar diretamente das decisões sobre os rumos da unidade. O segundo indicador, relativo à gestão, busca evidenciar a efetividade do gerente em prover a estrutura necessária ao funcionamento do serviço, tendo sido definido o número de horas de trabalho de profissionais universitários por 100 mil habitantes na área adscrita, o parâmetro que refletiria a maior ou menor estruturação dos Caps.

Educação permanente

A supervisão clínico-institucional, ao mesmo tempo em que interroga as intervenções técnicas de cada profissional e da equipe - ou seja, suas práticas clínicas - deve abordar o modo como é pensado e conduzido o modelo de atenção, a fim de agir sobre o processo saúde-doença. Isso equivale a dizer que a supervisão apresenta uma dimensão clínica e também política, na medida em que coloca em questão aspectos do processo de trabalho e das relações institucionais. A convergência de análises sobre aspectos clínicos e institucionais oriundos das práticas dos trabalhadores constitui base para considerar a supervisão clínico-institucional como elemento integrante da educação permanente, juntamente com as horas dedicadas à formação em espaços institucionais externos aos Caps. Os dois elementos - supervisão clínico-institucional e formação externa - foram definidos como indicadores para a formação contínua dos trabalhadores.

Singularização da atenção

O Projeto Terapêutico Singular foi considerado estratégia decisiva para a condução dos trabalhos, segundo o percurso de cada usuário. Para isso, foram elaborados três indicadores complementares, na medida em que, primeiramente, buscam apontar a quantidade de pacientes que possuem plano terapêutico formulado; em seguida, a periodicidade com que este mesmo plano é revisto e adaptado, considerando eventuais mudanças do usuário e de seu contexto; e, finalmente, o terceiro indicador inquire sobre a quantidade de pessoas a cargo de cada técnico ou equipe de referência, proporção que influencia fortemente a efetiva singularização da atenção.

Atenção às pessoas com deficiência intelectual

A fronteira entre deficiência intelectual e saúde mental é tênue (SURJUS; ONOCKO-CAMPOS, 2014SURJUS, L. T. S.; ONOCKO-CAMPOS, R. Interface entre Deficiência Intelectual e Saúde Mental: revisão hermenêutica. Revista Saúde Pública, São Paulo, v. 48, n. 3, p. 532-540, jun. 2014.), sobretudo, em pacientes egressos de longas internações psiquiátricas. O modo como as demandas e necessidades atinentes à deficiência intelectual são ou não contempladas pelos Caps constituem o foco dos dois primeiros indicadores desta temática, indagando sobre a inserção dessa clientela no serviço e sobre a elaboração de plano terapêutico específico para os usuários. Um terceiro indicador é relativo à inserção de pessoas com deficiência intelectual nos Serviços Residenciais Terapêuticos.

Uso de medicação

O debate sobre potencialidades e limitações do uso de medicação psiquiátrica na saúde mental é controverso (ONOCKO-CAMPOS 2013______. Gestão Autônoma da Medicação: uma intervenção analisadora de serviços em saúde mental. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 18, n. 10, p. 2889-2898, out. 2013.). Somente um indicador foi definido para o tema, abordando a retirada ou não da medicação prescrita pelo usuário, nos serviços. Dimensões como o consentimento, por parte do usuário, a qualidade das prescrições e a utilização mais ou menos autônoma da medicação, apesar de terem permeado enfaticamente o debate em muitos GAP e nas plenárias, não atingiram o consenso necessário para a elaboração de respectivos indicadores.

Discussão

A operacionalização de indicadores em saúde mental é tarefa que impõe desafios. Primeiramente, porque a tradição de indicadores nesta área é mais restrita quando comparada a outras áreas do campo da saúde, como a atenção básica e a atenção hospitalar, cujo tempo de existência no País e estímulo, por parte dos organismos nacionais e internacionais de saúde, estabeleceram bases para o desenvolvimento de critérios de acompanhamento das mesmas. Some-se a isso, o caráter fortemente ético e político da reforma psiquiátrica e a consequente dificuldade em estabelecer consensos em torno de alguns parâmetros e indicadores entre agentes com posicionamentos políticos distintos. Além disso, o objeto de que se ocupam os trabalhadores da saúde mental, caracterizado por questões subjetivas - que atravessam os sujeitos que acompanham -, requer esforços de relativização e de compreensão do singular, gerando menor permeabilidade às tentativas de objetivação e sistematização numérica de suas práticas em torno de indicadores.

No processo de construção desses instrumentos, observou-se frequente dificuldade em objetivar e sintetizar, em torno de indicadores, ações de diversas naturezas desenvolvidas no interior dos Caps III. Tais dificuldades evidenciavam-se, dentre outras características, na inexistência de parâmetros sobre aspectos conceituais fundamentais aos serviços. Um exemplo ilustrativo disso foi a recorrente indagação sobre o que, afinal, seria 'crise'. Foram necessários extensos debates e discussões para se estabelecer um consenso entre concepções que, inicialmente, eram tidas como bem estabelecidas, haja vista tratarem-se de questões enfrentadas cotidianamente pelas equipes, em seus serviços. Tais indagações eram formuladas pelas equipes dos serviços, no momento em que lhes eram apresentadas as versões preliminares dos indicadores. Tal situação parece demonstrar a necessidade de que um glossário seja elaborado e passe a acompanhar o conjunto de indicadores aqui discutido.

O curso permitiu que os principais temas que envolvem o cotidiano, a gestão e a clínica dos Caps, segundo pesquisadores e trabalhadores, fossem considerados. Como parte do processo, os indicadores definidos foram submetidos a um crivo, que deveria assegurar características de 'utilidade' (suprindo as necessidades de informação prática dos grupos de interesse), 'viabilidade' (requerendo informações disponíveis e de fácil acesso) e 'precisão' (revelando informações tecnicamente adequadas). As análises dos indicadores coletivamente realizadas e as aplicações preliminares nos serviços de origem corroboraram desempenho satisfatório em relação a esses critérios, que, por sua vez, refletem, para esses instrumentos, parte dos parâmetros de definição de uma boa avaliação, segundo a Associação Americana de Avaliação (FURTADO; LEPERRIERE, 2012FURTADO J. P.; LEPERRIERE, H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênci. Saúde Coletiva, Rio de Janeiro, v. 17, n. 3, p. 695-705, mar. 2012.).

A ênfase na articulação entre formulações advindas dos pesquisadores das universidades e aquelas provenientes das práticas nos serviços, por um lado, possibilitou que temas dificilmente percebidos apenas com a visão do campo científico fossem contemplados, permitindo especial alinhamento entre a realidade vivida na prática dos serviços e a construção de instrumentos para observar e subsidiar eventuais mudanças. Por outro lado, essa proximidade conjuntural, se bem amplia a possibilidade de apropriação e uso dos indicadores pelas equipes dos Caps, simultaneamente, lhes confere fragilidade frente às mudanças substanciais do contexto dos serviços. Além disso, deve-se ressaltar que um instrumento dessa natureza deverá, necessariamente, estar articulado com políticas mais abrangentes, voltadas à contínua qualificação e ao acompanhamento dos serviços, uma vez que a fragilidade dos processos de gestão em diversos níveis, a falta de estruturação e estabilidade das instâncias avaliativas do SUS e a ineficácia dos sistemas de informação criam cenário pouco favorável à consolidação e à expansão de iniciativas como a que vimos apresentando (TRAPÉ, 2015TRAPÉ, T. L. Redes de Atenção à Saúde Mental: Estudo Comparado Brasil-Catalunha. 120 f. 2015. Tese (Doutorado em Saúde Coletiva) - Faculdade de Ciências Médicas, Universidade Estadual de Campinas. Campinas, 2015.).

O conjunto de integrantes do processo, oriundos do Caps, era composto, essencialmente, por profissionais com formação universitária na área da saúde, o que pode explicar a preponderância de indicadores de processo em relação àqueles de estrutura e resultado, ou mesmo do que foi chamado de indicadores soft por Saraceno, Frattura e Betolote (1993)SARACENO, B.; FRATTURA, L.; BERTOLOTE, J. M. Evaluation of psychiatric services: hard and soft indicators. Geneva: WHO, 1993.. Agentes importantes do processo, como profissionais de nível médio, usuários, familiares e profissionais médicos, colaboraram apenas parcial e indiretamente, nos períodos de desconcentração em campo, localmente, em cada um dos serviços, quando se tratava da validação ou da testagem de determinado indicador proposto, abrindo demanda para futuras iniciativas que desenvolvessem instrumentos avaliativos, a partir da perspectiva desses agentes. Identificamos isso como uma das fragilidades do processo aqui registrado.

Apesar disso, o percurso aqui abordado qualificou a participação, na medida em que permitiu a apropriação de parte do referencial teórico da avaliação a um grupo não familiarizado com discussões sistemáticas sobre o tema. Deve-se considerar que os trabalhadores colaboraram na definição de questões, na elaboração e na aplicação preliminar dos indicadores, conferindo maior profundidade à participação, de acordo com proposta de Cousins e Chouirnard (2012)COUSINS, J. B.; CHOUIRNARD, J. A. Participatory evaluation up close: an integration of research-based knowledge. Charlotte: Age Publishing, 2012.. Para estes autores, a extensão da participação seria caracterizada pela diversidade de grupos participantes, e a profundidade, nessa mesma avaliação, pelo grau em que os agentes interferem no processo de formulação, levantamento e análise dos procedimentos envolvidos na avaliação. Ainda que tenhamos dado alguns passos para a avaliação - definição de questões e instrumentos - e não realizado todo o percurso avaliativo, garantimos efetiva colaboração em etapas decisivas do processo.

Conclusão

O processo empreendido para a elaboração dos indicadores conjugou esforços e, efetivamente, articulou ensino, pesquisa e extensão, do ponto de vista do espaço acadêmico. Do ponto de vista dos serviços, a opção por estratégia metodológica inclusiva e formativa fomentou a capacidade crítica de trabalhadores e gestores, e o aprofundamento em questões importantes e comuns, de onde emergiram instrumentos para a objetivação e o acompanhamento dos problemas priorizados. Tal objetivação se fez, contudo, procurando manter a visão de contexto. Afinal, indicadores são a expressão de um conceito, e a indissociabilidade entre ambos deve, necessariamente, ser compreendida e considerada pelos agentes, superando a fetichização ou tecnificação desses instrumentos. As discussões teóricas e os debates que precederam a formulação dos indicadores se mostraram eficazes em tornar os participantes cientes das premissas que sustentam tais indicadores.

Participação e colaboração efetivas exigem tempo, espaços definidos e o estabelecimento de vínculos entre os agentes de distintos campos. A complexa tarefa de desenvolver indicadores de avaliação em subárea da saúde sem tradição nesse sentido tornou-se possível por meio da constituição de um espaço institucional, representado pelo curso, de extensão no tempo, representado por diversos encontros ao longo de um ano, permitindo intervalos para a maturação do debate e o estabelecimento de vínculos de confiança, por meio de espaços singularizados de acompanhamento, nos GAP, apoiados por um mesmo profissional, em toda a sua extensão.

A efetiva utilização dos indicadores desenvolvidos poderá contribuir para o desenvolvimento da cultura avaliativa - qualificação dos Caps e dos próprios instrumentos de avaliação - na medida em que podem ser confrontados com realidades diversas, fora do estado de São Paulo, e com situações imprevistas. Ofertamos esses indicadores à comunidade acadêmica, não com a pretensão de que se tornem os únicos ou os melhores, porém, na expectativa de estarmos contribuindo para a abertura de um diálogo e de uma construção necessária, na atual conjuntura da reforma psiquiátrica brasileira. Termos os desenvolvido e testado por meio de um processo inclusivo de trabalhadores e gestores constitui o ponto forte de nossa pesquisa.

A permeabilidade dos gestores municipais, dos colegiados regionais, dos estados e da federação é sempre decisiva para a contínua qualificação dos serviços aqui enfocados e, como não poderia deixar de ser, para o fomento e a ampliação do uso do instrumental aqui apresentado.

  • Suporte financeiro: Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), Processo: 2009/53130-3 e International Development Research Centre (IDRC) do Canadá, Processo: 02 P-18737-2009

Referências

  • ARDILA, S.; STOLKINER, A. Estrategias de evaluación de programas y servicios de atención comunitaria en salud mental: consideraciones metodológicas. In: CONGRESSO INTERNACIONAL DEL INVESTIGACIÓN Y PRÁTICA PROFESIONAL EN PSICOLOGIA DEL MERCOSUR, 1., 2009, Buenos Aires. Anais... Buenos Aires: Acta Academica, 2009. p. 252-257. Disponível em: <http://www.aacademica.org/000-020/210>. Acesso em: 24 out. 2016.
    » http://www.aacademica.org/000-020/210
  • BARON, G.; MONNIER, E. Une approche pluraliste et participative. Informations sociales, Paris, n. 110, p. 120-129, 2003.
  • BANDEIRA, M.; PITTA, A. M. F.; MERCIER, C. Escalas brasileiras de avaliação de satisfação (SATIS-BR) e da sobrecarga (IMPACTO-BR) da equipe técnica em serviços de saúde mental. J. Bras. Psiquiatri, Rio de Janeiro, v. 49, n. 4, p. 105-115, abr. 2000.
  • COUSINS, J. B.; CHOUIRNARD, J. A. Participatory evaluation up close: an integration of research-based knowledge Charlotte: Age Publishing, 2012.
  • DANTAS, C. R.; ODA, A. M. G. R. Cartografia das pesquisas avaliativas de serviços de saúde mental no Brasil (2004-2013). Physis, Rio de Janeiro, v. 24, n. 4, p. 1127-1179, dez. 2014.
  • FURTADO J. P.; LEPERRIERE, H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênci. Saúde Coletiva, Rio de Janeiro, v. 17, n. 3, p. 695-705, mar. 2012.
  • FURTADO, J. P.; ONOCKO-CAMPOS, R. Participação, produção de conhecimento e pesquisa avaliativa: a inserção de diferentes atores em uma investigação em saúde mental. Cad. Saúde Pública, Rio de Janeiro, v. 24, n. 11, p. 2671-2680, nov. 2008.
  • JALBERT, Y. et al. Epsilon: guide d'auto-évaluation des organismes communautaires. Montréal: COCQ-Sida, 1997.
  • LIBÉRIO, M. M. Estudo da satisfação com o CAPS da cidade do Rio de Janeiro: ouvindo seus atores principais. 1999. Dissertação (Mestrado em Psiquiatria) - Instituto de Psiquiatria, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 1999.
  • WORLD HEALTH ORGANIZATION (WHO). The European Mental Health Action Plan Copenhagen: WHO, 2013.
  • ONOCKO-CAMPOS, R. et al Avaliação da rede de centros de atenção psicossocial: entre a saúde coletiva e a saúde mental. Rev. Saúde Pública, São Paulo, v. 43, p. 16-22. 2009.
  • ______. Gestão Autônoma da Medicação: uma intervenção analisadora de serviços em saúde mental. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 18, n. 10, p. 2889-2898, out. 2013.
  • PITTA, A. M. F. et al Determinantes da qualidade de serviços de saúde mental em municípios brasileiros: estudo da satisfação com os resultados das atividades desenvolvidas por pacientes, familiares e trabalhadores dos serviços. J. Bras. Psiquiatr, Rio de Janeiro, v. 44, n. 9, p. 441-452, 1995.
  • PRESKILL, H.; ZUCKERMAN, B.; MATTHEWS, B. An exploratory study of process use: findings and implications for future research. American Journal of Evaluation, New Mexico, v. 24, n. 4, p. 423-442, 2013.
  • SALLES, M. M.; BARROS, S. Transformações na atenção em saúde mental e na vida cotidiana de usuários: do hospital psiquiátrico ao Centro de Atenção Psicossocial. Saúde em Debate, Rio de Janeiro, v. 37, n. 97, p. 324-335, jun. 2013.
  • SARACENO, B.; FRATTURA, L.; BERTOLOTE, J. M. Evaluation of psychiatric services: hard and soft indicators. Geneva: WHO, 1993.
  • SURJUS, L. T. S.; ONOCKO-CAMPOS, R. Interface entre Deficiência Intelectual e Saúde Mental: revisão hermenêutica. Revista Saúde Pública, São Paulo, v. 48, n. 3, p. 532-540, jun. 2014.
  • TRAPÉ, T. L. Redes de Atenção à Saúde Mental: Estudo Comparado Brasil-Catalunha. 120 f. 2015. Tese (Doutorado em Saúde Coletiva) - Faculdade de Ciências Médicas, Universidade Estadual de Campinas. Campinas, 2015.
  • WALKER, D. M. An introduction to health services research Newbury Park: Sage, 2014.
  • ZÚÑIGA, R.; LULY, M. H.; Savoir-faire et savoir-dire. Un guide d'évaluation communautaire. Montréal: COCQ-sida, 2005.

Datas de Publicação

  • Publicação nesta coleção
    Mar 2017

Histórico

  • Recebido
    Mar 2016
  • Aceito
    Set 2016
Centro Brasileiro de Estudos de Saúde RJ - Brazil
E-mail: revista@saudeemdebate.org.br