RESUMO

Este artigo identifica e analisa os modelos de avaliação de desempenho de sistemas de saúde, considerando-se a sua capacidade avaliativa. Realizou-se a revisão sistemática da literatura, identificando-se seis artigos que apresentaram o modelo adotado para a avaliação de desempenho. Procedeu-se à apreciação da capacidade avaliativa segundo critérios definidos de meta-avaliação. Conclui-se que o foco dos debates em torno dos modelos enfatiza as dimensões avaliativas, o perfil e qualidade dos indicadores em detrimento da compreensão pactuada do 'avaliando' e do processo de valoração. Espera-se ter contribuído para a sistematização de critérios de meta-avaliação de modelos avaliativos.

PALAVRAS-CHAVE
Avaliação de desempenho; Avaliação em saúde; Sistemas de saúde

ABSTRACT

This paper aims to characterize the evaluation potential of currently known health performance models. A systematic literature was performed and six articles were selected because they specified the adopted model of performance. The review showed that most of the debates concerning the models was focused on the description of the analytic dimensions and indicators. Issues such as valuation theory, standards and thresholds for judgment were missing. Thus, this study expects to contribute to systematize criteria to assess health performance evaluation models highlighting focus, theoretical assumptions and methodological strategies.

KEYWORDS
Performance evaluation; Health evaluation; Health system

Introdução

As discussões em torno dos modelos de avaliação de desempenho têm predominado na agenda internacional de saúde nas últimas décadas. As contribuições vêm sendo feitas sido feitas para definir, descrever e explicar os modelos por meio de diversas concepções e estruturas conceituais (SMITH, 2002SMITH, P. Editor's preface. In: ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT (OECD). Measuring up: Improving Health System Performance in OCDE Countries. Paris: OECD, 2002, p. 7-9. Disponível em: <http://www.ikwilwerken.nl/pdf/eu/8102011ehealthsystem.pdf>. Acesso em: 26 jan. 2002.
http://www.ikwilwerken.nl/pdf/eu/8102011... ). Assumindo que, da mesma forma que o avaliando, as avaliações devam ser modeladas, este artigo pretende contribuir para essas discussões, ressaltando a construção de categorias que auxiliem a modelização de avaliações complexas.

Sem dúvida, muitos países têm desenvolvido modelos para monitorar, medir e gerenciar o desempenho dos seus sistemas de saúde como forma de garantir a equidade, eficiência, efetividade das ações (ARAH 2003ARAH, A. O. et al. Conceptual frameworks for health systems performance: a quest for effectiveness, quality, and improvement. International Journal for Quality in Health Care, Oxford, v. 15, n. 5, p. 377-398, 2003.). Além da lacuna no conhecimento a cerca do uso das informações sobre o resultado do desempenho, várias questões permanecem sem resposta em relação ao tema. Qual o melhor modelo e para qual contexto? Como definir desempenho de sucesso para sistemas complexos? Como definir desempenho de sucesso para sistemas públicos? Como lidar com modelos complexos que incluam indicadores agregados? (MAYNE, 2007MAYNE, J.; ZAPICO-GONI, E. Effective performance monitoring: a necessary condition for public sector reform. In: ______. (Org.). Monitoring Performance in the Public Sector: Future Directions from International Experience. 2. ed. New Jersey: Transactional Publishers , 2007. p. 3-29.; MANEY; ZAPICO-GONI, 2007MAYNE, J. Accountability for program performance: a key to effective performance monitoring and reporting. In: MAYNE, J.; ZAPICO-GONI (Org.). Monitoring Performance in the Public Sector: Future Directions from International Experience. 2. ed. New Jersey: Transactional Publishers, 2007. p. 157-173.)

Apesar da disponibilidade de intervenções eficazes para muitos problemas prioritários de saúde, os progressos em direção a um sistema de serviços de saúde justo e de qualidade continuam lentos (MURRAY; FRENK, 2000MURRAY, C. J. L.; FRENK, J. A framework for assessing the performance of health systems. Bulletin of the World Health Organization, v. 78, n. 6, 2000. Disponível em: <http://www.who.int/bulletin/archives/78(6)717.pdf>. Acesso em: 25 jan. 2017.
http://www.who.int/bulletin/archives/78(... ). Nesse sentido, a busca por melhores efeitos, ou seja, conseguir que os sistemas de saúde desempenhem suas funções da melhor forma possível, vem transformando os processos avaliativos e, em particular, as avaliações de desempenho, em importante instrumento de gestão (VIACAVA 2004VIACAVA, F. et al. Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro. Ciência & Saúde Coletiva, Rio de Janeiro, v. 9, n. 3, p. 711-724, 2004.). Avaliações dessa natureza permitem identificar problemas no alcance dos objetivos e podem auxiliar na seleção das intervenções mais efetivas, além de agregar elementos para o aprimoramento das políticas de saúde, aumentando a eficiência, a efetividade dos serviços e a qualidade do cuidado em saúde (POISTER, 2004POISTER, T. H. Performance Monitoring. In: WHOLEY, J. S.; HARRY, P. H.; KATHIRRYN, E. M. (Org.). Handbook of Pratical Program Evaluation. 2. ed. San Francisco: Jossey-Bass, 2004. p. 99-125.).

Indiscutivelmente, a noção de desempenho na área da saúde está relacionada ao grau de alcance dos objetivos dos sistemas de saúde (WORTHEN; SANDERS; FITZPATRICK, 2004aWORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliações centradas em objetivos. In: WORTHEN, B. R. (Org.). Avaliação de Programas: concepções e práticas. São Paulo: Gente, 2004a. p. 129-149.). Algumas formulações vinculam o alcance dos objetivos às interações inerentes ao funcionamento da intervenção. Tal é o caso da proposta da Joint Comission on Accreditation of Health Care Organization, que define desempenho como

Outras elaborações sobre desempenho consideram a complexidade do objeto, ressaltando a sua complexidade hierárquica de desfechos, de múltiplos protagonismos e de múltiplos processos de valoração (PATTON, 2011PATTON, Q. M. Developmental Evaluation: applying complexity concepts to enhance innovation and use. New York: Guilford Press, 2011, 375 p.).

A diversidade conceitual, assim como os diferentes métodos e estratégias de mensuração adotadas tanto pelos governos como por agências internacionais e da sociedade civil, está relacionada aos objetivos específicos de cada um dos sistemas de saúde, alvo das avaliações de desempenho. Conceitualmente, a própria definição de sistema de saúde não é consensual. De fato, diferentes abordagens têm sido retratadas nos vários modelos de avaliação de desempenho.

O termo modelo tem sido usado, de maneira geral, para representar uma realidade ou alguns dos seus aspectos a fim de torná-los qualitativa e quantitativamente descritíveis (SAYÃO, 2001SAYÃO, L. F. Modelos Teóricos em ciências da informação: abstração e método científico. Ci. Inf., Brasília, DF, v. 30, n. 1, p. 82-91, 2001. ). Como observado por Medina (2005)MEDINA, M. G. et al. Usos de modelos teóricos a avaliação em saúde: aspectos conceituais e operacionais. In: HARTZ, Z. M. A.; SILVA, L. M. V. (Org.). Avaliação em Saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA; Rio de Janeiro: Fiocruz, 2005. p. 41-63., o objeto da investigação científica é um construto da realidade passível de modelagem. Portanto, os modelos são por natureza a representação do objeto, seus movimentos e suas relações, tendo por referência uma construção teórica: a teoria do objeto-modelo.

Para Madaus, Scriven e Stufflebeam (1983)MADAUS, G. E.; SCRIVEN, M.; STUFFLEBEAM, D. L. Evaluation Models: Viewpoints on educational and human services evaluation. Boston: Kluwer-Nijhoff, 1983., em avaliação, os termos abordagem e modelo têm sentido semelhante. Já para Worthen, Sanders e Fitzpatrick (2004b)______. Diferentes abordagens da avaliação: um resumo e análise comparativa. In: WORTHEN, B. R. (Org.). Avaliação de Programas: concepções e práticas. São Paulo: Gente, 2004b. p. 245-264., abordagem se refere a um sistema classificatório relacionado à afinidade teórica, usos e propósito da avaliação, e modelo se refere à representação visual das várias teorias envolvidas no processo avaliativo.

Rossi, Lipsey e Freeman (2000)ROSSI, P.; LIPSEY, W.; FREEMAN, E. H. Evaluation a systematic approach. 7 ed. Thousand Oaks: Sage, 2000. p. 133-168. e Chen (1990)CHEN, H. The Theory-Driven Perspective: the new alternative. In: ______. Practical Program Evaluation: Theory-Driven Evaluation and the Integrated Evaluation Perspective. Newbury Park: Sage Publications, 1990. p. 39-56. são alguns dos formuladores sobre a relação entre a teoria da intervenção e a avaliação. Todos ressaltam a importância da modelização dessas teorias. Chen (1990) faz uma descrição dos componentes da teoria da intervenção, distinguindo a teoria de funcionamento (normative) e a teoria causal (do inglês causative). Seguindo essa mesma lógica, Rossi, Lipsey e Freeman (2000) referem-se à teoria dos processos e à teoria de impacto, em outras palavras, o modo de funcionamento e a racionalidade causal entre intervenção e efeito.

Essa construção teórica é retomada por Champagne (2011)CHAMPAGNE, F. et al. Modelizar as Intervenções. In: BROUSSELLE, A. et al. (Org.). Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz, 2011. p. 61-73. ao afirmarem que os modelos avaliativos podem ser de duas naturezas (i) modelos operacionais e (ii) modelos teóricos. Tal classificação é orientada pelo foco da avaliação, ou seja, o modelo operacional refere-se às avaliações cujo foco são o modo de funcionamento e os efeitos operacionais da intervenção. Nesse caso, os modelos objetivam refletir sobre os modos de funcionamento, caracterizando-o dentre outros, pela qualidade técnica, pela magnitude da oferta, produção ou utilização da intervenção ou serviços (DONALDSON, 2007DONALDSON, S. I. Developing Program Impact Theory. In: ______. Program Theory-Driven Evaluation Science: strategies and applications. New York; London: Psychology Press, 2007. p. 20-39.). Já nos modelos teóricos, o foco da avaliação é a mudança provocada pelas ações. Sendo assim, pretende-se estabelecer as relações de atribuição ou de causalidade entre a intervenção e os efeitos.

Considerando a modelização das intervenções, Moritz, Santos e Luiza (2014)MORITZ, A. E.; SANTOS, E. M.; LUIZA, V. L. Monitoramento e Avaliação In: OSÓRIO-DE-CASTRO, C. G. S. et al. (Org.). Assistência Farmacêutica: gestão e prática para profissionais de saúde. Rio de Janeiro: Fiocruz, 2014. p. 163-174. propuseram uma adaptação da construção teórica de Rossi, Lipsey e Freeman (2000)ROSSI, P.; LIPSEY, W.; FREEMAN, E. H. Evaluation a systematic approach. 7 ed. Thousand Oaks: Sage, 2000. p. 133-168.. Além da teoria do modo de funcionamento e de atribuição, as autoras consideram indispensável estabelecer a teoria de interação entre sistema de serviços e usuários, uma vez que é nessa interface que as questões de acesso e satisfação são problematizadas, ambas cruciais para a apreciação do desempenho.

Todas essas questões merecem um olhar mais cuidadoso: é o que se pretende desenvolver neste artigo. Modelos expressam teorias, intervenções e avaliações têm concepções teóricas que podem ser modelizadas. Assim, este artigo tem por objetivo descrever e analisar as abordagens que norteiam os modelos de avaliação de desempenho identificados na revisão de literatura pertinente, com o intuito de discutir a sua capacidade avaliativa.

Métodos

A elaboração deste artigo envolveu a revisão da literatura, a descrição dos modelos identificados e a análise de sua capacidade avaliativa.

Para a revisão, realizou-se uma busca detalhada da literatura, junto às bases de dados eletrônicas: Medline (Medical Literature Analysis and Retrieval System Online) e Lilacs (Literatura Latino-Americana e do Caribe em Ciências da Saúde). Além disso, foi realizada uma busca manual de publicações com base nas referências bibliográficas consideradas relevantes listadas nos artigos identificados.

A estratégia de busca utilizou como descritores as seguintes expressões em inglês: 'conceptual framework', 'health system performance', 'performance assessment of health systems', 'performance measurement'. Selecionaram-se os trabalhos publicados no período entre 2000 e 2012 que analisaram o desempenho de sistemas de saúde e que explicitaram o modelo adotado para avaliação; excluíram-se aqueles que apenas analisaram o grau de desempenho sem menção ao modelo.

Foram selecionadas 143 publicações potencialmente relevantes, das quais 119 foram excluídas por tratarem do desempenho organizacional ou profissional. Das 24 publicações que trataram do desempenho de sistemas de saúde, 14 foram excluídas por não apresentar ou não mencionar o modelo adotado. Dessa forma, selecionaram-se dez publicações que atendiam aos critérios de inclusão.

Cabe destacar que, das dez publicações selecionadas, verificou-se que em quatro estudos o modelo adotado era a replicação de outros dois modelos. Esse foi o caso dos modelos de avaliação de desempenho do sistema de saúde brasileiro (VIACAVA , 2004VIACAVA, F. et al. Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro. Ciência & Saúde Coletiva, Rio de Janeiro, v. 9, n. 3, p. 711-724, 2004.), do Reino Unido (SIBTHORPE, 2007SIBTHORPE, B. A Proposed Conceptual Framework for Performance Assessment in Primary Health Care: A Tool for Policy and Practice. Australian Journal of Primary Health, Vitória, v. 13, n. 2, aug. 2007.) e da Austrália (MWITA, 2000MWITA, J. I. Performance management model: A systems-based approach to public service quality. The International Journal of Public Sector Management, Reino Unido, v. 13, n. 1, p. 19-37, 2000.), que adotaram o modelo de avaliação canadense (ARAH; WESTERT, 2005ARAH, O. A.; WESTERT, G. P. Correlates of health and healthcare performance: applying the Canadian health indicators framework at the provincial-territorial level. BMC Health Services Research, Londres, v. 5, n. 76, p. 1-13, dec. 2005.). Já o modelo de avaliação holandês (TEN ASBROEK , 2004TEN ASBROEK, A. H. A. et al. Developing a national performance indicator framework for the Dutch health system. International Journal for Quality in Health Care, Kidlington, v. 16, supl. 1, p. 65-71, 2004.), tinha como referência o modelo da Organização para o Desenvolvimento da Comunidade Europeia (ARAH , 2006ARAH, A. O. et al. A conceptual framework for the OECD Health Care Quality Indicators Project. International Journal for Quality in Health Care, p. 5-13. set. 2006.). Sendo assim, para efeito deste artigo, só foram analisados os seis estudos contendo modelos originais.

Para a descrição sistemática desses seis modelos, foram considerados: afiliação teórica; abordagem conceitual adotada; envolvimento dos atores; propósito da avaliação; processo de valoração; usos e utilização dos achados da avaliação.

A análise da capacidade avaliativa concentrou-se na verificação de como as teorias que orientaram a construção dos modelos respondem aos três domínios teóricos: a teoria de funcionamento ou processos; a teoria de interação ou interface; e a teoria de impacto ou causal. A matriz que sintetiza esta análise é apresentada no quadro 1 e tem como referência os quatro modos de investigação sistemática descritos por Marck . (2000)MARCK, M. M.; HENRY, G. T.; JULNES, G. Four Inquiry Modes. In: ______. (Org.). Evaluation: An integrated Framework for Understandig, Guiding and Improving policies and Programs. San Francisco: Jossey Bass, 2000. p. 173-288..

Resultados

Dos seis distintos modelos de avaliação de desempenho selecionados, dois foram desenvolvidos por agências governamentais de saúde, uma do Canadá e a outra dos Estados Unidos da América; dois modelos pertencem a agências internacionais, isto é, à Organização Mundial da Saúde (OMS) e à Organização para a Cooperação e Desenvolvimento Econômico (OCDE); e os outros dois foram desenvolvidos por instituições acadêmicas.

Os modelos de avaliação canadense (ARAH; WESTER, 2005ARAH, O. A.; WESTERT, G. P. Correlates of health and healthcare performance: applying the Canadian health indicators framework at the provincial-territorial level. BMC Health Services Research, Londres, v. 5, n. 76, p. 1-13, dec. 2005.) e da OCDE (ARAH 2006ARAH, A. O. et al. A conceptual framework for the OECD Health Care Quality Indicators Project. International Journal for Quality in Health Care, p. 5-13. set. 2006.) adotam abordagem baseada na determinação social da doença. Esse tipo de abordagem defende que a explicação para a distribuição da saúde e doença nas populações está relacionada aos modos de organização da sociedade (BARATA, 2005BARATA, R. B. Epidemiologia Social. Rev bras epidemiol, São Paulo, v. 8, n. 1, p. 7-17, 2005.).

O modelo canadense (ARAH; WESTER, 2005ARAH, O. A.; WESTERT, G. P. Correlates of health and healthcare performance: applying the Canadian health indicators framework at the provincial-territorial level. BMC Health Services Research, Londres, v. 5, n. 76, p. 1-13, dec. 2005.) tem por característica uma concepção hierarquizada e integrada dos vários fatores que influenciam o 'estado de saúde. O modelo compreende a interação entre quatro grandes componentes: 1) o estado de saúde da população, 2) os determinantes sociais, 3) o funcionamento do sistema de saúde e 4) as características da comunidade, incluindo a organização dos serviços de saúde. Este último componente tem por finalidade capturar as características contextuais da comunidade e organizacionais do sistema de serviços de saúde (figura 1).

Para mensurar especificamente o componente de desempenho do sistema de saúde são considerados seis indicadores de estado de saúde, sendo um de bem estar, três de condições de saúde, um de função humana e um de mortalidade. Os autores examinam a correlação entre esses indicadores e a assistência médica abordada por dezesseis indicadores alocados em oito dimensões: (a) aceitabilidade; (b) acessibilidade; (c) adequação; (d) respeito aos direitos das pessoas; (e) continuidade; (f) efetividade; (g) eficiência e (h) segurança. A dimensão de equidade é transversal ao modelo como um todo, sugerindo uma relação entre ela e o desempenho da saúde. No entanto, no artigo analisado, os autores, não exploram essa relação, seja por teorização ou por indicadores empíricos.

Quanto à teoria da intervenção, o modelo de avaliação canadense descrimina o modo de funcionamento por meio das dimensões de segurança, competência e continuidade. A interface de interação entre o sistema de saúde com os usuários é considerada ao incluir em sua apreciação as dimensões de aceitabilidade, acessibilidade e adequação. A racionalidade causal entre a intervenção e seus efeitos é discriminada pela presença das dimensões de efetividade e eficiência. No artigo, não há referência ao protagonismo dos interessados na intervenção, assim como não faz menção aos critérios e parâmetros de classificação para o julgamento das dimensões avaliativas. O modelo não caracteriza sua teoria de valoração. Com relação à sua capacidade explicativa, o modelo considera que o desempenho do sistema de saúde é determinado pelos aspectos sociais, econômicos, culturais e demográficos, juntamente com os fatores biológicos, do ambiente físico e o próprio modo de organização do sistema de saúde.

O modelo de avaliação da OCDE (ARAH ., 2006ARAH, A. O. et al. A conceptual framework for the OECD Health Care Quality Indicators Project. International Journal for Quality in Health Care, p. 5-13. set. 2006.) também leva em consideração os determinantes sociais do processo saúde-doença. Contudo, o foco principal é direcionado para a análise do terceiro componente - desempenho do sistema de saúde -, que envolve a verificação das necessidades de saúde do usuário inter-relacionadas a três categorias: a) qualidade do cuidado em saúde, b) acesso e c) despesas em saúde. O desempenho do sistema de saúde é verificado por meio da qualidade que compreende a efetividade, segurança e resolubilidade com foco nas necessidades do paciente. Já o acesso, é mensurado a partir da acessibilidade geográfica. As dimensões de equidade e eficiência são transversais ao modelo como um todo. Esse modelo é produto da combinação de elementos extraídos do modelo canadense e do modelo americano (figura 2).

A discriminação do modo de funcionamento, no modelo de avaliação OCDE, baseia-se nas dimensões custo e segurança. A interface de interação entre o sistema de saúde e os usuários é abordada ao considerar as dimensões de acessibilidade e responsividade. Já a teoria de causalidade entre intervenção e os efeitos esperados do sistema de saúde, é examinada apenas pela dimensão de efetividade. O protagonismo dos interessados na intervenção, isto é, no sistema, não é mencionado. Da mesma forma, não são citados os critérios e parâmetros de classificação para o julgamento das dimensões avaliativas. Com relação ao modo de julgar, na revisão do artigo não se observou a identificação de uma teoria de valoração dos efeitos. Quanto à capacidade explicativa, o modelo considera que o desempenho do sistema de saúde é determinado pelos aspectos contextuais específicos de cada sistema de saúde, que, por sua vez, influenciam a qualidade do cuidado e os serviços de saúde desse sistema.

Os modelos de avaliação de desempenho americano (US DEPARTMENT OF HEALTH AND HUMAN SERVICES, 2005US DEPARTMENT OF HEALTH AND HUMAN SERVICES. National Healthcare Quality Report, 2005. Rockville: AHRQ, 2005. Disponível em: <https://archive.ahrq.gov/qual/nhqr05/nhqr05.pdf>. Acesso em: 25 jan. 2017.
https://archive.ahrq.gov/qual/nhqr05/nhq... ) e da OMS (WHO, 2000WORLD HEALTH ORGANIZATION (WHO). The World Health Report 2000: Health Systems: Improving Performance. Genebra. 2000. Disponível em: <http://www.who.int/whr/2000/en/>. Acesso em: 25 jan. 2016.
http://www.who.int/whr/2000/en/... ) caracterizam-se por uma abordagem centrada nos objetivos. O uso dessa abordagem ganhou destaque entre avaliadores e gestores por causa da sua racionalidade simples. Ela tem como base a compreensão de que o êxito ou o fracasso de uma intervenção podem ser julgados pelo grau de alcance dos objetivos. Por outro lado, tal abordagem reúne algumas limitações, pois desconsidera resultados importantes não mencionados, previamente, entre os objetivos do sistema; negligenciam o contexto em que a avaliação é feita; e podem promover uma abordagem unilateral - a visão dos gestores - e pouco flexível na avaliação (WORTHEN , 2004aWORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliações centradas em objetivos. In: WORTHEN, B. R. (Org.). Avaliação de Programas: concepções e práticas. São Paulo: Gente, 2004a. p. 129-149.).

O modelo de avaliação de desempenho do sistema de saúde americano (US DEPARTMENT OF HEALTH AND HUMAN SERVICES, 2005US DEPARTMENT OF HEALTH AND HUMAN SERVICES. National Healthcare Quality Report, 2005. Rockville: AHRQ, 2005. Disponível em: <https://archive.ahrq.gov/qual/nhqr05/nhqr05.pdf>. Acesso em: 25 jan. 2017.
https://archive.ahrq.gov/qual/nhqr05/nhq... ) envolve a análise de dois componentes: as necessidades de saúde dos usuários e a qualidade do cuidado em saúde. Em relação às necessidades dos usuários, são elencados quatro objetivos: a) manter vida saudável; b) melhorar a saúde; c) conviver com a doença ou deficiência; e d) lidar com o fim da vida. Cada um desses objetivos está inter-relacionado ao segundo componente, a qualidade do cuidado, cujo desempenho é verificado por meio das seguintes dimensões: efetividade, segurança, oportunidade e foco no paciente.

O objeto do modelo de avaliação americano é o componente público do sistema de saúde. Não faz referência aos atores envolvidos na definição de parâmetros e padrões de julgamento. O plano de funcionamento da intervenção é verificado a partir das dimensões oportunidade e segurança. O plano de utilização dos serviços de saúde está centrado predominantemente nas necessidades técnicas dos usuários. No modelo, os objetivos finalísticos são analisados pela presença da dimensão de efetividade. Nesse modelo, a prestação de contas aos usuários e aos prestadores de serviços também é bastante ressaltada como um das principais formas de uso dos resultados da avaliação.

Em 2000, a OMS (WHO, 2000WORLD HEALTH ORGANIZATION (WHO). The World Health Report 2000: Health Systems: Improving Performance. Genebra. 2000. Disponível em: <http://www.who.int/whr/2000/en/>. Acesso em: 25 jan. 2016.
http://www.who.int/whr/2000/en/... ), ao analisar o desempenho dos seus 191 países membros, destacou no seu modelo de avaliação de desempenho três objetivos relativos aos sistemas de saúde: 1) melhorar a saúde da população - mensurada pela expectativa de vida ajustada pela incapacidade (Dale) e a distribuição do nível de saúde avaliada pela mortalidade em menores de cinco anos de idade; 2) melhorar a capacidade de resposta de acordo com as expectativas dos usuários - aspectos não médicos do atendimento mensurados pelas sete subáreas da responsividade; e 3) assegurar a justiça na contribuição financeira. A justiça na distribuição financeira foi mensurada por meio da proporção de remuneração familiar destinada à saúde. Esse indicador foi estimado subtraindo-se da remuneração familiar os gastos com sua subsistência, exceto alimentação, e, do saldo remanescente, calculou-se a proporção de gastos destinados à saúde. Além disso, para abordar o nível de saúde, os autores consideram um índice denominado 'índice de eficiência técnica'.

O modelo de avaliação da OMS identifica ainda quatro funções consideradas essenciais ao alcance dos objetivos do sistema: a) a prestação de serviços de saúde; b) a geração de recursos; c) o financiamento; e d) a condução e orientação do sistema. Apesar de se constituir em um importante avanço para a possibilidade de comparações internacionais, o modelo foi criticado por sua pouca transparência e baixa replicabilidade. Dentre os vários problemas apontados, destacam-se a falta de precisão na definição do que seja o sistema de saúde, o baixo número de países com informação disponível, a falta de clareza nos critérios e parâmetros de julgamento, ponderações, com implicações para os parâmetros de classificação, e a falta de participação dos países envolvidos no processo avaliativo (VALENTE, 2002VALENTE, J. G. Uma avaliação crítica sobre os índices compostos na avaliação dos sistemas de saúde no mundo. Rev. bras. epidemiol., São Paulo, v. 5, supl. 1, p. 83-90, 2002.).

O modelo OMS não faz referência aos atores envolvidos na avaliação. O plano de funcionamento da intervenção não é contemplado e o plano de utilização restringe-se à análise das expectativas dos usuários. Nesse modelo, os objetivos finalísticos são analisados por meio das metas de melhorias na saúde.

Os modelos de avaliação de desempenho global e integrado de sistemas de saúde (Egipss) (CONTRANDRIOPOULOS; TROTTIER; CHAMPAGNE, 2008CONTANDRIOPOULOS, A. P.; TROTTIER, L. H.; CHAMPAGNE, F. Improving performance: a key for Quebec´s health and social services centres. Infoletter (Thema). Montreal, v. 5, n. 2, p. 2-6, may 2008.) e de desempenho de sistemas públicos de saúde (PHS) (HANDLER; ISSEL; TURNOCK, 2001HANDLER, A.; ISSEL, M.; TURNOCK, B. A Conceptual Framework to Menasure Performance of Public Health System. American Journal of Public Health, Washington, DC, v. 91, n. 8, p. 1235-1239, 2001.) caracterizam-se por uma abordagem sistêmica explícita.

O modelo Egipss fundamenta-se na teoria da ação social de Parsons (1974)PARSONS, T. Orientações teóricas. In: ______. O sistema das sociedades modernas. São Paulo: Pioneira, 1974. p. 15-22., cuja análise de sistemas sociais compreende o exame de quatro subsistemas funcionais: a) o alcance de objetivos; b) o cultural (valores e crenças); c) o das personalidades envolvendo as motivações e interações para alcance de status e papel social; e d) o biológico. Cada componente do sistema de ação social é dotada de estrutura própria com funções específicas e independentes, embora sejam sistemas inter-relacionados. Outro aspecto importante relacionado a essa construção teórica refere-se à noção de equilíbrio. Para Parsons (1974)PARSONS, T. Orientações teóricas. In: ______. O sistema das sociedades modernas. São Paulo: Pioneira, 1974. p. 15-22., o sistema de ação social tende à estabilidade na medida em que as normas são valorizadas e os desvios são reprovados.

No modelo Egipss, o desempenho de um sistema ou organização é uma construção multidimensional e relacional, compreendendo o equilíbrio dinâmico entre a habilidade de cumprir sua missão - componente objetivo; de adaptar-se a seu ambiente - componente adaptação; de produzir serviços coordenados e de qualidade - componente produção; e de manter ou criar valores compartilhados - componente manutenção de valores organizacionais. Nesse sentido, a avaliação de desempenho deve ser sensível ao caráter dinâmico da produção das relações de equilíbrio entre as quatro funções ou habilidades de um sistema de ação social (figura 3).

Numa primeira aproximação sobre a capacidade avaliativa, considerou-se que o modelo Egipss incorpora uma característica integradora e relacional entre os seus quatro componentes sem a perspectiva linear e hierárquica dos demais modelos analisados. Além disso, considera como equilíbrio dinâmico a capacidade dos tomadores de decisão de fazer os ajustes necessários para o cumprimento das funções de um sistema de ação social. O modelo não detalha os critérios e parâmetros de julgamento das dimensões avaliativas, o que dificulta a sua aplicabilidade.

O objeto da avaliação é, assim, o sistema de saúde ou qualquer um dos seus componentes, incluído o sistema de serviços de saúde. Nesse modelo, o protagonismo dos atores envolvidos é analisado por meio da sua capacidade de governabilidade para o cumprimento das funções. O plano de funcionamento da intervenção é explorado pela componente de produção. Os objetivos finalísticos são contemplados pela análise do componente alcance de objetivos.

O modelo de avaliação do desempenho de sistemas públicos de saúde (PHS) é baseado na tríade estrutura, processo e resultado de Donabedian (2003)DONABEDIAN, A. An Introduction to Quality Assurance. Oxford: Oxford University Press, 2003. . A partir dessa perspectiva, os autores propõem um modelo relacional com quatro componentes: a missão do sistema de saúde, sua capacidade estrutural, seus processos essenciais e os resultados esperados, que, por sua vez, são influenciados por um quinto componente, o contexto externo. Nesse modelo, a análise do desempenho é visto, pelos autores, como um guia para monitorar, avaliar e melhorar os processos de serviço e seus resultados e, portanto, a qualidade do cuidado de saúde prestado (figura 4). O modelo não faz referência ao papel dos atores envolvidos na definição de parâmetros e padrões de julgamento. O plano de funcionamento da intervenção restringe-se à análise dos processos essenciais de uma intervenção, e o plano de utilização não é contemplado. Para análise dos objetivos finalísticos, as dimensões de efetividade, eficiência e equidade são consideradas no modelo.

Discussão

A partir da análise descritiva dos diferentes modelos de avaliação de desempenho, podem-se destacar alguns elementos de similaridade entre eles: (i) visam a medir o desempenho das funções do sistema de saúde; (ii) tendem a captar os resultados finalísticos relacionados à efetividade; (iii) de maneira geral, tendem a considerar a avaliação em termos quantitativos; e (iv) as metodologias limitam a participação dos usuários potenciais.

De certo que cada modelo foi desenvolvido para responder aos objetivos específicos dos sistemas de saúde de cada país ou região. No entanto, pode-se dizer que eles cumprem duas finalidades. Avaliam o desempenho sob o ponto de vista dos objetivos finalísticos, ou seja, considerando a efetividade do sistema de saúde, e realizam a apreciação do desempenho sob a perspectiva operacional, isto é, considerando o alcance dos objetivos de processo de interação entre os usuários e o serviço de saúde.

Observou-se ainda a recorrência das dimensões avaliativas de efetividade, acesso, responsividade e eficiência. Em linhas gerais, pode-se afirmar que a noção de efetividade, implícita nos vários modelos, não é a mesma. Está relacionada ao alcance dos resultados finalísticos ou à prestação de cuidado adequado, oportuno e em conformidade com as normas preestabelecidas. O pressuposto desta última concepção é que alcance dos efeitos finalísticos esteja vinculado à implantação de serviços de acordo com as boas práticas.

Ainda que o uso da categoria acesso seja menos frequente, é notória a presença de pelo menos duas de suas subdimensões: aceitabilidade e acessibilidade geográfica. Pechansky e Thomas (1981) fazem uma análise crítica dessa percepção, em que o acesso está relacionado apenas à capacidade ou disposição do usuário para ingressar no sistema de assistência em saúde. No que se refere à categoria responsividade (VALENTINE ., 2003VALENTINE, N. B. et al. Health System Responsiveness: Concepts, Domains and Operationalization. In: MURRAY, C. J. L.; EVANS, D. B. (Org.). Health Systems Performance Assessment: debates, methods and empiricism. Geneva: World Health Organization. 2003. p. 573-595.), sua valorização pode ser percebida pela inclusão do atendimento às necessidades e expectativas dos usuários como condição de melhoria da capacidade de resposta do sistema de saúde.

Em relação às abordagens que fundamentam os modelos analisados, ressaltam-se alguns elementos que ajudam a demarcar as diferenças entre eles. Os modelos baseados na determinação social da doença partem do princípio que o desempenho dos serviços de saúde é influenciado pelas condições de vida e saúde das populações. Os modelos centrados em objetivos, mais especificamente o modelo americano, vinculam o desempenho dos serviços de saúde - alcance de objetivos - à prestação do cuidado de qualidade, enfatizando o desempenho tecnológico. O modelo sistêmico, que avalia o desempenho sob a perspectiva integradora e relacional entre as funções básicas de um sistema, defende que mudanças numa determinada função podem modificar o resultado do desempenho das outras funções. No caso do modelo caracterizado pela abordagem 'donabediana', os autores introduziram o componente contextual caracterizado pelos fatores políticos, sociais e econômicos, como um elemento de reconfiguração do sistema de saúde.

Dois problemas de caráter geral foram identificados na análise: a pouca clareza na definição do objeto em avaliação no que se refere à conceituação do que é definido como sistema de saúde vis-à-vis como o que seja sistema de serviços de saúde; e o significado diverso dado aos desfechos esperados, ou seja, a definição de efetividade, eficiência, acesso e outros.

É importante destacar as diferentes concepções, categorias analíticas e pressupostos mobilizados nos diversos artigos para definição do que é sistema de saúde, sistema de serviços de saúde e de como o desempenho é compreendido. Embora, de maneira geral, o objetivo dos modelos se refira à manutenção e melhoria da saúde das populações, as estratégias para alcançá-lo e os modos de organização dos sistemas não são semelhantes. Os modelos oscilam entre privilegiar, como objeto de avaliação, os componentes médicos assistenciais com ênfase na qualidade e rendimento da assistência médica, diagnóstica e terapêutica e modelos mais complexos, intersetoriais, que articulam o individual e o coletivo nas ações de promoção, prevenção, tratamento e reabilitação em contexto.

Embora estejam presentes em quase todos os modelos, as dimensões equidade e eficiência são abordadas de maneiras diferentes. Nos modelos Egipss e PHS, a equidade e a eficiência são tratadas como dimensões de resultado. Nesse caso, o objetivo precípuo do sistema de saúde é a redução das desigualdades com o maior rendimento possível. Por outro lado, o modelo canadense e o OCDE abordam essas mesmas dimensões numa perspectiva transversal, isto é, como condição de ajustamento para o alcance de todas as demais dimensões do sistema. Deve-se destacar que, apesar de fazer menção à equidade tanto do ponto de vista conceitual como operacional, ela não é formulada de maneira clara por nenhum dos modelos.

Outra importante dimensão, a qualidade, considerada como uma categoria multidimensional (DONABEDIAN, 2003DONABEDIAN, A. An Introduction to Quality Assurance. Oxford: Oxford University Press, 2003. ), é tratada por quase todos os modelos analisados como sinônimo do próprio desempenho, ou seja, o que se percebe na análise dos modelos é que o desempenho dos sistemas de saúde é considerado de sucesso no que diz respeito ao alcance da qualidade. Para isso, é necessário que o serviço seja seguro, oportuno e adequado às normas técnicas, assim como também tenha qualidade nos aspectos não técnicos, isto é, seja adequado às necessidades humanas dos usuários, contínuo e acessível geograficamente.

Deve-se salientar que a análise da capacidade avaliativa dos modelos incluiu a verificação da existência da afiliação política e filosófica, o propósito da avaliação, a teoria de valoração, os padrões e os parâmetros de julgamento. A presença desses elementos nos modelos analisados está diretamente relacionada às funções dos sistemas que são raramente descritas, e muito menos construídas participativamente. Deve-se considerar que as representações visuais dos modelos apresentam limitações para acomodar a complexidade do que deva ser representado, requerendo, assim, a sensibilidade e cuidado para sua leitura e aplicação.

Conclusões

Nesse sentido, pode-se dizer que os modelos analisados não conseguiram, por meio de suas representações visuais, revelar, na totalidade, sua capacidade avaliativa. O que se observou foi que as representações visuais estão restritas apenas à capacidade de descrever a intervenção, não explicitando sua capacidade explicativa ou de julgamento, aspectos estes estudados pela leitura dos textos.

Pode-se constatar, a partir desta revisão, que não há consenso sobre o que seja desempenho e como medi-lo. Apesar de os diversos modelos convergirem para a compreensão de desempenho como alcance de objetivos e metas, variam com as organizações e funções dos sistemas sob apreciação.

Uma das hipóteses a ser considerada a respeito da ambiguidade das concepções sobre o avaliando é o permanente e polêmico debate contemporâneo sobre o papel do Estado nas reformas setoriais (FLEURY, 2001FLEURY, S. Reforma do Estado. Revista de Administração Pública, v. 35, n. 5, p. 7-48, 2001; FLEURY; OUVERNEY, 2012FLEURY, S.; OUVERNEY, M.A. Política de Saúde: uma política social. In: GIOVANELLA, L. et al. (Org.). Políticas e Sistema de Saúde no Brasil. 2. ed. Rio de Janeiro: Fiocruz , 2012. p. 23-64.). A apreciação do desempenho comparativo entre sistemas cujas funções possam não ser comparáveis gera problemas inconciliáveis na análise de mérito, como, por exemplo, o contraste comparativo e excludente entre sistemas com função de acesso universal que objetivem uma política distributiva e aqueles de mix público-privado que enfatizam a contenção dos custos do cuidado. O não enfretamento claro dessa questão pelos modelos privilegia arranjos de mensuração e uso de informações incompatíveis com a prestação de contas pública e podem reforçar a judicialização crescente do setor (VENTURA , 2010VENTURA, M. et al. Judicialização da saúde, acesso à justiça e a efetividade do direito à saúde. Physis, Rio de Janeiro, v. 20, n. 1, p. 77-100, 2010. ).

Outro ponto que merece destaque diz respeito ao fato que os debates em torno dos modelos de avaliação de desempenho concentram-se na descrição das dimensões e indicadores empregados, sem explicitar as questões relativas às análises utilizadas em tais modelos. Além do problema com as concepções do 'avaliando', não se abordam de maneira sistemática os atores envolvidos, os parâmetros usados para julgar o desempenho, suas limitações ou potencialidades. O processo de valoração é subentendido como a construção e mensuração de indicadores e, em alguns modelos, quando é descrito, o tratamento estatístico utilizado é tomado como o definidor do julgamento.

Os resultados deste estudo contribuíram para a compreensão das diferentes maneiras de avaliar o desempenho de sistemas de intervenção, destacando as variações em termos de princípios teóricos e estratégias metodológicas. Sendo assim, uma maior clareza sobre os conceitos e ferramentas adotados nas avaliações de desempenho pode facilitar a decisão sobre o que medir e como medir, seja um sistema de saúde, serviços de saúde ou qualquer um dos seus componentes.

Referências

Datas de Publicação

Histórico