Resumos

Introdução

A investigação em serviços de saúde é um campo do conhecimento multidisciplinar que permite examinar e avaliar, de forma sistemática, o acesso, os custos, qualidade assistencial, funcionamento e a organização, com o objetivo de melhorar a saúde da população e, ao mesmo tempo, de prestar contas à sociedade e aos órgãos de controle acerca da utilização dos recursos recebidos. O processo avaliativo, além de ser instrumento de aprendizado, é um compromisso ético e político de dirigentes para garantir a qualidade da gestão (SANTAMERA, 2013SANTAMERA, A.S. Investigación y Evaluación de Servicios Sanitarios[Internet]. Madrid: Escuela Nacional de Sanidad, 2013. Disponível em: <https://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0ahUKEwiDqbGgwfLJAhUMjZAKHU4rCpwQFggdMAA&url=http%3A%2F%2Fe-spacio.uned.es%2Ffez%2Feserv%2Fbibliuned%3A500667%2Fn7.1_Investigaci__n_y_Evaluaci__n_de_Ss.pdf&usg=AFQjCNFemoTn0fMCsTpZ75BsYyxLoxr42w&sig2=KrcGsEGvbIIJHAD_MQgaig>. Acesso em: 20 out. 2015.
https://www.google.com.br/url?sa=t&rct=j... ).

Por outro lado, os serviços de saúde são organizações sociais complexas cuja avaliação inclui o modelo de atenção, de gestão, o trabalho em equipe, a satisfação dos usuários, a segurança dos pacientes, a saúde dos trabalhadores e o uso racional dos recursos, entre outros aspectos.

Na atenção hospitalar, essa complexidade ainda é afetada pela multiplicidade de serviços dentro de um só hospital, que vão da hotelaria ao emprego das tecnologias disponíveis para salvar vidas. Exatamente por essas questões, muitos métodos avaliativos foram desenvolvidos, e a escolha daquele a ser utilizado não trata apenas da vontade do avaliador, mas envolve a disponibilidade de dados; a capacidade técnica de trabalhar com eles; a capacidade de dar respostas oportunas e saneadoras às inadequações encontradas e a aceitação da comunidade usuária da ferramenta.

De nada adianta aplicar um excelente método de avaliação se seus resultados não forem utilizados na tomada de decisão para reorganização do serviço avaliado.

O artigo discorre acerca da apropriação e processos enfrentados para a aplicação de modelo canadense de avaliação de serviços de saúde pela SES/MS e sua apresentação às demais Secretarias Estaduais de Saúde (SES) e Distrito Federal (DF).

O modelo Egipss

A Universidade de Montreal (UM) desenvolveu um modelo de avaliação do desempenho de serviços e sistemas de saúde denominado Évaluation Globale et Intégrée de la Performance des Systèmes de Santé (Egipss) - sob a coordenação dos professores André-Pierre Contandriopoulos e François Champagne, pesquisadores que trabalham há mais de 20 anos em formação e pesquisa sobre métodos de avaliação. O Egipss possui importante histórico de aplicação e impacto no Canadá e em outros países, chamando a atenção de autoridades sanitárias do mundo inteiro para a oportunidade de se realizar um diagnóstico abrangente e efetivo de segmentos do setor saúde.

O Egipss constitui uma síntese das abordagens de avaliação e de pesquisa, experimentada em diversos ambientes, baseada em fundamentos teóricos sólidos e em uma abordagem operacional cuja validade foi demonstrada em muitas aplicações, tanto em escala regional quanto internacional (CHAMPAGNE et al., 2005CHAMPAGNE, F. et al.Un cadre d'Évaluation de la performance des systems de services de santé: le modèle Egipss. Montréal: GRIS: Université de Montréal, 2005.). É capaz de fornecer aos responsáveis pela tomada de decisão as ferramentas necessárias para medir o desempenho e agir em consequência, além de orientar decisões no sentido da melhoria contínua do desempenho, possibilitando um sistema de saúde de qualidade, acessível e eficiente.

O modelo Egipss inspira-se na Teoria da Ação Social de Parsons (1957PARSONS, T. Social systems and the evolution of action theory. New York:Free Pres, 1977., 1977), foi proposto por Sicotte et al. em 1998SICOTTE, C. et al. A conceptual framework for the analysis of health care organizations' performance. Health Services Management Research, London, v. 11, n.1, p. 24-48, 1998.. Segundo esse modelo, para ser considerada eficiente, uma organização deve, de forma permanente, realizar as quatro funções:

a) Alcançar suas metas: Função ligada à capacidade da organização em alcançar metas fundamentais, representada por medições de eficácia, eficiência, satisfação da população e equidade. Para uma organização pública de saúde e serviços sociais, trata-se da melhoria das condições de saúde dos indivíduos e da população por meio da prevenção, diagnóstico e tratamento dos problemas de saúde e dos problemas sociais e da redução das desigualdades no acesso aos cuidados;

b) Adaptar-se a seu ambiente: Função representada por medições de recursos financeiros e humanos, atendimento das necessidades da população, atratividade, atuação sistêmica, mobilização da comunidade e de inovação e transformação, entre outras. Em curto prazo, os estabelecimentos de saúde e serviços sociais devem conseguir os recursos necessários para manter e desenvolver suas atividades. Em médio e longo prazo, os estabelecimentos devem desenvolver suas competências de transformação para se adaptarem às mudanças tecnológicas, populacionais, políticas e sociais;

c) Produzir de forma integrada: Função representada por indicadores que correspondem aos acordos de gestão e a conformidade às normas de credenciamento/habilitação e referem o volume de serviços, a produtividade, qualidade técnica, continuidade, humanismo, acessibilidade. Tradicionalmente, é neste nível que se encontra a maioria dos indicadores utilizados para medir o desempenho dos estabelecimentos: volumes de cuidados e serviços, produtividade e integração da produção por meio da qualidade técnica e não técnica. Trata-se do núcleo técnico da organização. Os processos devem possibilitar produzir serviços de qualidade, de forma eficaz;

d) Manter valores e normas coletivas: Função ligada ao que é chamado de cultura da organização, na origem do clima organizacional. Produz o sentido e a coesão dentro da organização. Apresenta subdimensões associadas ao consenso sobre os valores da organização e a qualidade de vida no trabalho.

A riqueza da teoria parsoniana está fundamentada na existência de relações recíprocas e equilibradas entre as quatro grandes funções de uma organização. É a riqueza dessas inter-relações que permite avaliar o desempenho de um sistema. No método Egipss, essas interações são chamadas de 'equilíbrios' ou 'alinhamentos'.

O Egipss permite avaliar o desempenho de um sistema ou serviço de saúde de forma integrada, por meio de suas dimensões e subdimensões, analisando sua capacidade em realizar cada uma das quatro funções já citadas, bem como em estabelecer e manter um equilíbrio dinâmico na realização dessas funções e agir de forma prudente à luz dessas informações.

Dessa forma, a avaliação do desempenho baseia-se não apenas na medição de indicadores de sucesso para cada uma das quatro funções da organização, mas também no caráter dinâmico da tensão existente entre esses quatro polos, isto é, na maneira das trocas e negociações ocorrerem entre as quatro funções para os diferentes atores e nas formas de implantação dos modelos de regulação (análise dos sistemas de troca e do grau de integração que eles promovem).

Há também que se considerar que o desempenho de uma organização só pode ser avaliado em relação ao desempenho de cada um dos seus componentes e da rede da qual faz parte. Dessa forma, uma organização só é realmente eficiente na medida em que seu desempenho contribui para o desempenho do sistema de saúde.

Conforme Contandriopoulos (2003)CONTANDRIOPOULOS, A.P. Inertie et changement.Ruptures, revue transdisciplinaire em santé, Montreal, v.9, n. 2, p. 4-31, 2003. , o desempenho de uma organização de saúde é uma construção multidimensional que deve permitir a diferentes partes interessadas debater e elaborar um julgamento sobre as qualidades essenciais e específicas da sua organização, em função das suas crenças, conhecimentos, responsabilidades, interesses, projetos etc. A organização deve ser capaz de realizar cada uma das quatro funções essenciais, ou seja, adaptar-se ao seu ambiente (adquirir recursos), responder às necessidades (objetivos/metas), produzir serviços com qualidade e quantidades adequadas (ser produtivo), manter e desenvolver valores (cultura organizacional), estabelecendo e mantendo uma tensão positiva e dinâmica entre essas quatro funções essenciais.

Assim, no modelo Egipss, o desempenho é a capacidade de manifestar, por meio das quatro funções, o equilíbrio na execução das ações, melhorando resultados e diminuindo custos, como se observa no diagrama abaixo:

Em referência à figura 1, reforça-se que: a adaptação trata das relações estabelecidas entre o avaliado e o ambiente, entendido como todos os sistemas de ação com os quais o sistema avaliado interage e os contextos em que está situado - permite adquirir os recursos para existir e se desenvolver; os valores, mantidos e produzidos, são capazes de conferir sentido e coesão no seio da organização; a produção refere um volume apropriado de serviços de qualidade (humanizada, contínua, acessível e abrangente); e as metas possibilitam que a organização atinja seus objetivos e podem significar eficiência, eficácia, equidade, satisfação e alcance de melhoria da saúde individual e populacional.

A análise do desempenho da organização de saúde virá pela capacidade da governança em integrar e equilibrar as mudanças e negociações, constantemente geradas entre as quatro funções e pelos diferentes atores, em especial, aquelas que promovam sua relevância para a rede externa com a qual ela interage, e não somente pela medição dos indicadores das quatro funções essenciais.

Portanto, serão estabelecidas relações de equilíbrio: (I) Estratégico: desenvolve a capacidade de integrar a função adaptativa da organização com as suas metas e seus resultados; (II) Tático: desenvolve a capacidade da organização de integrar suas metas e resultados com a sua produção; (III) Operacional: desenvolve a capacidade da organização de integrar sua necessidade de ser produtiva com o clima organizacional; (IV) Contextual: desenvolve a capacidade da organização de integrar as exigências adaptativas com o clima organizacional; (V) Alocativo: desenvolve a capacidade da organização de integrar os recursos obtidos por meio da sua função adaptativa e a sua produção; e, por fim, (VI) Legitimador: desenvolve a capacidade da organização de integrar seus objetivos e resultados com os seus valores e cultura organizacional.

A aplicação do modelo Egipss em Mato Grosso do Sul

Alguns fatores foram determinantes para que a SES/MS promovesse um processo de avaliação dos principais hospitais vinculados ao Sistema Único de Saúde (SUS): o alcance da qualidade nesses serviços; a implementação da Política Estadual de Atenção Hospitalar (Peah) a partir das diretrizes do Plano Estadual de Saúde 2008/2011; o processo de formalização de contratos com os hospitais iniciado em 2007 no âmbito do Pacto pela Saúde; a reforma administrativa e gerencial no Hospital Regional de Mato Grosso do Sul; e a intervenção na Santa Casa de Misericórdia de Campo Grande.

A partir de relações formais estabelecidas entre o Conselho Nacional de Secretários de Saúde (Conass), SES/MS e a UM - em meados de 2010CONSELHO NACIONAL DE SECRETÁRIOS DE SAÚDE (CONASS). Avaliação Global e Integrada do Desempenho dos Hospitais do Mato Grosso do Sul. Notas Técnicas, Brasília, DF, 2012. -, foi possível avaliar o desempenho da Rede de Atenção à Saúde (BRASIL, 2010BRASIL. Ministério da Saúde. Portaria MS/GM nº 4.279, de 30 de dezembro de 2010. Estabelece diretrizes para a organização da Rede de Atenção à Saúde no âmbito do Sistema Único de Saúde (SUS). Estabelece diretrizes para a organização da Rede de Atenção à Saúde (RAS) no âmbito do SUS. Diário Oficial [da] União. Brasília, DF, 30 dez. 2010.) com foco na atenção hospitalar em Mato Grosso do Sul, assim como apresentar a experiência as 25 secretarias estaduais de saúde e o Distrito Federal, a título de cooperação técnica e disseminação de conhecimento.

A avaliação de desempenho contemplou os 17 hospitais regionais de Mato Grosso do Sul (hospitais nos municípios sede de microrregião com o papel de referência para o território regional), assim como propiciou aprendizagem e apropriação do método canadense, de modo a capacitar servidores das três esferas de gestão e disponibilizar as ferramentas para outras secretarias estaduais de saúde.

O objeto da avaliação tratou de todos os hospitais regionais do Estado, sendo: 6 na microrregião de Campo Grande, 3 na microrregião de Dourados e 1 em cada uma das demais microrregiões: Aquidauana, Corumbá, Coxim, Jardim, Naviraí, Paranaíba, Ponta Porã e Três Lagoas. Foi excluído o hospital da microrregião de Nova Andradina, cujas atividades só foram iniciadas em janeiro de 2011. Dos 17 hospitais que aderiram ao projeto proposto pela SES, 15 concluíram o processo avaliativo (CONASS, 2012).

Etapas da operacionalização

O projeto foi composto por quatro etapas distintas de operacionalização.

A primeira delas, Seleção de Indicadores, foi desenvolvida entre novembro de 2010 e agosto de 2011. Contemplou a capacitação sobre o modelo Egipss e indicadores disponíveis, ocorrida em dois momentos distintos: UM, sob a lavra dos professores já mencionados e colaboração de Hung Nguyen, Georges Thibaut e Geneviève Ste-Marie; Escola de Saúde Pública/SES/MS, em Campo Grande/Mato Grosso do Sul, também com a presença de representantes da UM - ocasião em que se definiu pela aplicação de questionário semiestruturado aos usuários e trabalhadores dos hospitais selecionados, tendo 2010 como ano base.

Contemplou ainda: definição de 7 grupos de trabalho para o desenvolvimento do projeto, compostos por servidores e colaboradores da SES/MS, cuja atribuição era construir fichas descritivas para os indicadores (nome, conceito, cálculo, fonte); realização de reunião com os diretores dos 17 hospitais e respectivos gestores municipais para explicitar os propósitos e a operacionalização dos trabalhos; e aplicação de questionários. Todas as atividades foram realizadas com a cooperação técnica da UM na preparação de materiais e análise das experiências da SES/MS na aplicação de questionários. Da consecução dessa etapa, resultou uma planilha geral de 185 indicadores, além do reconhecimento dos bancos de dados existentes.

O quadro que segue representa, entre os indicadores produzidos, aqueles que foram utilizados na aplicação do modelo Egipss para avaliação de hospitais regionais de Mato Grosso do Sul (MATO GROSSO DO SUL, 2012).

A segunda etapa de operacionalização do projeto Coleta de Dados foi executada entre setembro de 2011 e abril de 2012. Para a alimentação de um aplicativo denominado Egipss.MS, desenvolvido pela UM - via web -, foram utilizadas fontes dos bancos de dados nacionais; informações existentes nos sistemas internos dos hospitais e dados extraídos dos questionários aplicados aos usuários e aos funcionários dos hospitais selecionados. O preenchimento do aplicativo contou com grupo especializado de digitadores - ligados à Superintendência de Gestão da Informação/Secretaria da Fazenda de Mato Grosso do Sul. Os resultados foram acompanhados e revisados pela equipe canadense, encaminhando-os para validação dos grupos de trabalho identificados na etapa 1.

O questionário semiestruturado aplicado aos usuários dos hospitais foi ajustado a partir do modelo da Coordenadoria Estadual de Controle, Avaliação e Auditoria. Abordou aspectos relacionados ao acesso, atendimento, infraestrutura e efetividade do atendimento e foi aplicado a uma amostra de 10% dos usuários calculados da média mensal de internação de cada hospital.

O questionário semiestruturado aplicado aos trabalhadores, a partir de proposta da UM, foi adequado à realidade local pelos grupos de trabalho. Abordou aspectos relacionados aos valores, ao ambiente organizacional, à satisfação e informações gerais e foi aplicado ao conjunto de trabalhadores dos hospitais selecionados (médicos, enfermeiros, outros profissionais de nível superior, técnico/auxiliar de enfermagem, técnicos administrativos e apoio).

A terceira etapa, Construção da Avaliação, foi efetivada em maio/2012 e compreendeu a elaboração do escore de desempenho. Foi executada durante um seminário, em Campo Grande/MS, a partir de discussão entre a equipe da UM e os representantes dos grupos de trabalho, que cuidaram da análise e validação dos indicadores construídos nas etapas 1 e 2.

Os indicadores selecionados foram organizados e analisados no intuito de extrair o perfil de desempenho de cada um dos hospitais avaliados, capaz de indicar um retrato detalhado e multidimensional do desempenho relativo a cada unidade hospitalar. Dessa forma, foram produzidos 17 relatórios detalhados (um por unidade hospitalar), contendo os resultados dos indicadores e os comentários pertinentes que serão abordados futuramente.

Alguns parâmetros foram estabelecidos para a validação dos indicadores e sua consequente relação com o desempenho: (I) relação positiva: quanto maior o valor, melhor o desempenho (número de leitos per capita / número de cirurgias ambulatoriais realizadas, entre outros); (II) relação negativa: o valor menor está associado a um desempenho melhor (taxa de mortalidade, a taxa de reinternação, taxa de eventos indesejáveis); (III) parabolicamente associados: alcança um desempenho ótimo quando os valores ficam entre dois limites definidos, portanto, fora desses limites, o desempenho diminui (taxa de cesárea); e (IV) relação contextual: apresentam demonstração temporal ou informação contextual e não estão diretamente ligados ao desempenho.

Dessa forma, exceto para os indicadores contextuais, foi calculado um índice de desempenho, também chamado de Índice Relativo (IR), comparando o valor do indicador com um referencial.

Os índices de desempenho variaram entre 0% e 200%, sendo que valores acima desse limite foram equiparados a 200%. Nos casos de indicadores de tempo médio de permanência hospitalar, os índices de desempenho não foram calculados quando o denominador do indicador era inferior a 30 casos.

O índice de desempenho obtido traduziu sempre a distância de um estabelecimento em relação ao referencial.

Dois tipos de referenciais foram utilizados: descritivos, quando permitem contextualizar um indicador sem, contudo, apresentar avaliação de desempenho (indicadores de disponibilidade dos recursos, para os quais parece mais apropriado avaliar a riqueza relativa em relação a um referencial do que medir o desempenho); e normativos, quando permitem fazer a avaliação de desempenho. Ambos podem ser externos (literatura, opinião teórica, consenso de especialistas) ou empíricos (baseados em dados observados).

Os referenciais normativos externos foram denominados 'acordados', uma vez que resultaram de consenso entre a SES/MS e diretores de hospitais, durante o seminário de validação. Enquanto os referenciais normativos empíricos corresponderam ao valor do benchmark, que apresenta a média dos três melhores resultados observados entre os 15 hospitais do estudo e a mediana.

Cumpre informar que a população total de duas microrregiões (Campo Grande e Dourados), que contam com mais de um hospital, foi distribuída em seus hospitais, correspondendo igualmente entre o percentual de produção e a população da microrregião (40% de produção = 40% da população).

Fonte: Elaboração própria.

Fonte: Elaboração própria.

Construídos os escores de desempenho dos indicadores, os dados foram organizados de forma a permitir uma análise do desempenho da organização por indicador e por subdimensões e conceitos de desempenho para, inclusive, situar um hospital em relação aos demais. Consequentemente, nesse primeiro nível da avaliação, foram formados quatro grupos, sendo o grupo 1 formado pelos hospitais com melhor resultado, e assim sucessivamente.

O segundo nível da análise normativa compreendeu 38 conceitos e 18 subdimensões de forma a relacionar as forças (IR superior a 75%) e problemas (IR inferior a 75%) e aquelas subdimensões que não compreenderam a coleta de nenhum indicador.

Para tanto, foi calculado o volume total produzido por hospital para ser utilizado como denominador para determinados indicadores (humanos e financeiros), em que o denominador populacional (1.000 habitantes) foi substituído pelo volume de produção. Dessa forma, esses novos indicadores permitiram avaliar a riqueza relativa em relação ao volume produzido pelo hospital.

O cálculo da produção total de um hospital seguiu a seguinte regra:

As intervenções têm peso diferente, uma vez que representam o tamanho dos recursos a mobilizar na execução de cada uma delas, sendo o maior peso correspondente à maior mobilização de recursos.

O terceiro nível de análise é o relacional, que indica os desafios específicos de cada uma das unidades hospitalares. Desafios esses classificados em função de sua importância dentro da organização e da possibilidade dos gestores implementarem mudanças organizacionais para melhorar o desempenho. A detecção dos desafios é realizada colocando em relação várias subdimensões do desempenho, das quais se mencionam duas, reveladas em repetidas unidades hospitalares: melhoria da qualidade técnica dos cuidados e serviços e melhoria da qualidade de vida no trabalho.

Conforme estabelecido, os resultados da avaliação de desempenho de cada hospital foram apresentados à respectiva direção da unidade e aos gestores municipais e estaduais de saúde, especialmente, da SES/MS.

A quarta etapa, Recomendações para a Ação, consistiu na discussão das intervenções possíveis com todos os envolvidos: diretores das unidades hospitalares, gestores municipais e gestor estadual. Para esse debate, foram realizadas oficinas de trabalho que envolveram, para além dos atores mencionados, suas equipes técnicas - responsáveis pelas ações de acompanhamento.

Tanto o processo de aplicação do modelo Egipss, abordado neste artigo, quanto os resultados obtidos na avaliação foram apresentados no dia 4 de dezembro de 2012, em Brasília, no Seminário Internacional sobre Avaliação Hospitalar pelo modelo Egipss, promovido pelo Conass para os secretários estaduais de saúde e DF e convidados das demais esferas de gestão e academia. Também foi elaborado documento técnico destinado aos secretários estaduais de saúde e do DF.

Considerações finais

A apropriação e aplicação do modelo Egipss na avaliação de hospitais regionais da SES/MS alcançou os objetivos propostos. As equipes se apropriaram do modelo e suas etapas, passaram a ser capazes de construir, criticar e aplicar indicadores de desempenho para avaliar as quatro funções já explicitadas neste artigo. A ferramenta de avaliação foi construída e incorporada às atividades cotidianas das unidades hospitalares, e a experiência foi alvo de seminário para conhecimento e apropriação das demais SES e convidados.

A utilização desse retrato detalhado e multidimensional do desempenho possibilitou à SES/MS identificar, em conjunto com os hospitais, caminhos para a melhoria do desempenho de cada um, discuti-los com os gestores municipais e definir termos da formalização de contratos com base em planos de melhoria.

A experiência evidencia e ratifica na execução das etapas de aplicação do modelo Egipss que os responsáveis pela tomada de decisão dessas áreas têm condições de avaliar se existe ou não um desafio real sobre o qual convém agir. Todavia, para tirar o máximo proveito dos resultados obtidos na avaliação do desempenho de cada hospital, é importante que tanto a direção quanto os trabalhadores se apropriem de seu conteúdo.

A apreensão dos resultados também consiste em colocá-los no contexto específico do hospital: o retrato global do hospital corresponde à percepção da equipe de direção? Como explicar os principais pontos fortes e pontos fracos que transparecem desse retrato? Determinados aspectos demandam análises internas complementares para delimitar fenômenos revelados na avaliação?

Em seguida, é importante identificar as forças a consolidar as metas de melhoria do desempenho, porque contribuem na especificação de interesses estratégicos, assim como podem integrar planos de ação ou de convênios específicos com os gestores de saúde.

O processo de aplicação do modelo Egipss evidenciou que dados e análises avaliativos influenciam diretamente uma tomada de decisão; apoiam decisão já tomada; uniformizam informação quando grupos com interesses diferentes perseguem um consenso; fundamentam decisões divergentes daquelas até então orientadas ou expostas por determinado segmento. Além disso, e especialmente, a apropriação dos resultados da avaliação do desempenho melhora a compreensão da dinâmica e do funcionamento da unidade hospitalar. Ela vem somar-se aos conhecimentos utilizados individual e coletivamente pelos membros da alta direção no seu processo de tomada de decisão.

Portanto, há que se considerar que a apropriação e aplicação do modelo Egipss em 15 unidades hospitalares da SES/MS configurou-se como experiência bem-sucedida, sendo o principal desafio a ser enfrentado: conseguir que os hospitais avaliados, e outros que porventura se interessarem, usem sistematicamente a ferramenta no intuito de melhorar de forma contínua seu desempenho. O desempenho de cada unidade de saúde qualifica a rede de atenção, que por sua vez qualifica o SUS.

Finalmente, cabe ressaltar que os relatórios resultantes da aplicação do método Egipss, e que demonstram o desempenho das unidades hospitalares estudadas, serão objeto de publicação futura.

Referências

Datas de Publicação

Histórico