ARTIGO ARTICLE
Metodologia de elaboração do Índice de Responsividade do Serviço (IRS)
Methodology for developing a health service responsiveness index (SRI)
Gabriela Rieveres Borges de AndradeI; Jeni VaitsmanI; Luis Otávio FariasII
IEscola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil
IISecretaria Nacional de Assistência Social, Ministério do Desenvolvimento Social e Combate à Fome, Brasília, Brasil
RESUMO
O artigo apresenta a metodologia de construção de um Índice de Responsividade do Serviço (IRS). A construção do IRS baseou-se em dados obtidos por meio de um questionário aplicado a pacientes do Instituto de Pesquisa Evandro Chagas, unidade da Fundação Oswaldo Cruz, em 2002. O índice permite apreender, de maneira sintética, as percepções dos usuários sobre a responsividade do serviço de saúde. Responsividade é um conceito que se refere ao quanto o sistema de saúde atende às expectativas legítimas dos usuários. Nesta pesquisa, as dimensões da responsividade foram adaptadas para a avaliação de serviços de saúde. O IRS expressa percepções positivas e/ou negativas dos usuários da organização mediante duas dimensões do conceito de responsividade: orientação para o cliente e respeito pelas pessoas. O objetivo da construção do IRS é orientar intervenções visando melhorar a qualidade do serviço e acompanhar as mudanças na responsividade dos serviços ao longo do tempo.
Serviços de Saúde; Avaliação de Serviços de Saúde; Qualidade da Assistência à Saúde
ABSTRACT
The article presents the methodology used to develop a health service responsiveness index (SRI). The index was based on patient data at the Evandro Chagas Research Institute, a unit of the Oswaldo Cruz Foundation in Rio de Janeiro, Brazil. Responsiveness refers to the health system's response to users' expectations. The SRI expresses patients' positive or negative perceptions in two dimensions: patient orientation and personal respect. The methodology integrates research data in an evaluation tool, with the aim of improving quality of services and directing interventions and monitoring changes over time.
Health Services; Health Services Evaluation; Quality of Health Care
Introdução
Índices são indicadores sintéticos que procuram agregar diferentes dimensões de um problema ou unidade de análise. Expressam em uma única medida diferentes ordens de fenômenos. Por isso, sua elaboração parte implícita ou explicitamente de certos pressupostos teóricos mediante os quais são definidas e ponderadas as dimensões da realidade a serem investigadas empiricamente e traduzidas em valores para fins de acompanhamento e comparação.
Na área social, a construção do Índice de Desenvolvimento Humano (IDH), ao ser formulado como alternativa ao de Produto Interno Bruto (PIB) como medida de desenvolvimento, com base nas variáveis de renda per capita, escolaridade e esperança de vida ao nascer, introduziu novas dimensões ao conceito de desenvolvimento, que até os anos de 1980 era visto apenas como crescimento econômico 1. O IDH serviu de modelo para a elaboração subseqüente de outros índices, os quais, dependendo dos fenômenos e unidades de análise tomados como objeto, procuram agregar outras dimensões e variáveis, como o Índice de Condições de Vida (ICV) 2, o Índice de Qualidade dos Municípios (IQM) 3, o Índice de Desenvolvimento da Família (IDF) 4 e o Índice Paulista de Responsabilidade Social (IPRS) 5.
Na área da gestão e administração no Brasil, a partir dos anos de 1990, tanto nas organizações públicas quanto privadas, e em diferentes setores, instrumentos e metodologias de pesquisas de satisfação passaram a contribuir para qualificar os processos gerenciais e de acompanhamento da qualidade dos serviços de atendimento aos cidadãos/usuários/clientes. Na área da saúde, foram criados instrumentos e metodologias voltados para a avaliação da satisfação do usuário com o objetivo de subsidiar o processo de tomada de decisão de gestores e profissionais de saúde 6,7,8,9. Os dados produzidos por estas e outras pesquisas possibilitam a construção de índices para apoiar práticas gerenciais voltadas para obter maior eficácia, eficiência e qualidade em seus produtos e serviços 5.
Neste artigo, apresentamos a proposta de metodologia de construção do Índice de Responsividade do Serviço (IRS), como um instrumento que possibilita expressar as opiniões e percepções de usuários sobre o atendimento em serviços de saúde. A metodologia começou a ser desenvolvida por intermédio da pesquisa Gestão de Qualidade e Satisfação do Usuário em Organizações Públicas de Saúde: Um Estudo Piloto no Instituto de Pesquisa Evandro Chagas 10. O objetivo desse estudo foi coletar dados para o desenvolvimento de uma metodologia de avaliação de serviços públicos de saúde por usuários e que oferecesse aos gestores um conjunto de indicadores a serem facilmente acompanhados ao longo do tempo.
Os dados referem-se, portanto, a uma unidade de assistência de alta complexidade, o que não exclui sua adaptação e uso em outros tipos de serviços de atenção à saúde. Não coube, contudo, nos limites desta pesquisa e das etapas da metodologia descritas no âmbito deste artigo, a elaboração de testes estatísticos de validação externa do instrumento de pesquisa, fato que, no entanto, é um pressuposto para sua aplicação em outros contextos 11. Este artigo se limita a apresentar a lógica e os pressupostos conceituais que orientaram a construção da metodologia.
Por outro lado, a metodologia continua sendo desenvolvida como um work in progress: por solicitação da Ouvidoria da Fundação Oswaldo Cruz (Fiocruz), o mesmo instrumento básico, com as devidas adequações, foi aplicado em três de suas unidades assistenciais, o Instituto Fernandes Figueira, o Centro de Saúde Escola Germano Sinval Farias e no Instituto de Pesquisa Clínica Evandro Chagas 12. Como se trata de organizações com especificidades, a replicação da metodologia - da qual o instrumento de coleta é um componente - certamente poderá lançar luz sobre seus alcances, limites e necessidades de adequação em outros serviços de saúde.
Tal proposta de metodologia, que implica algumas etapas que serão descritas, deve ser vista como uma contribuição a mais para os processos de avaliação de serviços de saúde na perspectiva dos usuários. Junto com outras intervenções, poderá acrescentar elementos para subsidiar a tomada de decisão dos formuladores das políticas, gestores e profissionais de saúde e o acompanhamento de mudanças na qualidade dos serviços.
O IRS segue o mesmo arcabouço metodológico do Índice de Percepções Organizacionais (IPO), construído com base em pesquisa realizada na mesma unidade em 1999 e que avaliou a satisfação dos profissionais que trabalhavam no hospital por meio de uma série de dimensões organizacionais 13. Enquanto modelos de índices, o IRS e o IPO podem ser vistos como complementares, uma vez que ambos são construídos com base em uma mesma metodologia, a qual, porém, é ajustada de acordo com seus objetos específicos - profissionais ou usuários de serviços de saúde.
O texto faz inicialmente uma breve discussão conceitual sobre as pesquisas de avaliação da qualidade dos serviços de saúde tendo os usuários como base teórica para a definição das categorias analíticas que orientaram a pesquisa; em seguida, apresenta as etapas da construção do IRS: (a) dimensões e variáveis pesquisadas, (b) cálculo do escore das perguntas, (c) cálculo dos valores do IRS para cada dimensão do atendimento. Por fim, apresentam-se alguns resultados para exemplificar as possibilidades de análises do IRS.
Avaliação da qualidade de serviços tendo o usuário como base
A prática de se avaliar os serviços mediante inquéritos dirigidos aos usuários tornou-se procedimento generalizado a partir dos anos 80 na Europa e Estados Unidos. No Brasil, essas pesquisas tornaram-se mais comuns a partir da segunda metade da década de 90 14 e se difundiram com as propostas de novos modelos de gestão para as organizações públicas de saúde com a finalidade de melhorar a qualidade dos serviços e aumentar a satisfação dos cidadãos/usuários/clientes 7. Em outro artigo, fizemos uma revisão dos conceitos usados em pesquisas de avaliação de serviços e sistemas de saúde, destacando duas principais abordagens na investigação sobre o atendimento a usuários: pesquisas de satisfação e mais recentemente, as de responsividade 14. A seguir, resumimos parte desta revisão.
Satisfação do usuário
As pesquisas sobre satisfação do usuário no Brasil, apesar de recentes, têm gerado alguma discussão, especialmente quanto ao seu significado em um contexto de intensas desigualdades sociais. Uma das críticas mais freqüentes às avaliações da satisfação do usuário diz respeito às conseqüências práticas deste tipo de pesquisa, ou seja, se efetivamente produzem melhoria na qualidade dos serviços.
Um dos desafios é a construção de instrumentos de avaliação da satisfação do usuário que contemplem as diferenças educacionais e culturais e as diferentes formas de utilização dos serviços, particularmente no que concerne aos aspectos cognitivos do processo. Estudos apontam que as avaliações longitudinais costumam mostrar declínio na satisfação dos usuários, em razão não de um declínio da qualidade dos serviços, mas do aumento de sua expectativa. Ao longo de sucessivos inquéritos os usuários tendem a tornar-se mais exigentes com a qualidade e a prestar mais atenção a diferentes aspectos dos serviços. Em outras palavras, o estabelecimento de uma cultura de avaliação pode fazer com que os usuários fiquem mais atentos à qualidade dos serviços.
Em contextos em que não é comum uma cultura de avaliação e sobretudo entre usuários de menor renda e escolaridade, a aceitação acrítica do atendimento é um aspecto que deve ser levado em conta na interpretação dos resultados dos estudos de satisfação porque, para a maioria da população carente, conseguir o atendimento já é usualmente difícil. Este aspecto tende a resultar em baixa expectativa e alta satisfação somente pelo fato de se conseguir acesso ao serviço.
Vaitsman & Andrade 14 apontam para os diversos métodos e instrumentos utilizados para avaliar a satisfação do usuário das unidades de saúde desde Donabedian 15. Este autor considera a avaliação da qualidade desde três pontos de vista diferentes - o do médico, o do paciente e o da comunidade. As questões relativas à qualidade podem ser observadas desses três ângulos, de forma complementar e ao mesmo tempo independentes.
Adotando-se um desses pontos de vista, tanto a definição quanto a avaliação da qualidade apresentarão diferenças em relação àquelas produzidas pelas outras perspectivas, sem que isto acarrete erro. O que é benéfico para um paciente considerado isoladamente pode ser danoso à comunidade, por constituir distribuição eventualmente desproporcional dos recursos disponíveis. Por sua vez, uma deliberação que implica dano insignificante para o médico, pode representar grande sofrimento ou insatisfação para o paciente, como, por exemplo, a retirada do doente do ambiente familiar para hospitalização 15.
Este conceito mais complexo de qualidade permite avançar no sentido de incorporar os não-especialistas - no caso, os pacientes - na definição de parâmetros e na mensuração da qualidade dos serviços. Embora tais parâmetros não sejam suficientes para sustentarem, sozinhos, uma definição mais refinada da qualidade, mas tampouco podem ser ignorados.
Diversos limites e desafios da avaliação dos serviços centrada no usuário, tanto do ponto de vista conceitual quanto metodológico, foram apontados pela literatura 7,14,16,17. Incorporar os não-especialistas na avaliação da qualidade implica, por exemplo, construir instrumentos adequados para captar a visão dos usuários. Os custos das pesquisas de satisfação do usuário nem sempre são vistos como compensadores do ponto de vista dos dirigentes das organizações, que podem considerar, entre outras coisas, a avaliação pelos usuários secundária em relação à dos especialistas, por envolverem mais aspectos subjetivos do que objetivos 17.
Ainda assim, mesmo que a mensuração da satisfação do usuário seja um processo complexo, a difusão da concepção de administração pública voltada para a qualidade, junto com o crescimento dos movimentos dos consumidores, acabou conferindo aos pacientes um lugar importante na avaliação dos serviços de saúde 18,19,20,21.
Por outro lado, tanto a maneira como as pesquisas são conduzidas quanto os seus resultados têm merecido considerações adicionais. Em pesquisas de satisfação do usuário realizadas em diversos países, os serviços de saúde costumam ser bem avaliados nas pesquisas com respostas fechadas, tipo surveys. Contudo, os resultados positivos, especialmente nos países mais pobres e desiguais, têm sido interpretados como resultado de uma baixa expectativa dos usuários quanto aos serviços e sua aceitação acrítica. As avaliações positivas podem expressar também, ausência de opinião e/ou a aceitação do paternalismo médico 21,22,23.
As avaliações do setor público são influenciadas por dimensões difíceis de serem mensuradas, mas que devem ser levadas em conta, tais como os princípios e os valores específicos do setor público e as expectativas que cada usuário tem para com os serviços, construídas com base em experiências passadas e em informações recebidas por meio da mídia e outros veículos 7.
Compreender como o usuário percebe o setor público e "o que" produz certas percepções e expectativas em contextos específicos - nacionais, organizacionais, culturais - estão entre os desafios teóricos e metodológicos das avaliações desde a perspectiva dos usuários. Essas questões certamente extrapolam os objetivos e o escopo deste trabalho.
Uma das metodologias de avaliação da satisfação do usuário mais conhecidas é aquela criada e desenvolvida por Parasuraman et al. 6, da Universidade de Miami, Estados Unidos. Trata-se de metodologia originalmente criada e aplicada na avaliação de diferentes tipos de serviços privados, baseada na avaliação de cinco dimensões do atendimento - agilidade, confiabilidade, empatia, segurança e tangibilidade. Apesar de ter sido desenvolvida para serviços privados, essa metodologia leva em consideração a expectativa dos usuários em relação ao serviço e a importância conferida a cada uma das dimensões. Baseia-se na escala de 10 pontos, solicitando que os usuários dêem notas de 0 a 10 aos diversos aspectos do atendimento. A partir das notas é calculada a taxa de satisfação relativa que é a diferença entre a satisfação e a expectativa. Também é feito o cálculo de GAP, que consiste na diferença, em porcentagem, entre a taxa de satisfação relativa e a nota da satisfação, resultando em um valor que significa o quanto falta para o usuário ficar plenamente satisfeito com o serviço.
A mensuração da expectativa, ainda que seja interessante no contexto dos serviços públicos, traz problemas tanto no modo de formulação da pergunta quanto na sua compreensão, sobretudo quando aplicada a um público de baixa escolaridade. A procura de maior objetividade das perguntas e avaliações voltadas para o usuário de serviços públicos de saúde produziu o conceito de responsividade para medir a qualidade dos sistemas de saúde.
Responsividade
Procurando minimizar a subjetividade presente nas avaliações de satisfação do usuário, a Organização Mundial da Saúde 24 propôs o conceito de responsividade, que se refere ao quanto o sistema de saúde se adequa às expectativas legítimas dos usuários. Este conceito refere-se ao modo como o sistema de saúde reconhece as expectativas legítimas da população em relação aos aspectos não médicos do cuidado, ou seja, os elementos não diretamente ligados ao estado de saúde. Em sua operacionalização, o conceito consideraria somente o que o usuário é capaz de avaliar, excluindo a competência técnica dos profissionais, por exemplo, e utilizando um formato de pergunta que se reporta mais ao que acontece do que ao quanto o usuário está satisfeito.
Os elementos da responsividade foram definidos com base na idéia de que, além de promover e manter a saúde dos indivíduos, o sistema de saúde deve tratá-los com dignidade, facilitando sua participação nas decisões sobre os tratamentos a serem adotados, incentivando a comunicação entre profissional de saúde e usuário e garantindo a confidencialidade do histórico médico 25.
São sete os componentes da responsividade, agrupados em dois componentes, respeito pelas pessoas e orientação para o cliente. O respeito pelas pessoas engloba a dimensão ética envolvida na interação das pessoas com o sistema de saúde: dignidade, confidencialidade, autonomia e comunicação. A orientação para o cliente inclui os componentes que influem na satisfação do paciente, mas que não estão diretamente ligados com o cuidado à saúde: agilidade, suporte social, instalações e escolha 25,26,27,28.
Ao avaliar a responsividade, consideram-se dois elementos. O primeiro é o que acontece quando as pessoas interagem com o sistema de saúde. Esse objetivo procura reportar o comportamento, evento ou ação do sistema de saúde. O segundo é medir a percepção das pessoas sobre o que acontece. Com isso procura-se analisar como as pessoas servidas pelo sistema de saúde percebem "o que acontece" e a avaliação do que elas percebem.
A estratégia de medir a responsividade dos sistemas de saúde dá maior ênfase ao primeiro desses objetivos. Procura apreender o que acontece quando o usuário interage com o sistema, o que pode ser obtido por meio de entrevistas com gestores, profissionais e informantes-chave do sistema. Mas também considera importante entender a percepção das pessoas sobre o que acontece, já que indivíduos ou segmentos da sociedade podem ter a percepção de que o sistema de saúde não lhes é responsivo, mesmo que indicadores sobre o "o que acontece" apontem o contrário.
Neste sentido, a metodologia que enfatiza a responsividade propõe formas de se fazer perguntas que reduziriam o fator subjetivo das respostas e também o chamado gratitude bias 21. Esta idéia se refere ao fato de que os usuários dos serviços públicos de saúde, especialmente em países periféricos, têm um sentimento de gratidão para com o serviço, o que dificulta uma visão mais crítica do atendimento. Existe inclusive o medo de perder o atendimento, conseguido, muitas vezes, com dificuldade.
Satisfação do usuário vs. responsividade
As diferenças da abordagem da responsividade e das pesquisas sobre satisfação do paciente estão tanto no tipo de perguntas quanto ao modo de formulá-las. Pesquisas sobre satisfação costumam perguntar o quanto a pessoa está satisfeita ou não com algum aspecto do serviço de saúde, levando-se em conta, geralmente, suas expectativas prévias. Já a estratégia da OMS para avaliar a responsividade é perguntar qual a freqüência com que determinado evento ocorreu. Com isso pretende-se maior objetividade nas respostas, que confrontariam a percepção das pessoas com dados mais concretos, em perguntas do tipo "Quanto tempo levou para o(a) Sr(a) ser atendido hoje na unidade de saúde?", ao invés de somente perguntar sobre o quanto a pessoa ficou satisfeita com o tempo que levou para ser atendida. As percepções individuais sobre o sistema de saúde seriam contrapostas às "expectativas legitimadas universalmente", ou seja, independente das expectativas individuais, existem parâmetros definidos como legítimos e universais para se avaliar os serviços de saúde 27.
Os proponentes da responsividade criticam as pesquisas de satisfação porque, ao avaliarem o quanto o sistema de saúde atende às expectativas dos usuários, não levam em conta que as pessoas que são mal atendidas acabam por diminuir suas expectativas. Assim, satisfazem-se com baixos níveis de desempenho, ainda que as "expectativas legitimadas universalmente" não tenham sido atendidas. As medidas sobre satisfação do paciente podem apagar diferenças na responsividade experimentadas justamente pelas pessoas que aprenderam a diminuir suas expectativas em relação aos serviços e para os quais o sistema é menos responsivo. Por isso, a mensuração da responsividade volta-se mais para a experiência das pessoas com o sistema de saúde.
Outra vantagem do tipo de pergunta da pesquisa sobre responsividade seria em relação à avaliação das mudanças. Como os sistemas de saúde mudam ao longo do tempo, para melhor ou para pior, o nível de expectativa também varia. Sob essas condições, os itens da pesquisa sobre responsividade refletiriam o que acontece com mais consistência do que os itens da satisfação. Na pesquisa que serviu de base para este artigo, as dimensões presentes na metodologia da responsividade foram adaptadas para a avaliação de um serviço de saúde fundamentado nos usuários.
Metodologia de construção do IRS
O IRS foi construído com base em pesquisa realizada no Instituto de Pesquisa Evandro Chagas (IPEC), unidade da Fiocruz, referência em atendimento e pesquisa em doenças infecto-contagiosas. A metodologia de construção do IRS implicou os seguintes procedimentos: (a) definição de variáveis a serem investigadas, (b) pesquisa composta por etapa qualitativa, com realização de entrevistas e quantitativa com aplicação de questionários a um número representativo de pacientes, (c) elaboração de um conjunto de indicadores sintéticos que compõem o índice de responsividade do serviço, o IRS, na perspectiva dos usuários.
Os dados quantitativos foram coletados em uma amostra de respondentes calculada com base no fluxo mensal de pacientes no IPEC. Foram considerados válidos 298 questionários, mantendo-se uma margem de erro de 5% em relação ao universo de pacientes. O questionário foi composto por 12 blocos, contendo ao todo 160 perguntas e levando entre 15 a 30 minutos de aplicação. As perguntas procuraram captar o que acontecia quando o paciente interagia com o serviço e o quanto ele estava satisfeito com a unidade e o atendimento recebido.
Dimensões selecionadas para o IRS
Na composição do IRS foram utilizadas as dimensões do atendimento relativas à responsividade da unidade de saúde, ou seja, quanto às expectativas legítimas dos usuários em relação aos aspectos não técnicos do atendimento. Como vimos anteriormente, as oito dimensões da responsividade podem ser agrupadas em dois grandes componentes: respeito pelas pessoas e orientação para o cliente. O respeito pelas pessoas engloba a dimensão ética envolvida na interação das pessoas com o sistema de saúde, sendo composto pelas seguintes variáveis: dignidade, confidencialidade, autonomia e comunicação. A orientação para o cliente inclui os componentes que influem na satisfação do paciente, mas que não estão diretamente ligados com o cuidado à saúde, englobando as seguintes variáveis: agilidade, suporte social, instalações e escolha.
Na escolha das variáveis a serem aplicadas no estudo foram feitos alguns ajustes tanto na definição quanto na importância conferida a algumas variáveis. Para esses ajustes foram levados em conta os resultados da etapa qualitativa da pesquisa, as especificidades da unidade de saúde em questão e as especificidades das unidades de saúde do Sistema Único de Saúde (SUS) em geral. A variável "escolha", por exemplo, que é definida pela OMS como a possibilidade que o paciente tem de escolher por quem quer ser atendido e de ouvir diferentes opiniões sobre a sua doença e sobre o seu tratamento, embora importante, é difícil de ser aplicada ao SUS. A possibilidade de escolha nas unidades públicas de saúde é bastante reduzida e por isso, não foi considerada na composição do IRS.
Considerando esta realidade, mais importância ainda tem a variável "respeito" no atendimento do médico ao paciente, independentemente de que médico for. Seguem as definições das variáveis que compõem as dimensões do IRS.
Respeito pelas pessoas
a) Dignidade: o paciente deve ser bem recebido e tratado com respeito e consideração nas unidades de saúde, em qualquer circunstância. O respeito à privacidade do paciente durante as consultas deve ser garantido;
b) Confidencialidade: a confidencialidade de toda a informação fornecida pelo paciente deve ser garantida, mantendo-a em arquivos médicos confidenciais, exceto se a informação for necessária para o tratamento para outros profissionais de saúde;
c) Atendimento: o profissional de saúde deve ouvir o paciente cuidadosamente e fornecer explicações de modo que o paciente possa entender, dispondo de tempo suficiente para esclarecer todas as suas dúvidas. Receber informações claras, objetivas e compreensíveis sobre: hipóteses diagnósticas, diagnósticos realizados, exames solicitados, ações terapêuticas; riscos e benefícios do tratamento etc.
Orientação para o cliente
a) Agilidade: os pacientes devem conseguir cuidado rápido em emergências e o tempo de espera por consultas e tratamento deve ser curto;
b) Instalações: o meio no qual o cuidado de saúde é provido deve ser limpo e oferecer conforto aos pacientes;
c) Informação e comunicação: a unidade deve prover sinalização adequada sobre os setores, por meio de pessoal e de placas; canais para ouvidoria dos pacientes; facilidade para conseguir informação sobre documentação, procedimentos, exames etc.
As perguntas para avaliar cada uma das variáveis acima foram selecionadas com base nos seguintes critérios: (a) a pergunta se referir a um acon-tecimento, (b) as opções de respostas estarem padronizadas no formato de escala ordinal (sempre, quase sempre, raramente, nunca), ou dicotômica (sim/não). Esse conjunto de perguntas está disposto no roteiro analítico, que relaciona cada pergunta à dimensão a que ela se refere (Tabela 1).
A construção do IRS
Assim como desenvolvido para o IPO, o objetivo de construção do IRS é condensar as informações coletadas, expressando da maneira mais sintética possível as percepções - positivas ou negativas - que os usuários apresentam em relação ao elenco de variáveis predefinidas 13.
A construção do IRS seguiu os seguintes passos: (a) definição de variação e escala, (b) cálculo do escore das perguntas, (c) cálculo dos valores do IRS para cada variável. Por fim, apresentam-se alguns resultados para exemplificar as possibilidades de análises do IRS.
Definição de variação e escala
Um índice pode ter amplitude de variação fechada, com limites de teto e de base para a sua variação, ou aberta, com amplitude teoricamente infinita. Essa diferença depende basicamente da natureza do objeto a ser mensurado, do grau de precisão desejado ou possível e do objetivo para qual o índice foi construído 1,11.
Seguindo o padrão desenvolvido para o IPO, definiu-se para o IRS uma variação fechada entre 0 e 1. O valor positivo máximo em relação à determinada dimensão do serviço é 1, sendo este considerado o padrão ideal a ser alcançado. A escala de interpretação dos valores do índice utilizada foi a seguinte: excelente (0,901 e 1); muito bom (0,801 a 0,900); bom (0,701 a 0,800); regular (0,601 a 0,700); ruim (0,401 a 0,600); muito ruim (0,201 a 0,400); péssimo (0,000 a 0,200).
Cálculo do escore das perguntas
O passo seguinte foi transformar, mediante as respostas do questionário, os dados categóricos em dados numéricos. A escala ordinal de quatro itens (sempre; quase sempre; raramente; nunca), foi a mais utilizada no questionário e, da mesma forma como no IPO 13, foram atribuídos os valores 10, 7, 3 e 0 para as categorias da escala. A maior diferença dos intervalos entre as categorias quase sempre e raramente, (que é de 4 pontos enquanto nas entre as demais é de 3 pontos) deveu-se ao grau de dissimilaridade ser nitidamente maior entre essas duas categorias do que entre as demais, para as quais supõem-se que o grau de dissimilaridade seja o mesmo.
Para as perguntas dicotômicas do questionário (opção de resposta sim ou não) foram atribuídos os valores 10 e 0. Em ambos os casos o valor 10 foi atribuído à resposta que expressava a avaliação mais positiva possível, e 0 à resposta que expressava a avaliação mais negativa possível, como mostra a Tabela 2.
Os valores atribuídos às respostas foram multiplicados à freqüência com que cada resposta foi escolhida. Os resultados dessas multiplicações foram então somados, obtendo-se um valor final chamado escore da pergunta. Este escore expressa a avaliação dos usuários sobre aquele indicador, que, segundo a escala de interpretação definida anteriormente, foi avaliado como excelente.
Cálculo do escore da pergunta:
Cálculo do valor do IRS para cada variável
Para a composição do índice de uma variável, considerou-se que as perguntas/quesitos deveriam ter diferentes pesos, por dois motivos: (a) relevância da dimensão ou aspecto do serviço que está sendo medido, com base nas questões ressaltadas pela literatura, particularmente no conceito de responsividade; (b) quantidade de perguntas/quesitos utilizados para mensurar diferentes aspectos de uma mesma variável.
Assim como o desenvolvido para o IPO 13 pelo escore das perguntas e da aplicação dos pesos, que busca hierarquizar os diferentes indicadores, obtem-se o primeiro valor sintético, o qual será posteriormente submetido a uma fórmula de transformação para sua conversão em índice.
Como exemplo para o IRS, utilizamos a variável agilidade para apresentar os critérios para atribuição de pesos. Agilidade pode se referir a diferentes situações e por isso cada situação recebeu distintos pesos (Tabela 3).
O índice para a agilidade foi composto por cinco quesitos, dois referentes ao primeiro atendimento e três referentes às consultas agendadas. Ao conjunto de perguntas relativas ao "primeiro atendimento" foi atribuído menor peso na composição da variável (1/3). Apesar de ser aspecto importante do atendimento, refere-se apenas a um evento que pode estar menos nítido na memória do entrevistado do que "consultas" que diz respeito a um evento que ocorre durante todo o tratamento.
Atribuiu-se a "consultas" então, o maior peso (2/3). Três perguntas captaram as percepções sobre este aspecto do atendimento: uma, referindo-se ao tempo de espera para consultas; outro, para a freqüência com que ocorrem atrasos, vale dizer, em que o tempo de espera é maior do que o normal; a terceira, a freqüência com que dão explicação para o atraso (quando ocorre). Sendo a última uma pergunta de filtro, não se poderia atribuir o mesmo peso que o atribuído às outras. As duas perguntas sobre atraso qualificam a questão da agilidade, mas não a medem diretamente.
Seguindo os procedimentos desenvolvidos para o IPO 13, o valor sintético obtido pelos cálculos acima ainda não corresponde diretamente aos valores do índice. Para obter isso, ele foi convertido para um valor entre 0 e 1. Além disso, a tendência utópica dos valores extremos também foi corrigida. O valor sintético alcançado por qualquer variável pode situar-se entre 0 e 10, que correspondem aos limites adotados na escala de medição. Todavia, os valores extremos - 0 e 10 - são utópicos, na medida em que para que uma variável atingisse o valor mínimo (0), seria necessário obter a pior avaliação possível por todos os respondentes e em todas as perguntas utilizadas para mensurá-la. O mesmo ocorre, na medida inversa, em relação ao valor máximo (10).
Como os resultados da pesquisa não apresentaram valores menores do que três, foi esse o valor tomado como base. Por outro lado, não se estipulou um valor de teto, uma vez que as avaliações foram muito positivas em alguns quesitos, chegando próximo ao valor máximo, e estipular um teto poderia mascarar essas avaliações. A conversão dos escores em um índice com variação entre 0 e 1 considerou essas implicações com base na fórmula de construção do IDH 1.
Resultados
Para dar uma idéia do tipo de resultado a que a metodologia apresentada aqui pode levar, ressaltamos alguns resultados da aplicação do IRS no IPEC/Fiocruz. A Figura 1 mostra o resultado de todos os seis índices obtidos.
Segundo a escala de interpretação proposta, a agilidade no atendimento foi considerada ruim pelos usuários, enquanto as instalações e a comunicação do hospital foram avaliadas como regulares. Já a confidencialidade foi avaliada como muito boa e a dignidade e a comunicação profissional/paciente, como excelentes.
A Figura 2 mostra um exemplo do índice de uma da variável agilidade, geral e por grupo de escolaridade. O valor do índice agilidade diminuiu conforme aumentou a escolaridade, confirmando um dado já apontado na literatura, de que a escolaridade influi na avaliação dos serviços de saúde. Quanto maior a escolaridade, pior foi a avaliação da agilidade do atendimento.
A Figura 3 mostra o resultado da agregação dos índices em dois índices mais gerais, conforme o roteiro analítico, e também a distribuição dos valores por escolaridade. Vê-se que o índice para o respeito às pessoas praticamente não variou entre os grupos de escolaridade enquanto no índice da orientação para o cliente o valor diminuiu conforme aumentou a escolaridade, indicando que o grau de escolaridade influi na avaliação dessa dimensão.
Considerações finais
O índice possibilitou mensurar a visão dos usuários sobre diferentes aspectos da organização. Conseguiu-se uma considerável redução dos dados aliada a um grau satisfatório de detalhamento da informação. O potencial analítico do IRS mostrou-se adequado, podendo ser gerado com base em grupos pré-estabelecidos, tais como escolaridade, patologia, tempo de tratamento etc., permitindo uma análise comparativa entre os distintos grupos.
As avaliações dos usuários do IPEC/Fiocruz sobre o atendimento recebido foram bastante positivas, especialmente da dimensão orientação para as pessoas, considerado muito bom na visão dos pacientes. Esse resultado que já era esperado visto o IPEC/Fiocruz ser uma unidade de referência em pesquisa e atendimento em doenças infecto-contagiosas, corrobora achados da etapa qualitativa da pesquisa, que mostrou a valorização por parte dos pacientes do atendimento recebido no IPEC/Fiocruz, particularmente o acolhimento e o atendimento individualizado.
Essas avaliações positivas refletem a alta qualidade do serviço prestado, porém, não se pode descartar a influência do viés de gratidão que dificulta que avaliações mais críticas apareçam. Estudos realizados em outros contextos, sobretudo nos países mais pobres e desiguais, associam a baixa expectativa dos usuários em relação à qualidade dos serviços de saúde a índices positivos de satisfação com esses serviços. O caso estudado se trata de uma unidade de referência, de alta complexidade, para doenças infecto-contagiosas, em instituição de prestígio nacional, o que pode ter reforçado o gratitude bias. Entretanto, para testar de forma consistente a hipótese da alta satisfação em pacientes de baixa renda em contextos de alta desigualdade, outras pesquisas devem ser realizadas.
Qualquer metodologia, por mais que parta de certos pressupostos e categorias teoricamente justificadas, sempre deverá adequar-se ao seu contexto de aplicação. Ainda que a categoria responsividade possa, teoricamente, ser usada para explicar certas dimensões de qualquer serviço de saúde, os instrumentos de pesquisa deverão ser capazes de captar o que é especifico de determinados contextos e traduzir essa especificidade em variáveis correspondentes.
Por outro lado, a operacionalização de um instrumento de medida e acompanhamento em unidades públicas de saúde é uma questão longe de trivial, por inúmeras razões, que vão desde a descontinuidade na gestão, falta de vontade e de recursos para coleta permanente de dados, até pouca convicção de que um instrumento de monitoramento vá efetivamente produzir melhorias nos serviços. Uma pergunta que fica em aberto é até que ponto os dirigentes têm, de fato, interesse em medir o desempenho e as respostas dos serviços sob sua responsabilidade? De um modo geral, os gestores e profissionais de saúde se deparam com inúmeros incêndios cotidianos, o que limita inclusive a abertura para a reflexão e a coleta de dados que poderiam permitir uma avaliação sistemática e ao longo do tempo.
Uma limitação do estudo a ser superada é a sua validação para aplicabilidade em contextos diversos. Um potencial do IRS não explorado neste artigo é a comparação dos resultados da avaliação feita junto aos funcionários (IPO) com os resultados do IRS. Essa comparação poderá lançar luzes às possíveis relações entre as condições de trabalho da organização e a qualidade dos serviços sob a ótica dos usuários.
Colaboradores
G. R. B. Andrade trabalhou na concepção do artigo, na redação e nas adaptações da metodologia descrita. J. Vaitsman colaborou na redação e na revisão crítica do artigo. L. O. Farias contribuiu na concepção do artigo e da metodologia descrita.
Referências
1. Programa das Nações Unidas para o Desenvolvimento. Relatório de desenvolvimento humano 2000. Lisboa: Trinova Editora; 2000.
2. Fundação João Pinheiro/Instituto de Pesquisa Economia Aplicada. Desenvolvimento humano e condições de vida: indicadores da região metropolitana de Belo Horizonte, 1980-1991. Belo Horizonte: Fundação João Pinheiro/Rio de Janeiro: Instituto de Pesquisa Economia Aplicada; 1998.
3. Almeida AC. Como utilizar dados agregados para formular índices: o caso do índice de qualidade dos municípios - carências. In: Anais do 2º Seminário Fluminense de Indicadores. Rio de Janeiro: Fundação Centro de Informações e Dados do Rio de Janeiro; 2001. p. 33-40.
4. Barros PR, Carvalho M, Franco S. O índice de desenvolvimento da família. Rio de Janeiro: Instituto de Pesquisa Economia Aplicada; 2003.
5. Torres HG, Ferreira MP, Dini NP. Indicadores sociais: por que construir novos indicadores como o IPRS. São Paulo Perspect 2003; 17:80-90.
6. Parasuraman A, Zeithaml VA, Berry L. SERVIQUAL: a multiple-item scale for measuring customer perceptions of service quality. Journal of Retailing 1988; 64:12-40.
7. Dinsdale GB, Manson DB, Schmidt F, Strickland T. Metodologia para medir a satisfação do usuário no Canadá: desfazendo mitos e redesenhando roteiros. Brasília: Escola Nacional de Administração Pública; 2000.
8. Kotaka F, Pacheco ML, Higaki Y. Avaliação pelos usuários dos hospitais participantes do programa de qualidade hospitalar do Estado de São Paulo, Brasil. Rev Saúde Pública 1997; 31:171-7.
9. Kloetzel K, Bertoni AM, Irazoqui MC, Campos VPG, Santos RN. Controle de qualidade em atenção primária à saúde. I. A satisfação do usuário. Cad Saúde Pública 1998; 14:623-8.
10. Vaitsman J, Andrade GRB, Farias LO, Médici MEV, Nascimento LR. Gestão de qualidade e satisfação dos usuários em organizações públicas de saúde: um estudo piloto no Instituto de Pesquisa Evandro Chagas. Relatório final. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz; 2003.
11. Babbie E. Métodos de pesquisa survey. Belo Horizonte: Editora UFMG; 1999.
12. Hollanda E, Siqueira SV, Andrade GRB, Pinto LF, Molinaro A, Sette ME. Satisfação dos usuários em três unidades de atenção à saúde da Fundação Oswaldo Cruz. Relatório final. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz; 2008.
13. Vaitsman J, Farias LO, Mattos AM, Campos Filho AC. Metodologia de elaboração do Índice de Percepções Organizacionais. Cad Saúde Pública 2003; 19:1631-43.
14. Vaitsman J, Andrade GRB. Satisfação e responsividade: formas de medir a qualidade e a humanização da assistência à saúde. Ciênc Saúde Coletiva 2005; 10:599-613.
15. Donabedian A. La calidad de la atención médica: definición y métodos de evaluación. México DF: La Prensa Médica Mexicana; 1984.
16. Vuori H. Patient satisfaction: an attribute or indicator of the quality of care? QRB Qual Rev Bull 1987; 13:106-8.
17. Williams B. Patient satisfaction: a valid concept? Soc Sci Med 1994; 38:509-16.
18. Gouveia GC, Souza WV, Luna CF, Souza-Júnior PRB, Szwarcwald CL. Health care users' satisfaction in Brazil, 2003. Cad Saúde Pública 2005; 21 Suppl 1:S109-18.
19. Thompson AGH. The meaning of patient involvement and participation in health care consultations: a taxonomy. Soc Sci Med 2007; 64:1297-10.
20. Kroneman MW, Maarse H, Zee JVD. Direct access in primary care and patient satisfaction: a European study. Health Policy 2006; 76:72-9.
21. Bernhart MH, Wiadnyana IGP, Wihardjo H, Pohan I. Patient satisfaction in developing countries. Soc Sci Med 1999; 48:989-6.
22. Pascoe GC. Patient satisfaction in primary health care: a literature review and analysis. Eval Program Plann 1983; 6:185-210.
23. Ramírez-Sánches TJ, Nájera-Aguilar P, Nigenda-Lópes G. Percepción de la calidad de la atención de los servicios de salud en México: perspectiva de los usuarios. Salud Pública Méx 1998; 40:3-12.
24. World Health Organization. The World Health Report 2000. Health systems: improving performance. Geneva: World Health Organization; 2000.
25. Silva A. A framework for measuring responsiveness. Geneva: World Health Organization; 1999. (GPE Discussion Paper Series, 32).
26. Gakidou E, Murray CJL, Frenk J. Measuring preferences on health system performance assessment. Geneva: World Health Organization; 2000. (GPE Discussion Paper Series, 20).
27. Coulter A, Jenkinson C. European patient's views on the responsiveness of health systems and healthcare providers. Eur J Public Health 2005; 15:355-60.
28. Darby C, Valentine N, Murray CJL, Amala S. Strategy on measuring responsiveness. Geneva: World Health Organization; 2000. (GPE Discussion Paper Series, 23).
Correspondência:
G. R. B. Andrade
Departamento de Ciências Sociais
Escola Nacional de Saúde Pública Sergio Arouca
Fundação Oswaldo Cruz
Rua Leopoldo Bulhões 1480, 9º andar
Rio de Janeiro, RJ 21041-210, Brasil
gandrade@ensp.fiocruz.br
Recebido em 23/Mar/2009
Versão final reapresentada em 09/Dez/2009
Aprovado em 15/Jan/2010