ARTIGO/ARTICLE
Avaliação em saúde: limites e perspectivas
Health evaluation: problems and perspctives
Ligia Maria V. da Silva; Vera Lúcia A. Formigli
Departamento de Medicina Preventiva da Universidade Federal da Bahia. Rua Padre Feijó, 29 - 4º andar - Anexo II. Salvador, BA, 40110-170, Brasil
RESUMO
É realizada discussão sobre a avaliação em saúde no que diz respeito ao seu objeto, atributos, enfoques teóricos e desenhos, a partir da revisão da literatura sobre o tema. São relacionadas possíveis técnicas para avaliação da eficácia, efetividade, cobertura e qualidade técnico-científica dos serviços de saúde, além da satisfação dos usuários. Os desenhos da chamada "pesquisa avaliativa" são comparados com aqueles da epidemiologia. A diversidade terminológica, insuficiências e inadequações de alguns métodos e técnicas dominantes na literatura específica são identificados como problemas a serem superados. É também discutida a incipiente incorporação da prática da avaliação no processo concreto de gestão dos serviços de saúde no nosso meio e relacionadas as possibilidades de utilização das informações registradas rotineiramente nas unidades sanitárias para o processo de avaliação. Por fim, são identificadas as necessidades de desenvolvimento metodológico para avaliação dos recentes projetos de reorganização de práticas de saúde em distritos sanitários e sistemas locais de saúde e apontadas perspectivas nessa direção.
Palavras-Chave: Avaliação; Qualidade; Investigação em Serviços de Saúde
ABSTRACT
This is a literature review of theoretical and methodological issues on health care evaluation of research and technical reports. Conceptual frameworks, approaches, subject matter, strategies, and study designs are identified and analyzed. Evaluative research designs are compared with epidemiological ones. A diverse terminology was encountered, and many methodological problems in the literature were examined. The incorporation of evaluative procedures in health planning or health policy-making and administration is still limited in Brazil, particularly at the local level. Recent implementation of projects for the reorganization of the health services system based on the administrative autonomy of Local Health Units raises the need for more appropriate strategies aimed at health care evaluation. Perspectives for the development of alternative strategies are indicated.
Key words: Evaluation; Quality; Health Services Research
INTRODUÇÃO
O Processo saúde-doença constitui-se num fenômeno complexo, cuja gênese envolve determinações de ordem biológica, econômica, social, cultural e psicológica (Breilh, 1991; Breilh & Granda, 1986; Laurell, 1983), sendo que as necessidades de saúde a ele relacionadas dizem respeito a estas diversas dimensões do real. Também as ações que tomam como objeto o processo saúde-doença, embora possuam características técnicas evidentes, têm se organizado, historicamente, enquanto práticas sociais (Donnangelo, 1976), podendo ou não guardar relação com as necessidades de saúde ou, mesmo, com as necessidades de serviços de saúde (Paim, 1982). Desta forma, nem as necessidades de saúde nem as práticas a elas referidas existem em abstrato, possuindo historicamente a ser buscada por quem pretende investigá-las.
As relações entre as práticas e as necessidades de saúde podem ser apreendidas a partir de duas vertentes principais. A primeira delas consiste na busca dos seus significados econômicos, políticos e ideológicos, bem como da especificidade dessas relações em sociedades concretas. A segunda diz respeito à capacidade das práticas modificarem uma dada situação de saúde, atendendo ou não às necessidades de saúde de determinada população, ou seja, refere-se à discussão sobre suas características e seus efeitos.
Nesta última perspectiva, a técnica da avaliação ganha relevância, por um lado associada à possibilidade e necessidades de intervenções capazes de modificar certos quadros sanitários, e, por outro, diante da verificação das dificuldades enfrentadas por essas mesmas práticas para alterarem indicadores de morbi-mortalidade em outras tantas circunstâncias.
Sob o rótulo de "avaliação" reúnem-se diversas atividades, cujo aspecto varia desde um julgamento subjetivo do desenvolvimento de determinada prática social, do tipo "fomos bem?", "deu resultados?", "estamos satisfeitos?", até a chamada pesquisa avaliativa (Suchman, 1967; Weiss, 1972), que busca responder a perguntas semelhantes recorrendo a métodos e técnicas possuidoras de maior objetividade.
Além disso, as práticas de saúde, à semelhança de outras práticas sociais, podem constituir-se em objeto de avaliação nas suas diversas dimensões, seja enquanto cuidado individual, seja nos seus níveis mais complexos de intervenção e de organização, como políticas, programas, serviços ou sistemas.
O primeiro problema enfrentado por aqueles que procuram tratar a avaliação de forma sistemática é a enorme diversidade terminológica encontrada nos enfoques teóricos sobre o tema, tanto no que diz respeito às possíveis abordagens quanto no que concerne aos seus atributos ou componentes. Além disso, naqueles trabalhos onde programas ou serviços de saúde são efetivamente avaliados, não existe, freqüentemente, sequer a preocupação, por parte dos autores, com a definição dos termos empregados. Essa variedade de definições relaciona-se com a complexidade do objeto avaliação em saúde, que pode desdobrar-se em tantas quantas forem as concepções sobre saúde e práticas de saúde.
Por outro lado, na prática cotidiana dos serviços de saúde no Brasil, a avaliação não é feita rotineiramente ou, pelo menos, enfrenta dificuldades metodológicas e operacionais não respondidas completamente no plano da investigação. O presente artigo busca contribuir com o esforço de sistematização desse conhecimento, na perspectiva de sua apropriação pelos gestores e profissionais de saúde.
OBJETO E NÍVEIS DE AVALIAÇÃO
As práticas de saúde desenvolvem-se em diversos níveis de complexidade, que vão desde o cuidado individual, que envolve a relação profissional/usuário, até os sistemas distritais, municipais, estaduais e nacionais de saúde. Os recortes possíveis são inúmeros. Paim (1993), por exemplo, situou os distritos sanitários em relação às seguintes formas e níveis de organização dos serviços de saúde: a) ações de saúde; b) serviços de saúde; c) estabelecimentos de saúde; d) distrito sanitário; e) instituições de saúde; f) sistema de saúde; g) sistema político; h) sistema econômico e social. Já Donabedian (1980a), ao discutir as influências do contexto na definição da qualidade do cuidado, distingue quatro níveis de organização dos provedores do cuidado médico: a) o profissional individual; b) diversos profissionais; c) uma equipe organizada; dA) plano, instituição e sistema.
A depender do nível da realidade que é tomado como objeto do processo de avaliação, os problemas metodológicos e teóricos podem ser distintos. Por exemplo, quando o enfoque é direcionado ao indivíduo, ganham centralidade as relações que se estabelecem entre prestadores e usuários, bem como as características de ordem técnica referentes ao cuidado em si. Já quando se trata de avaliar um sistema de saúde, ganham relevo a acessibilidade, a cobertura e a eqüidade. A maior parte dos estudos disponíveis sobre o tema, na literatura especializada, versa, sobre a avaliação do cuidado individual, de serviços (hospitais, centros de saúde) ou de programas.
OS PRINCIPAIS ATRIBUTOS: EFETIVIDADE, IMPACTO, EFICÁCIA, QUALIDADE, EFICIÊNCIA, ACESSIBILIDADE, EQÜIDADE, COBERTURA E SATISFAÇÃO DO USUÁRIO
Os atributos referem-se às características das práticas de saúde e da sua organização social. Podem ser assim agrupados: a) relacionados com a disponibilidade e distribuição social dos recursos (cobertura, acessibilidade e eqüidade); b) relacionados com o efeito das ações e práticas de saúde implementadas (eficácia, efetividade e impacto); c) relacionados com os custos das ações (eficiência); d) relacionados com a adequação das ações ao conhecimento técnico e científico vigente (qualidade técnico-científica); e) relacionados à percepção dos usuários sobre as práticas (satisfação dos usuários, aceitabilidade).
A utilização dessas noções varia enormemente de autor para autor, existindo tentativas de hierarquização das mesmas. A qualidade é vista, com freqüência, como o aspecto central a ser considerado para a avaliação em saúde (Donabedian, 1980a; Vuori, 1982). A abrangência deste termo impõe que a sua definição resulte, freqüentemente, de uma composição a partir de outras características do objeto a ser avaliado. Para Vuori (1982), a qualidade dos serviços de saúde seria constituída pela efetividade, eficiência, adequação e qualidade técnico-científica.
Donabedian (1980a), que desenvolveu uma discussão sistemática sobre a questão, num dos seus artigos expressava dúvidas acerca da natureza da noção de qualidade, ou seja, apesar de afirmar ser a qualidade uma propriedade do cuidado médico, considerava não estar claro se a mesma era um atributo único, uma classe de atributos funcionalmente relacionados ou um conjunto heterogêneo de fenômenos reunidos pelo uso, razões administrativas ou preferências pessoais. Para este autor, a busca de uma definição para a qualidade deveria se iniciar a partir das dimensões do cuidado médico, a saber: a técnico-científica, a relação interpessoal e as "amenidades" (conforto e estética das instalações e equipamentos). Apesar de identificar três possíveis definições para a qualidade, a depender do contexto absolutista, individualizada e social, questionava se alguns dos componentes da definição social da qualidade, como o aceso e continuidade, não seriam, na realidade, instrumentos para a obtenção da qualidade, e não componentes da mesma, alertando para o risco da perda da utilidade analítica do conceito com a sua ampliação. Justificava, assim, sua opção pelo estudo da qualidade do cuidado médico, pois mesmo a avaliação de programas só aproximar-se-ia, segundo ele, da aferição da qualidade quando o mesmo envolvesse a prestação de cuidado individual. Nesta perspectiva, elaborou inicialmente uma definição, segundo a qual a qualidade poderia ser entendida como a intervenção capaz de alcançar o melhor balanço entre benefícios e riscos. Foi proposto um modelo unificado para aferição da qualidade envolvendo o balanço entre riscos, benefícios e custos do cuidado (Donabedian et al., 1982). Já em artigo posterior, Donabedian (1990), surpreendentemente, passou a considerar a qualidade um fenômeno complexo a ser definido a partir dos seguintes atributos do cuidado médico: eficácia, efetividade, eficiência, otimização, aceitabilidade, legitimidade e eqüidade. Em 1991, este mesmo autor definiu a qualidade como um julgamento tanto sobre o componente técnico quanto sobre as relações interpessoais entre o cliente e o profissional, naquilo que estas características têm de "bom" (goodness). Considerava, ainda, que a qualidade da dimensão técnica do cuidado deveria ser julgada pela sua efetividade, o que corresponde, em última análise, a considerar esses dois termos como equivalentes.
Verifica-se freqüentemente uma superposição entre as definições de eficácia, efetividade, eficiência e, mesmo, qualidade, a começar pelo Dicionário Aurélio (Ferreira, 1986), que considera os três primeiros como sinônimos. Eficaz é o "que produz o efeito desejado"; eficiência é a "ação, força, virtude de produzir um efeito"; e efetivo é o "que se manifesta por um efeito real". A qualidade tem sido definida como "efeito" (Donabedian, 1980a); a efetividade, como qualidade (Freeborn & Greenlick, 1973). Tanto a eficácia como a efetividade têm sido definidas em relação ao cumprimento de objetivos propostos (Rundall, 1992; Rodrigues & Torres, 1982). A efetividade tem sido vista, ainda, como um atributo composto pela eficiência e pela eficácia (Campos, 1988).
Observa-se, contudo, uma evolução na atribuição de significado a alguns desses conceitos. A eficácia, por exemplo, inicialmente era definida como benefício ou efeito da atividade pela OMS (1970), ou como cumprimento de metas em livros didáticos de administração sanitária (Ferrara et al., 1976), ou ainda utilizada como equivalente a efetividade (Doll, 1974). Mais recentemente, verifica-se uma tendência à convergência entre algumas definições. A eficácia vem sendo referida mais consistentemente como o efeito potencial ou o efeito em determinadas condições experimentais (Vuori, 1982; Cavallo et al., 1988; Donabedian, 1990; OTA, 1978). Já a efetividade e o impacto traduziriam o efeito real num sistema operacional (Chavez, 1981; Brook & Lohp, 1985; Vuori, 1982; Donabedian, 1990; OTA, 1978).
Embora sem uma fundamentação convincente, a diferença entre impacto e efetividade tem sido buscada tanto em relação ao objeto da avaliação quanto no que concerne ao tempo. Ou seja, o efeito de determinado serviço sobre um grupo populacional corresponderia à efetividade. Por outro lado, o efeito de um "sistema" sobre uma população expressaria o impacto (De Geyndt, 1970). Em relação ao tempo, o curto prazo diria respeito à efetividade e o longo prazo, ao impacto (Rundall, 1992).
Dentre essas noções, a qualidade, a efetividade, o impacto, a eficiência e a satisfação do usuário são consideradas, por alguns autores, como atributos do cuidado médico. Já a cobertura, o acesso e a eqüidade são referidas ao "sistema de saúde" (Lane & Kelman, 1975). Freeborn & Greenlick (1973) consideram a efetividade e aeficiência como abordagens para avaliação. Já Doll (1974)considera a eficácia médica, a aceitação social e a eficiência econômica como atributos da efetividade.
No que tange à eficiência, as concordâncias são relativamente maiores, correspondendo essa noção às relações entre custos e resultados, ou entre resultados e insumos. Donabedian (1990), contudo, distingue a otimização (optimality) da eficiência. A primeira corresponderia ao cuidado efetivo, possível de ser obtido através da relação custo/benefício mais favorável. Já a segunda corresponderia ao máximo cuidado efetivo obtido ao menor custo. Ou seja, a noção de otimização do cuidado implica que, atingido um determinado estágio de efetividade do cuidado, melhorias adicionais seriam pequenas diante da elevação dos custo, o que implicaria um ponto de corte baseado na relação custo-benefício, e não no grau máximo de efetividade possível de ser atingido. Considera, ainda, como atributo a ser considerado a legitimidade, que corresponderia ao grau de aceitabilidade por parte da comunidade ou da sociedade como um todo.
ENFOQUES TEÓRICOS
O referencial teórico que informa a maneira pela qual o autor vai descrever e buscar apreender o real, na literatura corrente sobre avaliação, tem sido referido como "abordagem" (approach).
O esforço mais bem-sucedido de classificação das abordagens possíveis para a avaliação em saúde foi desenvolvido por Donabedian (1980b), que concebeu a tríade "estrutura-processo-resultados", a partir do referencial teórico sistêmico. Para este autor, particularmente preocupado com a aferição da qualidade do cuidado médico, a "estrutura" corresponderia às características relativamente estáveis dos seus provedores, aos instrumentos e recursos, bem como às condições físicas e organizacionais; o "processo" corresponderia ao conjunto de atividades desenvolvidas na relação entre profissionais e pacientes; e os "resultados" seriam as mudanças verificadas no estado de saúde dos pacientes que pudessem ser atribuídas a um cuidado prévio (Donabedian, 1980b). Também poderiam ser considerados como resultados mudanças relacionadas com conhecimentos e comportamentos, bem como a satisfação do usuário decorrente do cuidado prestado (Donabedian, 1992).
Os problemas e vantagens da utilização de cada uma dessas abordagens são discutidos minuciosamente por Donabedian (1980b, 1992). Este autor considera ser o processo o caminho mais direto para o exame da qualidade do cuidado (1980b). Já os resultados possuiriam a característica de refletir os efeitos de todos os insumos do cuidado, podendo, pois, servir de indicador para a avaliação indireta da qualidade, tanto da estrutura quanto do processo (1992). O autor também ressalta a importância da estrutura para o desenvolvimento dos processos e seus conseqüentes resultados, na medida em que a própria função de monitoramento é parte da estrutura, além dos diversos outros aspectos organizacionais e daqueles relacionados com os recursos materiais que influenciam o processo (1980b).
Considerando que, isoladamente, cada uma dessas alternativas apresenta problemas e insuficiências, Donabedian (1992) conclui que a melhor estratégia para a avaliação da qualidade requer a seleção de um conjunto de indicadores representativos das três abordagens.
Outros autores propuseram variações ou agregaram outros componente à tríade original. Freeborn & Greenlick (1973), elegendo os "sistemas de cuidado ambulatorial" como objeto de análise, concluem que a avaliação deve aferir não só a efetividade técnica, mas também o seu componente psicossocial, além da eficiência. Em seguida, tomando por base o trabalho de Donabedian, detalham os componentes de cada abordagem, incluindo a acessibilidade e a continuidade do cuidado como elementos do processo. A avaliação da efetividade psicossocial seria dada pela satisfação de usuários e profissionais, a qual seria aferida em relação à acessibilidade, à qualidade do cuidado, à relação interpessoal e à organização do sistema. A eficiência do sistema seria mensurada através da relação entre insumos (input) e produtos (output), em como da relação entre custo e produto. De Geyndt (1970) desdobra a abordagem de processo em "conteúdo" e "processo" propriamente dito: a primeira corresponderia ao cuidado prestado ao paciente, enquanto a segunda diria respeito a toda as ações desenvolvidas pela equipe de saúde. Variações relacionadas com o objeto da avaliação são encontradas em Blum (1974). Já Doll (1974) considera os atributos de eficácia, eficiência e aceitabilidade como abordagens a serem cruzadas matricialmente com aquelas de processo e resultados, por considerar a estrutura como parte do processo.
As principais limitações decorrentes deste tipo de referencial relacionam-se com as inconsistências decorrentes da concepção sistêmica para a análise do real. Este enfoque teórico opera, por vezes, uma homogeneização de fenômenos de natureza distinta, como, por exemplo, recursos materiais e humanos englobados sob o mesmo rótulo de "estrutura". Este referencial também supõe a existência de ordem, harmonia e direcionalidade, numa relação funcional entre os componentes da tríade, o que na prática concreta dos serviços de saúde não se verifica: a estrutura necessariamente não influi no processo, e o processo nem sempre guarda relação com o resultado.
Se diversos usos podem ser identificados para este modelo quando o estudo tem por objeto o cuidado médico, a despeito do recorte esquemático por ele operado, as suas inadequações ficam mais evidentes quando a análise se desloca do cuidado médico para níveis mais complexos de organização das práticas de saúde em municípios ou distritos sanitários. Nestes casos, o obscurecimento do contexto e da historicidade do objeto, operado pela suposta universidade do paradigma, compromete a compreensão do significado dos eventos. A redução da mortalidade por tuberculose na Inglaterra do século XIX é um "resultado" decorrente de "processos" e de "estruturas" completamente distintas daquelas existentes no Brasil do final do século XX, por exemplo.
Também verifica-se uma baixa especificidade desses termos. Se pensarmos num município ou distrito, por exemplo, é preciso explicitar qual estrutura, qual processo e quais resultados pretende-se estudar. É a estrutura física das unidades sanitárias? É a estrutura organizacional da rede de serviços? É a estrutura social nas suas relações com os serviços?
Além disso, deve-se explicitar também quais os processos que seriam considerados. Seria o processo da gestão da rede ou seria o somatório dos processos de trabalho relacionados com o cuidado? Os resultados seriam os serviços produzidos, a satisfação do usuário ou o impacto sobre o nível de saúde da população? O modelo assistencial pode ser considerado tanto como estrutura como processo. Já um sistema de referência e contra-referência tanto pode ser considerado como estrutura, por fazer parte da organização administrativa, como pode ser considerado como processo e, mesmo, como produto ou resultado. Ou seja, as noções de estrutura/processo e resultados podem de fato referir-se a todos esses aspectos envolvidos com as práticas de saúde e sua organização social, a depender do nível da hierarquia do sistema considerado, o que resulta numa baixa especificidade para os mesmos.
O próprio Donabedian (1992) registra os limites do paradigma por ele elaborado, alertando para o fato de ser o mesmo uma versão simplificada da realidade. Considera também que a sua validade relaciona-se com a existência de relação causal entre os pares adjacentes (estrutura, processo e resultados), relação esta que é de probabilidade, e não de certeza. Sublinha, ainda, que as dificuldades encontradas para a distinção entre as três categorias do paradigma surgem mais freqüentemente quando se separa o mesmo do âmbito clínico, para o qual ele foi desenhado, e se tenta utilizá-lo em outros tipos de avaliação.
DESENHOS
Como toda avaliação implica um julgamento, cujo revedicto baseia-se numa comparação entre aquilo que se deseja avaliar e uma situação ideal ou equivalente, o desenho da avaliação refere-se à forma através da qual essa comparação será feita.
Os desenhos descritos nos trabalhos sobre a pesquisa avaliativa superpõem-se parcialmente a alguns dos tipos de estudos epidemiológicos (Quadro 1): ambos têm uma matriz comum, derivada da incorporação da estatística e do método experimental às ciências sociais (Campbell & Stanley, 1966; Greenwood, 1972; Moser & Kalton, 1972; Selltiz et al., 1972; Blalock, 1976; Marinho, 1980; Demo, 1989).
Numa perspectiva metodológica quantitativa, o desenho "ideal" corresponde ao estudo controlado, onde um grupo experimental é comparado a um grupo controle, ambos selecionados aleatoriamente e observados antes e depois da intervenção realizada no grupo experimental (Figura 1). Se a diferença entre X e X1 é significativa, o programa é um sucesso (Suchman, 1967; Weiss, 1972).
FIGURA 1. Desenho Experimental
A tipologia adotada pelos autores da pesquisa avaliativa baseia-se fundamentalmente naquela desenvolvida por Campbell & Stanley (1966). O Quadro 1 correlaciona alguns dos desenhos descritos por Campbell & Stanley (1966) e utilizados por estudiosos da pesquisa avaliativa (Weiss, 1972; Schuman, 1967) com alguns tipos de estudos epidemiológicos (Lilienfeld, 1976; Almeida-Filho & Rouquayrol, 1993). O X corresponde a uma determinada intervenção e o O à observação feita antes ou depois da mesma, a depender da posição relativa entre os dois símbolos: por exemplo, O1 X O2 corresponde a um tipo de desenho onde é feita uma observação O1, prévia à intervenção X a ser comparada com a observação O2, subseqüente à referida intervenção.
Os estudos experimentais correspondem, na Epidemiologia, aos estudos de intervenção. Embora todos os autores concordem que, na prática concreta da investigação e da avaliação dos serviços, este tipo de investigação dificilmente pode ser realizado, principalmente por razões éticas, ele é considerado como referência e modelo, a partir do qual são derivados os demais. Em algumas circunstâncias, este tipo de obstáculo pode não existir, como no estudo de Marwick (1988) sobre a eficácia de uma vacina acelular contra a coqueluche, realizado na Suécia. Naquele país, desde 1979 que a vacina contra a coqueluche havia deixado de fazer parte do esquema rotineiro de imunizações. Quando o estudo foi realizado, em 1986, a vacinação obrigatória ainda não havia sido reintroduzida, o que permitiu, do ponto de vista ético, a formação de um grupo controle, que recebeu placebo.
O entendimento, contudo, do que significa um experimento em ciências sociais varia bastante. Greenwood (1972), em revisão abrangente da literatura sobre o tema, refere ter encontrado mais de uma centena de definições, por ele agrupadas em cinco tipos: 1) experimentação pura; 2) experimentação não-controlada; 3) expeimentação ex-post facto (ou retrospectiva); 4) o experimento de ensaio e erro; e 5) a observação controlada. O experimento "puro", à semelhança das Ciências Físicas, implicaria uma intervenção sobre a realidade por parte do investigador, com elevado grau de controle, o que inviabilizaria a adoção deste método, na prática, pelas Ciências Humanas, dada a impossibilidade de se controlar os fenômenos sociais. No extremo oposto há uma concepção bastante flexível, onde a vida seria um experimento constante, cabendo ao investigador apenas observar (experimento ensaio e erro) ou controlar indiretamente (experimentação ex-post).
Weiss (1972), recorrendo a Campbell (1963), classifica os desenhos em experimentais, quase-experimentais e não-experimentais. Nos desenhos quase-experimentais, ou o grupo controle não é selecionado aleatoriamente ou se tratam de estudos de séries temporais; naqueles não-experimentais é feita apenas a comparação entre o grupo que sofre a intervenção antes e depois da mesma, sem controle, ou ainda apenas a situação do grupo após a intervenção é aferida.
Praticamente todos os tipos de estudos epidemiológicos podem ser acionados para uma investigação avaliativa na área da saúde. A escolha do tipo de estudo vai depender do atributo que se queira avaliar. Por exemplo, a avaliação da eficácia de determinado cuidado requer estudos experimentais controlados (Marwick, 1988) ou do tipo caso-controle. A eficácia da vacina BCG tem sido verificada também através de estudos do tipo caso-controle (Blin et al., 1986). Já a avaliação de impacto pode ser feita através da comparação entre estudos transversais antes e depois da intervenção (Unicef, 1990), acompanhamento de coortes (Fortmann et al., 1990) ou análise de séries temporais (Beaglehole, 1990).
Outros atributos das práticas, contudo, requerem o aporte de outros métodos também oriundos das Ciências Sociais, de natureza qualitativa. Por exemplo, o estudo da satisfação do usuário ou do processo do cuidado pode implicar em observação direta de poucos casos ou, mesmo, em estudos antropológicos. A técnica da estimativa rápida, embora possa ser acionada para avaliação, tem sido mais freqüentemente utilizada para a aferição de problemas e necessidades de saúde de uma determinada população (Hugh & Rifkin, 1988).
A seleção de traçadores, desenvolvida por Kessner & Kalk (1973), é uma estratégia para avaliação da qualidade de níveis complexos de organização do cuidado, onde alguns problemas de saúde, ou aspectos de um serviço ou rede de serviços, representativos daquilo que se deseja avaliar, são selecionados para um monitoramento. Neste caso, técnicas qualitativas e quantitativas são acionadas articuladamente. Este método vem sendo utilizado em países da América Latina para a avaliação da qualidade de serviços e sistemas de saúde.
A AVALIAÇÃO E A GESTÃO DOS SERVIÇOS DE SAÚDE: LIMITES E PERSPECTIVAS
Como componente indispensável do processo de planejamento, a avaliação, entre nós, é muito lembrada, pouco praticada e, quando realizada, não é muito divulgada, sendo dificilmente utilizada para a tomada de decisões. Tem-se observado, contudo, algumas modificações neste quadro nas últimas décadas. Além dos estudos de avaliação de serviços (Paim et al., 1978), ou programas (Lessa, 1973) e estudos de utilização de serviços (Carvalho et al., 1988; Tanaka & Rosenburg, 1990), têm surgido trabalhos preocupados com a discussão da qualidade e sua operacionalização (Campos, 1988), com a avaliação de processos de descentralização das ações de saúde (Silva, 1989; Formigli et al., 1992) e da implementação de políticas públicas (Teixeira, 1991), com o impacto de ações de atenção primária (UNICEF/SES-CE/SOCEP/HOPE, 1990), com a avaliação da eqüidade (Veras, 1991) e da tecnologia (Novaes, 1991), com a utilização do processo de avaliação como estratégia para a garantia da qualidade dos serviços (Lessa & Pousada, 1988; Pitta, 1992), além de revisões sobre o tema (Sylver, 1992).
A incorporação da avaliação como prática sistemática nos diversos níveis dos serviços de saúde poderia propiciar aos seus gestores as informações requeridas para a definição de estratégias de intervenção. Há uma grande quantidade de informações registradas rotineiramente pelos serviços que não são utilizadas nem para a análise da situação de saúde, nem para a definição de prioridades, nem para a reorientação de práticas. Muitas dessas informações obtidas regularmente, se analisadas, podem se constituir em matéria-prima para um processo desejável de avaliação continuada dos serviços, também chamada de monitoramento, ou, num estágio mais avançado de organização dos serviços de saúde, como uma "sala de situações" para o planejamento (Matus, 1987).
A cobertura e a eficiência, por exemplo, poderiam ser monitoradas a partir de informações já disponíveis, como o número de consultas por tipo de ação de saúde e os custos. O registro sistemático de novas informações como as primeiras consultas por problemas priorizados, bem como os cálculos dos custos dos procedimentos, aperfeiçoariam os indicadores possíveis de serem construídos a partir desses dados. Periodicamente, a avaliação desses atributos pode ser complementada ou, em certos casos, validada por estudos populacionais de utilização e de cobertura.
Há que se destacar a importância da avaliação da efetividade/impacto das ações sobre o nível de saúde da população. Na impossibilidade de se realizar estudos especiais voltados para a aferição deste atributo, o acompanhamento e estudo das séries temporais de indicadores de morbi-mortalidade podem fornecer padrões indicativos das modificações esperadas.
Também o estudo da qualidade técnico-científica, da eqüidade, do acesso e da satisfação do usuário requer a incorporação, no processo de planejamento, de desenhos específicos para a avaliação dessas características das práticas de saúde. Esses atributos, em si, possuem um valor que lhes é atribuído socialmente: por exemplo, avaliar a cobertura de um determinado serviço e a existência de eqüidade no acesso, ao mesmo, corresponde a verificar o cumprimento do preceito constitucional do direito à saúde.
A satisfação do usuário diz respeito à percepção subjetiva que o indivíduo tem o cuidado que recebe. O grau de satisfação ou de insatisfação pode decorrer das relações interpessoais entre o profissional e o paciente. Ademais, ele pode se relacionar com aspectos da infra-estrutura material dos serviços (existência de equipamentos, medicamentos, etc.), com as amenidades (ventilação, conforto, etc.) e, também, com as representações do usuário sobre o processo saúde-doença. O grau de adesão do paciente ao tratamento e às ações preventivas recomendadas pelos profissionais pode ser influenciado por esses aspectos do cuidado. No caso das doenças mentais e em diversas condições clínicas, as relações interpessoais também podem interferir no próprio desfecho terapêutico. Em decorrência desses fatos é que se torna relevante incorporar a avaliação da satisfação do usuário como um dos componentes da qualidade dos serviços.
A avaliação de alguns dos atributos acima mencionados, como a cobertura, a qualidade técnico-científica e a satisfação do usuário, pode também fornecer subsídios para uma estimativa do impacto esperado de determinadas práticas em relação aos problemas de saúde a elas vulneráveis. Ou seja, se a cobertura de determinada intervenção como a vacinação contra o sarampo, por exemplo é abrangente, se as ações são desenvolvidas com a qualidade técnico-científica requerida e se existe aderência da população-alvo, a possibilidade de o impacto observado traduzido em redução da incidência ser também signficativo é elevada.
Por outro lado, os projetos de reorganização das práticas de saúde (Paim, 1993) necessitam da definição de estratégias para avaliação, sintonizadas com as modificações propostas para um novo modelo assistencial, que ultrapassem a simples aferição do atendimento à demanda espontânea, centrada no cuidado médico individual, quer nos seus aspectos quantitativos, quer naqueles qualitativos.
O enfrentamento desses desafios implica a decisão política de aceitar e incorporar, como problema a ser solucionado, os possíveis resultados negativos de um processo avaliativo. Requer, ainda, um esforço coletivo de gestores e pesquisadores da área, esforço este voltado para o equacionamento dos obstáculos anteriormente mencionados. Estes problemas referem-se principalmente à diversidade terminológica discutida, mas também às inadequações e insuficiências metodológicas indicadoras não somente de um incipiente desenvolvimento teórico do campo, como mesmo da ausência de "acordos de grupo" visando uma uniformização conceitual.
A superação dos mesmos pode não se situar exclusivamente no plano do conhecimento, pois, por vezes, conceitos inadequados poderão ser preservados, devido ao fato de se referirem a práticas reais, de "constituírem o real" (Gonçalves,1990). A identificação dos fenômenos aos quais os conceitos se referem é um passo inicial. Em seguida, as relações entre os fenômenos devem ser buscadas em diferentes contextos, o que poderá indicar o grau e a forma de articulação entre os diversos conceitos, a partir de um referencial teórico definido. Também a confluência e a concordância entre autores devem ser consideradas, visando auxiliar na superação da confusão terminológica, ao invés de contribuir para aumentá-la.
Por fim, a elaboração e a operacionalização de modelos capazes de monitorar os processos concretos de reorganização Das práticas de saúde, suas relações com as necessidades de saúde da população, bem como as possíveis modificações ocorridas no nível de saúde das mesmas, em contextos históricos determinados, constituem-se em requisitos para a afirmação do projeto da Reforma Sanitária Brasileira.
AGRADECIMENTOS
As autoras agradecem aos professores Jairnilson Paim e Naomar Almeida pelas críticas e sugestões.
REFERÊNCIAS BIBLIOGRÁFICAS
ALMEIDA-FILHO, F. N. & ROUQUAYROL, M. Z., 1993. Arquitetura da Investigação Epidemiológica. Salvador, Departamento de Medicina Preventiva da Universidade Federal da Bahia. (Mimeo.)
BEAGLEHOLE, R., 1990. Internacional trends in coronary heart disease mortality, morbidity and risk factors. Epidemiologic Reviews, 12: 1-15.
BLALOCK, H. M., 1976. Introdução à Pesquisa Social. 2ª ed., Rio de Janeiro: Zahar.
BLIN, P.; DELOLME, H. G.; HEYRAUD, J. D.; CHARPAK, Y. & SENTILHES, L., 1986. Avaliação do efeito protetor da vacinação do BCG por meio de um estudo caso-controle. Tubercle, 67: 283-288.
BLUM, H. L., 1974. Evaluating health care. Medical Care, 12: 999-1011.
BREILH, J. & GRANDA, E., 1986. Investigação da Saúde na Sociedade. Guia Pedagógico sobre um Nove Enfoque do Método Epidemiológico. São Paulo: Instituto de Saúde/Rio de Janeiro: Abrasco.
BREILH, J., 1991. Epidemiologia, Política e Saúde. São Paulo: Universidade Estadual Paulista/Fundação para o Desenvolvimento da Unesp/Hucitec.
BROOK, R. H. & LOHP, K. L., 1985. Efficacy, effectiveness, variations and quality boundary - crossing research. Medical Care, 23: 710-720.
CAMPBELL, D. T., & STANLEY, J. C., 1966. Experimental and Quasi-Experimental Designs for Research. Chicago: Rand Mc Nally College Publishing Company. (Reprinted from Handbook of Research on Teaching, American Educational Research Association, 1963).
CAMPOS, F. E., 1988. Resolutividade Uma Aproximação à Avaliação Qualitativa dos Serviços de Saúde. Belo Horizonte: Imprensa Universitária.
CARVALHO, F. M.; SILVANY-NETO, A. M.; PAIM, J. S.; MELO, A. M. C. & AZARO, M. G. A., 1988. Morbidade referida e utilização de consulta médica em cinco populações do Estado da Bahia. Ciência e Cultura, 40: 853-858.
CAVALLO, F.; TRAVERSA, G.; PIERGENTELI, P. & REUGA, G., 1988. Qualitá ed Efficacia dei Servizi Sanitari. Milano: Franco Angeli/Cresa.
CHAVEZ, M. R., 1981. Los sistemas de evaluación en el sector salud. Limites para su desarollo. Salud Publica de México. Epoca V, 23:199-206.
DE GEYNDT, W., 1970. Five approaches for assessing the quality of care. Hospital Administration, 15: 21-42.
DEMO, P., 1989. Metodologia Científica em Ciências Sociais. 2ª ed., São Paulo: Atlas.
DOLL, R., 1974. Surveillance and monitoring. International Journal of Epidemiology, 3: 305-314.
DONABEDIAN, A., 1980a. The definition of quality: A conceptual exploration. In: Explorations in Quality Assessment and Monitoring (A. Donabedian), vol. I, pp. 3-31, Ann Arbor, Michigan: Health Administration Press.
_____, 1980b. Basic approaches to assessment: structure, process and outcome. In: Explorations in Quality Assessment and Monitoring (A. Donabedian), vol. I, pp. 77-125, Ann Arbor, Michigan: Health Adiministration Press.
_____, 1990. The seven pillars of quality. Archives of Pathology Laboratory Medicine, 114: 1115-1118.
_____, 1991. Striving for Quality in Health Care. An Inquiry into Policy and Practice. Ann Arbor, Michigan: Health Administration Press.
_____, 1992. The role of outcomes in quality assessment and assurance. Quality Review Bulletin, 18: 356-360.
DONABEDIAN, A.; WHEELER, J. R. C. & WYSZEWLANSKI, L., 1982. Quality, cost and health: An integrative model. Medical Care, 20: 975-992.
DONNANGELO, M. C. F., 1976. Saúde e Sociedade. São Paulo: Duas Cidades.
FERREIRA, A. B. H., 1986. Novo Dicionário Aurélio da Língua Portuguesa. Rio de Janeiro: Nova Fronteira.
FERRARA, F. A.; ACEBAL, E. & PAGANINI, J. M., 1976. Medicina de la Comunidade. 2ª ed., Buenos Aires: Intermédica Editorial.
FORMIGLI, V.; COSTA, H.; MOLESINI, J. & FERNANDES, R., 1992. Organização da atenção à saúde em distritos sanitários na Bahia. Revista Baiana de Enfermagem, 5: 5-20.
FORTMANN, S. P.; WINKLEBY, M. A.; FLORA, J. A.; HASKELL, W. L. & TAYLOR, B. C., 1990. Effect of long-term community health education on blood pressure and hypertension control: The Standfork Five-City Project. American Journal of Epidemiology, 132: 629-646.
FREEBORN, D. K. & GREENLICK, M. R., 1973. Evaluation of te performance of ambulatory care system: research requirementes and opportunities. Medical Care, 11 (supplement): 68-75.
UNICEF (Fundo das Nações Unidas para a Infância), 1990. II Pesquisa de Saúde Materno-Infantil no Ceará PESMIC 2. Comparação de dois estudos de abrangência estadual, 1987/90. Fortaleza: Unicef/Socep/SSE-CE/HOPE. (Mimeo.)
GONÇALVES, R. B. M., 1990. Reflexão sobre a articulação entre a investigação epidemiológica e a prática médica a propósito das doenças crônicas degenerativas. In: Epidemiologia. Teoria e Objeto (D. C. Costa, org.), pp. 39-86, São Paulo: Hucitec/Rio de Janeiro: Abrasco.
GREENWOOD E., 1972. Idéias correntes sobre a natureza do método experimental. In: A investigação em Sociologia. Um guia para estudo (C. M. L. Braga, org.), pp. 97-108, Salvador: Centro Editorial e Didático/UFBa.
HUGH, A., & RIFKIN, S., 1988. Diretrizes para uma Estimativa Rápida Visando Avaliar as Necessidades de Saúde da Comunidade: Um foco sobre os melhoramentos da saúde para áreas urbanas de baixa renda. Liverpool: OMS. (Mimeo.)
KESSNER, D. M. & KALK, C. E., 1973. A Strategy for Evaluating Health Services Contrasts in Health Status. Washington: Institute of Medicine/National Academy of Sciences.
LANE, D. S. & KELMAN, H. R., 1975. Assessment of maternal health care quality: Conceptual and methodologic issues. Medical Care, 13: 791-807.
LAURELL, A. C., 1983. A saúde-doença como processo social. In: Textos. Medicina Social: Aspectos Históricos e Teóricos (E. D. Nunes, org.), pp. 133-158, São Paulo: Global.
LESSA, I., 1973. Avaliação do Programa Materno-Infantil em uma Unidade Sanitária Modelo. Tese para Concurso de Professor Assistente, Salvador. Departamento de Medicina Preventiva, Faculdade de Medicina, Universidade Federal da Bahia.
LESSA, I. & POUSADA, J. M. D. C., 1988. Qualidade da assistência médica ao diabético. Arquivos Brasileiros de Medicina, 62: 459-463.
LILIENFELD, A. M., 1976. Foundations of Epidemiology. New York: Oxford University Press.
MARINHO, P., 1980. A Pesquisa em Ciências Humanas. Petrópolis: Vozes.
MARWICK, C., 1988. Vacinas contra coqueluche: experiências e dificuldades. Journal of the American Medical Foundation, 259: 2057-2059.
MATUS, C., 1987. Política, Planificación y Gobierno. Washinton: OPS/ILPES.
MOSER, C. & KALTON, G., 1972. Survey Methods in Social Investigation. 2nd ed., New York: Basic Book Inc. Publishers.
NEWHOUSE, J. P., 1990. Geographic acess to physician services. Annual Review of Public Health, 11: 207-230.
NOVAES, M. D. H., 1991. São Paulo: consumo e demanda de tecnologia. Divulgação em Saúde para Debate, 3: 42-44.
OTA (Office of Tecnhology Assessment), 1978. Assessing the Efficacy and Safety of Medical Technologies. Washington DC: OTA. (OTA Publication No. OTA-H-75).
OMS (Organización Mundial de la Salud), 1970. Comite de Expertos de la OMS en Estadistica Sanitaria. Indicadores estadisticos para la planificación y la evaluación de programas de salud publica. Ginebra: OMS. (Informe del Comité de Expertos de la OMS en Estadística Sanitaria, 14).
PAIM, J. S., 1993. A reorganização das práticas em Distritos Sanitários. In: Distrito Sanitário. O Processo Social de Mudança das Práticas Sanitárias do Sistema Único de Saúde (E. V. Mendes, org.), pp. 187-220, São Paulo: Hucitec/Rio de Janeiro: Abrasco.
_____, 1982. As ambigüidades da noção de necessidades de saúde. In: Introdução à Crítica do Planejamento de Saúde (J. S. Paim & F. N. Almeida, orgs.), pp. 55-78, Salvador: Universidade Federal da Bahia/Departamento de Medicina Preventiva.
PAIM, J. S.; DREYER, A. F.; BIAO, D. R.; SANTOS, F. M.; TISHCHENKO, L. M.; LIMA, M. C. L.; BARBOSA, N. M.; TORRES, O. D. S. & BITTENCOURT, S. R. V., 1978. Aspectos quantitativos da avaliação dos centros de saúde de Salvador. Revista Baiana de Saúde Pública, 5: 120-138.
PITTA, A. M. F., 1992. Avaliação como processo de melhoria da qualidade de serviços públicos de saúde. Revista de Administração Pública, 26: 44-61.
RODRIGUES, W. W. & TORRES, V. R., 1982. Contribuição ao Desenvolvimento do Processo de Aviação em Serviços de Saúde. Brasília: Centro de Documentação do Ministério da Saúde. (Textos Básicos de Saúde, 2).
RUNDALL, T. G., 1992. Health planning and evaluation. In: Public Health & Preventive Medicine (J. M. Last & R. B. Wallace, orgs.), 13ª ed., pp. 1079-1094, Connecticut: Appleton & Lange (Maxcy-Rosenau-Last).
SELLTIZ, J. D.; JAHODA, M.; DEUTSCH, M. & COOK, S. W., 1972. Método de Pesquisa nas Relações Sociais. São Paulo: Herder/U.S.P.
SILVA, L. M. V., 1989. A Descentralização das Ações de Saúde no Município: O Caso de Camaçari. Tese de Doutorado, São Paulo: Departamento de Medicina Preventiva, Faculdade de Medicina, Universidade de São Paulo.
SUCHMAN, E. A., 1967. Evaluative Research Principles and Practice in Public Service and Social Action Programs. New York: Russel Sage Foundation.
SYLVER, L., 1992. Aspectos metodológicos em avaliação dos serviços de saúde. In: Planejamento Criativo. Novos Desafios em Políticas de Saúde (E. Gallo, F. J. U. Rivera & M. H. Machado, orgs.), pp. 195-210, Rio de Janeiro: Relume-Dumará.
TANAKA, O. Y. & ROSENBURG, C. P., 1990. A análise da utilização pela clientela de uma unidade ambulatorial da secretaria de saúde do município de São Paulo. Revista de Saúde Pública, 24: 60-68.
TEIXEIRA, S. M. F., 1991. Avaliação comparativa das ações integradas de saúde. Divulgação em Saúde para Debate, 3: 78-81.
VERAS, C. M. T., 1991. Avaliação da atenção médico-hospitalar no Rio de Janeiro. Divulgação em Saúde para Debate, 3: 65-70.
VUORI, H. V., 1982. Quality Assurance of Health Services. Concepts and Methodology. Copenhagen: WHO, Regional office for Europe.
WEISS, C. H., 1972. Evaluation Research Methods for Assessing Program Effectiveness. New York: Prentice-Hall Inc./Englewood Cliffs.
Pesquisa realizada com apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico