ARTIGO ARTICLE
Avaliação da qualidade da assistência no programa de AIDS: questões para a investigação em serviços de saúde no Brasil
Evaluating quality of care in an AIDS program: health services research issues in Brazil
Maria Ines Battistella NemesI; Elen Rose Lodeiro CastanheiraII; Regina MelchiorIII; Maria Teresa Seabra Soares de Britto e AlvesIV; Cáritas Relva BassoI
IFaculdade de Medicina, Universidade de São Paulo, São Paulo, Brasil
IIFaculdade de Medicina de Botucatu, Universidade Estadual Paulista, Botucatu, Brasil
IIIUniversidade Estadual de Londrina, Londrina, Brasil
IVUniversidade Federal do Maranhão, São Luís, Brasil
RESUMO
O artigo mostra o desenvolvimento de uma pesquisa que objetivou avaliar a qualidade da assistência ambulatorial do Programa Brasileiro de DST/ AIDS. A investigação, realizada entre 2001-2003, envolveu três projetos: uma análise do padrão tecnológico da assistência realizada em cinco serviços, uma avaliação qualitativa em 27 serviços e, finalmente, uma avaliação estruturada de 322 serviços de sete estados brasileiros. Mediante a descrição de todas as etapas dos projetos, as autoras discutem questões teóricas e metodológicas envolvidas na avaliação da assistência em programas de saúde. Discutem ainda algumas questões relacionadas à aplicabilidade e ao impacto das avaliações em serviços de saúde.
Serviços de Saúde; Avaliação de Resultados (Cuidados de Saúde); Síndrome de Imunodeficiência Adquirida
ABSTRACT
This article discusses a study focused on quality care in health services under the Brazilian AIDS Program. Research in 2001-2003 involved three different projects: an in-depth analysis of the predominant health care pattern in five services, a qualitative evaluation of 27 services, and a structured evaluation of 322 services from seven Brazilian states. Through a description of the projects' stages, the authors discuss issues on theoretical and methodological approaches to evaluation of care in health programs. The discussion also focuses on key problems with the applicability and impact of health services evaluation.
Health Services; Outcome Assessment (Health Care); Acquired Immunodeficiency Syndrome
Introdução
Neste trabalho, buscamos discutir questões metodológicas relacionadas à investigação em serviços de saúde, utilizando, como exemplo, nossa recente experiência em pesquisa sobre a assistência a pessoas vivendo com HIV/AIDS no Brasil.
A pesquisa, desenvolvida em 2001/2003, objetivou avaliar a qualidade da assistência ambulatorial do Programa de AIDS em sete Estados brasileiros: São Paulo, Rio de Janeiro, Rio Grande do Sul, Mato Grosso do Sul, Ceará, Pará e Maranhão 1. Seu desenho metodológico representa o desdobramento de projetos voltados para a avaliação das ações em AIDS no Brasil 2, focados na adesão ao tratamento 3,4,5,6 e na qualidade do cuidado aos doentes 7,8,9,10. Esse conjunto de investigações vem sendo conduzido pela Equipe Qualiaids, formada por docentes e pesquisadores de quatro universidades brasileiras, com o apoio financeiro do Ministério da Saúde e da Fundação de Amparo à Pesquisa do Estado de São Paulo.
O artigo está centrado na discussão da metodologia da pesquisa, procurando-se explorar seu quadro teórico referencial e os conceitos e instrumentos nos quais se apóia. Os resultados propriamente ditos não são objeto deste trabalho, sendo citados apenas a título ilustrativo ou quando a discussão metodológica assim o exigir. De modo correlato, os aspectos epidemiológicos envolvidos na atenção em HIV/AIDS somente são mencionados quando necessários para contextualizar a discussão metodológica.
O texto sistematiza os passos metodológicos da pesquisa iniciando pela caracterização do foco da avaliação, a assistência ambulatorial, passando a seguir para a construção progressiva de seu arcabouço teórico metodológico e finalmente apresentando os indicadores e instrumentos utilizados.
Reconhecendo o objeto: características da assistência ambulatorial
As atividades de assistência aos doentes de AIDS estiveram presentes desde as primeiras respostas do estado brasileiro à epidemia, no início de 1983, com a organização do Programa Estadual de DST/AIDS de São Paulo. Dois aspectos merecem destaque nessa fase inicial: a articulação orgânica da vigilância epidemiológica ao atendimento dos casos 11, definindo critérios para diagnóstico e fluxos de informação; e a presença atuante do movimento social organizado, particularmente do movimento gay 12. Essas características se mantêm presentes ao longo dos vinte anos de desenvolvimento do Programa Brasileiro de DST/AIDS e imprimem marcas específicas às políticas institucionais de organização da assistência, representadas por uma ativa interação dessa organização com a dinâmica epidemiológica da epidemia e pela opção em se fortalecer os mecanismos de diálogo e articulação com o movimento social 13.
No início dos anos 90, com a consolidação do Programa Nacional de DST/AIDS, definiram-se diretrizes para a organização da assistência, entre as quais a instalação de serviços ambulatoriais especializados (SAE) 14. Recomendava-se que os SAE fossem instalados em unidades públicas preexistentes por meio de equipes compostas por médico (clínico-geral ou infectologista), enfermeiro, assistente social, psicólogo e farmacêutico. Essa valorização do trabalho multiprofissional como condição mínima para o atendimento é uma forma de reconhecer a AIDS como um problema de saúde de elevada complexidade. Recomendava-se, ainda, que os SAE contassem com retaguarda laboratorial e se relacionassem com as Unidades Básicas de Saúde apontando, desde essa época, para a importância da integração entre estruturas especializadas e mecanismos de assistência descentralizada 15.
Coerente com essa política e atendendo a necessidades impostas pela demanda, a rede ambulatorial ganhou significativa extensão. Segundo a Coordenação Nacional de DST/AIDS (CN), em 1996, havia 33 serviços ambulatoriais cadastrados como SAE, e, em 1999, esse número já chegara a 145. Levando-se em conta não apenas os SAE, mas o total de serviços que prestam assistência às pessoas que vivem com HIV/ AIDS, esse número torna-se muito maior. Levantamento realizado pela CN em 2001, através do Disque AIDS e com apoio da Equipe Qualiaids, registrou 540 serviços públicos ambulatoriais de assistência à AIDS em todo o Brasil, incluindo aqueles cadastrados como SAE.
Esse conjunto de serviços é muito heterogêneo. Existem hoje unidades com as mais variadas situações institucionais, e com estruturas e organização da assistência as mais diversas: vão desde serviços agregados a unidades básicas de saúde, ambulatórios estaduais em grandes hospitais, ou ainda, serviços especializados, municipais, estaduais ou universitários, exclusivamente dedicados à assistência à AIDS, entre outros.
Além da heterogeneidade institucional, o número de pacientes acompanhados em cada serviço também é muito diverso, com predomínio dos pequenos e médios serviços. Nos 322 serviços avaliados na pesquisa, o número de pacientes em uso de ARV variou entre 3 e 5.000, sendo que 50% dos serviços acompanham até cem pacientes, 37% de 100 a 500 pacientes e 13% dos serviços acompanham mais de 500 pacientes 10.
Definição de qualidade: pressupostos gerais
A qualidade da assistência a pessoas vivendo com AIDS pode ser, a princípio, representada pelo acesso às técnicas de diagnóstico e terapêutica relativas ao complexo conjunto de condições associadas à AIDS. O acesso, por si só, desde que universal, tem provocado impacto: grande parte do sucesso do programa de AIDS pode ser atribuída à garantia de acesso universal aos medicamentos 16. A universalidade, conquistada na oferta de assistência e de medicamentos aos que vivem com HIV/AIDS, representa a efetivação de um dos mais caros princípios do SUS e um dos pilares de sua política assistencial para todas as áreas.
Em que pese a enorme importância da universalidade, uma vez que representa o patamar mínimo para ações assistenciais que ambicionem abrangência e impacto coletivo, sua conquista valoriza a necessidade de se garantir a ocorrência simultânea de outras condições, entre as quais se destaca a integralidade, especialmente em se tratando da qualidade da assistência.
Os resultados relacionados à universalidade da atenção à saúde não se mantêm a médio e longo prazo se não se articularem a conquistas na qualidade do cuidado em toda sua complexidade tecnológica. Essa complexidade, que se realiza no momento assistencial, refere-se à interação entre os sujeitos, à organização do trabalho, ao exercício da interdisciplinaridade presente no trabalho em equipe, à contínua incorporação de novos saberes e práticas às ações de saúde. Da qualidade dessas diferentes dimensões do trabalho em saúde depende a integralidade das ações. Uma valorização isolada do acesso, enquanto indicador de universalidade, pode nos levar a falsas premissas, como a defesa de um modelo centrado no atendimento mais imediato e simplificado das demandas 17,18 que, no mais das vezes, não responsabiliza os profissionais e a instituição com o alcance e incremento da qualidade 19 e descaracteriza a complexidade das ações envolvidas na assistência.
Assim, além do acesso, a qualidade da assistência refere-se também ao processo do cuidado em sua amplitude e complexidade, articulando os preceitos da integralidade aos da universalidade.
Nessa direção, considera-se ainda que a qualidade deve ser prerrogativa de todos os serviços, apesar das grandes diferenças regionais e institucionais existentes entre eles. Desse modo, optamos por não considerar entre os critérios de qualidade características que indicassem variações na complexidade da estrutura organizacional, tais como número de pacientes acompanhados ou grau de especialização do serviço. Ainda que essas diferenças configurem contextos distintos para a operação do trabalho, com desdobramentos para o gerenciamento e definições de estratégias de organização assistencial, não podem ser consideradas atributos próprios da qualidade. Tomá-las desse modo significaria limitar a qualidade desejável a um modelo centralizado e de alta complexidade, possível apenas em grandes centros urbanos. Além disso, esse padrão não representaria o modelo organizacional mais freqüente entre os ambulatórios de assistência, nem no Estado de São Paulo, tampouco no Brasil. Vale assinalar que essa opção não exclui ou minimiza a possibilidade da complexidade da estrutura intervir na qualidade das ações desenvolvidas, mas desloca-a da posição de precondição para a de fator explicativo 1.
Avaliação de programas: o quadro teórico referencial
O atributo que caracteriza nosso foco de avaliação a assistência ambulatorial no Programa de AIDS é o de se constituir numa ação programática 17,20, o que quer dizer que, como ação integrada às demais ações do Programa, deve ser capaz de também objetivar as proposições do Programa em tecnologias 21,22.
O plano discursivo de um programa traz, para o trabalho concreto, proposições éticas e técnicas que conformam o objeto de trabalho (mediante a assunção de valores e de finalidades técnicas) e os instrumentos de trabalho (mediante o estabelecimento de normas gerais de operação e de julgamento do trabalho). Na operação do trabalho, esses valores e normas são reconstruídos nas práticas assistenciais concretas. Quanto mais coerente for a ação assistencial operada nos serviços com o plano propositivo do programa, melhor será sua qualidade. Em outros termos, o trabalho de boa qualidade é o que objetiva em tecnologias os valores e normas do plano propositivo do programa 19,23,24. Essa objetivação pode ser avaliada nos vários momentos analíticos do trabalho, desde seu desenho operativo geral até o momento do encontro propriamente prático entre o agente do trabalho e o(s) sujeito(s)-alvo de sua ação. Esses momentos podem, então, ser avaliados segundo os critérios 23,25:
Clareza na priorização: capacidade de operacionalizar, em objetos para o trabalho, as finalidades eleitas no plano discursivo do programa, ou seja, eleger adequadamente os alvos das ações. Refere-se às grandes finalidades do processo de trabalho, desde o pólo individual, como, por exemplo, a cura clínica até o pólo coletivo, como, por exemplo, o controle da transmissão de doenças.
Acessibilidade dos alvos: capacidade do trabalho de operacionalizar um conjunto de instrumentos coerentes com os objetos do trabalho, ou seja, organizar conjuntos tecnológicos que acessem adequadamente os alvos. Refere-se às etapas do processo assistencial, desde a captação e recepção de usuários até o momento final da assistência, e pode ser representado pelo desenho geral do fluxograma assistencial.
Especificidade na apreensão e manipulação dos objetos: capacidade dos instrumentos de trabalho de operarem específicas normatividades, ou seja, operarem mediante saberes coerentes com as características dos objetos e com a diversidade dos alvos. Refere-se ao conteúdo das diferentes atividades profissionais como, por exemplo, das abordagens clínicas e psicológicas ou das diferentes atividades propostas pelo programa, projetadas de modo a atender às especificidades de um mesmo objeto.
Acoplamento amarrado de atividades: capacidade de articular de modo coerente e sinérgico os diferentes instrumentos de trabalho, ou seja, operar articuladamente as diversas abordagens dos alvos do trabalho. Refere-se à operação simultânea e integrada das diferentes atividades profissionais que compõem o programa.
Coerência dos padrões de julgamento e avaliação: refere-se à coerência do julgamento com o objeto do trabalho priorizado, ou seja, operar com normas de ação profissional coerentes com a apreensão do objeto do trabalho. Refere-se ao plano do dever ser dos agentes e do foco e objetivo das avaliações realizadas na execução do trabalho.
Compreensão, aceitação e adesão dos agentes: capacidade dos agentes de operarem as normas éticas e técnicas do trabalho como reguladoras da autonomia técnica na ação profissional concreta. Refere-se ao exercício concreto e autônomo das ações de cada profissional.
Efetividade comunicacional dos encontros assistenciais: capacidade dos diversos tipos de encontro assistencial de dialogarem com cada um dos indivíduos ou grupos alvos das ações, ou seja, tomarem a normatividade dos indivíduos e grupos como orientadora da ação técnica. Refere-se ao momento final do trabalho, o encontro com o usuário.
Esses foram os critérios que basearam inicialmente a pesquisa. Para nos aproximarmos das práticas assistenciais concretas, reconstruímos essas categorias com base no reconhecimento das específicas características do Programa de AIDS, a partir da articulação de dois planos: o do reconhecimento de suas proposições éticonormativas e o do modelo tecnológico concretamente operado nos serviços. Com isso, buscamos orientar a construção de indicadores e padrões de avaliação baseados na teoria do programa 26.
Redefinindo o objeto: a assistência segundo a "Teoria do Programa"
O Programa Brasileiro de DST/AIDS tem uma configuração distinta dos programas mais tradicionais dos anos 60 e 70 centrados no controle sanitário 27,28. É um programa que expressa necessidades, práticas e valores sociais que emergiram no contexto brasileiro nos últimos vinte anos, tais como a importância crescente da individualidade, das frentes de luta em defesa da cidadania, da organização social de diferentes grupos de defesa de minorias. A assistência aos que vivem com HIV/AIDS se institui nesse contexto enquanto um direito social 13.
É possível afirmar que o principal sentido programático da assistência, desde sua emergência, foi o de representar a defesa de princípios éticos o direito à cidadania e o acesso universal à assistência. Essa marca esteve presente desde o início da epidemia, apesar da baixa especificidade e eficácia limitada das medidas conhecidas nos primeiros anos, e mantém-se como um compromisso presente com desdobramentos para o perfil tecnológico de organização dos serviços 9.
Em seu desenvolvimento enquanto ação programática, a assistência diferenciou-se tecnologicamente tanto daquela definida estritamente como instrumento de controle epidemiológico, tal como nos programas sanitários mais clássicos, quanto da assistência ambulatorial não-programática, tal como desenvolvida tradicionalmente em ambulatórios de especialidades clínicas.
O desafio de traduzir tecnologicamente os compromissos éticos e políticos assumidos pelo programa colocou, para as práticas assistenciais, tensões que, embora não sejam exatamente próprias da assistência à AIDS, são ampliadas por suas especificidades. Especialmente as que dizem respeito a duas dimensões: aquelas ligadas às características da AIDS como um objeto das práticas de saúde e aquelas ligadas às características do exercício dessas práticas. As formas de transmissão da AIDS e sua dinâmica epidemiológica colocam em foco aspectos muito íntimos do cotidiano da vida privada, particularmente aqueles relativos ao exercício da sexualidade, articulando-os a outras questões e comportamentos que envolvem valores morais diversos, como o uso de drogas ou a morte, conformando um mosaico de dimensões da vida fortemente estigmatizadas e representadas pelo próprio estigma da doença. As ações de assistência, ao se defrontarem com a evidente complexidade desse objeto, são chamadas a expor um conjunto de limites e contradições geralmente não evidenciados, ainda que presentes no conjunto das práticas institucionalizadas de assistência à saúde.
As tensões apontadas se ampliam com as características assumidas pela epidemia em nosso país: a cronificação dos casos decorrente da maior sobrevida 29; a expansão em termos numéricos e espaciais 30; a maior concentração entre as camadas mais pobres 31; o crescimento diferencial entre as mulheres 32 e o conseqüente aumento das taxas de transmissão vertical 33. Essas alterações têm reflexos diretos sobre o perfil de atividades e a capacidade da assistência em responder coerentemente às demandas colocadas 34,35.
O Programa Brasileiro de DST/AIDS tem buscado enfrentar esses desafios por meio de medidas técnicas, políticas e administrativas que definem as bases de seu perfil tecnológico 36,37. A principal diretriz da assistência, o acesso universal ao tratamento específico, é regida por normas clínicas que se renovam anualmente, mediante reunião de consenso entre especialistas e por normas administrativas para distribuição e dispensação. Além disso, a assistência conta com propostas tecnológicas específicas, tais como os mecanismos estabelecidos para captação de casos, o aconselhamento pré e pós-teste, o acolhimento de pacientes e os grupos de adesão. Procura-se viabilizar essas proposições com a inclusão de incentivos financeiros para formação de equipes multiprofissionais e a oferta extensiva de treinamento. Todo o discurso do programa enfatiza a questão ética traduzida nas normatizações acerca do sigilo profissional e na exigência de consentimento para a realização de quaisquer procedimentos, bem como na intensa disseminação dos códigos da linguagem politicamente correta do campo da AIDS.
O conjunto de características apresentadas conforma a teoria do programa, assim como delineia seu perfil tecnológico. Em termos propositivos, este último tende a conflitar com o padrão tecnológico predominante em ambulatórios de especialidade, onde a assistência é organizada em torno da abordagem clínica individual. Mas, se a nossa questão central é buscar a qualidade das ações efetivamente operadas no serviço, essas características tornam-se insuficientes e colocam a necessidade de reconhecer qual é de fato o seu padrão de excelência. Em outras palavras, identificar qual a melhor qualidade possível alcançada pelos serviços em seu cotidiano de trabalho, determinadas, em última instância, não apenas por seus compromissos e proposições tecnológicas, mas também pelos determinantes históricos e sociais a que está submetido o conjunto das práticas de saúde. Isso quer dizer que a prática dos serviços é operada com base em diferentes graus de aproximação entre o projeto ético-político e sua realização técnico-operativa. Mas, qual é, então, a qualidade que podemos esperar?
Construindo indicadores de qualidade segundo o padrão assistencial dominante o uso de instrumentos qualitativos na avaliação da assistência
Para responder a questão apresentada, foi necessário reconhecer quais as características que definem o melhor possível dentro do modelo assistencial prevalente nos serviços. Tomamos por base o estudo qualitativo da assistência em cinco unidades 9,38 escolhidas por seu reconhecimento como serviços de boa qualidade quanto a características básicas de estrutura e processo, segundo a opinião da equipe gestora do Programa Estadual de DST e AIDS. Reconhecer o processo de trabalho em serviços considerados bons sem problemas graves em relação à falta de recursos humanos ou materiais e com acesso regular aos insumos básicos para um bom tratamento foi uma estratégia para destacar outras características importantes na qualificação dos serviços que não essas mais essenciais ao seu funcionamento como ação de saúde planejada.
O modelo assistencial identificado nesses serviços foi tomado como o padrão tecnológico, enquanto um modelo mais abstrato de operação dos serviços e que os representa genericamente. Além disso, considerando a eleição intencional de bons serviços, tomamos o modelo construído como representante tanto do mais freqüente, apesar das diferenças concretas entre eles, como também do melhor possível, em relação ao modo de organizar e operar o processo de trabalho, consideradas as dificuldades e obstáculos para efetivação dos propósitos do Programa em práticas concretas.
O padrão tecnológico identificado permitiu caracterizar a assistência ambulatorial do Programa de DST e AIDS como um modelo tensionado entre o modelo assistencial hegemônico nos serviços públicos de saúde 18,21 centrado no trabalho médico, com abordagens fragmentadas em múltiplas especialidades, atendimentos impessoais e sem respeito às especificidades de cada sujeito e um novo modelo mais coerente com a teoria do programa com a realização de atendimento multiprofissional, e o desenvolvimento de abordagens mais personalizadas e que procuram reconhecer e respeitar a individualidade dos sujeitos. A partir desse perfil, definimos os padrões de qualidade possíveis em condições adequadas de operação do trabalho.
Esses critérios foram desenvolvidos e aplicados na avaliação qualitativa de 27 ambulatórios públicos do Estado de São Paulo 9, envolvendo diferentes etapas de aproximação empírica 39,40. A construção final e a aplicação dos indicadores foram realizadas a partir de visitas a todas as unidades, com observação do fluxo assistencial, segundo um roteiro predefinido, e entrevistas semi-estruturadas com o profissional responsável pela assistência ambulatorial (o gerente ou supervisor da equipe).
Nas entrevistas e observações, priorizou-se a abordagem dos momentos do processo de trabalho que melhor evidenciavam o movimento de aproximação ou distanciamento da organização tecnológica operada em direção ao plano ético-normativo do programa. Nesse sentido, foram eleitas como características assistenciais privilegiadas para a avaliação: a recepção e o acolhimento dos pacientes novos; o acolhimento dos pacientes não agendados e sua articulação com o atendimento médico; o trabalho em equipe, sua dinâmica e mecanismos de integração; a absorção dos "pacientes difíceis" (pacientes que, por não se enquadrarem facilmente às normas de funcionamento do serviço, são assim reconhecidos pela equipe); a abordagem da sexualidade e da vida conjugal nos atendimentos; o enfrentamento de dilemas éticos para aconselhamento: o desejo de ter filhos; a responsabilidade do serviço na assistência às gestantes; o estabelecimento de controles programáticos: contrato de sigilo, controle e contato com faltosos, critérios de abandono; os mecanismos gerenciais e o perfil dos gerentes.
As características acima foram sintetizadas em dois conjuntos de indicadores: 14 relativos à assistência e sete relacionados à gerência. Para cada indicador, foram definidos três níveis de qualidade, construídos a partir da composição entre os pressupostos ético-normativos do Programa e o padrão tecnológico identificado. Assim, cada indicador foi classificado em três níveis de qualidade: Nível 1: características que mais se aproximam dos compromissos ético-normativos do Programa; Nível 2: o perfil médio esperado, segundo o padrão tecnológico; Nível 3: características que se encontram abaixo do esperado por esses parâmetros.
Os indicadores permitiram diferenciar as unidades em três grandes grupos de qualidade. Essa classificação, como se verá adiante, foi utilizada para a construção do modelo de análise da avaliação estruturada realizada em 322 serviços de sete estados brasileiros.
Avaliação estruturada de 322 serviços: construção do instrumento e da análise, repercussões
À semelhança de vários outros estudos avaliativos extensivos, optamos pela construção de um questionário estruturado auto-respondido pelos profissionais dos serviços locais 41. O maior risco desse tipo de abordagem é o grande número de unidades que deixam de preencher o instrumento. Para enfrentá-lo, contávamos com o apoio político-institucional da Coordenação Nacional do Programa, potencializado por contatos com as Coordenações Estaduais envolvidas e por atividades de divulgação que envolveram oficinas com profissionais-chave, boletins informativos, folders, e até contatos com a imprensa. Essa estratégia mostrou-se adequada, obtendo-se um nível alto de respostas: do universo de 343 serviços, 322 enviaram o questionário preenchido.
Uma outra e mais difícil questão enfrentada foi o pressuposto de julgar a organização do processo de trabalho de todos os serviços, independentemente de sua configuração institucional. Corríamos o risco de perder a profundidade para conservar a aplicabilidade. Em outros termos, construir uma descrição de atividades assistenciais muito genérica, aplicável a qualquer ambulatório público, perdendo um dos critérios principais que orientou todo o nosso quadro referencial que é justamente a especificidade da tecnologia do programa, que se expressa não apenas na base material do trabalho, como, sobretudo, na dinâmica assistencial propriamente dita.
Um instrumento estruturado tem, por si só, menos sensibilidade para captar essa dinâmica, exceto se for extenso o bastante para explorar detalhadamente cada passo do trabalho de assistência. Por outro lado, era também necessário facilitar a resposta dos serviços, o que implicava usar um instrumento conciso, fácil de responder e que contemplasse simultaneamente questões sobre estrutura e o processo de trabalho.
A necessidade de simplificação e aplicabilidade trazia ainda uma outra dimensão relacionada à própria legitimidade do projeto. Para além de produzir a possibilidade de cada um dos serviços se auto-avaliarem, o instrumento deveria permitir um modelo de análise útil para as gerências regionais e centrais. Um conjunto muito grande e diversificado de variáveis dificultaria isso.
O método eleito de construção do questionário bem como do modelo de análise procurou considerar esses e os demais requisitos das avaliações desse tipo 42,43,44,45. A aplicabilidade foi intensivamente testada a ponto de, no instrumento final, se poder suprimir a alternativa "outro/a" de todas as questões que indagavam sobre procedimentos e processos utilizados na assistência, uma vez que as alternativas cobriam todas as possibilidades. O número muito reduzido de questões sem resposta mostrou o acerto dessa opção.
Ao mesmo tempo em que se buscava reduzir o questionário, buscava-se manter sensibilidade suficiente para indicar se a dinâmica assistencial reunia, de fato, as precondições necessárias para um trabalho de assistência tecnologicamente mais avançado.
Assim, por exemplo, além de questionar o acesso dos usuários ao atendimento não agendado e/ou de urgência, questionou-se quais atividades são rotineiramente realizadas na consulta não agendada. Isso porque esse tipo de pronto atendimento, freqüentemente, se resume a uma alternativa assistencial tecnologicamente simplificada e não em atividade de acolhimento e re-contato com pacientes sob risco de abandono e/ou não adesão. Assim, não foram valorizadas descrições, como avaliação clínica, restabelecimento do tratamento, pedidos de exames e fornecimento de receita; atividades que devem integrar quaisquer consultas desse tipo. Foram valorizadas descrições que incluíssem formas de recaptação do paciente, tais como reavaliação do uso de anti-retrovirais, verificação de faltas anteriores à consulta ou identificação das dificuldades em comparecer ao dia agendado.
O conteúdo das questões foi dividido em duas grandes categorias avaliativas: disponibilidade de recursos e organização do processo de assistência. As questões sobre disponibilidade de recursos basearam-se na opinião de especialistas, no consenso nacional sobre terapia anti-retroviral, nas normas sobre recursos humanos do programa e, secundariamente, em alguns aportes da revisão de literatura. As questões sobre organização do processo de assistência basearam-se na descrição de todas as etapas do fluxograma assistencial e nas atividades de gerenciamento, buscando-se, em cada uma, salientar a especificidade do programa e os avanços tecnológicos alcançados, procurando seguir os mesmos critérios da avaliação qualitativa precedente. São exemplos dos indicadores utilizados: organização do atendimento para agendamento de consultas de modo a priorizar grupos de pacientes de maior risco de não adesão e/ou abandono (novos e faltosos); disponibilidade de atividades específicas do programa, como, por exemplo, as voltadas para a adesão ao tratamento e para a concessão de benefícios sociais; disponibilidade de conjuntos tecnológicos prioritários do programa, como recepção e aconselhamento de pacientes novos, abordagem profissionalmente diferenciada da vida conjugal e atendimento diferenciado para mulheres e gestantes; disponibilidade de instrumentos para gerenciamento técnico do trabalho, como registros que permitam estimativas de cobertura e concentração de atividades e reuniões multiprofissionais.
Com isso, construímos um questionário inicial que foi submetido a dois grupos de discussão: com experts de nível local e com experts de nível central, nos quais se discutiu a aplicabilidade e o poder de discriminação das questões em relação às dimensões prioritárias da qualidade na assistência. O resultado foi um questionário-teste com 157 questões de múltipla escolha, que foi enviado a uma amostra aleatória de trinta serviços e a outros 12 serviços indicados pelos dirigentes dos programas estaduais como representativos de perfis de assistência situados em quatro níveis diferentes. Nesse questionário-teste, solicitava-se também que a equipe local respondesse, para cada uma das questões, se julgava a questão inteligível e se as alternativas contemplavam o perfil assistencial do serviço.
A análise das respostas ao questionário-teste permitiu eliminar 53 questões por serem pouco aplicáveis ou pouco discriminatórias, segundo os gerentes locais, ou por não apresentarem diferenças entre os serviços indicados pelos dirigentes como de níveis diferentes de qualidade. Foram mantidas 103 questões.
As questões foram aplicadas nos 27 serviços de São Paulo submetidos à avaliação qualitativa anterior. Classificamos as respostas em três níveis: 0, 1, 2, sendo que os maiores valores indicam melhor qualidade dos serviços, gerando um padrão-ouro de média 2. Assim, por exemplo, em relação ao agendamento de consultas na introdução de ARV, os que mantêm o mesmo agendamento de rotina (em geral de trinta dias) receberam 0; os que diminuem o intervalo para 15 dias receberam 1, e os que agendam esse especial retorno para até 7 dias receberam a pontuação máxima, 2.
A técnica estatística eleita para a análise foi a de agrupamento pelo método das k-médias, que permite a formação de grupos heterogêneos para qualificar os serviços, nos quais, dentro de cada grupo, as unidades fossem o mais homogêneas possível. Com isso, tentamos privilegiar mais a variabilidade do que a média geral dos serviços e, ao mesmo tempo, alcançar o menor número possível de grupos para instrumentar mais facilmente as gerências regionais e centrais.
A análise mostrou ser adequada, para os 27 serviços testados, a divisão em três grupos. Finalmente, comparamos o agrupamento obtido com o agrupamento realizado pela avaliação qualitativa anterior. Isso foi feito para detectar se os grupos obtidos mediante a abordagem quantitativa não apresentavam incompatibilidades importantes com a avaliação qualitativa anterior, como seria o caso de unidades muito mal avaliadas qualitativamente apresentarem pontuações altas no agrupamento estatístico ou vice-versa. Com essa comparação, não pretendemos uma validação, mas sim testar se o conjunto do questionário não perderia a sensibilidade em relação às dimensões processuais de mais fácil captação na análise qualitativa.
Esse processo gerou o questionário final que foi respondido por 322 serviços (92,3% do universo). A média geral obtida foi de 1,128 (56,0% do padrão-ouro), com os extremos de 0,563 (28,0%) e 1,680 (84,0%).
Com o modelo de análise acima descrito, foram obtidos quatro agrupamentos bem delimitados, de níveis crescentes de qualidade. Para avaliar a importância das categorias avaliativas na determinação dos grupos, dividimos o número médio de questões de cada pontuação pelo total de questões em cada categoria, para que as diferentes quantidades de questões de cada uma não interferissem nos resultados.
Tal como esperávamos, o conjunto de indicadores relacionados à organização do trabalho teve maior peso na determinação do agrupamento, mostrando que o programa mantém um aporte médio de recursos aceitável, mas tem muita dificuldade para objetivar grande parte do plano ético-normativo do programa em tecnologias específicas. Assim, por exemplo, 32,0% dos serviços não possuem uma rotina diferenciada para pacientes em início de tratamento, e 26,0% não têm alternativa de atendimento imediato para casos novos.
Uma análise da associação independente dos níveis de qualidade com as características institucionais 46 mostrou que menor número de pacientes, localização em municípios pequenos e não exclusividade do serviço foram variáveis que se associaram independentemente com os piores níveis de qualidade.
Esse resultado coloca um importante debate para o Programa. Até que ponto a expansão de serviços não compromete definitivamente a qualidade?
Essa não é uma questão de resposta simples, dada a complexidade da assistência à AIDS que, desde o início da epidemia, tende a reforçar a importância da especialização e da experiência clínica como atributos da qualidade 47,48 do cuidado médico. Por outro lado, ter como premissa a necessidade de especialização, centralização e elevada complexidade do aparato médico como condição para uma assistência de qualidade nos coloca numa situação de difícil equacionamento frente às necessidades concretas colocadas para o cotidiano dos serviços. Num país de extensão continental, com uma epidemia que tem ao menos um caso identificado em grande parte dos municípios e com uma estimativa de 600 mil infectados entre 15 e 49 anos, não será possível dispor de serviços relativamente menos complexos, mas resolutivos e de boa qualidade? De qualquer modo, é possível dizer que essa expansão parece, ao menos em alguns locais, exagerada. Dos serviços avaliados, 34,0% acompanham menos de 50 pacientes. Desses, 45,0% estão no Estado de São Paulo, onde não é possível dizer que dificuldades de acesso geográfico justificariam a instalação de micro-serviços.
Remetemos a todos os serviços participantes um resumo dos resultados da pesquisa e uma carta informando o nível de classificação obtido. A listagem total da classificação de todos os serviços foi enviada para a Coordenação Nacional do Programa e para as Coordenações Estaduais, como também o banco com todas as respostas dos serviços.
As informações indicam que a repercussão local da avaliação variou muito, provavelmente em função do encaminhamento dado pelas gerências estaduais e locais. Assim, por exemplo, sabemos que apenas duas das coordenações estaduais dos sete estados envolvidos promoveram reuniões técnicas para discutir os resultado com as equipes locais, embora algumas coordenações municipais o tenham feito. De fato, em alguns locais, as gerências regionais não promoveram discussões ampliadas dos resultados: muitos gerentes de serviços locais nos procuraram diretamente solicitando explicações e discussões.
Por outro lado, após a divulgação dos resultados, a Coordenação Estadual do Programa de São Paulo, além de promover várias reuniões com equipes locais, tem utilizado, sistematicamente, os agrupamentos como guia para definir prioridades de supervisão gerencial nos serviços.
Em relação ao nível central do programa, a pesquisa gerou um novo projeto no qual estamos trabalhando no momento: um software de autoclassificação do(s) serviço(s) baseado no modelo de análise desenvolvido acoplado a recomendações de boa prática na organização do trabalho ambulatorial. Após sua disseminação, esse programa será utilizado como um dos instrumentos de avaliação das metas que comporão os padrões para transferência de recursos financeiros para os municípios (Ministério da Saúde, Programa Nacional de DST e AIDS, balanço do período de 2003-2004; http://www.aids.gov.br, acessado em 10/Ago/2004).
Os serviços avaliados conhecem somente a classificação própria. Os níveis estadual e central receberam o banco completo de dados. Esse tipo de divulgação foi compromissado entre nós e os serviços no início da pesquisa. Embora seja compreensível que as avaliações não devam criar ambientes de disputa ou de perseguição, é interessante assinalar que a nossa ainda limitada "cultura avaliativa" impõe restrições que, até certo ponto, comprometem o impacto possível das avaliações na prática dos programas. O diálogo com o movimento social, tão presente no Programa de AIDS, nos parece ser uma característica potencialmente produtiva para auxiliar a ampliação dessa cultura. Tanto que a primeira divulgação pública dos resultados nacionais se deu durante o Foro de Pessoas Vivendo com HIV/AIDS no final de 2002.
Também estamos planejando em conjunto com o Foro de ONGs paulistas e com a Coordenação Nacional do Programa um guia para usuários sobre padrões de qualidade da assistência ambulatorial.
Considerações finais
Parte dos instrumentos construídos nessa investigação podem ser adaptados e aplicados a programas semelhantes. Evidentemente, nesse caso, os instrumentos perderiam sua especificidade programática, vinculada aos objetos e estratégias de cada programa. Instrumentos genéricos podem ser úteis em determinados contextos, como, por exemplo, para iniciar um processo avaliativo em um programa de implantação recente e/ou de baixa densidade tecnológica.
Como já enfatizamos, não é o caso do programa de AIDS. Parece-nos que também não é o caso da maioria dos programas de saúde. A especificidade na apreensão e manipulação dos objetos de trabalho, objetivada nos instrumentos do trabalho, é condição necessária para o estabelecimento das ações programáticas. O produto dos processos de trabalho é tão mais coerente com a finalidade do trabalho quanto mais o processo for determinado pelas características específicas do objeto 23.
Temos procurado ampliar a investigação sobre a tecnologia do programa de AIDS utilizando metodologias capazes de abordar dimensões não consideradas nos projetos aqui descritos, tal como o enfoque das relações entre a organização tecnológica do trabalho e os contextos institucionais 49. Nessa ampliação, buscamos manter a especificidade como recorte privilegiado.
Trabalhar na especificidade não quer dizer que não se possa esperar nenhum grau de generalização da investigação. As intervenções em AIDS têm tornado mais públicos e agudos desafios há muito presentes na saúde pública, tais como a dificuldade de integração de práticas coletivas e individuais, a insuficiência dos instrumentos tecnológicos habituais para lidar com várias dimensões do sofrimento humano, a emergência de dilemas éticos e morais na assistência aos doentes, articuladas a uma grande velocidade de incorporação de tecnologias materiais. É possível que a investigação desse programa auxilie a elaboração de novas e melhores estratégias para os demais.
Temos procurado sempre salientar a importância da demanda nos processos avaliativos. A investigação aqui descrita foi feita pela demanda do Programa através da Coordenação Nacional. Metodologicamente, entretanto, teve todas as características de uma avaliação externa. Apesar da utilização de grupos focais e grupos de discussão com usuários e profissionais como instrumentos de construção da pesquisa, todo o quadro teórico-metodológico é de responsabilidade exclusiva dos pesquisadores.
Essa é uma característica que nos remete a uma discussão que embora bastante antiga no campo da avaliação em saúde ainda desperta polêmicas entre nós. Em alguns contextos, profissionais dos serviços de saúde e pesquisadores responsabilizam a metodologia da avaliação pelo freqüente distanciamento ou não apropriação dos resultados pelas equipes locais. Nessas assunções, avaliações mais participativas seriam a melhor alternativa metodológica para evitar o problema.
Em que pese o grande compromisso pragmático das avaliações em serviços de saúde, elas não possuem uma metodologia adequada a priori, assim como qualquer investigação. Será a demanda da avaliação, seu foco e objetivo que determinarão sua melhor metodologia. Somente parece possível dizer, de modo abstrato, que o melhor para um programa de saúde seria equilibrar avaliações externas, tendencialmente mais generalizáveis, com avaliações mais participativas, tendencialmente mais responsivas.
Em ambos os casos, entretanto, será sempre necessário aceitar o risco do julgamento de uma avaliação. Para isso, é necessário um compromisso de base moral com o aprimoramento técnico e ético do trabalho. Aqui nos parece estar a maior fecundidade dos processos de avaliação: a revelação, a publicação e renovação desse compromisso.
Finalmente, é importante ressaltar que a baixa utilização dos produtos das avaliações em saúde nunca se esgotará na adequação de uma ou outra metodologia. A investigação em serviços de saúde, particularmente a pesquisa avaliativa, constitui-se por processos de imersão no estudo de práticas sociais complexas segundo uma racionalidade científica. Seu poder de mudança será, por isso, sempre limitado. Não é possível esperar que a ciência possa "dar conta" do terreno de múltiplas determinações e de conflitos ético-políticos no qual atuam gestores, trabalhadores e usuários. Bem como não é possível esperar respostas unívocas para dimensões tão importantes e presentes no trabalho em saúde como as interações mais propriamente humanas 2,49..
Mas se a avaliação não "pode tudo", ela certamente "pode muito". A crescente assunção da importância da avaliação em saúde entre nós deve ser saudada pela sua inegável potencialidade ética. Isto é, tão mais importante quando lembramos que as práticas de saúde em geral e a instituição médica em particular têm historicamente se mantido alheias a formas mais efetivas de controle social. Essa potencialidade ética será mais desenvolvida quanto mais a avaliação for utilizada como produtora de insumos racionais para o debate político. Nesse sentido, qualquer avaliação em saúde participativa ou não voltada para um objeto socialmente relevante e conduzida cientificamente será democrática.
Colaboradores
M. I. B. Nemes contribuiu no desenho do estudo e redação final do artigo. E. R. L. Castanheira, R. Melchior, M. T. S. S. B. Alves e C. R. Basso colaboraram no desenho do estudo e na redação preliminar do artigo.
Agradecimentos
À Mary Franklin Gonçalves que nos ajudou a viabilizar toda a investigação; aos profissionais e usuários dos serviços de saúde avaliados.
Referências
1. Nemes MIB, Melchior R, Castanheira ERL, Basso CR, Alves MTSB. Avaliação da qualidade da assistência ambulatorial a pessoas vivendo com AIDS no Brasil. Relatório final da pesquisa, 2004. http://www.aids.gov.br (acessado em 10/Mar/2004).
2. Nemes MIB. Avaliação em saúde: questões para o programa de DST/AIDS no Brasil. Rio de Janeiro: Associação Brasileira Interdisciplinar de AIDS; 2001.
3. Nemes MIB, Carvalho HB, Souza MFMS. Antiretroviral therapy adherence in Brazil. AIDS 2004; 18 Suppl 3:1-6.
4. Nemes MIB, organizador. Avaliação da aderência ao tratamento por anti-retrovirais em usuários de ambulatórios do sistema público de assistência à AIDS no Estado de São Paulo: Coordenação Nacional de DST/AIDS. Série Avaliação nº 1. http://www.aids.gov.br (acessado em 10/Jun/2004).
5. Mesquita F, Doneda D, Gandolf D, Nemes MIB, Andrade T, Bueno R, et al. Brazilian response to the HIV/AIDS epidemic among injecting drug users. Clin Infect Dis 2003; 37 Suppl 5:3825.
6. Jordan M, Lopes JF, Okazaki E, Komatsu CL, Nemes MIB. Aderência ao tratamento anti-retroviral em AIDS: revisão da literatura médica. In: Teixeira PR, Paiva V, Shimma E, organizadores. Tá difícil de engolir? Experiências de adesão ao tratamento anti-retroviral em São Paulo. São Paulo: Núcleo de Estudos para Prevenção da AIDS/Centro de Referência e Treinamento DST/AIDS; 2000. p. 5-22.
7. Castanheira ERL, Nemes MIB, Melchior R, Donini AA, Basso CR, Tunala L, et al. Quality of care in STD/AIDS health services in São Paulo, Brazil: a qualitative framework. In: Proceedings of the 14th International AIDS Conference, Barcelona 2002. http://www.ias.se/(acessado em 10/Ago/2004).
8. Nemes MIB, Melchior R, Donini AA, Basso CR, Castanheira ERL, Alves MTSSB, et al. Quality of care assessement in STD/AIDS health services in São Paulo, Brazil. In: Proceedings of the 14th International AIDS Conference, Barcelona, 2002. http://www.ias.se/ (acessado em 10/Ago/2004).
9. Castanheira ERL. Avaliação da assistência ambulatorial a pessoas vivendo com HIV/AIDS em serviços públicos no Estado de São Paulo: relações entre qualidade e organização do processo de trabalho [Tese de Doutorado]. São Paulo: Faculdade de Medicina, Universidade de São Paulo; 2002.
10. Melchior R. Avaliação da organização da assistência ambulatorial a pessoas vivendo com HIV/AIDS no Brasil: análise de 322 serviços em 7 estados brasileiros (CE, MA, MS, PA, RJ, RS, SP) [Tese de Doutorado]. São Paulo: Faculdade de Saúde Pública, Universidade de São Paulo; 2003.
11. Kalichman AO. Vigilância epidemiológica de AIDS: recuperação histórica de conceitos e práticas [Dissertação de Mestrado]. São Paulo: Faculdade de Medicina, Universidade de São Paulo; 1993.
12. Galvão J. As respostas das organizações não-governamentais brasileiras frente à epidemia de HIV/AIDS. In: Parker R, organizador. Política, instituições e AIDS enfrentando a epidemia no Brasil. Rio de Janeiro: Jorge Zahar Editora/Associação Brasileira Interdisciplinar de AIDS; 1997. p. 69-108.
13. Teixeira PR. Políticas públicas em AIDS. In: Parker R. organizador. Política, instituições e AIDS enfrentando a epidemia no Brasil. Rio de Janeiro: Jorge Zahar Editora/Associação Brasileira Interdisciplinar de AIDS; 1997. p. 43-68.
14. Ministério da Saúde. Alternativas assistenciais à AIDS no Brasil: as estratégias e resultados para a implantação da rede de Serviços de Assistência Especializada. Brasília: Coordenação Nacional de DST/AIDS; 1998.
15. Ministério da Saúde. Alternativas assistenciais à AIDS no Brasil: as estratégias e resultados para a implantação da rede de Serviços de Assistência Especializada. Anexo II O perfil dos SAE 2000. http://www.aids.gov.br/assistencia/aids1/relativ_anexo2.html (acessado em 03/Jun/2001).
16. Teixeira PR, Vitória MA, Barcarolo J. Antiretroviral treatment in resource-poor settings: the Brazilian experience. AIDS 2004; 18 Suppl 3:5-7.
17. Nemes MIB. Prática programática em saúde. In: Schraiber LB, Nemes MIB, Mendes-Gonçalves RB, organizadores. Saúde do adulto: programas e ações na unidade básica. 2ª Ed. São Paulo: Editora Hucitec; 2000. p. 48-65.
18. Dalmaso ASW. Oferta e consumo de ações de saúde: como realizar o projeto da integralidade? Saúde Debate 1994; 44:35-8.
19. Schraiber LB, Peduzzi M, Sala A, Nemes MIB, Castanheira E RL, Kon R. Planejamento, gestão e avaliação em saúde: identificando problemas. Ciênc Saúde Coletiva 1999; 4:221-42.
20. Mendes-Gonçalves RB, Schraiber LB, Nemes MIB. Seis teses sobre a ação programática em saúde. In: Schraiber LB, organizador. Programação em saúde hoje. 2ª Ed. São Paulo: Editora Hucitec; 1993. p. 37-63.
21. Mendes-Gonçalves RB. Tecnologia e organização social das práticas de saúde: características tecnológicas do processo de trabalho na Rede Estadual de Centros de Saúde de São Paulo. São Paulo: Editora Hucitec/Rio de Janeiro: ABRASCO; 1994.
22. Nemes MIB. Ação programática em saúde: referenciais para análise da organização do trabalho em serviços de atenção primária. Espaço para Saúde, 1990; 2:40-5.
23. Nemes MIB. Avaliação do trabalho programático na atenção primária à saúde [Tese de Doutorado]. São Paulo: Faculdade de Medicina, Universidade de São Paulo; 1996.
24. Schraiber LB, Nemes MIB. Processo de trabalho e avaliação de serviços de saúde. Cadernos FUNDAP 1996; 19:106-21.
25. Sala A, Nemes MIB, Cohen DD. Metodologia de avaliação do trabalho na atenção primária à saúde. Cad Saúde Pública 1998; 14:741-75.
26. Chen HT. Theory-driven evaluations. Newbury Park: Sage Publications; 1990.
27. Nemes MIB. Ação programática em saúde: recuperação histórica de uma política de programação. In: Schraiber LB, organizador. Programação em saúde hoje. 2ª Ed. São Paulo: Editora Hucitec; 1993. p. 65-116.
28. Merhy EE. O capitalismo e a saúde pública. São Paulo: Papirus; 1985.
29. Marins JR, Jamal LF, Chen SY, Barros MB, Hudes ES, Barbosa AA, et al. Dramatic improvement in survival among adult Brazilian AIDS patients. AIDS 2003; 17:1675-82.
30. Szwarcwald CL, Bastos FI, Esteves MAP, Andrade CLT. A disseminação da epidemia da AIDS no Brasil, no período de 1987-1996: uma análise espacial. Cad Saúde Pública 2000; 16 Suppl 1:7-21.
31. Szwarcwald CL, Bastos FI. AIDS e pauperização: principais conceitos e evidências empíricas. Cad Saúde Pública 2000; 16 Suppl 1:65-76.
32. Dhalia C, Barreira D, Castilho EA. A AIDS no Brasil: situação atual e tendências. Boletim Epidemiológico AIDS 2000; ano XIII, nº 1.
33. Vermelho LL, Silva LP, Costa AJL. Epidemiologia da transmissão vertical do HIV no Brasil. hppt://www.aids.gov.br (acessado em 10/Jun/2004).
34. Bastos FI, Kerrigan D, Malta M, Carneiro-da-Cunha C, Strathdee SA. Treatment for HIV/AIDS in Brazil: strengths, challenges, and opportunities for operations research. AIDScience 2001; 1(15). http://www.aidscience.com/Articles/aidscience012.asp (acessado em 10/Ago/2004).
35. Segurado AC, Miranda SD, Latorre MD. Brazilian Enhancing Care Initiative Team. Evaluation of the care of women living with HIV/AIDS in Sao Paulo, Brazil. AIDS Patient Care STDS 2003; 17:85-93.
36. Basso CR. O Programa Nacional de DST/AIDS no SUS. In: Barjas-Negri AL, D'Avila V, organizadores. O Sistema Único de Saúde em 10 anos de desafio. São Paulo: Sobravime; 2002. p. 135-62.
37. Levi GC, Vitoria MA. Fighting against AIDS: the Brazilian experience. Lancet 2002; 360:1862-5.
38. Castanheira ERL, Capozzolo AA, Nemes MIB. Características tecnológicas do processo de trabalho em serviços de saúde selecionados. In: Nemes MIB, organizador. Avaliação da aderência ao tratamento por anti-retrovirais em usuários de ambulatórios do sistema público de assistência à AIDS no Estado de São Paulo. Brasília: Coordenação Nacional DST/AIDS, Ministério da Saúde; 2000. p. 133-69.
39. Minayo MCS. Desafio do conhecimento. Pesquisa qualitativa em saúde. 3ª Ed. Rio de Janeiro: Editora Hucitec. Rio de Janeiro: ABRASCO; 1994.
40. Peduzzi M. Equipe multiprofissional de saúde: conceito e tipologia. Rev Saúde Pública 2001; 35: 103-9.
41. Shaw CD External quality mechanisms for health care. Int J Qual Health Care 2000; 12:169-75.
42. Haya HR, Pronovost P, Diette GB. From a process of care to a measure: the development and testing of a quality indicator. Int J Qual Health Care 2001; 13:489-96.
43. Campbell SM, Braspenning j, Hutchinson A, Marshall MN. Improving the quality of health care. Research methods used in developing and applying quality indicators in primary care. BMJ 2003; 326:816-9.
44. Mallin JL, Asch SM, Keit EA, MacGlynn EA. Evaluating the quality of cancer care. Development of cancer quality indicators fora global quality assessment tool. Cancer 2001; 88:701-7.
45. Hermida J, Nicholas DD, Blumenfeld SN. Comparative validity of three methods for assessment of the quality of primary health care. Int J Qual Health Care 1999; 11:429-33.
46. Campbell SM, Hann M, Hacker J, Burns C, Oliver D, Thapar A, et al. Identifying predictors of high quality in English general practice: observational study. BMJ 2001; 323:1-6.
47. Kitahara MM, Koepsell TD. Physicians' experience with the acquired immunodeficiency syndrome as a factor in patints' survival. N England J Med 1996; 334:701-6.
48. Hecht FM, Wilson IB, Wu AW, Cook RL, Turner BJ. Optimizing care for person with HIV infection. Ann Intern Med 1996; 131:136-43.
49. Alves MTSB. Avaliação da assistência ambulatorial a pessoas vivendo com HIV e AIDS no Sistema Único de Saúde: a situação do Maranhão [Tese de Doutorado]. São Paulo: Faculdade de Medicina, Universidade de São Paulo; 2003.
Endereço para correspondência
M. I. B. Nemes
Departamento de Medicina Preventiva, Faculdade de Medicina, Universidade de São Paulo
Av. Dr. Arnaldo 455
São Paulo, SP 01246-903, Brasil
mibnemes@usp.br
Recebido em 26/Fev/2004
Versão final reapresentada em 24/Ago/2004
Aprovado em 06/Set/2004