ARTIGO ARTICLE

Avaliação de efetividade da Atenção Básica à Saúde em municípios das regiões Sul e Nordeste do Brasil: contribuições metodológicas

Evaluation of the effectiveness of Primary Health Care in South and Northeast Brazil: methodological contributions

Luiz Augusto Facchini^I; Roberto Xavier Piccini^I; Elaine Tomasi^{II, III}; Elaine Thumé^{I, IV}; Vanessa Andina Teixeira^{I, V}; Denise Silva da Silveira^{I, III}; Maria de Fátima Santos Maia^I; Fernando Vinholes Siqueira^II; Maria Aparecida Rodrigues^{I, VI}; Vera Vieira Paniz^I; Alessander Osório^I

^IDepartamento de Medicina Social, Universidade Federal de Pelotas, Pelotas, Brasil
^IIUniversidade Católica de Pelotas, Pelotas, Brasil
^IIISecretaria Municipal de Saúde e Bem-estar de Pelotas, Pelotas, Brasil
^IVFaculdade de Enfermagem e Obstetrícia, Universidade Federal de Pelotas, Pelotas, Brasil
^VFundação Universidade Federal do Rio Grande, Rio Grande, Brasil
^VISecretaria Estadual de Saúde do Rio Grande do Sul, Porto Alegre, Brasil

Correspondência

RESUMO

O artigo apresenta a metodologia de Estudo de Linha de Base (ELB), que avaliou a efetividade da Estratégia Saúde da Família em comparação às unidades básicas de saúde tradicionais. A base do estudo foi composta por 41 municípios acima de 100 mil habitantes, 21 da Região Sul e vinte do Nordeste. Principal variável dependente e pressuposto da base amostral do ELB, a efetividade das ações programáticas das unidades básicas de saúde foi examinada na população de sua área de abrangência, por meio de inquérito epidemiológico. O modelo de atenção das unidades básicas de saúde foi a principal variável independente. Seu efeito sobre as ações programáticas foi controlado por região geopolítica, região metropolitana e porte populacional dos municípios. A cobertura das ações foi caracterizada segundo aspectos sócio-econômicos, demográficos e de saúde. A utilização de grupos de comparação, amostras por múltiplos estágios, medidas padronizadas, controle de características geográficas e sócio-demográficas da população e critérios bem definidos para julgar os achados são contribuições da metodologia utilizada para o delineamento de futuros estudos de avaliação da Atenção Básica à Saúde.

Atenção Primária à Saúde; Avaliação em Saúde; Efetividade; Epidemiologia dos Serviços de Saúde

ABSTRACT

The article presents the methodology used in the Baseline Study that evaluated the effectiveness of the Family Health Strategy as compared to traditional primary health care units. The study included 41 municipalities with more than 100 thousand inhabitants each, 21 from the South and 20 from the Northeast of Brazil. As the principal dependent variable and underlying premise for sampling in the Baseline Study, the effectiveness of program activities in the primary care units was analyzed in the population within the respective coverage areas, using an epidemiological survey. The health care model in the primary care units was the principal independent variable. Its effect on program activities was controlled according to geopolitical region, metropolitan area, and population size in the municipalities. Coverage of the activities was characterized according to socioeconomic, demographic, and health-related factors. The use of comparison groups, multiple-stage samples, standardized measures, adjustment for geographic and socio-demographic characteristics, and well-defined criteria for judging the findings are contributions by the methodology employed here for designing future studies to evaluate primary health care.

Primary Health Care; Health Evaluation; Effectiveness; Health Services Epidemiology

Introdução

As políticas de saúde nem sempre provocam as mudanças desejáveis ou atendem as expectativas e necessidades da população ^1,2,3. A literatura especializada está repleta de exemplos de programas bem-intencionados, continuados, em alguns casos, durante décadas, até avaliações rigorosas revelarem que seus resultados não eram os esperados ⁴.

Num contexto de marcantes desigualdades sociais e escassez de recursos públicos para o financiamento do setor saúde, a avaliação é essencial para estabelecer a capacidade de resposta de políticas, programas e serviços às necessidades de saúde da população ⁵. Desde 1990, tem crescido a pressão da sociedade, de governos e de agências financiadoras por avaliação regular dos resultados das políticas de saúde e dos investimentos públicos ^5,6,7.

Em muitos países, as exigências foram incluídas na legislação e nas atividades administrativas. Nos Estados Unidos, desde 1993, há a exigência legal de planejamento estratégico e avaliação de desempenho para todas as atividades governamentais, incluindo a pesquisa ⁸. No Brasil, na última década, também cresceu a utilização de avaliações em saúde para justificar estratégias e programas, auxiliar na racionalização dos gastos públicos, subsidiar a elaboração de ações setoriais e a difusão de seus resultados ^2,9,10.

A avaliação da Atenção Básica à Saúde ganha destaque no Sistema Único de Saúde (SUS) ¹¹, mas enfrenta desafios teóricos e operacionais decorrentes da complexidade de seus processos e de suas múltiplas causas conjunturais e históricas. Os princípios de universalidade, integralidade, eqüidade, descentralização e controle social da gestão têm orientado a Atenção Básica à Saúde, definida como estratégia de organização do sistema de saúde para realizar ações de promoção da saúde, prevenção de agravos, diagnóstico, tratamento e reabilitação individual e coletiva ^5,10,12. A persistência de problemas históricos na estrutura física dos serviços, acesso oportuno aos recursos, suficiência e perfil dos profissionais de saúde, reforça as dúvidas sobre a efetividade da Atenção Básica à Saúde na resposta às necessidades de saúde da população ^6,11,12.

Lançada em 1994 como alternativa aos problemas da Atenção Básica à Saúde em pequenos municípios da Região Nordeste, a estratégia de saúde da família alcança, na atualidade, os grandes centros urbanos de todo o país ^11,12. Em 2003, como estímulo à conversão do modelo de Atenção Básica à Saúde, em municípios acima de cem mil habitantes, o Ministério da Saúde inicia o Projeto de Expansão e Consolidação do Saúde da Família (PROESF) ⁶, cujos componentes 1 e 2 financiam, respectivamente, melhorias na infra-estrutura dos serviços e a capacitação dos recursos humanos.

Iniciada com um Estudo de Linha de Base (ELB), a avaliação de desempenho da Atenção Básica à Saúde integra o componente 3 do PROESF e busca estabelecer o efeito da intervenção saúde da família na melhoria da atenção ⁶. Para medir o impacto da estratégia saúde da família na situação de saúde da população, o ELB será complementado por um estudo de acompanhamento. A Universidade Federal de Pelotas (UFPel) foi selecionada para realizar o ELB em 41 municípios com mais de cem mil habitantes de sete Estados da Federação, cinco localizados na Região Nordeste e dois na Região Sul ¹¹.

O desafio de obter evidências factuais que sustentem a expansão da saúde da família nos grandes centros urbanos do país foi enfrentado através de uma avaliação de efetividade dos modelos de Atenção Básica à Saúde, que examinou a cobertura das ações programáticas na população da área de abrangência dos serviços. O conceito de efetividade apresenta uma significativa variabilidade segundo os autores e os objetos enfocados ^13,14,15,16. Há confusões com o conceito de eficácia, eficiência e, até, qualidade ¹⁶, mas observa-se uma forte tendência que relaciona a efetividade com o "efeito das ações e práticas de saúde implementadas" ¹⁶ (p. 81). A efetividade e o impacto estariam relacionados às modificações introduzidas por uma intervenção num contexto da vida real, chamada por Contandriopoulos ¹³ de eficácia de utilização. Last ¹⁴ define efetividade como a medida do alcance de intervenções, procedimentos, tratamentos ou serviços em condições reais ou rotineiras. Em síntese, a efetividade é adequada para avaliar o cumprimento de objetivos, metas e funções das ações programáticas institucionais da Atenção Básica à Saúde ^{2,13,15,16,17}.

A efetividade da Atenção Básica à Saúde em grandes centros urbanos do Sul e Nordeste foi avaliada através das seguintes perguntas: A cobertura das ações programáticas da Estratégia Saúde da Família é mais efetiva do que a do modelo tradicional? A saúde da família promove a eqüidade em saúde, priorizando populações mais vulneráveis? É recomendável continuar investindo em sua expansão e consolidação nestes centros?

Com o propósito de contribuir para a discussão sobre o delineamento e a utilidade dos estudos de efetividade na avaliação de políticas e programas de saúde no país ^10,17, particularmente da atenção básica ⁶, o presente artigo detalha as características conceituais e metodológicas do ELB-UFPel.

Referencial teórico

A epidemiologia foi a base conceitual do estudo por sua especialização na medida de desigualdades em saúde pública e sua utilidade na avaliação de políticas e programas de saúde ^{5,17,18,19,20,21}.

A fundamentação epidemiológica do estudo está expressa no modelo teórico (Figura 1), que articula e hierarquiza as quatro dimensões definidas no Termo de Referência do ELB ⁶, político-institucional, organizacional da atenção, do cuidado integral e do desempenho dos sistemas de saúde. O modelo teórico é um recurso heurístico, um enredo sintético do estudo que dá significado e ordem ao caos de fragmentos e dispersões das variáveis isoladas. Permite abordar, de modo simplificado, uma cadeia causal complexa e estabelecer as inferências epidemiológicas ⁵.

A dimensão político-institucional sintetiza os atributos do contexto e da gestão do SUS. Abrange o agregado, o recorte geopolítico em regiões, estados e municípios, expressando as diferenças sócio-demográficas e os contrastes na constituição do SUS e da Atenção Básica à Saúde. A dimensão caracteriza diferenças históricas e conjunturais na cobertura populacional de saúde da família, a situação do emprego e da remuneração dos trabalhadores da Atenção Básica à Saúde, seu financiamento e controle social.

A dimensão organizacional da atenção caracteriza a gestão e a oferta da Atenção Básica à Saúde e da saúde da família. Aproxima o olhar das unidades básicas de saúde e dos fluxos entre os níveis de atenção do SUS. Detalha a reorientação do modelo tradicional de atenção básica para a estratégia saúde da família. Contempla os mecanismos de supervisão, monitoramento e avaliação das unidades básicas de saúde, as experiências inovadoras, a capacitação dos recursos humanos, a constituição da equipe de saúde e a disponibilidade de tecnologias e área física.

A dimensão do cuidado integral focaliza o processo de trabalho e a oferta de ações programáticas nas unidades básicas de saúde como estratégias de indução da integralidade na abordagem das necessidades de saúde da população.

A dimensão desempenho do sistema analisa o efeito das dimensões anteriores na utilização dos serviços de Atenção Básica à Saúde, estabelecendo a efetividade e a eqüidade da saúde da família e do modelo tradicional na cobertura de ações programáticas dirigidas à população da área de abrangência dos serviços. O modelo teórico contempla as características sócio-econômicas e demográficas do contexto municipal e da população das áreas de abrangência das unidades básicas de saúde, controlando seu efeito na avaliação dos serviços.

Delineamento do estudo

Realizou-se um estudo transversal com grupos de comparação (saúde da família X tradicionais) conforme proposto na declaração TREND (Transparent Reporting of Evaluations with Norandomized Designs) ²² e por avaliações em saúde pública ^10,21,23,24. O estudo de base populacional na área de abrangência das unidades básicas de saúde oportunizou um diagnóstico detalhado da efetividade da Atenção Básica à Saúde, subsidiando, em curto prazo, a tomada de decisão de gestores e trabalhadores de saúde, a um custo factível. O grupo de comparação externo - unidades tradicionais - e as medidas de múltiplos níveis (estrutura, processo e resultados) permitiram destacar o efeito da estratégia saúde da família no enfrentamento dos problemas da Atenção Básica à Saúde ¹³.

Operacionalização conceitual: quadro de variáveis

A Tabela 1 sistematiza as variáveis em estudo e seus respectivos indicadores segundo as dimensões e categorias de análise do modelo teórico (Figura 1). Principal variável independente do estudo, o modelo de atenção (saúde da família X tradicional) teve seu efeito sobre as variáveis dependentes, controlado por região geopolítica e metropolitana e porte populacional do município. Principal variável dependente, a efetividade das ações programáticas, como, por exemplo, pré-natal, puericultura, controle de doença crônica e atenção domiciliar, foi estimada através de sua cobertura populacional na área de abrangência dos serviços e sua comparação por modelo de atenção.

Amostra

O estudo foi realizado em 21 municípios com mais de 100 mil habitantes da Região Sul, 17 no Rio Grande do Sul e quatro em Santa Catarina. Na Região Nordeste, o estudo abrangeu vinte municípios de igual porte, dois em Alagoas, três na Paraíba, dez em Pernambuco, dois no Piauí e três no Rio Grande do Norte. Esses municípios constituíam os Lotes 2 Sul e Nordeste do termo de referência do Ministério da Saúde ⁶ que orientou a elaboração dos projetos do ELB.

Nesse universo, uma amostra estratificada por múltiplos estágios orientou a seleção da população da área de abrangência dos serviços, unidades básicas de saúde, trabalhadores de saúde e usuários ²⁵. Inicialmente, foi definido, para o conjunto dos municípios de cada região, o tamanho da amostra populacional necessária para avaliar diferenças na efetividade das ações programáticas de saúde, segundo o modelo de atenção das unidades básicas de saúde (saúde da família X tradicional).

Amostra populacional e de unidades básicas de saúde

A amostra da população da área de abrangência das unidades básicas de saúde incluiu quatro grupos: crianças de um a três anos de idade, mulheres que tiveram filhos nos últimos dois anos, adultos entre 30 e 64 anos de idade e idosos a partir dos 65 anos de idade. As amostras eram independentes, e apenas uma pessoa foi elegível por domicílio, com exceção de crianças e mães. As amostras de adultos e idosos foram estratificadas por sexo.

Os parâmetros utilizados para avaliar diferenças na cobertura populacional de ações programáticas segundo o modelo de atenção das unidades básicas de saúde foram dois indivíduos expostos à saúde da família para um indivíduo não exposto (tradicional), nível de 95% de confiança, poder estatístico de 80%, prevalências dos desfechos nos não expostos de, no mínimo, 20% e razão de prevalência de 1,5. Ao acrescentar 10% para compensar eventuais perdas, 15% para controle de fatores de confusão e 60% para efeito de delineamento ²⁵_, obteve-se uma amostra final, em cada região, de 2.100 indivíduos por grupo populacional.

A seleção aleatória da amostra de unidades básicas de saúde foi proporcional à capacidade instalada da rede básica urbana dos municípios, conforme listas produzidas pelos gestores municipais, discriminando os serviços por modelo de atenção. Para assegurar o poder estatístico na avaliação de possíveis diferenças entre os modelos de atenção e ampliar a representatividade da amostra, optou-se por incluir entre 10% e 20% da rede básica de cada município. A amostra final totalizou 120 unidades básicas de saúde por região, categorizadas segundo o modelo de atenção (saúde da família x tradicional) e o padrão temporal (tradicional, mais antigas; saúde da família pré-PROESF, intermediárias e saúde da família pós-PROESF, mais recentes).

Foram selecionadas três unidades básicas de saúde em municípios com até 20 unidades básicas de saúde; seis em municípios que tinham de 21 até 40 unidades básicas de saúde, nove em municípios com um tamanho da rede de 41 a 90 unidades básicas de saúde e 12 em municípios com mais de 90 unidades básicas de saúde em sua rede de Atenção Básica à Saúde. Considerando o número de unidades básicas de saúde a incluir no município, primeiro, era selecionada uma unidade básica de saúde pós-PROESF, seguindo-se do sorteio de uma unidade básica de saúde pré-PROESF e, por último, de uma unidade básica de saúde tradicional. O processo era repetido até se alcançar o número de unidades básicas de saúde da amostra do município. Não havendo ou esgotando o número de unidades básicas de saúde pré-PROESF, completava-se a amostra com unidades básicas de saúde pós-PROESF e vice-versa. Valorizando-se o perfil da rede básica e a temporalidade das unidades básicas de saúde no município e, em conseqüência, na região, na falta de serviços de saúde da família em número suficiente, a amostra era completada com unidades básicas de saúde tradicionais.

A amostra populacional (2.100 moradores), dividida por 120 unidades básicas de saúde selecionadas, resultou na quota de 18 entrevistas, em cada grupo, na área de abrangência dos serviços.

Amostra de trabalhadores das unidades básicas de saúde

Devido à dificuldade em obter listas confiáveis dos trabalhadores lotados em cada unidade básica de saúde, decidiu-se entrevistar todos os trabalhadores em atividade nas unidades básicas de saúde durante a coleta de dados. Foram incluídos médicos, enfermeiros, odontólogos e outros profissionais de nível superior, técnicos e auxiliares de enfermagem, recepcionistas, agentes comunitários de saúde, auxiliares de higienização, seguranças e demais trabalhadores lotados nas unidades básicas de saúde.

Uma amostra intencional foi composta por todos os atendimentos realizados pela equipe em um dia típico de trabalho em cada unidade básica de saúde selecionada, incluindo os prestados por agentes comunitários de saúde.

Amostra da gestão e controle social

Na caracterização da gestão central, a amostra incluía todos os secretários municipais de saúde, coordenadores de Atenção Básica à Saúde e saúde da família, além de informações documentais e de fonte secundária. Igualmente, todos os presidentes dos Conselhos Municipais de Saúde dos municípios estudados foram selecionados para a caracterização do controle social.

Logística e instrumentos da coleta de dados

Na coleta de dados primários do ELB, foram utilizados 12 instrumentos: três para gestão, um para o controle social, dois para as unidades básicas de saúde, um para os trabalhadores de saúde, um para os usuários das unidades básicas de saúde e quatro populacionais. Os instrumentos estão disponíveis na Internet (http://www.epidemio-ufpel.org.br/proesf/index.htm), podendo ser utilizados total ou parcialmente, desde que citada a fonte.

Por meio de dados secundários, foram sistematizadas informações para municípios e estados, no período de 1999 a 2005, sobre o Pacto da Atenção Básica, indicadores do perfil epidemiológico e sócio-demográfico da população e financiamento da saúde, da Atenção Básica à Saúde e da saúde da família. Os dados foram obtidos de bases nacionais disponibilizadas, principalmente, pelo Departamento de Informática do SUS (DATASUS; http://www.datasus.gov.br) e Instituto Brasileiro de Geografia e Estatística (IBGE; http://www.ibge.gov.br).

A coleta dos dados primários foi realizada por 15 auxiliares de pesquisa capacitados e com dedicação exclusiva ao estudo. O trabalho de campo exigiu uma complexa logística para o deslocamento do grupo através dos 41 municípios, incluindo roteiros geográficos predeterminados e o apoio de uma equipe localizada na sede do estudo.

Essa retaguarda foi pactuada entre a coordenação do ELB-UFPel, os gestores municipais e trabalhadores das unidades básicas de saúde durante as oficinas de capacitação, realizadas previamente ao trabalho de campo e custeadas pelo projeto. Além de divulgar a realização do estudo, seus objetivos, a metodologia e a logística adotada para a coleta de dados nos municípios, as oficinas também possibilitaram um diagnóstico situacional da atenção básica nos municípios e a distribuição dos questionários auto-aplicáveis aos secretários de saúde e coordenadores de Atenção Básica de Saúde e saúde da família. Informações detalhadas sobre as oficinas estão disponíveis na página do estudo na Internet.

Ao chegar nos municípios, os auxiliares de pesquisa se reuniam com os responsáveis locais para definir o trabalho de campo em cada uma das unidades básicas de saúde e esclarecer dúvidas. Também era agendada a entrevista com o presidente do Conselho Municipal de Saúde para o levantamento das informações sobre o controle social.

Ao chegar nas unidades básicas de saúde, os auxiliares de pesquisa realizavam contato com a pessoa de referência que havia participado das oficinas preparatórias do estudo. Também orientavam o preenchimento dos instrumentos para coleta de dados sobre os trabalhadores das unidades básicas de saúde, a estrutura, o processo de trabalho da equipe e a caracterização da demanda de um dia típico de atendimento.

A coleta de informações sobre a estrutura dos serviços utilizou um questionário padronizado com questões sobre adequação da área física, disponibilidade de equipamentos, materiais, insumos, recursos humanos, utilização de protocolos e realização de ações programáticas. O instrumento era preenchido pela equipe de saúde ou por um responsável pelo serviço, com o apoio de pessoas-chave nos diversos setores.

O processo de trabalho nas unidades básicas de saúde foi caracterizado através da identificação do objeto, das tecnologias e das atividades orientadas à finalidade do serviço ²⁶. A organização e a divisão técnica do trabalho foram descritas mediante perguntas abertas sobre planejamento, gestão e coordenação; gestão da informação, supervisão e suporte técnico; recepção; acolhimento; cuidado clínico, de enfermagem, odontológico e cuidados domiciliares; ações programáticas e educativas, além do controle social local. Nestas 12 etapas da rotina das atividades, foram identificadas as principais dificuldades e sugestões de melhoria. Foi orientado que o preenchimento do instrumento ocorresse durante reunião de equipe.

O instrumento dos trabalhadores de saúde caracterizava o perfil sócio-demográfico, educacional, comportamental, de saúde e profissional (incluindo questões de capacitação e vínculo empregatício), as tarefas desenvolvidas, realização de supervisão e satisfação no trabalho. O questionário era auto-aplicado e foi distribuído aos trabalhadores em atividade nas unidades básicas de saúde selecionadas. Seu preenchimento era individual, e os auxiliares de pesquisa prestavam apoio no caso de dúvidas.

O estudo de demanda foi realizado com um formulário-espelho da ficha de atendimento ambulatorial do SUS. Foram registrados todos os atendimentos de um dia de trabalho em cada unidade básica de saúde, incluindo os prestados por agentes comunitários de saúde. O formulário continha questões sobre o perfil dos usuários (idade, sexo, problemas de saúde etc.) e sobre os procedimentos realizados (consulta, vacina etc.).

Na coleta de dados da população da área de abrangência, foram utilizados questionários com questões fechadas e estruturadas. Algumas questões abertas foram adotadas para qualificar as informações. Foi utilizado um instrumento para cada grupo populacional, contemplando dados sócio-econômicos, demográficos, educacionais, sobre hábitos de vida, situação de saúde, morbidade referida, utilização de serviços de saúde e consumo de medicamentos.

A estratégia utilizada predominantemente na coleta de dados foi a de duplas e quartetos de entrevistadores. Também foram realizados "mutirões" para agilizar o trabalho em áreas com problemas de segurança identificados pelas equipes das unidades básicas de saúde. Agentes comunitários de saúde e membros da equipe facilitavam a circulação na área de abrangência.

A população de referência das unidades básicas de saúde foi definida por meio de mapas, planilhas e documentos sobre limites do território de cobertura do serviço. O ponto inicial da coleta de dados foi a unidade básica de saúde, buscando-se, a partir dessa, os indivíduos elegíveis de acordo com o grupo populacional. Cada entrevistador localizava a amostra de um grupo populacional. Ao concluí-la, se necessário, passava à localização de outro grupo. Caso, em um domicílio, não residisse o indivíduo com as características requeridas, passava-se ao seguinte, respeitando a orientação do deslocamento pela área de abrangência.

Somente um indivíduo elegível participava do estudo em cada domicílio, explicando-se a sua finalidade e obtendo-se consentimento informado. Considerando que a abordagem populacional procurou avaliar a utilização de serviços e o vínculo com a unidade de saúde, nos domicílios em que se encontraram duas crianças ou duas mulheres elegíveis, a mais jovem foi entrevistada; para os adultos e idosos, essa regra se inverteu, sendo elegível o mais velho.

O andamento da coleta de dados era relatado diariamente ao coordenador de campo, por meio de contato telefônico ou e-mail, sendo registrado em diário. Ao final de cada dia, os auxiliares organizavam e revisavam o material coletado. Terminadas as tarefas no município, os instrumentos eram enviados, via correio, à equipe técnica na UFPel.

Processamento e análise dos dados

O processamento incluiu a recepção e identificação dos questionários; a codificação das perguntas fechadas; a tabulação e codificação das perguntas abertas; a utilização de códigos especiais para problemas de saúde (Classificação Internacional de Doenças 10ª Revisão - CID-10) ²⁷, medicamentos (lista da Agência Nacional de Vigilância Sanitária - ANVISA) e ocupações (Classificação Brasileira de Ocupações - CBO). A estrutura da base de dados foi criada no aplicativo Epi Info (Centers for Disease Control and Prevention, Atlanta, Estados Unidos), incluindo a programação de amplitude e consistência das variáveis. Constituiu-se uma base de dados para cada instrumento, reunindo a totalidade dos municípios estudados. Os instrumentos foram digitados, incluindo cópia de segurança diária, e arquivados. A digitação eletrônica dos dados da demanda foi feita no programa PACOTAPS (Departamento de Medicina Social, Universidade Federal de Pelotas. http://www.epidemio-ufpel.org.br/pacotaps/index.htm). Os bancos de dados foram exportados para o pacote estatístico SPSS 10.0 para Windows (SPSS Inc., Chicago, Estados Unidos). Inicialmente, foram realizadas análises descritivas da distribuição dos casos em cada variável. As análises bivariadas, estratificadas e multivariável foram conduzidas a partir do modelo teórico (Figura 1). A análise bivariada examinou o comportamento das variáveis agrupadas por dimensão teórica segundo o modelo de atenção das unidades básicas de saúde. Na análise estratificada, o efeito do modelo de atenção foi controlado segundo região geopolítica, porte populacional do município e região metropolitana ^22,28. Na análise multivariável, além das variáveis de estratificação, o efeito do modelo de atenção sobre a efetividade das ações programáticas foi controlado para variáveis demográficas, sócio-econômicas, comportamentais e da situação de saúde da população em cada região ²⁸.

Controle de qualidade

O controle de qualidade foi realizado por telefone em 6% dos domicílios do Sul e do Nordeste. Questionários reduzidos com perguntas-chave auxiliavam a detectar possíveis erros. Na área de cada unidade básica de saúde, foi sorteado um questionário por grupo populacional (criança, mulher, adulto e idoso), totalizando 956 indivíduos. Desses, 80% foram entrevistados, sendo as perdas decorrentes de dificuldades de contato telefônico e de mudanças de endereço.

Um auxiliar capacitado realizava o contato telefônico, facilitando a padronização do controle de qualidade. Não havendo telefone para o questionário sorteado, com o apoio da unidade básica de saúde da área, realizava-se uma busca do endereço ou de um telefone de um vizinho na tentativa de coletar os dados do entrevistado. Não houve substituição, reduzindo a possibilidade de viés.

As respostas contidas no instrumento eram comparadas às obtidas no controle de qualidade através de uma planilha, detectando possíveis erros na coleta dos dados. Um membro da equipe técnica supervisionava o controle de qualidade.

No exame da consistência dos dados de variáveis dicotômicas, utilizou-se o índice kappa e, para as variáveis quantitativas, utilizou-se o coeficiente de correlação intraclasse. Esses índices permitem interpretar a consistência dos dados conforme os seguintes pontos de corte: de 0 a 0,350 à concordância fraca; de 0,351 a 0,700 à concordância razoável; de 0,701 a 1,000 à concordância muito boa ²⁹.

Aspectos éticos

A metodologia incluiu, exclusivamente, a aplicação de questionários, não havendo coleta de material biológico ou experimento com seres humanos. Aprovado pela Comissão de Ética em Pesquisa da Faculdade de Medicina da UFPel, o estudo foi de risco mínimo, segundo os parâmetros do International Ethical Guidelines for Biomedical Research Involving Human Subjects ⁷. Foi solicitado consentimento informado para a participação no estudo, garantindo-se a confidencialidade das informações individuais e o direito de recusa em participar.

Efetividade do estudo

A implementação da presente metodologia implicou em grandes desafios operacionais. No entanto, a completude dos dados coletados e a rapidez do trabalho de campo indicam sua factibilidade e reprodutibilidade na maioria dos municípios brasileiros acima de cem mil habitantes.

O trabalho de campo, nos 41 municípios estudados, foi concluído em 134 dias, 65 dias na Região Sul (S) e 69 dias na Região Nordeste (NE). Foram obtidos dados de 29 secretários municipais de saúde, 33 coordenadores da Atenção Básica à Saúde e saúde da família e 41 presidentes de Conselhos Municipais de Saúde. Foi possível captar dados sobre a estrutura e o processo de trabalho para 236 unidades básicas de saúde (118 em cada região), sendo 153 de saúde da família (S = 69; NE = 84) e 83 tradicionais (S = 49; NE = 34). Foram entrevistados 4.749 trabalhadores de saúde, em 238 unidades básicas de saúde: S = 1.730 e NE = 3.019. Desses, 520 eram médicos (S = 266; NE = 254); 337, enfermeiros (S = 161; NE = 176); 371, profissionais com outros cursos universitários (S = 130; NE = 241); 834, auxiliares e técnicos de enfermagem (S = 414; NE = 420); 1.045, outros profissionais com nível médio (S = 261; NE = 784); e 1.536, agentes comunitários de saúde (S = 478; NE = 1.058). Durante um dia de trabalho, foram registrados 26.019 atendimentos (S = 13.612; NE = 12.407) em 233 unidades básicas de saúde (S = 118; NE = 115). Na área de abrangência de 239 unidades básicas de saúde, foram entrevistadas 4.078 crianças (S = 1.949; NE = 2.129), 3.939 mulheres (S = 1.826; NE = 2.113), 4.060 adultos (S = 1.940; NE = 2.120) e 4.003 idosos (S = 1.891; NE = 2.112). De modo geral, as perdas na localização das amostras estimadas foram pequenas. A exceção foram gestores e coordenadores de Atenção Básica à Saúde e saúde da família, devido à estratégia de auto-entrevista.

Conclusões

Em consonância com a declaração TREND e recomendações sobre avaliações em saúde pública ^{10,17,21,22,24}, o ELB-UFPel evidenciou as potencialidades dos delineamentos observacionais em estudos de grande abrangência geográfica e complexidade metodológica. A abordagem epidemiológica valorizou a capacidade de contribuição do estudo na avaliação de políticas e programas de saúde ^2,17,18,20.

Os inquéritos epidemiológicos transversais são referidos como mais vantajosos do que os ensaios clínicos randomizados e os estudos de caso na avaliação de políticas e programas de saúde, especialmente porque a cadeia causal longa e complexa pode ocasionar problemas de validade interna e externa ^21,24.

A metodologia do ELB-UFPel valorizou um modelo teórico ^5,20 na abordagem do objeto de estudo, articulando hierarquicamente diversas dimensões, níveis de análise, fontes, amostras e indicadores.

A comparação da Estratégia Saúde da Família com unidades básicas de saúde tradicionais e o controle de características sócio-demográficas da população ajudaram a evidenciar o efeito do modelo na cobertura populacional de ações programáticas de saúde, possibilitando a avaliação de efetividade ^2,5,17,19,21. A abordagem estabeleceu a cobertura de saúde da família, sua tendência histórica, a inflexão na tendência em função do PROESF, a prioridade da conversão do modelo de Atenção Básica à Saúde através da saúde da família e o desempenho da Atenção Básica à Saúde (indicadores de oferta, utilização, cobertura e efetividade).

A opção por uma amostra populacional orientada a partir da área de abrangência das unidades básicas de saúde permitiu captar usuários daquela unidade básica de saúde, usuários de outros serviços e não usuários. Essa diversidade oportuniza a avaliação do desempenho das unidades básicas de saúde no território. A comparação do PSF com serviços tradicionais facilita a avaliação da efetividade do modelo de atenção e estabelece parâmetros para investimentos e ações de saúde.

A independência das amostras populacionais e a baixa densidade de indivíduos elegíveis em cada domicílio facilitaram a distribuição dos entrevistados na área de abrangência, determinando um salto natural para seleção dos indivíduos e minimizando o viés de seleção ou efeito de cluster nas amostras ^25,28. O tamanho das amostras populacionais e de UBS reforçaram sua representatividade no contexto dos municípios avaliados.

A agregação dos municípios em lotes foi um recurso arbitrário do Termo de Referência ⁶ para a seleção das instituições responsáveis pelo ELB. Entretanto, a oportunidade de estudar dois lotes, utilizando a mesma metodologia, facilitou a avaliação da efetividade dos modelos de atenção (saúde da família X tradicional). Permitiu contrastar as semelhanças e as diferenças dos modelos em duas regiões geopolíticas do país (Sul X Nordeste), em duas áreas metropolitanas (Porto Alegre e Recife) e em 41 municípios estratificados por porte populacional.

A combinação de estratégias metodológicas, a disponibilidade de uma equipe multidisciplinar com dedicação exclusiva ao estudo e a página na internet, contendo informações sobre o projeto, foram importantes na aproximação de gestores e trabalhadores de saúde dos municípios, facilitando as atividades de campo e a devolução dos resultados.

O retorno do questionário auto-aplicado para gestores (71%) e coordenadores da Atenção Básica à Saúde e Programa Saúde da Família (80%) foi menor do que o esperado, evidenciando uma inadequação da estratégia de auto-entrevista. A rotatividade dos ocupantes de cargo de gestão durante o estudo contribuiu para as perdas observadas. A qualidade das listas de unidades básicas de saúde fornecidas pelos municípios e a falta de um denominador para os trabalhadores da Atenção Básica à Saúde também foram dificuldades enfrentadas. Esses problemas geram inconsistência em informações produzidas pela gestão municipal e por bases de dados nacionais (Cadastro Nacional de Estabelecimentos de Saúde - CNES/DATASUS; IBGE). Sua superação é prioritária e contribuirá para a qualificação dos estudos sobre a Atenção Básica à Saúde.

Problemas institucionais, como, por exemplo, o desconhecimento de parte dos trabalhadores das unidades básicas de saúde sobre o ELB e a falta de retorno de informações relativas a estudos anteriores, foram obstáculos à realização das tarefas. O contato direto dos auxiliares de pesquisa foi essencial na superação dessas situações, estimulando a participação e reduzindo perdas.

O controle de qualidade por telefone mostrou uma concordância aceitável, similar a de estudos de grande complexidade ^30,31. A melhor concordância (acima de 0,7) foi entre as mulheres (78%), e a pior, entre os idosos (47% acima de 0,7). A menor concordância em idosos parece mais relacionada à estratégia de controle de qualidade ³¹ do que à validade do dado primário, obtido no domicílio do entrevistado, por auxiliar de pesquisa. Foram apontadas, como limite do controle telefônico, as dificuldades de comunicação, que incluem desde problemas auditivos e viés de memória até contrastes culturais e de diferenças em expressões idiomáticas. Diferenças na cobertura telefônica também prejudicaram o controle de qualidade. Ao avaliar a qualidade dos dados primários por telefone, o estudo acabou testando uma estratégia que pode ser desenvolvida em nosso meio ^31,32.

A replicabilidade das pesquisas é fundamental para a acumulação de evidências sobre um problema, permitindo descartar eventuais incorreções e equívocos ³³ causados por falhas em equipamentos e instrumentos, erros e vieses nos procedimentos de observação, entrevista, registro, processamento e análise. A possibilidade de replicar o ELB em duas regiões diferentes, com uma mesma equipe e estratégias de coleta de dados padronizadas reforça a precisão e validade dos achados, ampliando sua utilidade na tomada de decisão de gestores e trabalhadores de saúde.

A utilização da abordagem do ELB no estudo de acompanhamento possibilitará que novas estimativas de prevalência na mesma população base avaliem o impacto da saúde da família na situação de saúde da população e na efetividade das medidas de prevenção e promoção da saúde na Atenção Básica à Saúde. O exame dessa abordagem metodológica e operacional em duas regiões do país, com diferenças sócio-econômicas, culturais e de situação de saúde, favorece sua recomendação para futuros estudos sobre a Atenção Básica à Saúde, facilitando a comparabilidade dos achados em populações e contextos diversos ³⁴.

Colaboradores

L. A. Facchini, R. X. Piccini, E. Tomasi, E. Thumé, V. A. Teixeira e D. S. Silveira participaram da concepção e redação final do artigo. F. V. Siqueira coordenou o trabalho de campo do estudo e participou da elaboração dos instrumentos e processamento de dados. A. Osório, M. F. S. Maia e M. A. Rodrigues participaram do processamento de dados, elaboração dos instrumentos e revisão de literatura. V. V. Paniz participou da elaboração dos instrumentos, do processamento de dados e coordenou o controle de qualidade.

Agradecimentos

Os autores agradecem aos gestores, coordenadores de Atenção Básica à Saúde e Programa Saúde da Família, representantes do controle social, trabalhadores das unidades básicas de saúde e à população entrevistada o apoio prestado ao estudo. Agradecem ainda aos auxiliares de pesquisa, que contribuíram para as diferentes etapas do trabalho, pelo empenho. O presente artigo integra o Estudo de Linha de Base, Universidade Federal de Pelotas, financiado pelo Ministério da Saúde e Banco Mundial no âmbito do Componente 3 do Projeto de Expansão e Consolidação do Saúde da Família.

Referências

1. Laurell A, Wences M. Do poverty programs alleviate poverty? The case of the Mexican National Solidarity Program. Int J Health Serv 1994; 24:381-401.         

2. Viacava F, Almeida C, Caetano R, Fausto M, Masinko J, Martins M, et al. Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro. Ciênc Saúde Coletiva 2004; 9:711-24.         

3. World Bank. Influential evaluations: evaluations that improved performance and impacts of development programs. Washington DC: World Bank; 2004.         

4. Vaughan R. Evaluation and public health. Am J Public Health 2004; 94:360.         

5. Hartz ZMA, Vieira-da-Silva LM, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA; 2005.         

6. Ministério da Saúde. Termo de referência para o estudo de linha de base nos municípios selecionados para o componente 1 do PROESF. Brasília: Ministério da Saúde; 2004.         

7. World Health Organization. International ethical guidelines for biomedical research involving human subjects. Geneva: World Health Organization; 2002.         

8. Cozzens SE. Assessing federally-supported academic research in United States. Research Evaluation 2000; 9:5-10.         

9. Felisberto E. Da teoria à formulação de uma política nacional de avaliação em saúde: reabrindo o debate. Ciênc Saúde Coletiva 2006; 11:553-63.         

10. Matida AH, Camacho LAB. Pesquisa avaliativa e epidemiologia: movimentos e síntese no processo de avaliação de programas de saúde. Cad Saúde Pública 2004; 20:37-47.         

11. Facchini LA, Piccini RX, Tomasi E, Thumé E, Silveira DS, Siqueira FV, et al. Desempenho do PSF no Sul e no Nordeste do Brasil: avaliação institucional e epidemiológica da atenção básica à saúde. Ciênc Saúde Coletiva 2006; 11:669-81.         

12. Brasil. Portaria nº. 648 de 28 de março de 2006. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas para a organização da Atenção Básica para o Programa Saúde da Família (PSF) e o Programa Agentes Comunitários de Saúde (PACS). Diário Oficial da União 2006; 29 mar.         

13. Contandrioupoulos AP. A avaliação na área da saúde: conceitos e métodos. In: Hartz ZMA, organizador. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-47.         

14. Last JM. A dictionary of epidemiology. 3^rd Ed. New York: Oxford Univesity Press; 1995.         

15. Saraceni V, Leal MC. Avaliação da efetividade das campanhas para eliminação da sífilis congênita na redução da morbi-mortalidade perinatal. Cad Saúde Pública 2003; 19:1341-9.         

16. Silva LMV, Formigli VLA. Avaliação em saúde: limites e perspectivas. Cad Saúde Pública 1994; 10: 80-91.         

17. Habicht JP, Victora CG, Vaughan JP. Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. Int J Epidemiol 1999; 28:10-8.         

18. Barros FC, Victora CG. Epidemiologia da saúde infantil. 3ª Ed. São Paulo: Editora Hucitec; 1998.         

19. Contandrioupoulos AP, Champagne F, Denis J, Avargues M. L'evaluation dans le domaine de la santé: concepts et méthodes. Rev Epidemiol Santé Publique 2000; 48:517-39.         

20. Facchini LA. Por que a doença? A inferência causal e os marcos teóricos de análise. In: Buschinelli JTP, Rocha LE, Rigotto RM, organizadores. Isto é trabalho de gente? Vida, doença e trabalho no Brasil. São Paulo: Editora Vozes; 1993. p. 33-55.         

21. Victora CG, Habicht JP, Bryce J. Evidence-based public health: moving beyond randomized trials. Am J Public Health 2004; 94:400-5.         

22. Des Jarlais DC, Lyles C, Crepaz N. Improving the reporting quality of nonrandomized evaluations of behavioral and public health interventions: the TREND statement. Am J Public Health 2004; 94:361-6.         

23. Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e políticas institucionais. Ciênc Saúde Coletiva 1999; 4:341-53.         

24. Santos IS, Victora CG. Serviços de saúde: epidemiologia, pesquisa e avaliação. Cad Saúde Pública 2004; 20 Suppl 2:S337-41.         

25. Luiz RR, Magnanini MMF. O tamanho da amostra em investigações epidemiológicas. In: Medronho RA, Carvalho DM, Bloch KV, Luiz RR, Werneck GL, organizadores. Epidemiologia. São Paulo: Editora Atheneu; 2002. p. 295-308.         

26. Facchini LA. Uma contribuição da epidemiologia: o modelo da determinação social aplicado à saúde do trabalhador. In: Buschinelli JTP, Rocha LE, Rigotto RM, organizadores. Isto é trabalho de gente? Vida, doença e trabalho no Brasil. São Paulo: Editora Vozes; 1993. p. 178-86.         

27. Organização Mundial da Saúde. Classificação estatística internacional de doenças e problemas relacionados à saúde. 10ª Revisão. v. 1. São Paulo: Centro Colaborador da OMS para a Classificação de Doenças em Português; 1995.         

28. Rothman KJ, Greenland S. Modern epidemiology. 2^nd. Ed. Philadelphia: Lippincott-Raven; 1998.         

29. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159-74.         

30. Aquilino WS. Telephone versus face-to-face interviewing for household drug use surveys. Int J Addict 1992; 27:71-91.         

31. Voigt LF, Koepsell TD, Daling JR. Characteristics of telephone survey respondents according to willingness to participate. Am J Epidemiol 2003; 157:66-73.         

32. Bowlin SJ, Morrill BD, Nafziger AN, Jenkins PL, Lewis C, Pearson TA. Validity of cardiovascular disease risk factors assessed by telephone survey: the Behavioral Risk Factor Survey. J Clin Epidemiol 1993; 46:561-71.         

33. Park C. What is the value of replicating other studies? Research Evaluation 2004; 13:189-95.         

34. Departamento da Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Pacto dos indicadores da atenção básica. Brasília: Ministério da Saúde; 2003. (Informe da Atenção Básica, 19).         

Correspondência:
L. A. Facchini
Programa de Pós-graduaçãoem Epidemiologia
Departamento de Medicina Social
Universidade Federal de Pelotas
Av. Duque de Caxias 250
Pelotas, RS 96030-002, Brasil
lfachini@terra.com.br

Recebido em 22/Fev/2007
Versão final reapresentada em 22/Jan/2008
Aprovado em 28/Jan/2008