Resumos

Introdução

A utilização de padrões internacionais para a apreciação da qualidade dos estudos avaliativos, ou meta-avaliação, é um processo que busca aprimorar seu desenvolvimento ou conferir credibilidade aos resultados finais de avaliações¹1 Hartz ZMA, Felisberto E, Silva LMV. Meta-avaliação da atenção básica à saúde - teoria e prática. Rio de Janeiro: Fiocruz; 2008..

Uma das categorias utilizadas como padrão de referência para julgamento de avaliações e critérios de meta-avaliação é a precisão, pois indica se a avaliação revela informações tecnicamente adequadas sobre as características da valia ou mérito do objeto²2 Worthen BR, Sanders JR, Fitzpatrick JL. Meta Avaliação. In: Worthen BR, Sanders JR, Fitzpatrick JL. Avaliação de Programas-Concepções e Práticas. São Paulo: Gente; 2004. p. 593-618.. Para a realização de uma meta-avaliação, mesmo com divergências semânticas entre autores, dois critérios são unânimes e considerados essenciais para a aceitação de um bom instrumento de coleta de dados: a confiabilidade e a validade³3 Martins GA. Sobre Confiabilidade e Validade. RGBN 2006; 8(20):1-12..

Confiabilidade é a capacidade em reproduzir um resultado de forma consistente no tempo e no espaço, ou com observadores diferentes, conferindo estabilidade, homogeneidade e equivalência entre diferentes observadores⁴4 Contandriopoulos A-P, Champagne F, Potvin L, Denis JL, Boyle P. Saber preparar uma pesquisa. 3ª ed. São Paulo, Rio de Janeiro: Hucitec, Abrasco; 1999.. A confiabilidade, também compreendida por reprodutibilidade, pode ser entendida como a constância de dados e informações coletados pelo instrumento em questão. No caso de resultados diferentes, a reprodutibilidade merece ser analisada sob a ótica das diferenças reais nos dados coletados ou em variações devido a erros de mensuração ou coleta. A validade pode ser compreendida como o grau em que um instrumento realmente mede aquilo que foi concebido para medir, isto é, verifica se o instrumento retrata com precisão o fenômeno a ser estudado.

O objetivo deste estudo é conferir a precisão do instrumento de coleta de dados primários de um modelo de avaliação. O Modelo de Avaliação da Saúde Bucal na Atenção Básica de Santa Catarina⁵5 Universidade Federal de Santa Catarina (UFSC). Núcleo de Extensão e Pesquisa em Avaliação em Saúde. Avaliação da Gestão da Atenção Básica em Santa Catarina. Apresenta o projeto e permite que os municípios tenham acesso aos formulários e relatórios da avaliação. [acessado 2011 jul 20]. Disponível em: http://www.nepas.ufsc.br
http://www.nepas.ufsc.br... foi utilizado como caso do estudo. Tal modelo foi construído com base nos princípios do Sistema Único de Saúde (SUS), apresentando duas dimensões para avaliar o desempenho dos municípios na formulação e execução de políticas públicas que contemplem esses princípios. A dimensão Gestão da Saúde Bucal, com foco na equidade ou garantia de acesso, tem como subdimensões a "Atuação Intersetorial", a "Participação Popular", os "Recursos Humanos" e a "Infraestrutura". A dimensão Provimento da Atenção Básica em Saúde Bucal prioriza a integralidade e a universalidade em duas subdimensões, a "Promoção e Prevenção" e o "Diagnóstico e Tratamento", considerando o ciclo vital - crianças, adolescentes, adultos e idosos. A matriz avaliativa prevê a coleta de dados dos 293 municípios catarinenses: os secundários nos sistemas de informação disponíveis; os primários por meio de preenchimento de formulário eletrônico. Esta avaliação vem sendo realizada periodicamente, de acordo com deliberação da Comissão Intergestores Bipartite do Estado de Santa Catarina.

Em estudos semelhantes, a utilização de dados secundários deve prever a realização de testes de consistência, com correções de valores de acordo com o preconizado para séries históricas de dados. Já para os dados primários, estudos de validação devem ser previstos para não haver dúvidas quanto ao entendimento homogêneo dos questionamentos, bem como quanto à precisão das respostas encontradas. Para a institucionalização da avaliação, é essencial considerar a precisão do modelo proposto, sua reprodutibilidade e sua importância para subsidiar o planejamento e a tomada de decisão.

Metodologia

Este artigo trata de uma pesquisa do tipo metodológica, que propõe a inquirição de métodos e procedimentos adotados como científicos, verificando a reprodutibilidade e a validade de um instrumento de coleta de dados de uma avaliação, determinando sua precisão⁶6 Demo P. Pesquisa e construção do conhecimento: metodologia científica no caminho de Habermas. Rio de Janeiro: Tempo Brasileiro; 1994..

A primeira etapa foi de análise documental de relatórios, páginas de divulgação e artigos publicados sobre a avaliação da gestão da saúde bucal na atenção básica. Após, foram selecionados os municípios que participariam do estudo: 11 da Região Carbonífera de Santa Catarina, localizada na região sul do estado, abrangendo um total de 390.756 habitantes⁷7 Instituto Brasileiro de Geografia e Estatística (IBGE). Dados do Censo 2010. [acessado 2011 jul 17]. Disponível em: http://www.censo2010.ibge.gov.br/dados_divulgados/index.php?uf=42
http://www.censo2010.ibge.gov.br/dados_d... . O percurso metodológico da pesquisa está ilustrado na Figura 1.

Para determinar a confiabilidade do instrumento de coleta de dados, foi utilizada a técnica do teste-reteste. Nesta situação, o instrumento é aplicado duas vezes a um mesmo grupo de pessoas, com um intervalo de tempo definido entre as aplicações, evitando uma subavaliação em períodos de tempo muito longos e uma superavaliação, no caso de intervalos muito curtos³3 Martins GA. Sobre Confiabilidade e Validade. RGBN 2006; 8(20):1-12..

Na primeira aplicação, foi entregue uma cópia impressa do formulário de coleta de dados (Quadro 1) para o profissional designado pela gestão municipal para responder à pesquisa. Os formulários dessa etapa foram recolhidos trinta dias após a entrega, seguindo-se a segunda aplicação do mesmo formulário, novamente recolhido trinta dias depois. Nesse momento, foi realizada uma entrevista com o responsável pelo preenchimento, com a finalidade de identificar facilidades, dificuldades, sugestões e, principalmente, imprecisões no preenchimento do formulário, que foram registrados em um roteiro de campo.

Dentre os três tipos de validade apontados por Contandriopoulos et al.⁴4 Contandriopoulos A-P, Champagne F, Potvin L, Denis JL, Boyle P. Saber preparar uma pesquisa. 3ª ed. São Paulo, Rio de Janeiro: Hucitec, Abrasco; 1999., a de conteúdo foi o tipo utilizado neste estudo por julgar em que proporção os itens selecionados para medir uma determinada construção teórica representam bem todas as facetas importantes do conceito a ser medido. Esta se refere à análise detalhada do conteúdo do instrumento, com objetivo de verificar se os itens propostos constituem-se numa amostra significativa do objeto em avaliação⁸8 Hermida PMV, Araujo IEM. Elaboração e validação do instrumento de entrevista de enfermagem. Rev Bras Enferm 2006; 59(3):314-320..

Para analisar a reprodutibilidade, foram considerados os formulários de oito municípios, uma vez que um deles não aceitou participar do estudo, um não participou da primeira coleta de dados, e outro não participou por se tratar de local de atividade laboral do pesquisador. Para essa análise foi calculada a taxa de concordância bruta entre as respostas da primeira e da segunda aplicação do formulário.

As imprecisões nas respostas foram analisadas a partir das entrevistas com os nove municípios da amostra. Na análise das imprecisões, os resultados foram classificados em três tipos de erros identificados: E1, se o enunciado da questão não esclareceu a informação desejada ou permitiu interpretações variadas, considerou-se que a imprecisão foi no conceito; E2, quando a fonte de dados utilizada pelo entrevistado/respondente foi inadequada ou pouco-confiável, considerou-se imprecisão na fonte; E3, a imprecisão estava relacionada ao entrevistado/respondente, quando este não respondeu o formulário impresso, não soube como pesquisar, não teve disposição, errou cálculos/estimativas ou falhou no registro dos dados.

Na última etapa, foi realizada uma oficina de consenso para discussão dos dados. A técnica utilizada foi o Comitê Tradicional. Foram convidados especialistas participantes das pesquisas anteriores ou atores familiarizados com a avaliação em saúde bucal para apresentação do projeto, sua matriz avaliativa, critérios e indicadores, além dos dados coletados e compilados nas etapas anteriores, sob a coordenação de um dos membros participantes⁹9 Colussi CF, Calvo MCM. Modelo de avaliação da saúde bucal na atenção básica. Cad Saude Publica 2011; 27(9):1731-1745.

10 Colussi CF. Avaliação da qualidade da atenção em saúde bucal em Santa Catarina [tese]. Florianópolis: Universidade Federal de Santa Catarina; 2010.^-1111 Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso de modelos teóricos na Avaliação em Saúde: aspectos conceituais e operacionais. In: Hartz ZMA, Vieira-da-Silva L, organizadores. Avaliação em Saúde. Dos modelos teóricos à prática na avaliação de Programas e Sistemas de Saúde. Rio de Janeiro, Salvador: Fiocruz, EDIUFBA; 2005. p. 41-63..

O estudo foi aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos da Universidade Federal de Santa Catarina.

Resultados e discussão

As respostas foram agrupadas de acordo com as subdimensões do Modelo de Avaliação da Gestão Municipal da Saúde Bucal na Atenção Básica. A Tabela 1 apresenta a taxa de concordância bruta das respostas nas duas coletas realizadas, segundo esses grupos.

A Tabela 2 apresenta a taxa de concordância bruta das respostas nas duas coletas realizadas para cada município e os respectivos percentuais das imprecisões, por tipo de erro encontrado.

Pela análise dos dados, fica evidente que uma alta taxa de concordância do instrumento não é garantia ou condição suficiente para conferir precisão às respostas do formulário. Um município apresentou percentual muito elevado de imprecisão nas respostas, mais de 65% equivocadas, com grande concentração de erros relacionados à fonte de dados e ao perfil do respondente. Outros sete municípios apresentaram percentuais elevados, variando de 24 a 49% de imprecisão nas respostas, com distribuição heterogênea do tipo de erro, mas com destaque para o município "5", em que a expressiva concentração das imprecisões ocorreu relacionada ao perfil do respondente. Apenas um município apresentou um percentual de imprecisão inferior a 15%, considerado relativamente baixo para os padrões da amostra.

Em relação à reprodutibilidade, de maneira geral, a taxa de concordância bruta do instrumento foi relativamente alta (87%), mesmo quando esta taxa foi analisada por subdimensão. Apenas na subdimensão Participação Popular encontrou-se um valor um pouco menor do que nas outras, fato não relacionado ao número de perguntas de cada uma. Mesmo se analisados por pergunta, os resultados encontrados são bem favoráveis, pois cerca de 1/3 das perguntas apresentou uma taxa de concordância bruta excelente, isto é, não houve discordância entre as coletas realizadas. Isto reforça a confiança na reprodutibilidade do instrumento em questão, mesmo que ainda sejam necessários alguns ajustes para sua aplicação.

Apesar de apresentar um desempenho satisfatório em relação à reprodutibilidade do instrumento, a pesquisa observou aspectos preocupantes quanto ao número de erros encontrados nas coletas com o formulário. A Tabela 3 apresenta o percentual das imprecisões encontradas, agrupadas por área definida no modelo e pelo tipo de imprecisão identificada. De maneira geral, o valor indica o percentual do tipo de erro encontrado (E1, E2 ou E3) dentre todas as perguntas da área em questão, considerando todos os municípios selecionados.

Um índice de quase 36% de imprecisões nas respostas, sejam relacionadas ao conceito, à fonte de dados ou ao perfil do respondente, foi encontrado na consolidação dos dados.

Todas as subdimensões do modelo avaliativo apresentaram algum tipo de imprecisão, sendo que as "Atuação Intersetorial" e "Participação Popular" apresentaram os maiores percentuais de imprecisão nas respostas às perguntas. Na primeira, o maior número de imprecisões estava relacionado às fontes de dados utilizadas pelos respondentes; na outra, os erros aconteceram devido a interpretações equivocadas do conceito expresso pelo indicador e por situações inerentes ao próprio respondente. As imprecisões relacionadas ao perfil do respondente também representaram o maior percentual em uma análise conjunta. As demais subdimensões apresentaram percentuais variáveis dos tipos de imprecisão, mas sempre com tendência maior para um ou outro tipo de erro.

Imprecisão de Conceito (E1)

Os problemas de imprecisão associados a erros de conceito foram detectados nos itens 7, 8, 14, 15, 17, 20 a 22, 26, 29 a 32, 36, 39 e 43. Para equacioná-los, foi proposto que os conceitos fossem esclarecidos no enunciado: a palavra "cantina" nos itens 7 e 8 deve ser substituída por "estabelecimento comercial com venda de alimentos para escolares na escola"; no item 14, o conceito de intersetorialidade deve estar mais claro, destacando o papel da escola na promoção da saúde bucal, sem a presença obrigatória da equipe de saúde; nos itens 15 e 41, a questão da disponibilidade, do acesso e das condições de material educativo nas Unidades Básicas de Saúde (UBS) deve estar em evidência; no item 17, a inserção da expressão "...presente nas reuniões de discussão E/OU aprovação do relatório de gestão..." facilitará o entendimento do conceito.

No item 20, sugeriu-se que fossem considerados apenas os trabalhadores contratados especificamente para exercer a função de auxiliar fixo de odontologia, Auxiliar de Saúde Bucal (ASB) ou Técnico em Saúde Bucal (TSB), e não remanejados de outra função; no item 21, existe a necessidade de evidenciar o que deve ser considerado endodontia - apenas obturação de canal radicular completada e não procedimentos gerais relacionados a esta especialidade da Odontologia, além da inserção de uma alternativa que contemple sua realização em mais de um local; já no item 22, as alterações propostas consideram o atendimento odontológico realizado na própria UBS e não referenciado para outra (acessibilidade geográfica - proximidade).

Nos itens 26 e 32, o destaque apresentado pela oficina de consenso foi que a evidenciação de placa e a escovação supervisionada devem ser associadas à prevenção individual e não atreladas à realização de procedimentos coletivos; o item 29 necessita de esclarecimentos sobre o que deve ser considerado critério de risco para atendimento às crianças; no item 30, o encaminhamento de adolescentes para Saúde Bucal, mesmo que não seja na própria UBS, deve ser contabilizado; no item 31, a definição da periodicidade destas atividades visa aumentar a sensibilidade deste indicador (valorizar quem realiza como rotina). Também deve esclarecer que as atividades educativas não se restringem à Aplicação Tópica de Flúor (ATF) e entrega de kits. No item 39, o enunciado necessita informar que o atendimento odontológico no terceiro turno deve ser considerado a partir das 19 horas; e, no item 43, a proposta de alteração é remover a expressão "visita domiciliar", pois pode, equivocadamente, remeter à Estratégia Saúde da Família (ESF) somente.

Imprecisão na Fonte de Dados (E2)

Os problemas de imprecisão associados a erros de seleção de fonte de dados foram detectados nos itens 7, 8, 10, 11, 13, 14, 19, 23 e 25 a 27. Para solucioná-los, foi proposta a indicação das fontes preferenciais para coleta dos dados no enunciado da pergunta. Essa informação já está disponível na página eletrônica da avaliação, mas nem sempre os respondentes fazem a consulta oportuna para esse esclarecimento. Assim, para os itens 7, 8, 13 e 14, sugere-se que a informação seja obtida junto à Secretaria Municipal de Educação ou órgão semelhante; para o item 10, sugeriu-se como fonte de dados o sistema municipal que realiza a cobrança do IPTU/ITR (Imposto Predial e Territorial Urbano/Imposto Territorial Rural), pois as demais informadas pelos respondentes já estão disponíveis como dado secundário, muito embora apresentem divergências e possam estar desatualizadas. Nesse sentido, a sugestão para o item 11 é apenas reforçar a confirmação das informações com a CASAN/SAMAE ou outro órgão responsável pelo abastecimento municipal de água tratada.

Na questão 19, houve dificuldade em estabelecer uma fonte de dados oportuna e única. Trata-se de uma informação de assiduidade dos profissionais, que deve ser controlada pelos coordenadores de unidades e notificada aos responsáveis pela Saúde Bucal. Todavia, as questões pessoais e institucionais influenciam muito essa informação, tornando-a pouco precisa. Para esse item, a sugestão é a busca por outra medida para substituição. Desse modo, não houve ainda proposta de alteração para este indicador. Nos itens 23 e 25, a opção foi pela busca do dado com a Secretaria Municipal de Saúde, o que deve estar expresso no enunciado; no item 26, sugere-se que a confirmação da informação seja realizada através de consulta aos boletins de produção ambulatorial ou ficha clínica no período em questão, o que também ocorreu para o item 27.

Imprecisão relacionada ao Perfil do Respondente (E3)

Os problemas de imprecisão associados a erros do respondente foram detectados nos itens 7 a 9, 11 a 18, 20, 22 a 24, 26, 27, 29, 30, 32, 33, 36 a 39, 42 a 44 e 46. Para solucioná-los, é possível partir de uma indicação genérica de reforço ao gestor municipal quanto à importância de designar um respondente devidamente informado sobre o assunto, com orientação para recorrer às instâncias indicadas em caso de dúvida.

Como base para esta orientação geral, destacam-se os itens em que o respondente apresentou erros de conceito e de fonte de dados, ou como os itens em que o mesmo respondente utilizou fontes de dados divergentes nas duas coletas. A despreocupação com a verificação das informações também foi recorrente em vários itens, como aqueles em que o respondente informou um determinado dado na primeira coleta e descobriu a resposta correta apenas na segunda vez, ou informou valores por estimativa própria, divergentes nas duas coletas. Destaque-se que várias imprecisões referiram-se ao fato da avaliação ser realizada em um ano, mas com base nos dados do ano anterior, e houve diferença no número de unidades de saúde com atendimento odontológico implantadas em alguns municípios. Entretanto, apesar de estar bem definido no corpo do instrumento de coleta de dados, para alguns respondentes, em alguns indicadores, faltou atenção durante o preenchimento. Esta falha também se repetiu com enunciados curtos e simples, que não necessitaram de qualquer alteração.

Indesejáveis para um Cirurgião Dentista da rede de Atenção Básica ou ESF, erros básicos como o desconhecimento sobre a fluoretação ou não das águas de abastecimento, sobre critérios de risco para priorização do atendimento de crianças, sobre a idade de crianças (0 a 12 anos de idade e não até 15) e sobre o que é terceiro turno de atendimento também foram revelados pela pesquisa, reforçando a demanda por um instrumento com alta reprodutibilidade, preciso e em constante aperfeiçoamento, que minimize a influência dos diferentes perfis dos respondentes. Este aspecto levanta a possibilidade de que a formação curricular, em qualquer nível, ou a compreensão de habilidades gerais, competências e atribuições pertinentes a um Cirurgião Dentista atuante na rede pública seja questionada, pois conhecer o perfil deste profissional é tarefa essencial na adequação de sua formação, através inclusive de ações relacionadas à Atenção à Saúde, a gerenciamento e administração de recursos e à Educação Permanente em Saúde.

Muito embora não seja relacionado à saúde bucal, Prade¹²12 Prade SS. Desenvolvimento e validação de um instrumento de informação para a assessoria do programa de controle de infecção às decisões do dirigente hospitalar [tese]. Rio de Janeiro: Fiocruz; 2002. desenvolveu e realizou um processo de validação de um instrumento de informação para gerenciamento hospitalar. Com o mesmo propósito desta pesquisa, seu estudo procurou fornecer subsídios para a tomada de decisões gerenciais, avaliando diferentes dimensões do escopo sistêmico da assistência hospitalar no gerenciamento deste. Vários indicadores deste instrumento não obtiveram validação e mesmo a baixa confiabilidade encontrada pode ter sido comprometida pela inaptidão do grupo de examinadores ou pela pouca prática nesse tipo de avaliação. Sugeriu que modificações fossem realizadas, visando garantir a validade deste instrumento e do sistema em questão.

Por sua vez, Stadler¹³13 Stadler AF. Tradução e validação de um questionário de saúde bucal a médicos, obstetras e residentes em obstetrícia [dissertação]. Curitiba: Universidade Federal do Paraná; 2011., em 2011, propôs a tradução, a adaptação cultural e a validação de um questionário para avaliar o conhecimento e a conduta de médicos em relação à saúde bucal de gestantes. Estes questionários geralmente são formulados e aplicados na língua inglesa. A etapa de validação aconteceu com sua aplicação a um grupo de 36 médicos, residentes ou alunos do último ano de Medicina, em dois momentos, com intervalo de 15 dias. Para testar sua reprodutibilidade, este foi aplicado sob a forma teste-reteste, suas respostas foram analisadas quanto à coerência e concordância, encontrando-se um resultado altamente satisfatório. As alterações que se mostraram necessárias foram feitas nesta etapa. Isso reforça a necessidade de incluir, no planejamento de uma avaliação, estratégias que confiram precisão, tanto aos instrumentos utilizados quanto aos indicadores que a compõem.

Em 2010, Gonçalves et al.¹⁴14 Gonçalves LHT, Mello ALSF, Zimermann K. Validação de instrumento de avaliação das condições de saúde bucal de idosos institucionalizados. Esc. Anna Nery 2010; 14(4):839-847., também propuseram uma tradução e validação de um instrumento consagrado na literatura internacional para averiguação das condições de saúde bucal de idosos institucionalizados. A etapa de validação com os profissionais da Enfermagem proporcionou, de maneira inovadora, uma estratégia interessante para auxiliar na compreensão dos objetivos e da utilização do instrumento. Uma teleaula, em forma de vídeo explicativo, demonstrou, de forma didática, como deveria ser efetuado o exame bucal e o preenchimento correto do instrumento. Estes profissionais declararam-se, em sua maioria, aptos a aplicar corretamente o instrumento, mas destacaram a necessidade de articular com a instituição espaços de tempo para melhor compreender sua utilização. Além disso, a incorporação gradativa no seu cotidiano de trabalho favoreceria sua melhor utilização, reforçada pelo fato de que a avaliação de indicadores de maneira isolada demonstra não ser suficiente para compreender o desenvolvimento de políticas públicas municipais¹⁵15 Henrique F, Calvo MCM. Grau de implantação do Programa Saúde da Família e indicadores sociais. Cienc Saude Colet 2009; 14(Supl. 1):1359-1365..

A utilização de metodologias participativas em todas as etapas de uma avaliação, desde a elaboração do instrumento de coleta de dados até a análise e interpretação dos indicadores, pode ser compreendida como forma de envolver os interessados e corresponsabilizá-los nas decisões tomadas, ampliando sua utilização futura¹⁶16 Costa JMBS, Felisberto E, Bezerra LCA, Cesse EAP, Samico IC. Monitoramento do desempenho da gestão da vigilância em saúde: instrumento e estratégias de uso. Cienc Saude Colet 2013; 18(5):1201-1216..

Talvez essa inovação possa contribuir, significativamente, para minimizar os erros relacionados ao perfil do respondente, maior causa de imprecisões apontada por esta pesquisa. Em formato de vídeo explicativo, uma ferramenta de abrangência estadual, o Telessaúde (conferências realizadas pela internet), fruto da parceria da Secretaria de Estado da Saúde de Santa Catarina (SES-SC) e da Universidade Federal de Santa Catarina (UFSC), possibilitaria que os profissionais designados pela gestão municipal como respondentes da avaliação de saúde bucal esclarecessem dúvidas de forma interativa, em tempo real, orientando-os quanto ao entendimento e correto preenchimento do formulário eletrônico.

A partir dessas discrepâncias, todos os dados foram consolidados e subsidiaram a realização de uma oficina de consenso com especialistas da área para debater e propor alternativas para a superação destas imprecisões, bem como para ajustar o instrumento de coleta de dados, aumentando sua reprodutibilidade. A modificação de enunciados, a inserção da fonte de dados preferencial, a definição de períodos desejáveis para a informação de dados e a inclusão de explicações nos enunciados das perguntas foram algumas das modificações no instrumento propostas pelos participantes. Destaque-se que as explicações detalhadas da avaliação já ficavam disponíveis em página eletrônica devidamente identificada no corpo do formulário, mas os respondentes não indicaram ter tido acesso a estes padrões. Todas as sugestões foram encaminhadas ao setor responsável na SES-SC para utilização conveniente.

Considerações finais

Em relação à reprodutibilidade, a pesquisa evidenciou a necessidade de rever alguns aspectos importantes, pois a expectativa era que todos apresentassem as mesmas respostas nos formulários quando aplicados em momentos diferentes e respondidos pelo mesmo profissional. Este fato pode indicar diferentes compreensões acerca do conceito expresso no indicador, o uso de fontes divergentes/inadequadas ou problemas relacionados ao próprio respondente. Mesmo assim, se analisadas de acordo com as subdimensões do Modelo de Avaliação da Gestão Municipal da Saúde Bucal na Atenção Básica, a reprodutibilidade está em um nível bastante aceitável, acima de 86%. Mesmo assim, reforça-se a necessidade de constante aperfeiçoamento do instrumento de coleta de dados.

Entretanto, ao considerar a precisão, os resultados encontrados apontam para um cuidado ainda maior com o aperfeiçoamento da matriz avaliativa. Dentre as imprecisões identificadas, foi possível perceber que a maioria destas (mais de 15% das respostas ou quase metade das imprecisões) relacionava-se ao perfil do respondente, seja porque não respondeu o formulário impresso, não soube como pesquisar, não teve disposição, errou cálculos/estimativas ou falhou no registro dos dados. Algumas imprecisões retrataram uma realidade preocupante, pois a expectativa é que estes profissionais, ocupantes de cargos de gestão da Saúde Bucal, formalizados ou não, tenham conhecimentos mínimos acerca do seu próprio trabalho, erros indesejáveis para um profissional com tamanha responsabilidade. Reiterando afirmativa anterior, este artigo não tem o intuito de questionar a veracidade das respostas, mas sim contribuir com o aperfeiçoamento de uma matriz avaliativa, verificando a precisão de seus indicadores e validando seu instrumento de coleta de dados para futuras aplicações.

Algumas imprecisões realmente estavam relacionadas ao instrumento, ao indicador, em sua essência, ou à ausência de fontes de dados preferenciais definidas no formulário eletrônico, ou mesmo a fontes inexistentes na prática institucional. A investigação conduzida faz supor que a inserção da fonte de dados preferencial em alguns indicadores pode permitir a padronização das respostas e agregar consistência às das futuras avaliações; e a mudança de enunciado, sem a necessidade de alterar o conceito ou o indicador em questão, pode evitar falhas futuras no preenchimento. Estes ajustes, sejam no próprio indicador ou no instrumento de coleta de dados, podem conferir melhor aproveitamento dos resultados de outras avaliações em saúde bucal, com dados mais fidedignos e próximos da realidade de cada gestão municipal. A correta utilização dos sistemas de informação em saúde, tanto na alimentação quanto na busca de dados, também pode potencializar o uso das avaliações das ações e serviços relacionados à saúde bucal.

A compreensão e a valorização dos conhecimentos no campo da meta-avaliação e a sua inserção no processo avaliativo, como parte do planejamento, é um passo importante para agregar confiança e permitir o aperfeiçoamento constante de um modelo avaliativo. E esse aperfeiçoamento contribuirá, consideravelmente, com o fortalecimento da saúde bucal como política pública no estado de Santa Catarina.

Referências

Datas de Publicação

Histórico