RESUMO

Objetivou-se desenvolver, identificar a validade de conteúdo e estimar a confiabilidade de um instrumento para avaliação da assistência quanto à vacinação na perspectiva dos seus usuários. Trata-se de estudo epidemiológico conduzido em 4 etapas: revisão de literatura, validação de conteúdo, estudo pré-teste e teste/reteste, com estimativa da confiabilidade (consistência interna/Alfa de Cronbach e reprodutibilidade/Kappa). Participaram 120 usuários das salas de vacina. A validação de conteúdo foi conduzida, Alfa=0,93; Kappa entre 0,79 a 0,97. O instrumento foi aprovado quanto à validade de conteúdo, apresentou consistência interna e reprodutibilidade aceitáveis. Ele pode ser utilizado na gestão dos serviços de assistência quanto à vacinação, subsidiando a tomada de decisão a partir da satisfação dos usuários, assim como por pesquisadores.

PALAVRAS-CHAVE
Saúde coletiva; Estudos de validação; Vacinação; Pesquisa sobre serviços de saúde; Comportamento do consumidor

ABSTRACT

The objective was to develop, identify the content validity and estimate the reliability of an instrument to evaluate the care regarding vaccination from the perspective of its users. This is an epidemiological study conducted in four stages: literature review, content validation, pre-test and test/retest with reliability estimation (internal consistency/Cronbach’s alpha and reproducibility/Kappa). 120 users of vaccine rooms participated. Content validation was conducted, Alpha=0.93; Kappa between 0.79 and 0.97. The instrument was approved as for content validity, presented acceptable internal consistency and reproducibility. It can be used in the management of care services regarding vaccination, subsidizing decision making from the satisfaction of users, as well as by researchers.

KEYWORDS
Public Health; Validation studies; Vaccination; Health services research; Consumer behavior

Introdução

A avaliação dos serviços de assistência à saúde constitui uma das preocupações da Organização Mundial de Saúde (OMS) desde a década de 1980. Tendo como foco inicial a relação custo-efetividade das ações de saúde, a avaliação da qualidade tem ocupado papel central nesse debate nos últimos tempos¹1 Gilmore CM, Novaes HM. Manual de gerência da qualidade. Washington: PS/Kellogg; 1997.^,22 Serapioni M, Silva MGC. Avaliação da qualidade do programa Saúde da Família em municípios do Ceará: uma abordagem multidimensional. Ciênc. Saúde Colet. 2011; 16(11):1768-71..

De maneira geral, a avaliação está relacionada à determinação de valor, quantificação e tem como base uma escala de referência. Por outro lado, de modo mais específico, o objetivo de uma avaliação é produzir efeitos e resultados concretos, fundamentando as decisões a serem tomadas por gestores, executores e sociedade civil em geral³3 D'innocenzo MD, Adami NP, Cunha ISKO. O movimento pela qualidade nos serviços de saúde e enfermagem. Rev. Bras. Enferm. 2006; 59(1):84-8.^,44 Scatena LM, Wysocki AD, Beraldo AA, et al. Validação e confiabilidade: instrumento para avaliação de serviços que tratam tuberculose. Rev. Saude Publica. 2015; 49(7):1-11.. Entretanto, toda avaliação de serviço exige instrumentos metodologicamente aceitos pela comunidade científica, bem como a adaptação de instrumentos disponíveis à pesquisa⁵5 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc. Saúde Colet. 2011; 16(7):3061-3068.^,66 Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-36..

Além disso, observa-se, também, a possibilidade de criação de novos instrumentos com tal finalidade, válidos e confiáveis⁶6 Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-36.

7 Alexandre NMC, Guirardello EB. Adaptación cultural de instrumentos utilizados em salud ocupacional. Rev. Panam Salud Publica. 2002; 11(2):109-111.

8 Steiner DL, Norman GR. Health measurement scales. A practical guide to their development and use. 4. ed. New York: Oxford University Press; 2008.^-99 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534.. Para o desenvolvimento de instrumentos que se proponham a avaliar eventos relacionados à saúde, pode-se considerar um estudo Delphi, resultante de um consenso internacional e multidisciplinar. Conduzido por 43 experts, esse estudo objetivou orientar a criação ou o julgamento de instrumentos de avaliação quantitativa de tais eventos.

O Delphi teve como produto o checklist Cosmin (Consensus-Based Standards for the selection of health Measurement Instruments), o qual estabelece um conjunto de parâmetros organizados em quatro domínios: confiabilidade, validade, responsividade e interpretabilidade¹⁰10 Mokkink LB, Terwee CB, Knol DL, et al. Protocol of the COSMIN study: Consensus-based Standards for the selection of health Measurement Instruments. BMC Med Res Methodol. 2006; 6(2):1-7..

Os critérios do checklist Cosmin também foram considerados em resultados de estudos que propõem a avaliação da qualidade de programas, de serviços e de tecnologias. Estabelecendo-se, assim, padrões internacionais na apreciação da qualidade dos estudos que buscam conferir credibilidade ou precisão aos resultados finais dessas avaliações, o que exige critérios considerados essenciais para julgar a qualidade de instrumentos que propõem avaliação de serviços⁴4 Scatena LM, Wysocki AD, Beraldo AA, et al. Validação e confiabilidade: instrumento para avaliação de serviços que tratam tuberculose. Rev. Saude Publica. 2015; 49(7):1-11.^,88 Steiner DL, Norman GR. Health measurement scales. A practical guide to their development and use. 4. ed. New York: Oxford University Press; 2008.

9 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534.

10 Mokkink LB, Terwee CB, Knol DL, et al. Protocol of the COSMIN study: Consensus-based Standards for the selection of health Measurement Instruments. BMC Med Res Methodol. 2006; 6(2):1-7.^-1111 Mokkink LB, Terwee CB, Patrick DL, et al. The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study. Qual. Life Res. 2010; 19(4):539-549..

Nesse contexto, os padrões do checklist Cosmin devem ser considerados na avaliação da qualidade da assistência à saúde.

É necessário considerar que o conceito de qualidade dos serviços de assistência à saúde é complexo e polissêmico, estando associado à cultura, à temporalidade e aos valores da sociedade, o que exige diferentes critérios para avaliar essa qualidade¹1 Gilmore CM, Novaes HM. Manual de gerência da qualidade. Washington: PS/Kellogg; 1997.^,22 Serapioni M, Silva MGC. Avaliação da qualidade do programa Saúde da Família em municípios do Ceará: uma abordagem multidimensional. Ciênc. Saúde Colet. 2011; 16(11):1768-71..

A avaliação dessa qualidade deve considerar a proposta já consolidada na literatura¹²12 Donabedian A. The seven pillars of quality. Arch Phatol Lab Med. 1990; 114(11):1115-1118.^,1313 Donabedian A. The definition of quality and approaches to its assessment. Ann Arbor: Health Administration Press; 1992. referente à estrutura, ao processo e ao resultado. A estrutura diz respeito aos recursos físicos, materiais, financeiros e humanos somados à estrutura organizacional e ao apoio político para a execução dos serviços. O processo pode ser compreendido como o conjunto de atividades desenvolvidas na relação entre profissionais e pacientes, além da dinâmica na inter-relação entre eles. Já os resultados referem-se aos efeitos ou aos produtos das ações dos serviços de saúde, ou seja, referem-se ao efeito da assistência à saúde prestada às pessoas e à comunidade.

Todo esse processo tem em vista a melhoria do nível de saúde e o grau de satisfação dos usuários para com os serviços de assistência à saúde, fazendo emergir, assim, a necessidade de desenvolver instrumentos que avaliem o nível de satisfação dos usuários com os serviços de assistência ofertados para a saúde, que contemplem, de forma específica, as salas de vacina.

O serviço de vacinação, uma das ações de saúde no Sistema Único de Saúde (SUS), é tido como uma estratégia essencial, desde o ano de 1973, quando foi implantado no Brasil o Programa Nacional de Imunização (PNI)⁹9 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534.^,1414 Labbadia LL, Adami NP. Avaliação das anotações de enfermagem em prontuários de um hospital universitário. Acta Paul. Enferm. 2004; 17(1):55-62.. O principal objetivo do PNI é a coordenação de ações de imunização por meio da normatização, da supervisão e da elaboração de políticas e estratégias que viabilizem o acesso da população ao serviço de imunização¹⁵15 Brasil. Ministério da Saúde. Fundação Nacional de Saúde. Manual de procedimentos para vacinação. 4. ed. Brasília, DF: Funasa; 2001.

16 Temporão JG. O Programa Nacional de Imunização (PNI): origens e desenvolvimento. Hist. Cienc. Saude Manguinhos. 2003; 10(supl2):601-17.^-1717 Siqueira LG, Martins AMEBL, Versiani CMC, et al. Avaliação da organização e funcionamento das salas de vacina na Atenção Primária à Saúde em Montes Claros, Minas Gerais, 2015. Epidemiol. Serv. Saude. 2017; 26(3):557-568..

O PNI é uma das prioridades do SUS, pois gera respeito internacional, principalmente pelo fato de o Brasil, país de grande dimensão territorial e populacional, ter eliminado, ou mantido sob controle, várias doenças infecciosas. Tais ações evidenciam a necessidade de revisão de seus valores e das questões teóricas que asseguram as boas práticas no processo de trabalho, visando à qualidade da assistência à saúde ofertada aos usuários do serviço de vacinação por parte dos profissionais e dos gestores de saúde⁹9 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534.^,1414 Labbadia LL, Adami NP. Avaliação das anotações de enfermagem em prontuários de um hospital universitário. Acta Paul. Enferm. 2004; 17(1):55-62.. A avaliação do nível de satisfação dos usuários com um serviço de assistência à saúde busca responder a tal necessidade.

Após revisão de literatura sobre avaliação da qualidade da assistência ofertada nas salas de vacinas na perspectiva de seus usuários, não foi encontrado um instrumento disponível sobre o referido tema. Os estudos¹⁷17 Siqueira LG, Martins AMEBL, Versiani CMC, et al. Avaliação da organização e funcionamento das salas de vacina na Atenção Primária à Saúde em Montes Claros, Minas Gerais, 2015. Epidemiol. Serv. Saude. 2017; 26(3):557-568.^,1818 Oliveira VC, Gallardo MDPS, Arcêncio RA, et al. Avaliação da qualidade de conservação de vacinas na atenção primária à saúde. Ciênc. Saúde Colet. 2014; 19(9):3889-3898. geralmente avaliam a organização e o funcionamento das salas de vacina, principalmente se estas se aproximam ou se distanciam das normas técnicas preconizadas pelo Ministério da Saúde (MS) brasileiro; fato esse considerado essencial para garantir a adequada imunização à população¹⁵15 Brasil. Ministério da Saúde. Fundação Nacional de Saúde. Manual de procedimentos para vacinação. 4. ed. Brasília, DF: Funasa; 2001..

A criação e o desenvolvimento de um instrumento para avaliação da assistência quanto à vacinação, nessa abordagem, poderá gerar indicadores dos resultados alcançados nesses serviços e contribuir para o gerenciamento das salas de vacina, subsidiando tomadas de decisão a partir da satisfação do usuário⁵5 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc. Saúde Colet. 2011; 16(7):3061-3068..

Este estudo teve como objetivo desenvolver, identificar a validade de conteúdo e estimar a confiabilidade de um instrumento para avaliação da assistência quanto à vacinação na perspectiva dos seus usuários, em um município de médio porte populacional que é referência de saúde no norte do estado de Minas Gerais.

Material e métodos

Trata-se de uma pesquisa metodológica desenvolvida a partir de revisão de literatura que considerou estudos que avaliaram a qualidade da assistência ofertada nas salas de vacina. Foram consideradas as normas técnicas do PNI, as quais determinam o funcionamento das salas de vacina: ‘Manual da sala de vacinação’, o ‘Protocolo de Enfermagem para as salas de vacinas’, ‘Rede de frio’, entre outras normas técnicas estabelecidas pelo MS brasileiro para o funcionamento dessas salas na rede pública de saúde²2 Serapioni M, Silva MGC. Avaliação da qualidade do programa Saúde da Família em municípios do Ceará: uma abordagem multidimensional. Ciênc. Saúde Colet. 2011; 16(11):1768-71.^,44 Scatena LM, Wysocki AD, Beraldo AA, et al. Validação e confiabilidade: instrumento para avaliação de serviços que tratam tuberculose. Rev. Saude Publica. 2015; 49(7):1-11.^,99 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534.^,1515 Brasil. Ministério da Saúde. Fundação Nacional de Saúde. Manual de procedimentos para vacinação. 4. ed. Brasília, DF: Funasa; 2001.^,1919 Brasil. Ministério da Saúde. Programa Nacional de Imunizações 30 anos. Brasília, DF: Secretaria de Vigilância em Saúde; 2002.

20 Brasil. Ministério da Saúde. Vigilância dos eventos adversos pós-vacinação: cartilha para trabalhadores da sala de vacinação. Brasília, DF: Secretaria de Vigilância em Saúde; 2003.

21 Brasil. Ministério da Saúde. Programa de Avaliação do Instrumento de Supervisão Sala de Vacinação - PAISSV. Brasília, DF: Secretaria de Vigilância em Saúde; 2004.

22 Brasil. Ministério da Saúde. Serviços Odontológicos: Prevenção e Controle de Riscos. Brasília, DF: Agência Nacional de Vigilância Sanitária; 2006.^-2323 Brasil. Ministério da Saúde. Manual de Rede de Frio. Brasília, DF: Secretaria de Vigilância em Saúde; 2007..

O instrumento foi desenvolvido no formato de questionário estruturado e passou por validação de conteúdo, realizada por cinco especialistas na área de enfermagem. Tal validação ocorreu em três etapas. A primeira consistiu no convite de cinco especialistas a participarem da investigação como juízas avaliadoras. A segunda foi o julgamento feito pelas juízas no que diz respeito a cada item do instrumento quanto às suas propriedades e procedimentos qualitativos com relação a: organização, objetividade, clareza, facilidade de leitura e a compreensão do conteúdo²⁴24 Pasquali L. Princípios de elaboração de escalas psicológicas. Rev. Psiq. Clin. 1998; 25(5):206-213.. A terceira e última etapa da validade do conteúdo aconteceu por intermédio de um grupo de discussão com a presença de todas as juízas que avaliaram os instrumentos e as pesquisadoras, para editarem a versão final do instrumento.

Após a incorporação de todas as sugestões, o instrumento foi aprovado para condução do estudo pré-teste em população distinta da população considerada na avaliação das propriedades psicométricas do instrumento.

A aplicação dos questionários no pré-teste ocorreu por meio de entrevistas a uma amostra de 60 usuários de uma sala de vacina. Para determinar as propriedades psicométricas dos instrumentos (consistência interna e reprodutibilidade), participaram 120 usuários da sala de vacina que atendiam aos seguintes critérios: ser o responsável pela criança menor de um ano vacinada e ter buscado assistência para o(a) seu(sua) filho(a) nos últimos meses de forma consecutiva. Assim, no dia da entrevista, o usuário deveria estar buscando essa assistência no mínimo pela terceira vez naquela sala de vacina⁴4 Scatena LM, Wysocki AD, Beraldo AA, et al. Validação e confiabilidade: instrumento para avaliação de serviços que tratam tuberculose. Rev. Saude Publica. 2015; 49(7):1-11.

5 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc. Saúde Colet. 2011; 16(7):3061-3068.^-66 Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-36.^,99 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534..

As análises estatísticas foram conduzidas a partir da utilização dos programas SPSS 20.0 for Windows (Statistical Package for the Social Sciences) e Excel. A avaliação da consistência interna dos itens que compuseram os instrumentos foi aferida pela estimativa do teste Alfa de Cronbach. Utilizaram-se como referência os seguintes limites: α < 0,30 (Muito Baixa); α entre 0,30 e 0,60 (Baixa), α entre 0,60 e 0,75 (Moderada); α entre 0,75 e 0,90 (Elevada); α > 0,90 (Muito elevada)²⁴24 Pasquali L. Princípios de elaboração de escalas psicológicas. Rev. Psiq. Clin. 1998; 25(5):206-213..

A confiabilidade do instrumento foi medida pelo cálculo da concordância por meio da estimativa dos coeficientes Kappa. Foram considerados os seguintes critérios de interpretação dos valores do Kappa: sem concordância (<0), concordância pobre (0 a 0,19); concordância razoável (0,20 a 0,39); concordância moderada (0,40 a 0,59); concordância substancial (0,60 a 0,79); e excelente concordância (0,80 a 1,00)²⁵25 Landis JK, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33(1):159-174..

O projeto de pesquisa deste estudo atendeu aos princípios éticos da Resolução do Conselho Nacional de Saúde (CNS) nº 466/2012 e foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Estadual de Montes Claros - CEP/Unimontes, sob Parecer nº 313.870/2013. Todos os participantes da pesquisa receberam e assinaram o Termo de Consentimento Livre e Esclarecido.

Resultados

As etapas do estudo metodológico evidenciam a adequabilidade do instrumento aos objetivos propostos, conforme resultados do quadro 1.

Na 1ª Etapa, foram considerados os seguintes critérios: definição de uma estrutura conceitual (terminologia) a partir da revisão de literatura, definição dos objetivos e organização e estruturação lógica dos itens, considerando a população-alvo até culminar na seleção e na organização das perguntas e de respostas²⁴24 Pasquali L. Princípios de elaboração de escalas psicológicas. Rev. Psiq. Clin. 1998; 25(5):206-213.^,2626 Pittman J, Bakas T. Measurement and instrument design. J Wound Ostomy Continence Nurs. 2010; 37(6):603-607.. Ao final, realizou-se a checagem da estruturação e do resultado quanto à organização dos itens, estabelecendo-se, assim, o formato geral do instrumento.

A 2ª Etapa foi realizada por 05 juízas consideradas referências no tema em questão (Enfermeiras especialistas, com experiência profissional há mais de 5 anos em serviços de referência em sala de vacina e/ou em setor de imunização e que, além disso, apresentavam em seu curriculum lattes publicações na área pesquisada). As juízas foram convidadas através de contato pessoal. Em seguida, foi entregue a elas uma cópia do instrumento para realizarem a avaliação de forma individualizada e independente. E, em outro momento (prazo de 30 dias), houve uma reunião das juízas com as pesquisadoras para concluir essa etapa.

As juízas receberam, junto com a cópia do instrumento a ser validado, um pequeno manual com instruções específicas sobre cada item, a composição e a abrangência desses itens do instrumento para que tivessem condições de avaliar se os conceitos de todo o instrumento foram adequadamente garantidos pelo conjunto de itens. Os itens deveriam ser avaliados quanto à clareza (redação de forma que o conceito estivesse compreensível e expressasse adequadamente o que se esperava medir); quanto à representatividade (verificar se os itens realmente refletiam os conceitos envolvidos); quanto à relevância (se eram relevantes e se estavam adequados para atingir os objetivos propostos).

Para o julgamento dos itens, foi deixada à frente de cada questão proposta uma coluna em branco para que a juíza, ao fazer a avaliação individual, escrevesse as suas sugestões e/ou comentários visando à melhoria dos itens. Ela também deveria estabelecer como ocorreria o preenchimento do instrumento no momento em que fosse aplicado à população para a qual foram planejadas essas perguntas. Isso determinaria a validade de conteúdo do instrumento. Se a juíza concordasse com a questão, não faria nenhuma observação, apenas colocaria no item avaliado a resposta: OK.

Após o recebimento dos pareceres das 05 juízas, realizou-se uma análise das suas respostas acerca dos itens do instrumento, e, a partir dessa análise, os ajustes sugeridos foram realizados. As juízas aprovaram os conteúdos e itens propostos no instrumento. O processo de validação do conteúdo do instrumento EASV-U foi encerrado por meio de uma reunião das pesquisadoras com as juízas com o objetivo de avaliar a concordância entre elas na construção das versões finais da escala.

Na 3ª Etapa, foi conduzido o estudo pré-teste por entrevistadora previamente treinada quanto à aplicação dos questionários, em uma amostra de 60 pais ou responsáveis por crianças menores de um ano, vacinadas. Posteriormente, foi realizada outra reunião coletiva para apreciação das inconsistências e dificuldades encontradas na etapa de aplicação do pré-teste. Os itens identificados foram reformulados para tornarem-se compreensíveis, com adequação do instrumento pós-discussão.

Na 4ª Etapa, a escala foi testada em uma amostra de 120 pais ou responsáveis por crianças menores de um ano usuárias dos serviços de assistência quanto à vacinação. Esses participantes foram informados que seriam abordados em dois momentos (na sala de vacina e em seus domicílios), com um intervalo de 7 a 15 dias entre as duas abordagens.

As questões apresentaram as seguintes opções de respostas: 01 Satisfação dos usuários. Totalmente Satisfeito (a); 02. Muito satisfeito (a); 03. Nem satisfeito (a)/Nem Insatisfeito(a); 04. Muito insatisfeito(a); 05. Totalmente insatisfeito(a); 98. Não Respondeu; e 99. Não Sabe.

Os dados revelaram que as questões avaliadas tiveram uma elevada consistência interna (homogeneidade), calculada por meio do coeficiente alfa de Cronbach, e os resultados encontram-se apresentados na tabela 1.

Os resultados apresentados na tabela 2 demonstram que os valores do Kappa variaram de 0,79 a 0,97, evidenciando-se, assim, uma concordância que variou de substancial (0,79) a satisfatória ou excelente (0,97), ao testar em um mesmo usuário do serviço, em diferentes momentos de tempo e com os mesmos observadores, sem que isso tenha gerado mudança real para o entrevistado.

Discussão

Um instrumento novo de pesquisa sobre eventos relacionados à saúde exige a definição dos domínios e dos itens, bem como as escalas de respostas para o instrumento criado, fundamentadas em critérios comportamentais, da objetividade, da simplicidade, da clareza, da precisão, da validade, da relevância e da interpretabilidade.

Esses critérios têm como finalidade eliminar qualquer item que seja ambíguo, incompreensível, com termos vagos, com duplas perguntas, com jargões e/ou que remeta a juízos de valor⁴4 Scatena LM, Wysocki AD, Beraldo AA, et al. Validação e confiabilidade: instrumento para avaliação de serviços que tratam tuberculose. Rev. Saude Publica. 2015; 49(7):1-11.^,66 Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-36.^,88 Steiner DL, Norman GR. Health measurement scales. A practical guide to their development and use. 4. ed. New York: Oxford University Press; 2008.

9 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534.

10 Mokkink LB, Terwee CB, Knol DL, et al. Protocol of the COSMIN study: Consensus-based Standards for the selection of health Measurement Instruments. BMC Med Res Methodol. 2006; 6(2):1-7.^-1111 Mokkink LB, Terwee CB, Patrick DL, et al. The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study. Qual. Life Res. 2010; 19(4):539-549.. Antes de finalizar a criação de um instrumento, faz-se necessário conferir toda a estruturação ou o resultado dele, ou seja, confirmar se houve a consolidação das etapas anteriores com relação à organização dos itens em seus respectivos domínios como forma de estabelecer o formato geral do instrumento.

Além disso, é necessário incluir as instruções, as escalas de respostas, a sequência lógica e, principalmente, checar se o instrumento proposto atende do objetivo geral até o mais específico; no sentido do menos pessoal e menos delicado para o mais pessoal e mais delicado. Isso porque, ao concluir essa etapa, o pesquisador deverá ter a certeza de que a estrutura e a sequência desse novo instrumento contribuirão significativamente para reduzir o esforço físico e/ou mental dos respondentes. Essas etapas buscam assegurar que todos os termos sejam tratados de forma que o interesse do respondente seja mantido do início até a aplicação final do instrumento⁴4 Scatena LM, Wysocki AD, Beraldo AA, et al. Validação e confiabilidade: instrumento para avaliação de serviços que tratam tuberculose. Rev. Saude Publica. 2015; 49(7):1-11.^,66 Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-36.^,2424 Pasquali L. Princípios de elaboração de escalas psicológicas. Rev. Psiq. Clin. 1998; 25(5):206-213.^,2626 Pittman J, Bakas T. Measurement and instrument design. J Wound Ostomy Continence Nurs. 2010; 37(6):603-607.. Na presente investigação, essas questões foram consideradas.

A literatura descreve que, ao criar ou desenvolver um instrumento de medida, o pesquisador parte do princípio de que nem sempre é possível fazer uma listagem completa de todos os domínios/itens envolvidos na temática pesquisada. Assim, o objetivo deve ser apenas abordar os aspectos mais representativos de cada dimensão ou assunto pesquisado. Daí, a necessidade de submeter esse instrumento para parecer de um grupo de juízes da área, os quais têm como função verificar se o instrumento é valido ou não.

Por meio da avaliação do conteúdo, concordarão ou discordarão se ele está apropriado aos respondentes, se o domínio e o conteúdo referentes à problemática investigada estão corretos, se as questões elaboradas e suas respectivas opções de respostas formuladas atendem ao conteúdo e aos objetivos propostos, bem como se o instrumento atenderá à realidade pesquisada e ao público-alvo para o qual o instrumento foi criado. Após isso, haverá a emissão de um parecer validando se o instrumento contempla adequadamente os domínios do construto desejado⁶6 Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-36.^,99 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534.^,2727 Alexandre N, Gallasch C. A confiabilidade no desenvolvimento e avaliação de instrumentos de medida na área da saúde. Rev. Eletr. Enf. 2013; 15(3):802-809.. As juízas, na presente investigação, tiveram a oportunidade de contribuir para a melhoria do instrumento criado.

Recorre-se aos resultados encontrados neste estudo para afirmar que os itens dos instrumentos estão claros e adequados para atingir os objetivos propostos, ou seja, a escolha da teoria foi adequada e os resultados do processo de validação de conteúdo e do pré-teste sugerem que as modificações necessárias ao modelo adotado foram realizadas.

Quando se encerra a etapa do pré-teste, o instrumento de medida está pronto para ter suas propriedades psicométricas avaliadas⁶6 Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-36.. Além disso, todo novo instrumento, antes de ser aplicado à população geral, à qual se destina, deverá ter suas propriedades testadas através do cálculo da confiabilidade. E, para determinar a confiabilidade do instrumento EASV-U, foram obedecidos os parâmetros preconizados pela literatura internacional, organizados e estabelecidos pelos domínios do checklist Cosmin, o qual considera a adequabilidade dos instrumentos de avaliação quantitativa por meio da estimativa da confiabilidade: consistência interna e reprodutibilidade¹⁰10 Mokkink LB, Terwee CB, Knol DL, et al. Protocol of the COSMIN study: Consensus-based Standards for the selection of health Measurement Instruments. BMC Med Res Methodol. 2006; 6(2):1-7.^,1111 Mokkink LB, Terwee CB, Patrick DL, et al. The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study. Qual. Life Res. 2010; 19(4):539-549.^,2828 DeVon HA, Block ME, Moyle WP, et al. A psychometric toolbox for testing validity and reliability. J Nurs Scholarsh. 2007; 39(2):155-164..

Os resultados encontrados referentes à consistência interna do instrumento EASV-U permitem afirmar que pode ser considerada elevada para todos os seus itens, pois apresentaram valores de alfa total=0,93, constatando-se uma boa homogeneidade entre todos os itens das escalas que avaliam aspectos de um mesmo atributo ou conceito relacionado ao grau de satisfação da assistência quanto à vacinação na perspectiva dos usuários²⁹29 Maroco J, Garcia-Marques T. Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas? Lab. Psicologia. 2006; 4(1):65-90.. Encontrar um resultado de um alfa de Cronbach superior a 0,75 demonstra o quão estável e consistente é o instrumento de medida⁶6 Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-36.^,99 Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc. Saúde Colet. 2014; 19(11):4525-4534.^,1111 Mokkink LB, Terwee CB, Patrick DL, et al. The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study. Qual. Life Res. 2010; 19(4):539-549.^,2424 Pasquali L. Princípios de elaboração de escalas psicológicas. Rev. Psiq. Clin. 1998; 25(5):206-213.^,2525 Landis JK, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33(1):159-174.^,2727 Alexandre N, Gallasch C. A confiabilidade no desenvolvimento e avaliação de instrumentos de medida na área da saúde. Rev. Eletr. Enf. 2013; 15(3):802-809..

Observou-se a variação do alfa, sendo o menor valor α = 0,78, para o item relacionado à satisfação com o tempo que teve que esperar para conseguir a vacinação após o atendimento inicial na recepção, e o maior valor de α = 0,99, para o item que propõe medir a satisfação do usuário com relação à cortesia, à gentileza e/ou à educação do profissional que aplicou a vacina.

Quanto à reprodutibilidade, outra medida de confiabilidade, ou método teste/reteste³⁰30 Martins GA. Sobre Confiabillidade e Validade. Rev. Bras. Gest. Neg. 2006; 8(20):1-12., estimou-se a variância total na medida em que se deve a ‘verdadeiras’ diferenças entre respostas de participantes ou a resultados consequentes de entrevistas aplicadas em dois momentos distintos.

É válido mencionar que o instrumento EASV-U apresentou reprodutibilidade satisfatória, pois os resultados encontrados mostram que houve uma concordância de substancial a excelente, com valores entre 0,79 a 0,97. Isso indica que as reprodutibilidades encontradas asseguram que variações temporais nos indicadores possam traduzir variações reais no comportamento da população e não instabilidade dos indicadores, mostrando-se estável e consistente, conforme estatística Kappa²⁹29 Maroco J, Garcia-Marques T. Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas? Lab. Psicologia. 2006; 4(1):65-90.^,3030 Martins GA. Sobre Confiabillidade e Validade. Rev. Bras. Gest. Neg. 2006; 8(20):1-12..

No primeiro item, avaliou-se a satisfação do respondente com o tempo de espera (Kappa=0,79), resultado com concordância substancial, pois deixa a desejar em sua objetividade. Isso ocorre porque há de se considerar o que o usuário entende por satisfação quando a sua expectativa é atendida ao procurar o serviço de saúde, mesmo que, às vezes, demande muito tempo de espera.

Nos itens referentes a acesso (Kappa=0,95), horário de funcionamento (Kappa=0,93) e satisfação quanto a estrutura física e conforto (Kappa=0,93), observaram-se concordâncias excelentes, possivelmente devido à clareza, à simplicidade e à objetividade das perguntas.

Os itens que abordam cortesia, gentileza e/ou educação (Kappa=0,97) e o preparo do profissional para trabalhar no serviço de vacinação (Kappa=0,94) apresentaram concordância excelente, possivelmente pelo fácil entendimento, pela recordação e coerência das respostas dadas. A ligeira queda deste último item pode ser devido à sua extensão e não à especificidade do adjetivo ‘preparado’, o qual pode se referir à técnica de vacinação ou à relação social com a criança que recebeu a vacina.

O item que investigou se o pai ou responsável recebeu as informações necessárias sobre a vacina obteve (Kappa=0,84), que pode ser explicado pela característica generalista da questão.

Já a avaliação da capacidade de tirar dúvidas sobre a vacinação recebeu (Kappa=0,93), devido ao caráter objetivo e conciso da questão. Os itens referentes à disponibilidade das vacinas (Kappa=0,88), disponibilidade de materiais para aplicação da vacina (Kappa=0,88) e ao grau de confiança nos serviços prestados na sala de vacina (Kappa=0,85) obtiveram resultados de alta concordância, provavelmente devido à simplicidade, clareza e especificidade que apresentou cada um deles.

A escala é confiável, pois apresenta estabilidade, isto é, consistência interna e capacidade de reproduzir os mesmos resultados em diferentes momentos ao aferir o grau de satisfação do serviço assistencial ofertado nas salas de vacinas na perspectiva dos seus usuários.

As propriedades psicométricas do instrumento (confiabilidade e consistência interna) não são estáticas, ou seja, podem variar de acordo com a população em estudo. Já a utilização do instrumento EASV-U em estudos longitudinais poderá identificar sua responsividade, visando a contribuir para a otimização e o estabelecimento de prioridades no que tange à melhoria dos serviços prestados nas salas de vacina.

Conclusões

O processo de desenvolvimento do instrumento foi uma tarefa complexa que exigiu o empenho em compreender os construtos teóricos que sustentam a assistência à saúde ofertada nas salas de vacina. O instrumento EASV-U foi submetido e aprovado quanto aos itens pesquisados no que se refere ao processo de validação de conteúdo por um grupo de juízas.

Esse instrumento pode ser utilizado tanto para avaliação da assistência como para pesquisas, pois a avaliação de conteúdo foi adequada, e as medidas de confiabilidade com relação à consistência interna e à reprodutibilidade foram satisfatórias.

Ademais, por tratar-se de instrumento inédito, esta pesquisa contribuirá sobremaneira para melhorar a efetividade da assistência quanto à vacinação, servindo como fonte para a construção de indicadores de saúde e para seu monitoramento. A aplicação deste instrumento permitirá, também, a obtenção de informações importantes para nortear as prioridades dos serviços assistenciais ofertados na perspectiva dos usuários.

Referências

Datas de Publicação

Histórico