Resumo

A avaliação de perguntas de questionário de inquérito de saúde no Brasil limita-se, na maioria das vezes, aos testes-piloto e debriefing das entrevistas. O objetivo do presente artigo é contribuir para preencher essa lacuna ao apresentar uma metodologia de avaliação cognitiva para identificação de perguntas potencialmente “problemáticas” quanto à sua formulação e o que ocorre, na interação entrevistador-entrevistado, ao aplicá-las em entrevistas com o uso de questionário padronizado em um inquérito regional de saúde. O estudo utilizou dois roteiros padronizados para identificação de dificuldades de redação e/ou compreensão e avaliação da interação entrevistador-entrevistado. Dentre as 513 perguntas do questionário individual de pesquisa, 68 questões foram indicadas como sendo potencialmente problemáticas à compreensão e comunicação pelos entrevistados. As perguntas que apresentaram problemas na sua formulação, com maior pontuação (>40), foram aquelas relacionadas à quantificação de tempo; ao grau de dificuldade para o autocuidado; à situação no trabalho e à estimação do rendimento. Dentre as perguntas apontadas como problemáticas na avaliação pelo Sistema de Apreciação de Perguntas (SAP), o autocuidado e horas trabalhadas estão entre aquelas que também tiveram pontuação alta na avaliação da interação.

Palavras-Chave:
Inquérito de saúde; Padronização de questionários; Avaliação de perguntas; Interação entrevistador-entrevistado; Abordagem cognitiva

Abstract

The evaluation of health survey questions in Brazil is limited, in most cases, to pilot tests and interview debriefing. The purpose of this article is to contribute to filling this gap by presenting a cognitive assessment methodology for identifying potentially “problematic” questions regarding their formulation and what happens in the interviewer-interviewee interaction, when applying them in interviews using the standardized questionnaire in a regional health survey. In this study, two standardized scripts were used to identify difficulties in writing and/or understanding and evaluating the interviewer-interviewee interaction. Among the 513 questions in the individual research questionnaire, 68 questions were indicated as being potentially problematic for the interviewees to understand and communicate. The questions that presented problems in their formulation, with the highest score (>40), were those related to the quantification of time; the degree of difficulty for self-care; work situation and income estimation. Among the questions identified as problematic in the evaluation by the Question Appraisal System (SAP), self-care and hours worked are among those that also scored high in the interaction evaluation.

Keywords:
Health survey; Questionnaire standardization; Question assessment; Interviewer-interviewee interaction; Cognitive approach

Introdução

As entrevistas com questionários padronizados tornaram-se uma das técnicas mais utilizadas em pesquisas de inquérito ao longo das últimas décadas para coleta de dados considerados válidos e confiáveis. Embora possua singularidades, a entrevista em inquéritos compartilha com a interação comum muitas das suas características, pois também está pautada pelas normas sociais e conversacionais aprendidas e praticadas em situações cotidianas (SCHAEFFER; PRESSER, 2003SCHAEFFER, N. C.; PRESSER, S. The Science of Asking Questions. Annu. Rev. Sociol., v. 29, p. 65-88, 2003.).

Na entrevista utilizada em inquéritos, a interação geralmente ocorre após um contato formal e a conversa é governada pelo fraseado e ordem das perguntas inscritas no questionário, que idealmente seria administrado da mesma maneira para todas as pessoas que respondem (LAVRAKAS, 2008LAVRAKAS, P. J. (ed). Encyclopedia of Survey Research Methods. Thousand Oaks: SAGE Publications, 2008.). Três características diferenciariam a entrevista de outros tipos de discurso: está estruturada em um tipo de intercâmbio – perguntas e respostas; seu curso é determinado por um esquema definido previamente; e quem redigiu as perguntas usualmente não está presente à entrevista (CLARK, SCHOBER 1992CLARK, H. H.; SCHOBER, M. F. Asking questions and influencing answers. In: TANUR, J. M. (ed.) Questions about questions. Inquiries into the Cognitive Bases of Survey. New York: Russel Sage Foundation, 1992, p. 15-48.).

Ademais, inquéritos apoiam-se em geral em abordagem cognitiva, cujo modelo teórico é o do estímulo-resposta. Assume-se que cada questão será entendida do mesmo modo por todas as pessoas que a respondem. Isso implica que cada estímulo deve ser cuidadosamente padronizado, que cada respondente dará apenas uma resposta para cada estímulo, os quais, por seu turno, geram a mesma reação simbólica, cognitiva, psicológica e social.

Em oposição a essa abordagem, teríamos a abordagem conversacional, cujo princípio orientador é que, para entender o modo como os atores se comportam em uma dada situação, é preciso compreender como eles a definem, ou seja, é preciso ter acesso à inteligibilidade do mundo social e do ato da pesquisa. Qualquer entendimento do comportamento social deve ser formulado em termos dos conceitos que os próprios atores usam para dar sentido à situação na qual se encontram. Nesse caso, a coleta de dados é uma tarefa que visa induzir uma conversa cotidiana dentro de entrevistas estruturadas ou não, em cenários quase naturais. Ou seja, pesquisa é vista como ato conjunto de construção de sentidos, em que cada pergunta no questionário é sempre trabalhada a partir de marcos de referência cognitivo, semântico e pragmático prévios (GUBRIUMGUBRIUM, J. F.; HOLSTEIN, J. A.; MARVASTI, A. B.; McKINNEY, K. D. The SAGE Handbook of Interview Research: The Complexity of the Craft. Thousand Oaks: SAGE, 2012.et al., 2012). A “conversa” pode ser definida como uma sequência de elocuções gerenciadas conjuntamente e de maneira ordenada por ao menos dois participantes que podem compartilhar ou não objetivos e motivações similares e em relação aos objetivos dos pesquisadores (ONGENA, 2005ONGENA, Y. Interviewer and Respondent Interaction in Survey Interviews. Tese de Doutorado. Vrije Universiteit, Amsterdam, 2005.).

Em geral, as regras de padronização de entrevistas e questionários utilizados em inquéritos tentam controlar o comportamento da pessoa que entrevista no intuito de reduzir o erro variável. Procuram fazer com que atuem sempre do mesmo modo, restringindo as oportunidades em que as expectativas de quem entrevista possam influenciar o processo de geração, interpretação e registro das respostas dadas (DIKEMA; LEPKOWSKI; BLIXT, 1997DIKEMA, J.; LEPKOWSKI, J. M.; BLIXT, S. The Effect of Interviewer and Respondent Behavior on Data Quality: Analysis of Interaction Coding in a Validation Study. In: LYBERG, L. et al. (eds) Survey measurement and process quality. New York: John Wiley & Sons, 1997.). É esperado também que as pessoas que entrevistam gerenciem o processo, persuadindo quem responde a participar e manter-se engajado até o final da entrevista com o uso de recursos verbais e não-verbais (DREW; RAYMOND; WEINBERG, 2006DREW, P.; RAYMOND, G.; WEINGERG, D. Talk and Interaction in Social Research Methods. London: SAGE Publications, 2006. 248 p.). A compreensão das perguntas e adesão às regras da entrevista por quem responde são tidas como asseguradas, embora, diferentemente de quem entrevista, os respondentes não são treinados para desempenhar esse papel.

A despeito da padronização, características sociodemográficas e comportamentais de quem entrevista e o modo como o questionário é administrado podem ocasionar a introdução de efeitos sistêmicos e, consequentemente, viés nas estimativas obtidas (LAVRAKAS, 2008LAVRAKAS, P. J. (ed). Encyclopedia of Survey Research Methods. Thousand Oaks: SAGE Publications, 2008.). A ocorrência desses efeitos varia segundo o grau de idiossincrasia de quem entrevista ao formular as perguntas, no uso de estratégias para obter as respostas e a possibilidade de que os vieses introduzidos por algumas das pessoas que entrevistam sejam anulados pelas ações das outras. Além disso, as expectativas de que quem está sendo entrevistado tenha atitudes consistentes ou associadas a determinadas normas sociais podem ser fontes dessa variabilidade. O compartilhamento de tais atitudes e características sociais entre quem pergunta e quem responde melhoraria a cooperação e a qualidade dos dados, embora a situação formal de entrevista favoreça respostas que reiteram ideias sociais mais desejáveis.

Para os críticos da abordagem cognitiva, no momento da entrevista, quem responde precisa interpretar o significado da pergunta e determinar qual informação deve ser fornecida, dentro do princípio da interpretabilidade e produção de sentidos. Desse modo, o significado da pergunta não estaria nela, mas seria construído durante a entrevista através de conhecimentos contextuais de quem responde e de sua perspectiva. Se a pergunta é relativa a uma atitude, a informação pode vir na forma de um julgamento formulado previamente ou ser construída no momento em que a questão é colocada com base em informações relevantes então acessíveis. Se a pergunta é referente a comportamentos que transcorrem em determinado período, quem responde precisa identificá-los, recordar informações relevantes ao período referido na pergunta (p.ex. nos últimos 15 dias), mas a resposta pode ser comprometida pelos efeitos de telescopagem. Ademais, a resposta deve ser compatível com as opções disponíveis no instrumento, podendo estar sujeita, por conta da adesão a certos ideais sociais e adequação situacional, à “edição” de quem responde (SCHWARZ, 2007SCHWARZ, N. Cognitive Aspects of Survey Methodology. Appl. Cognit. Psychol., v. 21, p. 277-287, 2007.).

Os estudos de avaliação de questionários padronizados têm sido em geral orientados pela psicologia cognitiva, associados ao interesse nas ações de interação das pessoas envolvidas na situação de entrevista. Os métodos empregados podem variar segundo enfoque nos aspectos comportamentais ou cognitivos, que podem incluir pré-testes convencionais, aplicação de procedimentos estatísticos, grupos focais, debriefing de quem entrevista, apreciações cognitivas formais, entrevistas cognitivas e codificação do comportamento na interação entre quem responde e quem pergunta. Tanto as apreciações cognitivas quanto a codificação de comportamento apoiam-se nas seguintes premissas: o modo como uma pergunta está estruturada ou redigida pode ter efeito direto ou não sobre o que é idealmente esperado no processo de pergunta e resposta; os desvios desse processo ideal ameaçam a confiabilidade e validade da mensuração dos construtos-alvo; a presença desses problemas pode ser observada ou inferida ao revisar sistematicamente a estrutura dos itens de um questionário e o comportamento de quem responde e quem pergunta (FOWLER, 1995FOWLER, F. J. Improving Survey Questions. Thousand Oaks: SAGE Publications, 1995. 188 p.).

Embora o debriefing seja o procedimento padrão em pré-testes para identificar o que é problemático, a codificação do comportamento oferece a oportunidade de avaliar o instrumento de coleta em condições reais do trabalho de campo e obter medidas de ocorrência mais confiáveis do que as lembranças e opiniões de quem entrevista. Ao classificar todas as elocuções no curso da aplicação de um questionário, preservando a ordem da interação e as requisições de esclarecimento ou considerações, a codificação do comportamento fornece informação sobre processos cognitivos e interpretações equivocadas, permitindo analisar respostas aparentemente inconsistentes, ao comparar com o registro de quem entrevista, além de apontar as causas de seu mau desempenho (DIJKSTRA; ONGENA, 2006DIJKSTRA, W.; ONGENA, Y. Question-Answer Sequences in Survey Interviews. Quality & Quantity, v. 40, p. 983-1011, 2006.). Segundo YanYAN, T.; KREUTER, F.; TOURANGEAU, R. Evaluating Survey Questions: A Comparison of Methods. Journal of Official Statistics, v. 28, n. 4, p. 503-529, 2012.et al. (2012), é possível conceber o problema na pergunta de um questionário não como um fator binário – presente ou ausente, mas como uma questão de grau, sendo o propósito dos métodos de avaliação determinar o grau de ajuste entre a pergunta e o constructo ao qual está relacionado.

Uma análise das interações e seus “desvios” em relação ao que foi previamente definido por quem desenvolveu o questionário pode informar sobre as dificuldades que as pessoas têm com as tarefas de perguntar e responder durante uma entrevista. A despeito do avanço nos últimos 30 anos de métodos de avaliação derivados da psicologia social e cognitiva, a avaliação de instrumentos padronizados de coleta de informações tem, em sua quase totalidade, se limitado no Brasil a pré-testes e a análises psicométricas. O objetivo deste artigo é justamente contribuir para preencher essa lacuna ao apresentar uma metodologia de avaliação cognitiva para identificação de perguntas potencialmente “problemáticas” quanto à sua formulação e o que ocorre, na interação entrevistador-entrevistado, ao aplicá-las em entrevistas com o uso de questionário padronizado em um inquérito regional de saúde. Vale ressaltar que o uso do termo “problemático”, grafado entre aspas, refere-se ao fato de que essas perguntas, ao serem formuladas, não seguiram as regras preconizadas para aplicação de questionários padronizados, que poderia resultar em dificuldades de compreensão e interpretação pelos respondentes.

Métodos

No intuito de identificar as perguntas que apresentavam problemas mais significativos de leitura e compreensão durante a entrevista, foram realizados quatro grupos focais com entrevistadoras/es e supervisoras/es, em dois momentos do trabalho de campo de um inquérito de saúde. No inquérito foram entrevistados 738 moradores adultos com idade igual ou superior a 18 anos, residentes na área urbana e rural de sete municípios de Goiás. As informações detalhadas relativas ao plano amostral do inquérito, características da população selecionada do estudo e os componentes do questionário estão descritas em uma publicação específica (URDANETA; PEREIRA, STEINKE, 2017URDANETA, M.; PEREIRA, E. L.; STEINKE, V. A. (orgs.). Ambiente e saúde: uma abordagem multidisciplinar. Goiânia: Gráfica UFG, 2017. Disponível em: https://www.researchgate.net/publication/315653701_Ambiente_e_saude_uma_abordagem_multidisciplinar).
https://www.researchgate.net/publication... ). Os adultos selecionados responderam a uma entrevista face-a-face mediada por computador de bolso.

A partir das transcrições da interação nestes grupos, foram selecionadas as perguntas apontadas pelos entrevistadores como mais problemáticas, ou seja, aquelas que os entrevistadores identificaram como sendo de difícil compreensão pelos entrevistados e que geravam manifestações de dúvidas e pedidos de esclarecimentos. A partir dessa identificação inicial, essas perguntas foram submetidas à avaliação para identificação de dificuldades de redação e/ou compreensão utilizando um roteiro padronizado, o Sistema de Apreciação de Perguntas (SAP), traduzido e adaptado do documento original em inglês - QAS-99 (WILLIS; LESSLER, 1999WILLIS, G.; LESSLER, J. T. RTI Questionnaire Appraisal System (QAS-99). Rockville: Research Triangle Institute, 1999.). O QAS-99 foi concebido, segundo seus desenvolvedores, para avaliar e revisar rascunhos de perguntas ao considerar separadamente vários aspectos da pergunta, sinalizar quais perguntas poderiam ser avaliadas em outros testes cognitivos ou de campo e estimular a revisão colaborativa entre pares. O objetivo final desse instrumento é desenvolver perguntas que sejam robustas para as diversas situações de pesquisa.

O QAS-99 original possui oito dimensões primárias de codificação/etapas de revisão e 27 subdimensões. As dimensões primárias são: Leitura (determina se é difícil para os entrevistadores ler a pergunta uniformemente para todos os entrevistados); Instruções (identificar problemas com quaisquer introduções, instruções ou explicações do ponto de vista do entrevistado); Clareza (Identificar problemas relacionados à comunicação da intenção ou significado da pergunta ao entrevistado); Pressupostos (Determinar se há problemas com as suposições feitas ou com a lógica subjacente); Conhecimento/Memória (Verificar se é provável que os respondentes não saibam ou tenham problemas para se lembrar das informações); Sensibilidade/Viés (Avaliar as perguntas quanto à natureza ou redação delicada e quanto à tendência); Opções de resposta (Avaliar a adequação do intervalo de respostas a serem registradas); Outros (Apontar problemas não identificados nas etapas anteriores). A adaptação manteve a estrutura original das 8 dimensões, porém modificou o nome da primeira dimensão de Leitura para Informação. Além disso foram excluídos quatro itens: 1a - O que ler: entrevistadores podem ter tido dificuldade em determinar quais partes da questão deveriam ser lidas e 1c. Como ler: a pergunta não está redigida completamente e, portanto, difícil de ler, pertencentes à primeira dimensão, e os itens 5b. Opinião pode não existir: Respondente é pouco provável de ter formado uma opinião sobre o que está sendo perguntado e 5c: Falha de recordação: respondente pode não se lembrar da informação requerida, pertencentes à dimensão Conhecimento/Memória. O único item restante da dimensão Informação sofreu uma alteração na sua formulação original ao excluir a palavra não da pergunta, reforçando a necessidade de que a informação necessária deve estar presente. A decisão para tais exclusões baseou-se no fato de que esses itens poderiam ser mais bem avaliados através da codificação da interação entrevistador-entrevistado, que foi realizada na etapa seguinte da pesquisa.

Desse modo, o instrumento final ficou organizado em oito seções ou passos. À exceção da seção 8, que é uma questão aberta, todas as demais seções possuem duas categorias de resposta – sim/não. Atribuiu-se o valor 1 para as respostas afirmativas e 0 para as negativas, invertendo-se essa lógica apenas para a seção 1, onde a resposta sim relaciona-se a um aspecto não problemático. A soma dos valores atribuídos correspondeu ao escore de problematicidade da pergunta, sendo consideradas como mais problemáticas as perguntas que apresentaram os maiores escores.

Em acréscimo, foram realizados registros de áudios da aplicação do questionário em uma amostra de 72 entrevistas, com posterior codificação da interação entrevistador-entrevistado através de um protocolo traduzido e adaptado do original em inglês (FOWLER; CANNELL, 1996FOWLER, F. J.; CANNELL, C. F. Using Behavioral Coding to Identify Problems with Survey Questions. In: SCHWARZ, N.; SUDMAN, S. (eds). Answering Questions: Methodology for Determining Cognitive and Communicative Processes in Survey Research. San Francisco: Jossey-Bass, 1996. p. 15-36.). O protocolo está dividido em três seções: 1) comportamento do entrevistador, 2) comportamento do entrevistado e 3) outros problemas que não foram identificados nas seções anteriores.

Na codificação da interação, as ações problemáticas foram avaliadas como desviantes quando não seguiam as regras estipuladas como padrão na aplicação do questionário, seja na conduta do entrevistador, p.ex. não ler a pergunta tal como está redigida no formulário, e/ou do entrevistado, p.ex. ao interromper o entrevistador e pedir esclarecimentos. Na avaliação foram consideradas como pequenas mudanças se a pergunta era alterada, mas contemplando todas as suas partes (p. ex., troca de uma palavra por um sinônimo correspondente). Por sua vez, foram consideradas como grandes mudanças quando houve alteração do sentido da pergunta que influenciaria a sua compreensão.

Ademais, no item referente à leitura da pergunta, foi feita uma alteração no instrumento, com o acréscimo de um item que assinalasse o motivo disso não ter ocorrido – se a resposta já fora dada anteriormente ou se a pergunta não se aplicava ao respondente. Todos os itens tinham como opção de resposta as categorias sim e não, sendo atribuídos o valor 1 (um) às opções de resposta que correspondessem às mudanças do que se considera como boas práticas de interação (p.ex. se entrevistador teve dificuldade em determinar quais partes da pergunta deveriam ser lidas, se respondente pediu para repetir ou esclarecer a pergunta ou fez afirmações que indicavam sua incerteza sobre o sentido da pergunta).

Nos casos da leitura das perguntas e respostas com pequenas e grandes mudanças, atribuiu-se, respectivamente, os valores 1 e 2. Quando o entrevistador induziu a resposta à pergunta, classificou-se o item com a categoria 5; se o entrevistador pulou a pergunta, o item foi classificado como 6; se a resposta já fora dada anteriormente, o item foi categorizado com o código 7; se o item da interação avaliado estivesse vinculado à uma situação prévia que não ocorrera, como p.ex., se o entrevistador não tivesse lido o preâmbulo da pergunta, o item seguinte que pergunta sobre a dificuldade do entrevistador em determinar quais partes do preâmbulo deveriam ser lidas, a pergunta não se aplicaria e o item foi classificado com a categoria 8. Nos casos em que houve problemas como gravação que impedissem a escuta da entrevista (gravação cortada ou inaudível), os itens foram classificados como dado ausente (missing) e codificados com o número 9.

A soma dos valores atribuídos correspondeu ao escore de problematicidade da interação, sendo que as perguntas que apresentaram os maiores escores foram aquelas nas quais houve um comprometimento da qualidade da entrevista. As perguntas abertas não foram codificadas nos itens relativos à opção de resposta. Na análise da interação, foi excluída a opção 3 - Outros problemas que não foram identificados nas seções anteriores, por não terem sido relatadas situações distintas àquelas descritas nas outras seções do instrumento.

Vale destacar que os dois instrumentos supracitados assinalam, respectivamente, se os critérios de qualidade na formulação de perguntas e de realização de entrevistas atenderam ao que foi proposto inicialmente pelos/as pesquisadores/as e ao que é preconizado pelas boas práticas da entrevista em inquéritos de saúde com questionários padronizados administrados por entrevistadores.

Ressalta-se que os entrevistadores foram treinados para aplicação do questionário antes do início do trabalho de campo e acompanhados pelos supervisores ao longo dos meses em que transcorreu a pesquisa. Esses supervisores já possuíam experiência anterior como entrevistadores em inquéritos realizados nas regiões vizinhas, nos quais foi utilizado um questionário idêntico ao aplicado na pesquisa atual (URDANETA; PEREIRA, STEINKE, 2017). As entrevistas foram realizadas com o uso de palmtop e gravadas em áudio, após a anuência e assinatura do consentimento informado dos entrevistadores e entrevistados.

As avaliações e codificações dos itens do SAP-99 foram realizadas por quatro avaliadores, de maneira independente, enquanto apenas três deles participaram da avaliação da interação. As unidades de análise foram os itens referentes às características das perguntas e respostas, quando avaliados os aspectos relativos ao SAP, e a sequência pergunta-resposta (P-R), que consiste em todas as elocuções que pertencem a uma única questão, decompostas nos vários itens da avaliação dos instrumentos das perguntas selecionadas. A sequência pergunta-resposta começa quando o entrevistador lê o preâmbulo e termina quando enuncia a pergunta seguinte, que indica que o entrevistador reconheceu a resposta do respondente. As sequências P-R foram analisadas em relação à ocorrência de comportamentos que fogem à sequência tida como paradigmática ou direta, na qual o entrevistador lê o preâmbulo e a pergunta como estão redigidas no questionário e o entrevistado imediatamente dá uma resposta formatada dentre as opções de resposta oferecidas, sendo considerada adequada ao objetivo da pergunta. Essas mudanças de comportamento poderiam afetar negativamente os desfechos do processo de interação e a qualidade dos dados obtidos.

A pesquisa teve aprovação dos comitês de ética da Universidade de Brasília (681.762) e da Escola Politécnica de Saúde Joaquim Venâncio/FIOCRUZ/RJ (723.794) em 11/06/2014 e 17/07/2014, respectivamente. Foi financiada pelo Conselho Nacional de Pesquisa (Proc. nº: 477280/2013-7; Edital nº 14/2013; Proc. nº: 405093/2013-6; Edital nº 41/2013) e da Fundação de Amparo à Pesquisa do Distrito Federal (FAP-DF Proc. nº: 193.000.875/2015).

Resultados

A análise das transcrições dos grupos focais assumiu que os fatores intervenientes da entrevista estavam divididos em duas dimensões – contextual, que englobaria as características do local da entrevista, do entrevistador e do entrevistado; e as perguntas problemáticas - constituído pela dificuldade de compreensão, presença de perguntas sensíveis e estratégias utilizadas pelos entrevistadores. Dentre as 513 perguntas existentes no questionário individual, os entrevistadores e os supervisores de campo indicaram 68 questões como sendo potencialmente problemáticas à comunicação e compreensão pelos entrevistados.

A codificação das perguntas na aplicação do SAP gerou um total de 609 registros. No cômputo geral, as pontuações variaram entre 16 e 52 (média: 31,4; DP;7,9). O ponto de corte para seleção das perguntas que apresentaram maiores problemas na sua formulação foi definido pela soma do valor da média acrescido de um desvio-padrão, ou seja, aquelas com pontuação no escore maior ou igual a 40, As perguntas selecionadas eram relacionadas à quantificação de tempo – A13 e A14; ao grau de dificuldade para o autocuidado – B6 e B8; à situação no trabalho – A11 e A12; à estimação do rendimento – A17. As perguntas com menor pontuação eram referentes a: consultas médicas - J3e J4; violência sexual – E38; consumo de carne vermelha e bebida alcoólica – C11 e C26; prática de exercício físico ou esporte – C31 e menstruação – F2.

No tocante às características das perguntas, se todos os aspetos das subdimensões fossem assinaladas como presentes, o escore total corresponderia a 67 pontos. Os aspectos que mostraram maior frequência na pontuação dos avaliadores estão relacionados à clareza, seja na presença de termos técnicos indefinidos (41 pontos), pouco claros ou complexos (49 pontos), assumir comportamento ou experiência constante para situações que variam (41 pontos) ou que requerem um cálculo mental difícil (39 pontos), o que poderia dificultar tanto a formulação da pergunta pelo entrevistador quanto à comunicação do objetivo e do sentido da pergunta ao respondente. Exemplos que ilustram essa situação são as perguntas sobre a o número de dias, no período dos últimos 15 dias, que a pessoa se sentiu deprimida, “pra baixo” ou sem energia. Outro aspecto com pontuação alta diz respeito à pergunta assumir comportamento ou experiência constante para situações que variam. Questões desse tipo podem ser encontradas no questionamento sobre a principal ocupação no trabalho, o número de horas trabalhadas por semana, o tempo gasto no deslocamento para o trabalho, o número de vezes por dia que se come verdura ou legume cozido, como costuma comer carne vermelha (se retira ou não a gordura) e quantos dias da semana costuma comer frango/galinha, que foram apontadas como sendo passíveis de maior variação no tocante ao comportamento dos respondentes.

Por fim, as questões que requerem cálculo, especialmente aquelas que estipulam uma medida de distância (andar um quilômetro, 100 metros) ou estabelecem um intervalo de tempo retrospectivo (p.ex. nos últimos 15 dias, nos últimos três meses), tiveram pontuação expressiva pelos avaliadores que entenderam que essas questões demandavam dos respondentes a execução de um cálculo mental difícil. A presença de uma ordem ilógica e/ou de sobreposição das opções de resposta, a necessidade de melhoria do fraseado da pergunta para minimizar a sensibilidade ao tópico abordado não foram identificados nas estruturas das perguntas avaliadas e, portanto, tiveram menor pontuação.

Os 72 respondentes cujas entrevistas foram analisadas para avaliação da interação entrevistador-entrevistado eram moradores de seis municípios da região dos Pireneus – Goiás (Alexânia, Abadiânia, Cocalzinho, Corumbá, Padre Bernardo e Pirenópolis), sendo que quase metade deles residia em Pirenópolis. Dentre eles, 55,6% eram mulheres, tinham idades que variaram de 18 a 80 anos (média: 44,8; DP: 15,2 anos), 43 se classificaram como pardos, tinham 7,4 anos de estudo completos, 66% eram casados, com renda média mensal de R$ 1.044,11 reais (DP: 881,78) e profissões na qual predominavam atividades manuais. Os 21 entrevistadores que participaram da pesquisa apresentavam as seguintes características: 53% eram do sexo feminino, 81% eram solteiros, idade média de 24,5 anos (DP: 6,7) e 76% estavam matriculados em cursos de graduação e pós-graduação na área da saúde.

As 72 entrevistas resultaram em um conjunto de 1656 registros correspondentes aos 23 itens avaliados nas 68 questões selecionadas. Ao analisar as ações que se desviaram do que é preconizado na interação em entrevista com uso de questionário padronizado, as situações mais frequentes foram aquelas relacionadas ao comportamento do entrevistador nas quais ele não leu o preâmbulo, não leu a pergunta tal como está formulada no questionário, teve dificuldade em determinar quais partes da pergunta deveriam ser lidas, mudou a pergunta de tal maneira que o sentido da pergunta foi alterado ou não concluiu a leitura da pergunta, não leu as opções de resposta ou não leu as opções de resposta tal como estão formuladas no questionário. As perguntas que apresentaram maiores frequências nessas ações, ou seja, que se afastaram do que é esperado ou ideal na aplicação do questionário durante a entrevista, foram as questões B12, C12, B10, B20, C14, B7, B8, B9 e A13 (Tabela 1). Quando consideramos o conjunto de sequências pergunta-resposta, a frequência de ações problemáticas variou de 32,4% para o item B8 a 19,9% para o item C14 (Tabela 2).

Dentre as perguntas apontadas como problemáticas na avaliação pelo SAP, somente B8 e A13 estão entre aquelas que também tiveram pontuação mais alta na avaliação da interação. A maioria dos itens relacionados aos aspectos interativos da entrevista apresentou uma frequência de ocorrência em torno de 20 a 25%, exceto aqueles relacionados a grandes mudanças que alteravam o significado do preâmbulo, pergunta ou resposta, cuja ocorrência não ultrapassou 13%. As mudanças na aplicação dessas perguntas pelo entrevistador ou a maneira como as respostas foram dadas pelos entrevistados estão distribuídas parcialmente igual entre os diversos itens da avaliação da interação. A análise da distribuição dos itens naquelas perguntas que obtiveram maior pontuação, quando separados em três grupos segundo os seguintes critérios - sexo do respondente igual ou diferente do entrevistador; faixa etária do respondente correspondente ou diferente do entrevistado; escolaridade igual ou diferente do entrevistador - não mostrou uma associação significativa, exceto nos itens B9 e B20, quando o sexo do respondente era diferente do sexo do entrevistador.

No tocante às perguntas problemáticas por relacionarem-se a temas sensíveis, como o consumo de bebidas alcóolicas, violência e menstruação, somente as questões C25 e E28 tiveram uma pontuação alta nos itens da avaliação da interação. No entanto, a análise da distribuição da pontuação dos itens das perguntas sobre temas sensíveis, segundo quatro grupos supracitados mostrou uma associação significativa apenas para as questões C27 e E30, quando o sexo do entrevistador era diferente do respondente.

Discussão

A entrevista, segundo Zouwen (2002ZOUWEN, J. V. D. Why Study Interaction in the Survey Interview? Response from a Survey Researcher. In: MAYNARD, D. W. et al. (eds.). Standardization and Tacit Knowledge. Interaction and Practice in the Survey Interview. New York: John Wiley & Sons, 2002. p. 47-66.), muitas vezes é considerada apenas um meio de coletar dados sobre o comportamento das pessoas e de mensurar opiniões, atitudes e outros fenômenos subjetivos que interessam ao investigador e a sua padronização torna-se um requisito necessário para uma análise quantitativa adequada dos dados. Apesar das orientações acerca da simplicidade, clareza, concisão, inteligibilidade e o nível de dificuldade das perguntas ao formulá-las em um questionário, o fato de serem redigidas por profissionais que possuem nível de escolaridade elevado, tem um interesse especial e maior conhecimento sobre os tópicos abordados pode levar, muitas vezes, à redação de perguntas complexas, difíceis e que demandam excessivamente do respondente (CONVERSE; PRESSER, 1986CONVERSE, J. M.; PRESSER, S. Survey Questions: Handcrafting the Standardized Questionnaire. Sage University Papers Series, 1986.).

A identificação de perguntas como potencialmente problemáticas sinaliza para aspectos que os pesquisadores em geral não consideram passíveis de questionamento. As perguntas sobre a estimativa de horas trabalhadas por semana ou tempo gasto no deslocamento para o trabalho trazem implícitas o pressuposto que todos os respondentes possuem um trabalho estável e duradouro, garantindo uma regularidade no desempenho dessas ações. As respostas a essas perguntas vão depender do contexto em que são formuladas. Se uma parcela significativa da população está desempregada ou em contratos precários, a capacidade do entrevistado em responder a essas perguntas dependerá do acesso a memória de experiências laborais passadas, a recuperação de múltiplos traços que diferem em conteúdo ou de alguma dimensão subjacente de familiaridade com o tópico, resultando em diferentes estratégias de cálculo e estimativas (TOURANGEAU; RIPS; RASINSKI, 2000TOURANGEAU, R.; RIPS, L. J.; RASISNKI, K. The Psychology of Survey Response. New York: Cambridge University Press, 2000.). A inclusão de pergunta-filtro que selecionasse apenas os trabalhadores com vínculo estável poderia minimizar os efeitos mencionados acima, mas isso se daria às custas de uma limitação na caracterização das condições de trabalho da população investigada.

No caso das perguntas sobre avaliação do grau de dificuldade, quando combinada com uma escala unipolar discretizada em cinco adjetivos que identificam os valores crescentes de dificuldade, existe a possibilidade que os entrevistados usem a escala de modo variado. Dados os elementos considerados na interpretação dos termos da pergunta, na estimativa da dificuldade de execução da tarefa e aceitabilidade social, algumas/uns entrevistados podem atribuir o grau médio à dificuldade, enquanto outros podem selecionar as categorias intenso ou leve, apesar da presença da categoria médio e sua localização no meio da escala reforçarem a ideia de que esse termo representa o ponto equidistante dos dois extremos (nenhum/intenso) da escala.

A oferta de uma categoria média leva a que mais respondentes optem por escolher essa opção e, portanto, à redução do erro de mensuração aleatório, sem afetar a validade (SCHAEFFER; PRESSER, 2003SCHAEFFER, N. C.; PRESSER, S. The Science of Asking Questions. Annu. Rev. Sociol., v. 29, p. 65-88, 2003.). Entretanto, a substituição do termo médio por moderado nas perguntas sobre grau de dificuldade poderia resultar em interpretações variadas. A tradução de perguntas oriundas de questionários padronizados internacionais que tratam de estados subjetivos com escalas definidas por categorias adjetivas representa um desafio para obtenção de medidas consistentes entre grupos sociais em decorrência da dificuldade em obter traduções exatas entre os idiomas e, por conseguinte, comparabilidade entre as adaptações transculturais (FOWLER, 2011FOWLER JR, F. J. Coding the Behavior of Interviewers and Respondents to Evaluate Survey Questions. In: MADANS, J. et al. (eds). Question Evaluation Methods. Contributing to the Science of Data Quality. Hoboken: John Wiley & Sons, 2011. p. 7-22.). No caso dos rendimentos, a pergunta utilizou o ganho mensal como marco de referência temporal e dividiu a resposta em uma lista de possíveis fontes de renda e montantes recebido em cada uma delas no intuito de identificar e facilitar a recordação das fontes pelo entrevistado, aumentar a acurácia da estimativa dos valores e diminuir o percentual de não-resposta e valores ausentes. A lembrança ou disponibilidade dos valores exatos recebidos para todas as categorias no momento da entrevista, a existência de benefícios cujos valores variam ao longo dos meses e o grau de sensibilidade dado a esse tópico pelo entrevistado geram temor de que essas informações resultem na perda de benefícios ou, no caso do entrevistador, pode levar à exclusão da pergunta no momento da entrevista por se sentir constrangido em indagar sobre um tema que considera privado/íntimo podem influenciar na resposta ao item. No tocante ao período mensal, evidências de estudos de validação apontam que o ano calendário prévio é o marco de referência temporal mais confiável para coletar dados sobre ganhos do trabalho e horas trabalhadas em inquéritos (DUNCAN; PETERSEN, 2001DUNCAN, G. J.; PETERSEN, E. The Long and Short of Asking Questions about Income, Wealth, and Labor Supply. Social Science Research, v. 30, p. 248-263, 2001.).

A conduta dos entrevistadores alerta sobre possíveis desvios ou não cumprimento de regras básicas preconizadas acerca da interação com os respondentes. As perguntas que foram objeto de mudanças na pesquisa eram do tipo atitudinais e não correspondiam, na sua maioria, àquelas tidas como problemáticas na avaliação pelo SAP, predominantemente classificadas como fatuais e de comportamento. A leitura do preâmbulo, na aplicação de questionários por entrevistadores, é um recurso que orienta o respondente para o enquadramento temporal ou contextual da informação pretendida e chama a atenção para aspectos que mereçam cuidados especiais (MOREIRA, 2009MOREIRA, J. M. Questionários: Teoria e Prática. Coimbra: Ed. Almedina, 2009.).

Entretanto, o fato de as perguntas avaliadas trazerem no texto alguns elementos que reiteram o que estava enunciado nos preâmbulos pode ter induzido os entrevistadores a tomarem o preâmbulo como redundante, que sua leitura não trazia nenhum ganho para a qualidade da resposta e implicaria mais tempo dispendido na aplicação do questionário. A mudança na formulação das perguntas pode ter sido uma estratégia de rapport utilizada pelos entrevistadores para aumentar o interesse e a cooperação dos entrevistados, atenuar o caráter repetitivo e impessoal das perguntas que foge ao que é esperado em uma conversa informal e desencoraja tanto os entrevistadores na interação quanto os entrevistados em manter algum senso de envolvimento ou responsabilidade nas respostas dadas. A reformulação da pergunta pelos entrevistadores pode ter como objetivo compensar possíveis ameaças à face (GOFFMAN, 2011GOFFMAN, E. Ritual de Interação. Ensaios sobre o comportamento face a face. Petrópolis: Ed. Vozes, 2011.), termo definido por Goffman como ataques ao “valor social positivo que uma pessoa efetivamente reivindica para si mesma através da linha que os outros pressupõem que ela assumiu durante um contato particular” (p.13). Isso pode ser feito pela polidez positiva, através de elogios ou indicações de solidariedade que corresponderiam ao desejo que todo interlocutor tem de ser apreciado e admirado ou a polidez negativa, ao não perguntar algo ou fazê-lo de maneira educada para não constranger o interlocutor (SALGADO, 2003SALGADO, M. G. S. Subjetividade, gênero e poder: a expressão cultural da emoção na integração médico-paciente. Rev. Mal-Estar Subj, Fortaleza, v. 3, n. 2, p. 311-352, 2003.).

Enquanto a polidez positiva “possibilita a aproximação e solidariedade, e a negativa enfatiza a distância e diminui o peso da solidariedade [...], quase todas as ações, incluindo as elocuções, são potencialmente uma ameaça à face do outro” (SALGADO, 2003SALGADO, M. G. S. Subjetividade, gênero e poder: a expressão cultural da emoção na integração médico-paciente. Rev. Mal-Estar Subj, Fortaleza, v. 3, n. 2, p. 311-352, 2003., p. 319). Um entrevistador em uma entrevista padronizada ameaça a face positiva dos respondentes, quando aborda questões sensíveis, e a face negativa, ao pedir que cooperem em uma entrevista de inquérito e ao insistir na escolha de uma opção de resposta, entre várias alternativas, quando o entrevistado deu apenas uma informação geral. Outro aspecto que pode influenciar o comportamento do entrevistador é o fraseado das perguntas. Se em uma conversa corriqueira as perguntas são dirigidas a audiências específicas e adaptadas à definição da situação em que se desenrola a interação, na entrevista de inquérito as perguntas são definidas previamente, concebidas para um grupo amplo e heterogêneo de receptores e adaptadas para todas as circunstâncias possíveis de ocorrerem no trabalho de campo. Houve situações na pesquisa em que o entrevistador não leu a pergunta ou a fez com mudanças, de modo a evitar uma situação embaraçosa quando o respondente já havia dado a resposta em um momento anterior, sinalizando ao entrevistado que a situação não passara desapercebida pelo entrevistador e que ele seguia a leitura de um roteiro de perguntas despersonalizadas, desenhadas para um uma audiência genérica.

Dentre as ações desviantes dos respondentes, destaca-se o entrevistado dar uma resposta que não atendia o objetivo da pergunta ou, quando atendia, afirmar estar inseguro acerca da acurácia da resposta. Dijkstra & Ongena (2006) apontam que o comportamento problemático do respondente parece ser causado pelo desenho do questionário, expressando problemas na compreensão da pergunta, assim como os pedidos de esclarecimento. Dykema et al. (1997) sinalizam que respondentes que indicam dúvidas quanto à resposta, assim como aqueles que interrompem o entrevistador, são mais prováveis de fornecerem respostas imprecisas.

O presente estudo foi realizado em municípios pequenos, com uma parcela significativa dos moradores vivendo em áreas urbanas pobres ou rurais e esse fato pode gerar obstáculos na interação com os entrevistados que, muitas das vezes, apresentavam pouca ou nenhuma escolaridade e acesso limitado a capitais culturais e econômicos. Apesar dos entrevistadores serem em sua maioria mais jovens, brancos e com mais anos de estudo que os entrevistados, essa assimetria não resultou em diferenças nas interações, exceto em duas perguntas consideradas sensíveis - o número de doses de bebida alcoólica consumidas em um dia e a identificação do autor da agressão física - em que o fato do entrevistador ser de sexo distinto ao entrevistado influenciou a interação.

A ausência desse efeito, nas demais perguntas, pode ser provavelmente devido à vinculação da pesquisa a departamentos de saúde coletiva, enfermagem e biomedicina das universidades participantes do estudo, bem como o fato de vários entrevistadores serem alunos de cursos de saúde nessas instituições, influenciando favoravelmente o rapport entre entrevistador e entrevistado e, consequentemente, na obtenção das respostas para esses temas. Outra hipótese é que os respondentes associaram as entrevistas às consultas clínicas realizadas nos postos e centros de saúde locais e às visitas domiciliares dos agentes comunitários de saúde, uma vez que vários dos domicílios sorteados e que participaram da pesquisa estavam cadastrados no Programa Saúde da Família.

Dentre as limitações a serem apontadas nesse estudo está a ênfase na informação semântica e nos critérios léxico-gramaticais, característicos dos instrumentos empregados na avaliação, em detrimento das implicações pragmáticas, que levaria à subestimação do processo conversacional e colaborativo de produção, compreensão e resposta a uma pergunta. Outros possíveis aspectos limitantes são o tamanho da amostra e a ausência de estimativas para os efeitos do entrevistador e respondente na acurácia das medidas obtidas dos itens avaliados. Contudo, o aumento do tamanho da amostra das entrevistas a serem codificadas implicaria em mais tempo e maiores custos financeiros, que extrapolavam o orçamento disponível ao estudo.

A literatura em codificação da interação mostra que há grande variabilidade na escolha das estatísticas utilizadas para o teste e nos critérios de avaliação empregados nos estudos, levando à uma amplitude de valores estimados entre 0,11 e 1,0, que dificultam a comparabilidade dos achados (ONGENA; DIJKSTRA, 2006ONGENA, Y.; DIJKSTRA, W. Methods of Behavior Coding of Survey Interviews. Journal of Official Statistics, v. 22, n. 3, p. 419-451, 2006.). Nesses aspectos, o teste empregado para avaliar o grau de concordância e a decisão de avaliá-lo no mesmo nível em que foi usado para atribuir os códigos, critérios adotados nesse estudo, são tidos como mais apropriados (SALGADO, 2003SALGADO, M. G. S. Subjetividade, gênero e poder: a expressão cultural da emoção na integração médico-paciente. Rev. Mal-Estar Subj, Fortaleza, v. 3, n. 2, p. 311-352, 2003.).

Conclusão

Os dados de um inquérito, como sublinham Gobo & Mauceri (2014)GOBO, G.; MAUCERI, S. Constructing Survey Data. An Interactional Approach. New Delhi: SAGE Publications, 2014. 368 p., são o desfecho da interação entre ao menos quatro atores – o pesquisador, o questionário, o entrevistador e o entrevistado. Para esses autores, o dado co-construído nesse processo é a ponta do iceberg, mas o que repousa abaixo da resposta, resultado de processos cognitivos e interacionais, é em grande medida desconhecido. Ao limitar o processo de controle de qualidade unicamente aos cálculos dentro da matriz de dados, perde-se a possibilidade de conhecer os vieses que surgem na situação da entrevista quando interagem os quatro atores dessa rede.

Algumas perguntas identificadas na avaliação do questionário são oriundas de escalas padronizadas, que apresentaram medidas de confiabilidade e de validade tidas como adequadas para o seu emprego em entrevistas e frequentemente utilizadas em inquéritos de saúde. Entretanto, a avaliação psicométrica não é capaz de identificar o grau de dificuldade dessas perguntas em construções sintáticas, morfológicas e semânticas de sentenças, o que justificaria novas revisões dessas perguntas em consonância com o perfil dos participantes da pesquisa.

Desse modo, é importante que os pesquisadores lancem mão de instrumentos como o SAP para avaliação das perguntas formuladas no momento de construção do questionário padronizado e a codificação da interação entrevistador-entrevistado, nos testes-piloto das entrevistas, para ter uma avaliação mais orientada aos potenciais problemas a serem enfrentados quando se inicia o trabalho de campo.

Esta pesquisa, ao disponibilizar instrumentos adaptados e testados no contexto da pesquisa de campo, contribui para que futuros testes de questionário de inquéritos de saúde incluam aspectos ausentes nas avaliações tradicionais, possibilitando que coordenadores e supervisores de campo adaptem os instrumentos de coleta de dados às categorias conceituais e competência linguística dos entrevistados, orientem o treinamento dos entrevistadores nos aspectos mais problemáticos da interação e sinalizem aos usuários dos dados da pesquisa as potenciais fontes de variabilidade nas respostas aos itens.

Referências

ANEXOS

Neste módulo, vamos lhe perguntar sobre as suas características pessoais, como sexo e idade, características socioeconômicas, como grau de escolaridade e situação de trabalho, e relações com família e amigos.

FORMULÁRIO DE CODIFICAÇÃO

AVALIADOR: _____________________________________________________________________________

FORMULÁRIO DE CODIFICAÇÃO

INSTRUÇÕES. Use um formulário para CADA pergunta a ser revisada.

AVALIADOR: _____________________________________________________________________________

Nº DA AVALIAÇÃO (Iniciais do seu nome + nº sequencial iniciando em 001): _____________________

Nota: instrumento adaptado do protocolo de Fowler, FJ, and Cannell, CF. (1996). Using Behavioral Coding to Identify Problems with Survey Questions. In N. Schwarz & S. Sudman (Eds.), Answering Questions: Methodology for Determining Cognitive and Communicative Processes in Survey Research, (pp. 15-36). San Francisco: Jossey-Bass.

Datas de Publicação

Histórico