Resumo

O objetivo foi avaliar a validade de conteúdo e a confiabilidade de um instrumento de auditoria para avaliação do ambiente alimentar universitário. Foi desenvolvido checklist para a avaliação de estabelecimentos que comercializavam alimentos e bebidas neste ambiente. A validação de conteúdo abarcou o desenvolvimento do instrumento, a análise por especialistas e a realização do pré-teste. A confiabilidade foi avaliada em uma amostra de conveniência (n=64) de estabelecimentos distribuídos em sete campi de três universidades públicas e foi realizada pelos testes interobservador (TIO) e teste-reteste (TR). Variáveis categóricas e de contagem foram analisadas pelo cálculo da concordância percentual (CP) e dos índices kappa (k) e kappa ajustado pela prevalência e pelo viés (ka) e variáveis contínuas, pelo Coeficiente de Correlação Intraclasse (CCI). O checklist foi composto por 204 itens distribuídos em sete domínios. O desempenho do instrumento foi considerado excelente ou muito bom para 91,3% (CP) dos itens quando avaliados. No TIO 68,3% (k) e 96,5% (ka) tiveram concordância excelente, muito boa ou boa, enquanto no TR 65% tiveram concordância excelente para o k e 96,5% para o ka. O instrumento apresentou validade de conteúdo e confiabilidade satisfatórias.

Palavras-chave:
Propriedades psicométricas; Reprodutibilidade; Instituições de ensino superior

Introdução

Esforços vêm sendo empreendidos para traduzir os conceitos e construtos sobre ambiente alimentar em ferramentas de mensuração que possam gerar evidências empíricas¹1 Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: Concepts and measures. Am J Heal Promot 2005; 19(5):330-333.

2 Bethlehem JR, Mackenbach JD, Ben-Rebah M, Compernolle S, Glonti K, Bárdos H, Rutter HR, Charreire H, Oppert JM, Brug J, Lakerveld J. The SPOTLIGHT virtual audit tool: A valid and reliable tool to assess obesogenic characteristics of the built environment. Int J Health Geogr 2014; 13:52.

3 Duran AC, Lock K, Latorre MRDO, Jaime PC. Evaluating the use of in-store measures in retail food stores and restaurants in Brazil. Rev Saude Publica 2015; 49:80.

4 Borges CA, Jaime PC. Development and evaluation of food environment audit instrument: AUDITNOVA. Rev Saude Publica 2019; 53:91.

5 Altenburg T, Te Velde S, Chiu KJ, Moschonis G, Manios Y, De Bourdeaudhuij I, Vik FN, Lien N, Brug J, Chinapaw M. Interrater reliability of the ENERGY photo-rating instrument for school environments related to physical activity and eating. J Phys Act Heal 2016; 13(4):433-439.^-66 Giskes K, Van Lenthe FJ, Brug J, Mackenbach JP, Turrell G. Socioeconomic inequalities in food purchasing: The contribution of respondent-perceived and actual (objectively measured) price and availability of foods. Prev Med (Baltim) 2007; 45(1):41-48.. O ambiente alimentar do consumidor¹1 Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: Concepts and measures. Am J Heal Promot 2005; 19(5):330-333., objeto de interesse no presente estudo, abrange os fatores referentes aos alimentos propriamente ditos, ou seja, à forma como estes são fornecidos ou apresentados, preço, qualidade nutricional, rotulagem nutricional, incluindo alegações, entre outros. O ambiente alimentar do consumidor pode estar inserido em ambientes organizacionais, como empresas e universidades¹1 Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: Concepts and measures. Am J Heal Promot 2005; 19(5):330-333.. O método mais relatado na literatura para avaliação do ambiente alimentar do consumidor é o de auditoria dos estabelecimentos que comercializam alimentos. Por meio dele, os pesquisadores avaliam a variedade de produtos, informações nutricionais, opções saudáveis, preços, propagandas e outros aspectos dos alimentos²2 Bethlehem JR, Mackenbach JD, Ben-Rebah M, Compernolle S, Glonti K, Bárdos H, Rutter HR, Charreire H, Oppert JM, Brug J, Lakerveld J. The SPOTLIGHT virtual audit tool: A valid and reliable tool to assess obesogenic characteristics of the built environment. Int J Health Geogr 2014; 13:52.^,77 Glanz K, Sallis JF, Saelens BE, Frank LD. Nutrition Environment Measures Survey in Stores (NEMS-S). Development and Evaluation. Am J Prev Med 2007; 32(4):282-289.

8 Gustafson A, Hankins S, Jilcott S. Measures of the consumer food store environment: A systematic review of the evidence 2000-2011. J Community Health 2012; 37(4):897-911.^-99 Caspi CE, Sorensen G, Subramanian SV, Kawachi I. The local food environment and diet: A systematic review. Heal Place 2012; 18(5):1172-1187..

O ambiente alimentar universitário, cenário de interesse deste estudo, pode ser caracterizado pela disponibilidade de alimentos, preparações e bebidas (APB), acessibilidade física e financeira, promoção de APB, informação nutricional e propaganda dentro do campus, podendo também incluir seu entorno. É sabido que esse ambiente influencia os hábitos alimentares dos indivíduos a ele expostos¹⁰10 Roy R, Soo D, Conroy D, Wall CR, Swinburn B. Exploring University Food Environment and On-Campus Food Purchasing Behaviors, Preferences, and Opinions. J Nutr Educ Behav 2019; 51(7):865-875., uma vez que pode agir como facilitador ou barreira para as escolhas saudáveis¹1 Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: Concepts and measures. Am J Heal Promot 2005; 19(5):330-333.^,1010 Roy R, Soo D, Conroy D, Wall CR, Swinburn B. Exploring University Food Environment and On-Campus Food Purchasing Behaviors, Preferences, and Opinions. J Nutr Educ Behav 2019; 51(7):865-875. dado que as refeições realizadas na universidade podem representar parte importante da alimentação dos estudantes, professores e funcionários¹¹11 Perez PMP, Castro IRR, Canella DS, Franco ADS. Effect of implementation of a university restaurant on the diet of students in a brazilian public university. Cien Saude Colet 2019; 24(6):2351-2360.^,1212 Perez PMP, Castro IRR, Franco AS, Bandoni DH, Wolkoff DB. Práticas alimentares de estudantes cotistas e não cotistas de uma universidade pública Brasileira. Cien Saude Colet 2016; 21(2):531-542..

O Brasil contava, em 2021, com 302 Instituições de Ensino Superior (IES) públicas e 2.306 IES privadas que, juntas, abarcam 8.603.824 estudantes e 386.703 professores¹³13 Brasil. Ministério da Educação (MEC). Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Resumo Técnico do Censo da Educação Superior 2019. Brasília: MEC; 2021., além de milhares de funcionários técnico-administrativos. Por isso, deve ser valorizado como espaço estratégico para a promoção da alimentação saudável.

A literatura sobre a avaliação do ambiente alimentar universitário ainda está em expansão. Países como Estados Unidos e Austrália têm publicado estudos de caracterização do ambiente alimentar em universidades e seu entorno¹⁴14 Horacek TM, Erdman MB, Reznar MM, Olfert M, Brown-Esters ON, Kattelmann KK, Kidd T, Koenings M, Phillips B, Quick V, Shelnutt KP, White AA. Evaluation of the food store environment on and near the campus of 15 postsecondary institutions. Am J Heal Promot 2013; 27(4):81-91.^,1515 Roy R, Hebden L, Kelly B, De Gois T, Ferrone EM, Samrout M, Vermont S, Allman-Farinelli M. Description, measurement and evaluation of tertiary-education food environments. Br J Nutr 2016; 115(9):1598-1606.. No Brasil, até o momento, poucos estudos foram localizados¹⁶16 Franco ADS, Canella DS, Perez PMP, Bandoni DH, Castro IRRD. Ambiente alimentar universitário: caracterização e mudanças no período de 2011 a 2016 em uma universidade pública brasileira. Rev Nutr 2020; 33:e200058.

17 Rodrigues CB, Monteiro LS, Paula NM, Pereira RA. Ambiente alimentar em um campus universitário: desenvolvimento e análise de instrumento para avaliação de estabelecimentos comerciais. Demetra 2021; 16:e51139.

18 Barbosa R, Henriques P, Guerra H, Ermentino J, Sorares D, Dias P, Ferreira D. Food environment of a Brazilian public university: challenges to promote healthy eating. Rev Chil Nutr 2020; 47(3):443-448.^-1919 Pulz IS, Martins PA, Feldman C, Veiros MB. Are campus food environments healthy? A novel perspective for qualitatively evaluating the nutritional quality of food sold at foodservice facilities at a Brazilian university. Perspect Public Health 2017; 137(2):122-135..

A escolha ou o desenvolvimento de um instrumento de coleta de dados é uma etapa imprescindível que, se não realizada com cuidado e rigor metodológico, pode ser uma fonte de erro e de conclusões equivocadas²⁰20 Streiner DL, Norman GR, Cairney J. Reliability. In: Health measurement scales: a practical guide to their development and use. New York: Oxford University Press; 2015. p. 179-199.. Embora muitos estudos venham sendo realizados para avaliar o ambiente alimentar, pequena parcela deles realizou avaliação das propriedades piscométricas dos instrumentos neles utilizados²¹21 McKinnon RA, Reedy J, Morrissette MA, Lytle LA, Yaroch AL. Measures of the Food Environment. A Compilation of the Literature, 1990-2007. Am J Prev Med 2009; 36(Supl. 4):124-133.^,2222 Lytle LA, Sokol RL. Measures of the food environment: A systematic review of the field, 2007-2015. Heal Place 2017; 44(2016):18-34.. Dentre os estudos sobre ambiente alimentar universitário, somente dois analisaram a confiabilidade do instrumento utilizado¹⁴14 Horacek TM, Erdman MB, Reznar MM, Olfert M, Brown-Esters ON, Kattelmann KK, Kidd T, Koenings M, Phillips B, Quick V, Shelnutt KP, White AA. Evaluation of the food store environment on and near the campus of 15 postsecondary institutions. Am J Heal Promot 2013; 27(4):81-91.^,1616 Franco ADS, Canella DS, Perez PMP, Bandoni DH, Castro IRRD. Ambiente alimentar universitário: caracterização e mudanças no período de 2011 a 2016 em uma universidade pública brasileira. Rev Nutr 2020; 33:e200058. e nenhum avaliou a validade. Além disso, dos instrumentos identificados até o momento, nenhum deles é capaz de captar plenamente as especificidades dos elementos do ambiente alimentar universitário brasileiro, merecendo destaque a expressiva variedade de itens de conveniência e a existência dos estabelecimentos mistos (que apresentam características de restaurantes e de lanchonetes concomitantemente). Ademais, esses instrumentos não utilizam a Classificação NOVA para caracterização de alimentos e preparações comercializados²³23 Monteiro CA, Cannon G, Levy RB, Moubarac JC, Louzada MLC, Rauber F, Khandpur N, Cediel G, Neri D, Martinez-Steele E, Baraldi LG, Jaime PC. Ultra-processed foods: What they are and how to identify them. Public Health Nutr 2019; 22(5):936-941., classificação esta que vem sendo adotada nas diretrizes brasileiras para políticas públicas em alimentação e nutrição²⁴24 Brasil. Ministério da Saúde (MS). Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Guia alimentar para a população brasileira. Brasília: MS; 2014. e em estudos sobre alimentação, qualidade da dieta e saúde²⁵25 Monteiro CA, Cannon G, Lawrence M, Louzada MLC, Machado PP. Ultra-processed foods, diet quality, and health using the NOVA classification system. Rome: FAO; 2019..

Tendo em vista a importância e as especificidades do ambiente alimentar universitário, a escassez de instrumentos propostos para sua avaliação e, também, a escassez de avaliações do desempenho desses instrumentos em diferentes realidades, o presente estudo teve como objetivos avaliar a validade de conteúdo e a confiabilidade de um instrumento para avaliação do ambiente alimentar universitário.

Métodos

O presente estudo é uma iniciativa do Grupo Colaborativo de Estudos sobre o Ambiente Alimentar Universitário (CALU), que é composto por docentes das universidades públicas localizadas no Estado do Rio de Janeiro que possuem curso de Nutrição, a saber: Universidade do Estado do Rio de Janeiro (UERJ); Universidade Federal do Rio de Janeiro (UFRJ); Universidade Federal do Estado do Rio de Janeiro (UNIRIO) e Universidade Federal Fluminense (UFF).

Validação de conteúdo

A validação de conteúdo do instrumento envolveu três etapas: o desenvolvimento do instrumento, sua avaliação por especialistas²⁶26 Lynn MR. Determination and Quantification of Content Validity. J Experiment Psychol 1986; 136:382-386.^,2727 Haynes B, Haines A. Barriers and bridges to evidence based clinical practice. BMJ 1998; 317(7153):273-276. e a realização de pré-teste.

Desenvolvimento do instrumento

A elaboração do instrumento se baseou em dois referenciais teóricos: a abordagem de Caspi et al.⁹9 Caspi CE, Sorensen G, Subramanian SV, Kawachi I. The local food environment and diet: A systematic review. Heal Place 2012; 18(5):1172-1187., sobre o acesso ao alimento, e a abordagem de Glanz et al.¹1 Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: Concepts and measures. Am J Heal Promot 2005; 19(5):330-333., sobre ambiente alimentar do consumidor. Das cinco dimensões propostas por Caspi et al.⁹9 Caspi CE, Sorensen G, Subramanian SV, Kawachi I. The local food environment and diet: A systematic review. Heal Place 2012; 18(5):1172-1187., foram consideradas aquelas que se aplicariam plenamente aos estabelecimentos comerciais localizados em universidades, a saber: disponibilidade (availability) (que inclui a variedade dos alimentos disponíveis), acessibilidade financeira (affordability) (que abarca o preço dos alimentos) e comodidade (accomodation) (ex.: horário de funcionamento, formas de pagamento). Essas dimensões foram complementadas por dois componentes propostos por Glanz et al.¹1 Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: Concepts and measures. Am J Heal Promot 2005; 19(5):330-333.: a informação nutricional e a promoção de alimentos.

A primeira etapa de construção do instrumento envolveu o mapeamento dos instrumentos existentes para avaliação do ambiente alimentar do consumidor, sendo feita a seleção de dois que se aproximavam das características dos ambientes alimentares das universidades públicas brasileiras¹⁴14 Horacek TM, Erdman MB, Reznar MM, Olfert M, Brown-Esters ON, Kattelmann KK, Kidd T, Koenings M, Phillips B, Quick V, Shelnutt KP, White AA. Evaluation of the food store environment on and near the campus of 15 postsecondary institutions. Am J Heal Promot 2013; 27(4):81-91.^,1717 Rodrigues CB, Monteiro LS, Paula NM, Pereira RA. Ambiente alimentar em um campus universitário: desenvolvimento e análise de instrumento para avaliação de estabelecimentos comerciais. Demetra 2021; 16:e51139.. A elaboração do instrumento englobou três fases, que serão detalhadas na seção de resultados: a identificação dos domínios que comporiam o instrumento (ex.: caracterização do estabelecimento, alimentos disponíveis, preços, propagandas); a elaboração dos itens; e a estruturação do instrumento. Nesse processo, foi garantida a inclusão de alimentos escolhidos com base nas recomendações do Guia Alimentar para a População Brasileira²⁴24 Brasil. Ministério da Saúde (MS). Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Guia alimentar para a população brasileira. Brasília: MS; 2014. e naquelas vigentes em âmbito internacional²⁸28 World Health Organization (WHO). Diet, nutrition and the prevention of chronic diseases. Geneva: WHO Technical Report Series; 2003.; na classificação NOVA de alimentos²³23 Monteiro CA, Cannon G, Levy RB, Moubarac JC, Louzada MLC, Rauber F, Khandpur N, Cediel G, Neri D, Martinez-Steele E, Baraldi LG, Jaime PC. Ultra-processed foods: What they are and how to identify them. Public Health Nutr 2019; 22(5):936-941. e nos alimentos comumente encontrados nas universidades¹⁴14 Horacek TM, Erdman MB, Reznar MM, Olfert M, Brown-Esters ON, Kattelmann KK, Kidd T, Koenings M, Phillips B, Quick V, Shelnutt KP, White AA. Evaluation of the food store environment on and near the campus of 15 postsecondary institutions. Am J Heal Promot 2013; 27(4):81-91.^,1717 Rodrigues CB, Monteiro LS, Paula NM, Pereira RA. Ambiente alimentar em um campus universitário: desenvolvimento e análise de instrumento para avaliação de estabelecimentos comerciais. Demetra 2021; 16:e51139.. Os itens incluídos no checklist abarcaram alimentos in natura ou minimamente processados, processados e preparações culinárias baseadas nestes alimentos e, também, alimentos ultraprocessados e preparações culinárias contendo estes alimentos. Em seu conjunto, são marcadores de alimentação saudável e não saudável.

Avaliação por especialistas

Para a etapa de avaliação do instrumento por especialistas, a literatura sugere a participação de cinco a 20 indivíduos²⁶26 Lynn MR. Determination and Quantification of Content Validity. J Experiment Psychol 1986; 136:382-386.^,2727 Haynes B, Haines A. Barriers and bridges to evidence based clinical practice. BMJ 1998; 317(7153):273-276.. No presente estudo foram convidados 12 pesquisadores da área de nutrição de diferentes instituições, com especialidade em epidemiologia, saúde coletiva, alimentação coletiva ou gastronomia, com experiência nas temáticas relacionadas ao estudo e/ou na construção de instrumentos.

A avaliação da versão preliminar do instrumento foi qualitativa e realizada em dois momentos: no primeiro, foi realizada a avaliação dos domínios propostos, e no segundo, a avaliação dos itens. Nesta etapa, a pertinência e a clareza de cada item foram avaliadas. Em relação à pertinência, avaliou-se se cada item expressava o conceito previsto, sua relevância e sua adequação aos objetivos propostos. Quanto à clareza, avaliou-se se a redação de cada item expressava o conceito de forma compreensível e fiel ao que se esperava medir.

Os especialistas avaliaram, ainda, o instrumento como um todo, examinando sua abrangência, isto é, se cada domínio havia sido adequadamente coberto pelo conjunto de itens apresentados e se as dimensões propostas por Caspi et al.⁹9 Caspi CE, Sorensen G, Subramanian SV, Kawachi I. The local food environment and diet: A systematic review. Heal Place 2012; 18(5):1172-1187. e os componentes do ambiente alimentar propostos por Glanz et al.¹1 Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: Concepts and measures. Am J Heal Promot 2005; 19(5):330-333. previstos para o instrumento haviam sido adequadamente contemplados.

Pré-teste

A etapa final foi a realização do pré-teste do instrumento, conduzido pela primeira autora deste artigo, em um estabelecimento comercial localizado no entorno de uma das universidades estudadas, que apresentava características semelhantes às dos estabelecimentos das universidades participantes deste estudo.

Avaliação da confiabilidade do instrumento

Para avaliar a confiabilidade do instrumento, foi estudada uma amostra de conveniência de estabelecimentos com diferentes características distribuídos em sete campi de três universidades, a saber: UFRJ - campi Cidade Universitária, Praia Vermelha e Professor Aluísio Teixeira (Macaé); UFF - campi Gragoatá e Valonguinho; e Unirio - campi Pasteur e Instituto Biomédico. Com base em publicações sobre o tema¹⁴14 Horacek TM, Erdman MB, Reznar MM, Olfert M, Brown-Esters ON, Kattelmann KK, Kidd T, Koenings M, Phillips B, Quick V, Shelnutt KP, White AA. Evaluation of the food store environment on and near the campus of 15 postsecondary institutions. Am J Heal Promot 2013; 27(4):81-91.^,1717 Rodrigues CB, Monteiro LS, Paula NM, Pereira RA. Ambiente alimentar em um campus universitário: desenvolvimento e análise de instrumento para avaliação de estabelecimentos comerciais. Demetra 2021; 16:e51139., considerou-se que o número a ser incluído deveria ser de pelo menos 50 estabelecimentos. Foram incluídos todos os estabelecimentos existentes nos campi das universidades que concordaram em participar do estudo.

A coleta de dados foi realizada por meio de formulário impresso por 15 pesquisadores de campo (acadêmicos dos cursos de nutrição e de gastronomia) treinados. O treinamento teve duração de seis horas e foi realizado em duas etapas: a primeira, teórica, na qual foram apresentados o propósito do estudo, o instrumento a ser aplicado e o manual de coleta de dados; e a segunda, prática, com a aplicação do instrumento pelos pesquisadores em pelo menos dois estabelecimentos, sob supervisão dos coordenadores do estudo.

Os estabelecimentos incluídos no estudo foram avaliados três vezes: dois pesquisadores (A e B) visitaram cada estabelecimento, no mesmo dia, com a diferença de, no máximo, 30 minutos; e um dos pesquisadores de cada dupla (A ou B), realizou nova coleta de 15 a 30 dias após a primeira avaliação. A coleta de dados ocorreu entre novembro de 2015 a fevereiro de 2016, que, excepcionalmente, foi período letivo nas universidades.

A entrada dos dados foi realizada por dupla digitação utilizando-se o software Excel versão 2016, também utilizado para avaliação da consistência do banco.

A confiabilidade do instrumento foi avaliada pelo teste interobservador e pelo teste-reteste²⁰20 Streiner DL, Norman GR, Cairney J. Reliability. In: Health measurement scales: a practical guide to their development and use. New York: Oxford University Press; 2015. p. 179-199.. Para as variáveis categóricas e as de contagem, a estabilidade do instrumento foi avaliada por meio do cálculo da concordância percentual (CP)²⁹29 Luiz R. Métodos estatísticos em estudos de concordância. In: Medronho RA, Bloch KV, Luiz RR, Werneck GL. Epidemiologia. Atheneu: São Paulo; 2009. p. 343-370. e dos índices kappa (k) e kappa ajustado pela prevalência e pelo viés do entrevistador (ka) (Prevalence Adjusted and Bias Adjusted kappa - PABAK) para todas as variáveis³⁰30 Byrt T, Bishop J, Carlin JB. Bias, prevalence and kappa. J Clin Epidemiol 1993; 46(5):423-429.. Para os preços dos alimentos, analisados como variáveis contínuas, foi calculado o Coeficiente de Correlação Intraclasse (CCI)²⁰20 Streiner DL, Norman GR, Cairney J. Reliability. In: Health measurement scales: a practical guide to their development and use. New York: Oxford University Press; 2015. p. 179-199.. Os valores de CP, k, ka e CCI foram classificados de acordo com o critério de Byrt³¹31 Byrt T. How good ist hat agreement? Epidemiology 1996; 32(5):561-561. em: concordância excelente (>=0,92), concordância muito boa (0,80 a 0,91), concordância boa (0,60 a 0,79), concordância razoável (0,40 a 0,59), concordância superficial (0,20 a 0,39), concordância pobre (0,00 a 0,19), nenhuma concordância (<0,00).

Todas as análises foram realizadas com o auxílio do software Statistical Packge for Social Science (SPSS 21). Para o cálculo do PABAK e do CCI, foi necessário criar uma macro específica para esse fim.

O estudo foi submetido ao Comitê de Ética do Hospital Pedro Ernesto da Universidade do Estado do Rio de Janeiro e aprovado sob o parecer 49988015.6.0000.5259.

Resultados

Validação de conteúdo

Em linhas gerais, a validade de conteúdo do instrumento desenvolvido foi considerada satisfatória pelos especialistas, tendo em vista que os domínios e itens propostos contemplavam as dimensões conceituais de interesse e que essas dimensões abrangiam os elementos essenciais do ambiente alimentar do consumidor no contexto das universidades.

Com base na avaliação dos especialistas, itens foram incluídos, retirados ou alterados no checklist. As principais alterações foram: inclusão de um novo domínio (informação); retirada de um domínio (observação do cardápio); reorganização do domínio “observação do ambiente”, com a inclusão de 13 itens; inserção da categoria “itens de conveniência” no domínio “bebidas, alimentos e preparações” com a inclusão de oito novos tipos de bebidas ultraprocessadas; inclusão da forma de apresentação das propagandas, no domínio “propagandas”.

A realização do pré-teste não apontou necessidade de modificações no conteúdo nem na forma do instrumento. Todos os itens se mostraram adequados para preenchimento, não tendo sido identificados, por um lado, nenhuma situação de interesse não contemplada pelo instrumento nem, por outro, itens que se mostrassem desnecessários. O ordenamento dos módulos no instrumento bem como sua formatação também se mostraram adequados.

A versão final do instrumento desenvolvido consistiu em um checklist que abrangeu as dimensões disponibilidade, acessibilidade financeira, comodidade⁹9 Caspi CE, Sorensen G, Subramanian SV, Kawachi I. The local food environment and diet: A systematic review. Heal Place 2012; 18(5):1172-1187., informação nutricional e promoção de alimentos¹1 Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: Concepts and measures. Am J Heal Promot 2005; 19(5):330-333. e contemplou 204 itens, distribuídos em sete diferentes domínios, a saber: caracterização do estabelecimento; observação do ambiente; informação disponibilizada; bebidas, alimentos e preparações; preços e promoções; oferta de substituições saudáveis; e propagandas (íntegra do instrumento disponível em http://www.observatoriodeobesidade.uerj.br/?p=3294), conforme detalhado a seguir:

Os tipos de estabelecimentos foram classificados de acordo com sua atividade predominante: restaurante a quilo (vende essencialmente refeições e alimentos por peso); restaurante à la carte/prato feito/executivo (vende essencialmente refeições com quantidade e preço fixos); restaurante buffet livre/rodízio (vende essencialmente refeições por buffet livre - sem balança - ou por sistema de rodízio - quantidade/peso variável e preço fixo); lanchonete (vende essencialmente lanches-sanduíches e salgados - e itens de bomboniere-guloseimas, doces, bebidas ultraprocessadas); bar (comercializa principalmente bebidas alcoólicas, cigarros, balas, lanches, petiscos e pratos de comida); e cafeteria (comercializa cafés e outras bebidas e, eventualmente, alimentos que se podem comer rapidamente ou pratos leves); bomboniere (vende doces, balas, chicletes, chocolates, refrigerantes, sucos, guloseimas em geral e sorvetes); e estabelecimento misto - lanchonete/cafeteria + venda de refeições a quilo ou lanchonete/cafeteria + venda de refeições à la carte/prato feito/executivo (vende diferentes produtos típicos de lanchonete/cafeteria e opções de pratos feitos no cardápio ou refeição por peso)³²32 Tavares L, Perez P, Passos ME, Castro Junior PC, Franco A, Cardoso L, Castro I. Development and application of healthiness indicators for commercial establishments that sell foods for immediate consumption. Foods 2021; 10(6):1434..

Para a categorização das bebidas incluídas no instrumento, tomou-se por base o agrupamento empregado pelo Euromonitor International³³33 Euromonitor International. International Marketing Data and Statistics 2013. Londres: Euromonitor International Limited; 2013. para bebidas açucaradas ou à base de edulcorantes, adaptando-o para as bebidas comercializadas no Brasil. As categorias adotadas foram: águas aromatizadas (engarrafadas): carbonatadas ou não (recebem sabor de frutas natural ou artificial, em geral não contêm corante, podem ou não conter açúcar); refrigerantes: do tipo cola e não cola; regular ou baixa caloria; concentrados líquidos ou em pó: para bebidas reconstituídas; 100% sucos de fruta; bebidas à base de sucos; néctares; chás prontos para beber (ex. iced-tea, chá verde, mate; com adição de açúcar ou com edulcorante); isotônicos, repositores (ex. sport drinks); energéticos: em geral, contêm cafeína e taurina; refrescos de guaraná; bebidas à base de soja: simples ou aromatizada; água de coco; bebidas à base de leite; bebidas lácteas: baseada no soro do leite; leites aromatizados; preparações mistas de leite e frutas: vitaminas que podem incluir ou não cereais ou outros itens.

As propagandas de alimentos foram categorizadas de acordo com a forma de apresentação. Foi considerada qualquer palavra ou frase sobre o alimento/produto que estivesse apresentada em banner/cartaz produzido pelo fornecedor, banner/cartaz produzido pelo estabelecimento, na vestimenta dos funcionários, no produto (alguma propaganda adicionada à embalagem do produto), em réplica do produto exposta no estabelecimento ou, ainda, exposta no cardápio.

Confiabilidade do Instrumento

Participaram da primeira coleta de dados 64 estabelecimentos e, da segunda, 54, devido à recusa de 10 deles. A duração média da aplicação em cada estabelecimento foi de 18 minutos.

Em relação ao desempenho do instrumento, foram observadas concordância percentual excelente ou muito boa para 91,3% do total de itens avaliados. No teste interobservador, para o total de itens avaliados (158), 68,3% e 96,5% tiveram concordância excelente, muito boa ou boa, respectivamente, para o k (variação de -0,51 a 1,00) e ka (variação de 0,44 a 1,00) (Tabela 1). A concordância pobre ou nula foi observada em 12% e 0,6% dos itens, considerando o k e o ka, respectivamente, nos domínios de caracterização dos estabelecimentos, substituições saudáveis e informação nutricional. Para os itens do domínio preços dos alimentos, o CCI variou de 0,05 a 1,00. Do total de itens avaliados (n=28), 88% apresentaram concordância excelente, muito boa ou boa (Tabela 2). Nesse domínio, para os itens de conveniência, 23% apresentaram concordância pobre.

No teste-reteste observou-se que, para o total de itens avaliados (158), 65% tiveram concordância excelente, muito boa e boa para o k, que variou de -0,05 a 1,00. Já pelo ka, que variou de 0,37 a 1,00, observou-se que 96,5% dos itens apresentaram concordância excelente, muito boa ou boa (Tabela 3). Considerando o k, observou-se concordância pobre ou nula em 4,8% dos itens, estando os casos concentrados nos domínios observação do ambiente; bebidas, alimentos e preparações; e informação. Para ka não houve classificação pobre ou nula para nenhum item. Para os itens do domínio preços dos alimentos (n=28), o CCI variou de 0,05 a 1,00, 77% apresentaram concordância excelente, muito boa e boa e nenhum item teve concordância pobre ou nula (Tabela 2).

Discussão

Os resultados obtidos indicaram validade de conteúdo e confiabilidade (interobservador e teste-reteste) satisfatórias do instrumento para caracterização do ambiente alimentar do consumidor em universidades no contexto brasileiro. Mesmo para o teste-reteste, em que parte das diferenças pode ser explicada por variações reais no ambiente, particularmente no tocante à oferta de alimentos, observou-se bom desempenho do instrumento.

Ainda que, em geral, o desempenho do instrumento tenha sido satisfatório, alguns itens apresentaram desempenho baixo, sobretudo na avaliação da confiabilidade interobservador. Tal resultado sugere necessidade de aprimoramento do treinamento realizado para a aplicação do instrumento. Situação semelhante foi observada em estudo de avaliação de checklist aplicado em ambiente alimentar hospitalar³⁴34 Messias GM. Ambiente alimentar hospitalar: desenvolvimento e avaliação de confiabilidade de um instrumento na rede pública de uma metrópole brasileira [tese]. Rio de Janeiro: Universidade do Estado do Rio de Janeiro; 2019.. O ambiente alimentar é um contexto complexo, com expressiva diversidade de estabelecimentos, alimentos, bebidas e informações, o que exige avaliação minuciosa e padronizada, fruto da adequada seleção e capacitação dos avaliadores⁴4 Borges CA, Jaime PC. Development and evaluation of food environment audit instrument: AUDITNOVA. Rev Saude Publica 2019; 53:91.. Ainda que os resultados do presente estudo tenham sido bons, a duração do treinamento foi menor do que a de outros estudos³3 Duran AC, Lock K, Latorre MRDO, Jaime PC. Evaluating the use of in-store measures in retail food stores and restaurants in Brazil. Rev Saude Publica 2015; 49:80.^,3535 Saelens BE, Glanz K, Sallis JF, Frank, LD. Nutrition Environment Measures Study in restaurants (NEMS-R): development and evaluation. Am J Prev Med 2007; 32(4):273-281..

Foram identificados na literatura poucos estudos que realizaram a validade de conteúdo de instrumentos de avaliação do ambiente alimentar, nenhum envolvendo o ambiente alimentar universitário. Uma revisão sobre a mensuração do ambiente alimentar que incluiu 432 estudos publicados entre 2007 e 2015 mostrou que 28,1% realizaram avaliação de validade, e 2,1%, de validade de conteúdo do instrumento²²22 Lytle LA, Sokol RL. Measures of the food environment: A systematic review of the field, 2007-2015. Heal Place 2017; 44(2016):18-34.. Entre eles, vale ressaltar Pomerleau et al.³⁶36 Pomerleau J, Knai C, Foster C, Rutter H, Darmon N, Derflerova Brazdova Z, Hadziomeragic AF, Pekcan G, Pudule I, Robertson A, Brunner E, Suhrcke M, Gabrijelcic Blenkus M, Lhotska L, Maiani G, Mistura L, Lobstein T, Martin BW, Elinder LS, Logstrup S, Racioppi F, McKee M. Measuring the food and built environments in urban centres: reliability and validity of the EURO-PREVOB Community Questionnaire. Public Health 2013; 127(3):259-267., cuja validação de conteúdo se assemelhou à do presente estudo, já que, para o desenvolvimento do instrumento (EURO-PREVOB Community Questionnaire), foram realizadas revisão da literatura, consultas com especialistas e pré-teste³³33 Euromonitor International. International Marketing Data and Statistics 2013. Londres: Euromonitor International Limited; 2013..

Na literatura internacional e nacional, há poucos estudos sobre a análise de confiabilidade de instrumentos de avaliação do ambiente alimentar em universidades. Além disso, pelo fato de os estudos existentes utilizarem diferentes instrumentos para avaliação do ambiente, e, também, de a confiabilidade ser uma medida contexto-dependente³⁷37 Kelly B, Flood VM, Bicego C, Yeatman H. Derailing healthy choices: an audit of vending machines at train stations in NSW. Heal Promot J Aust 2012; 23(1):73-75., os estudos existentes não são plenamente comparáveis com a presente avaliação. Ainda assim, cabe comentar seus resultados. Na Austrália, Roy et al.¹⁵15 Roy R, Hebden L, Kelly B, De Gois T, Ferrone EM, Samrout M, Vermont S, Allman-Farinelli M. Description, measurement and evaluation of tertiary-education food environments. Br J Nutr 2016; 115(9):1598-1606. elaboraram um checklist contemplando a avaliação da disponibilidade de alimentos, a acessibilidade física (ex. produtos próximos ao caixa, livre acesso a prateleiras) e promoção de alimentos. Os autores realizaram a análise da confiabilidade interobservador por meio da concordância percentual em dois estabelecimentos e encontraram 96,0% de concordância¹⁵15 Roy R, Hebden L, Kelly B, De Gois T, Ferrone EM, Samrout M, Vermont S, Allman-Farinelli M. Description, measurement and evaluation of tertiary-education food environments. Br J Nutr 2016; 115(9):1598-1606..

No Brasil, Rodrigues et al.¹⁷17 Rodrigues CB, Monteiro LS, Paula NM, Pereira RA. Ambiente alimentar em um campus universitário: desenvolvimento e análise de instrumento para avaliação de estabelecimentos comerciais. Demetra 2021; 16:e51139. adaptaram um checklist de avaliação do ambiente alimentar universitário e, nele, foram abordados itens referentes à descrição dos estabelecimentos e à avaliação da disponibilidade de alimentos/preparações e de facilitadores e barreiras para a alimentação saudável. A análise da confiabilidade interobservador e teste-reteste em 64 estabelecimentos foi aferida pelo kappa. Para o teste interobservador o kappa variou de -0.04 a 1.0. Já no teste-reteste observou-se uma variação de 0,06 a 1,0. A média do índice kappa foi de 0,54 para a concordância interobservador e 0,72 para o teste-reteste¹⁷17 Rodrigues CB, Monteiro LS, Paula NM, Pereira RA. Ambiente alimentar em um campus universitário: desenvolvimento e análise de instrumento para avaliação de estabelecimentos comerciais. Demetra 2021; 16:e51139..

Cabe ainda registrar que alguns instrumentos vêm sendo desenvolvidos com o objetivo de avaliar o ambiente alimentar em outros cenários, como o da comunidade ou em outros espaços organizacionais, como ambientes de trabalho e escola³3 Duran AC, Lock K, Latorre MRDO, Jaime PC. Evaluating the use of in-store measures in retail food stores and restaurants in Brazil. Rev Saude Publica 2015; 49:80.^,3737 Kelly B, Flood VM, Bicego C, Yeatman H. Derailing healthy choices: an audit of vending machines at train stations in NSW. Heal Promot J Aust 2012; 23(1):73-75.^,3838 Martins PA, Cremm EC, Leite FHM, Maron LR, Scagliusi FB, Oliveira MA. Validation of an adapted version of the nutrition environment measurement tool for stores (NEMS-S) in an Urban Area of Brazil. J Nutr Educ Behav 2013; 45(6):785-792.. No Brasil, vale citar três estudos realizados no estado de São Paulo, que avaliaram a confiabilidade de instrumentos para avaliação do ambiente alimentar de restaurantes³3 Duran AC, Lock K, Latorre MRDO, Jaime PC. Evaluating the use of in-store measures in retail food stores and restaurants in Brazil. Rev Saude Publica 2015; 49:80.^,44 Borges CA, Jaime PC. Development and evaluation of food environment audit instrument: AUDITNOVA. Rev Saude Publica 2019; 53:91. e lojas de comercialização de alimentos³3 Duran AC, Lock K, Latorre MRDO, Jaime PC. Evaluating the use of in-store measures in retail food stores and restaurants in Brazil. Rev Saude Publica 2015; 49:80.^,3737 Kelly B, Flood VM, Bicego C, Yeatman H. Derailing healthy choices: an audit of vending machines at train stations in NSW. Heal Promot J Aust 2012; 23(1):73-75.^,3838 Martins PA, Cremm EC, Leite FHM, Maron LR, Scagliusi FB, Oliveira MA. Validation of an adapted version of the nutrition environment measurement tool for stores (NEMS-S) in an Urban Area of Brazil. J Nutr Educ Behav 2013; 45(6):785-792.. Os autores avaliaram a confiabilidade interobservador e também realizaram o teste-reteste por meio do kappa e de CCI e observaram, de uma forma geral, boa confiabilidade das ferramentas em ambos³3 Duran AC, Lock K, Latorre MRDO, Jaime PC. Evaluating the use of in-store measures in retail food stores and restaurants in Brazil. Rev Saude Publica 2015; 49:80.^,44 Borges CA, Jaime PC. Development and evaluation of food environment audit instrument: AUDITNOVA. Rev Saude Publica 2019; 53:91.^,3838 Martins PA, Cremm EC, Leite FHM, Maron LR, Scagliusi FB, Oliveira MA. Validation of an adapted version of the nutrition environment measurement tool for stores (NEMS-S) in an Urban Area of Brazil. J Nutr Educ Behav 2013; 45(6):785-792.. Nosso estudo se soma a esses, oferecendo evidências sobre um instrumento que contempla as especificidades do ambiente alimentar universitário, com estabelecimentos que comercializam alimentos para consumo imediato, com características próximas a restaurantes e lanchonetes, mas também aqueles que seriam comercializados em supermercados/mercados/mercearias, como salgadinhos de pacote, biscoitos, os quais não costumam estar disponíveis em restaurantes. Dessa forma, seria necessário a utilização de dois diferentes instrumentos para que todos os tipos de alimentos disponibilizados na universidade pudessem ser avaliados na auditoria.

Ainda que a maioria dos estudos sobre ambiente alimentar universitário tenha sido realizada em IES públicas, tendo em vista as semelhanças entre os contextos dos ambientes alimentares de universidades públicas e privadas, o instrumento aqui apresentado pode ser útil também para essas últimas.

O estudo apresenta algumas limitações. Por se tratar de uma amostra de conveniência de universidades públicas, sua validade externa é limitada. Além disso, ainda que o processo de elaboração do instrumento tenha incluído a consulta a especialistas da área, não foram utilizadas medidas quantitativas para verificação da validade de conteúdo. Outro aspecto que merece ser comentado diz respeito ao fato de a coleta de dados ter tido duração de três meses, não sendo captadas, portanto, possíveis diferenças sazonais na oferta de alimentos. Por consequência, são desconhecidas possíveis implicações desta sazonalidade, se presente, para o desempenho do instrumento. Uma terceira limitação é o fato de, para alguns dos itens para os quais caberia cálculo de kappa e PABAK, estas estatísticas não poderem ser computadas pela ausência de um ou mais níveis nas tabelas de referência cruzadas. Entretanto, isso ocorreu em uma pequena parcela dos itens (aproximadamente 10%). Sendo assim, o bom desempenho, em geral, dos demais itens, sugere que o desempenho dessa parcela de itens, se calculado, não impactaria de forma expressiva o bom desempenho global do instrumento.

Entre as fortalezas deste estudo destaca-se a avaliação da confiabilidade teste-reteste, uma vez que, em avaliações de ferramentas de auditoria, é recorrente apenas a avaliação da confiabilidade interobservador, com a avaliação de um único momento¹⁵15 Roy R, Hebden L, Kelly B, De Gois T, Ferrone EM, Samrout M, Vermont S, Allman-Farinelli M. Description, measurement and evaluation of tertiary-education food environments. Br J Nutr 2016; 115(9):1598-1606.. Outro ponto forte do estudo é o amplo escopo do instrumento adotado. Além de ser fruto da compilação de elementos de outros instrumentos e de sua articulação de forma a expressar melhor as características do ambiente alimentar universitário brasileiro, ele foi concebido e avaliado por pesquisadores com diferentes perfis de formação e que atuavam em campi universitários com características distintas, entre elas: localização em capital do estado ou outros municípios, em centro urbano ou em bairro fora do centro, com dois (manhã e tarde) ou três (manhã, tarde e noite) turnos de funcionamento, com presença de estabelecimentos menos e mais estruturados. Outro aspecto a ser destacado é o uso do kappa ajustado, ainda pouco utilizado na literatura da área de saúde. Além disso, sua aplicação foi testada nesses campi universitários que apresentavam características distintas.

Conclusão

O instrumento proposto apresentou bom desempenho no contexto em que foi experimentado. Pode apoiar a caracterização do ambiente alimentar universitário tanto em universidades públicas quanto privadas (e do seu entorno, caso os estabelecimentos tenham características semelhantes às daqueles presentes nos campi universitários), monitorar sua dinâmica no tempo e subsidiar intervenções para sua melhoria.

Referências

Datas de Publicação

Histórico