Resumo

A avaliação do Programa Nacional de Alimentação Escolar (PNAE) é ação estratégica para garantir a qualidade da gestão. O objetivo deste estudo é desenvolver e validar um instrumento de indicadores de desempenho para avaliação da gestão do PNAE no contexto nacional. Trata-se de um estudo psicométrico de construção e validação de indicadores de desempenho. Foram estabelecidos 12 indicadores, posteriormente, avaliados em painel de especialistas em relação a sete atributos. Para obter consenso foi utilizada a técnica Delphi e a validade de conteúdo foi analisada com a Razão de Validade de Conteúdo. Para a validade de constructo e confiabilidade, nutricionistas que trabalham na execução do PNAE avaliaram a relevância dos indicadores respondendo um questionário online. A taxa de resposta dos especialistas na primeira rodada da técnica Delphi foi de 43,3% (13/30) e de 69,2% (9/13) na segunda rodada. Um novo indicador foi desenvolvido após a avaliação do painel de especialistas. Um total de 281 nutricionistas participaram do estudo da relevância dos indicadores. No geral, a validade de conteúdo e constructo foi alcançada para 13 indicadores. Todos os 13 indicadores se apresentaram relevantes, com potencial para promover a avaliação da gestão operacional do PNAE.

Key words:
School food; Program evaluation; Indicators; Reproducibility of results; Psychometrics

Abstract

The evaluation of the National School Food Program (PNAE) is a strategic action to ensure the quality of management. This study aims to develop and validate an instrument of performance indicators to assess the management of the PNAE in the national context. A psychometric study was carried out for the development and validation of performance indicators. Twelve indicators were subsequently established and evaluated by an expert panel concerning seven attributes. The Delphi technique was used for the consensus of the expert panel, and the content validity of the indicators was analyzed with the Content Validity Ratio. Nutritionists working on the implementation of the PNAE assessed the relevance of the indicators by answering an online questionnaire to construct validity and reliability. Thirteen (43.3%, 13/30) experts participated in the Delphi round 1 and nine (69.2%, 9/13) completed the Delphi round 2. A new indicator was developed after the experts’ suggestions. Furthermore, 281 nutritionists participated in this study assessing the relevance of the indicators. Overall, content and construct validity were achieved for 13 indicators. All were considered relevant and had the potential to promote the assessment of PNAE operational management.

Key words:
School food; Program evaluation; Indicators; Reproducibility of results; Psychometrics

Introdução

O Programa Nacional de Alimentação Escolar (PNAE), implementado há mais de 60 anos, é uma política pública brasileira universal e gratuita, sendo a mais antiga na área de segurança alimentar e nutricional¹1 Custódio MB, Furquim NR, Santos GMM, Cyrillo DC. Segurança alimentar e nutricional e a construção de sua política: uma visão histórica. Segur. Aliment Nutr 2011; 18(1):1-10.^,22 Peixinho AML. A trajetória do Programa Nacional de Alimentação Escolar no período de 2003-2010: relato do gestor nacional. Cien Saude Colet 2013; 18(4):909-916.. Desde 1998, o PNAE é gerenciado pelo Fundo Nacional de Desenvolvimento da Educação (FNDE), autarquia federal vinculada ao Ministério da Educação³3 Brasil. Lei nº 9.649, de 27 de maio de 1998. Dispõe sobre a organização da Presidência da República e dos Ministérios, e dá outras providências. Diário Oficial da União 1998; 28 maio., atende os estudantes de toda a rede pública da educação básica matriculados em escolas públicas, filantrópicas e em entidades comunitárias. O objetivo deste programa é contribuir para o crescimento, o desenvolvimento, a aprendizagem, o rendimento escolar dos estudantes e a formação de hábitos alimentares saudáveis, com a oferta de refeições e de ações de educação alimentar e nutricional⁴4 Brasil. Lei nº 11.947, de 16 de junho de 2009. Dispõe sobre o atendimento da alimentação escolar e do Programa Dinheiro Direto na Escola aos alunos da educação básica, e dá outras providências. Diário Oficial da União 2009; 17 jun..

A avaliação do PNAE é ação estratégica para garantir a qualidade da tomada de decisões de seus gestores, a responsabilização dos profissionais envolvidos, o uso eficiente dos recursos financeiros, a maximização da operacionalização e melhoria dos resultados em saúde pública⁵5 Silva DP. O Programa Nacional de Alimentação Escolar (PNAE) cumpre o que promete? Um ensaio para uma agenda de pesquisas sobre a dependência da trajetória de avaliação de uma política pública [dissertação]. Brasília: IDP; 2018.^,66 Belik W, Chaim NA. O programa nacional de alimentação escolar e a gestão municipal: eficiência administrativa, controle social e desenvolvimento local. Rev Nutr 2009; 22(5):595-607.. A qualidade dos serviços de saúde deve permear políticas e objetivos organizacionais, com base nas premissas de segurança e na satisfação dos usuários e profissionais. Nesse sentido, indicadores de qualidade podem ser usados na avaliação de programas sociais⁷7 Tronchin DMR, Melleiro MM, Kurcgant P, Garcia AN, Garzin ACA. Subsídios teóricos para a construção e implantação de indicadores de qualidade em saúde. Rev Gaucha Enferm 2009; 30(3):542-546..

Um dos elementos mais desafiadores na avaliação de políticas públicas é medir a qualidade da gestão e, os indicadores de desempenho podem ser utilizados nesta avaliação⁸8 Tanaka OY, Melo C. Avaliação de Programas de Saúde do Adolescente - um modo de fazer. São Paulo: Edusp; 2001.. Donabedian⁹9 Donabedian A. Explorations in quality assessment and monitoring. In: The Definition of Quality and Approaches to its Assessment. Ann Arbor: Health Administration Press; 1980. p. 79-128. sugeriu que a avaliação da qualidade poderia ser realizada subdividindo o cuidado em três dimensões: estrutura, processo e resultado. Segundo Mainz¹⁰10 Mainz J. Defining and classifying clinical indicators for quality improvement. Int J Qual Health Care 2003; 15:523-530., diferentes classificações de indicadores podem ser úteis, considerando o propósito da avaliação. O conceito de indicador de desempenho foi utilizado neste estudo, entendendo-o como uma medida quantitativa que pode ser usada para acompanhar o progresso de uma organização e permitir o monitoramento, a tomada de decisões e a melhoria da qualidade, medindo funções específicas dentro de um processo ou resultados conhecidos, por estar associado ao processo¹¹11 Fernandes O, Toombs K, Pereira T, Lyder C, Bjelajac Mejia A, Shalansky S, Al-Sukhni M, Gerges S, Sohal S, Gorman S. Canadian Consensus on Clinical Pharmacy Key Performance Indicators: Knowledge Mobilization Guide. Ottawa: Canadian Society of Hospital Pharmacists; 2015.^,1212 Lo E, Rainkie D, Semchuk WM, Gorman SK, Toombs K, Slavik RS, Forbes D, Meade A5, Fernandes O, Spina SP. Measurement of Clinical Pharmacy Key Performance Indicators to Focus and Improve Your Hospital Pharmacy Practice. Can J Hosp Pharm 2016; 69:149-155..

Nenhum estudo desenvolveu indicadores de desempenho para avaliar a gestão nacional do PNAE e, os estudos que existem, desenvolverem indicadores com métodos pouco robustos e para uso em regiões específicas do país¹³13 Carvalho CMP, Castro IRR. Proposta de avaliação do Programa Nacional de Alimentação Escolar para municípios no estado do Rio de Janeiro [dissertação]. Rio de Janeiro: Universidade do Estado do Rio de Janeiro; 2012.

14 Calasans FVM, Santos SMC. Avaliação do Programa Nacional de Alimentação Escolar: desenvolvimento de um protocolo de indicadores. Segur Aliment Nutr 2013; 20(1):24-40.^-1515 Gabriel CG, Calvo MCM, Vasconcelos FAG, Lacerda JT, Freitas SFT, Schmitz BAS. Avaliação da gestão municipal do Programa Nacional de Alimentação Escolar nos maiores municípios de Santa Catarina, Brasil. Cad Saude Publica 2014; 30(9):2017-2023.. Bicalho et al.¹⁶16 Bicalho D, Santos TSS, Slater B, Lima, TM. Evaluation of quality indicators for management of the National School Feeding Program in Brazil: a systematic review. Cien Saude Colet 2021; 26(8):3099-3110. já relataram a ausência de indicadores para avaliação e monitoramento com evidência de validade para o PNAE em uma recente revisão sistemática. Portanto, este estudo tem como objetivo desenvolver e validar um instrumento de indicadores de desempenho para o monitoramento e avaliação da gestão do PNAE no contexto nacional.

Métodos

Desenho do estudo

Trata-se de um estudo psicométrico¹⁷17 Furr RM, Bacharach VR. Psychometrics: An Introduction. 2ª ed. Thousand Oaks: SAGE Publications; 2013. conduzido no contexto brasileiro para o desenvolvimento e validação de indicadores de desempenho para avaliação e monitoramento da gestão do PNAE, no período de setembro de 2019 a maio de 2020. O método desenvolvido neste trabalho foi adaptado do estudo de Lima et al.¹⁸18 Lima TM, Aguiar PM, Storpirtis S. Development and validation of key performance indicators for medication management services provided for outpatients. Res Social Adm Pharm 2019; 15(9):1080-1087..

Desenvolvimento dos Indicadores de Desempenho

O desenvolvimento dos indicadores foi realizado por um grupo de pesquisa de uma Universidade Pública de São Paulo, Brasil, composto por quatro professores universitários com experiência na área de alimentação escolar e/ou desenvolvimento e validação de instrumentos, dois estudantes de doutorado e dois nutricionistas com experiência prática no PNAE e um pesquisador colaborador.

Para identificar os possíveis indicadores de desempenho, quatro membros do grupo de pesquisa realizaram uma revisão sistemática recentemente publicada¹⁶16 Bicalho D, Santos TSS, Slater B, Lima, TM. Evaluation of quality indicators for management of the National School Feeding Program in Brazil: a systematic review. Cien Saude Colet 2021; 26(8):3099-3110. para analisar os instrumentos de indicadores de qualidade para avaliar a gestão do PNAE. Além disso, também foram utilizados para construção do instrumento de indicadores de desempenho a legislação do PNAE⁴4 Brasil. Lei nº 11.947, de 16 de junho de 2009. Dispõe sobre o atendimento da alimentação escolar e do Programa Dinheiro Direto na Escola aos alunos da educação básica, e dá outras providências. Diário Oficial da União 2009; 17 jun., documentos oficiais publicados¹⁹19 Brasil. Ministério da Saúde (MS). Guia alimentar para a população Brasileira. 2ª ed. Brasília: MS; 2014.

20 Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação. Manual Plan PNAE: Ferramenta de Planejamento de Cardápio. Brasília: MEC; 2017.

21 Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação. Caderno de Referência sobre Alimentação Escolar para Estudantes com Necessidades Alimentares Especiais. Brasília: MEC; 2017.

22 Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação. Manual para aplicação dos testes de aceitabilidade no Programa Nacional de Alimentação Escolar. 2ª ed. Brasília: MEC; 2017.^-2323 Instituto Brasileiro de Geografia e Estatística (IBGE). IBGE Panorama [Internet]. Disponível em: https://cidades.ibge.gov.br/brasil/panorama.
https://cidades.ibge.gov.br/brasil/panor... , as experiências profissionais do grupo de pesquisa em nutrição e saúde pública e outros estudos consolidados na área de alimentação escolar²⁴24 Santos SMC, Santos LMP. Avaliação de políticas públicas de segurança alimentar e combate à fome. 1 - Abordagem metodológica. Cad Saude Publica 2007; 23:1029-1040.^,2525 Santos SMC, Guimarães MCL, Melo CMM, Sanches Filho A. Subsídios para avaliação da gestão pública: processo de construção de indicadores para avaliação da capacidade de gestão de organizações sociais. Org Soc 2006; 13(37):109-124. e de construção de indicadores¹⁸18 Lima TM, Aguiar PM, Storpirtis S. Development and validation of key performance indicators for medication management services provided for outpatients. Res Social Adm Pharm 2019; 15(9):1080-1087.^,2626 Rover MRM, Peláez CMV, Faraco EB, Farias MR, Leite SN. Avaliação da capacidade de gestão do componente especializado da assistência farmacêutica. Cien Saude Colet 2017; 22(8):2487-2499.. Com base nesse conhecimento, um instrumento de indicadores de desempenho foi proposto com informações sobre cada indicador, como: Nome, Objetivo, Medida, Parâmetro e Frequência. Para cada indicador, foi atribuído um juízo de valor e sua conversão em cores, definidas durante o desenho do protocolo de indicadores (https://doi.org/10.48331/scielodata.BWEYOX).

Painel de especialistas

Inicialmente, foi elaborada uma lista de especialistas com experiência reconhecida e sólidos conhecimentos na área de alimentação escolar, incluindo professores universitários e pesquisadores na área de saúde pública e alimentação escolar de várias regiões do Brasil, como: os integrantes dos Centros Colaboradores em Alimentação Escolar (CECANE), técnicos do Fundo Nacional de Alimentação Escolar (FNDE) e técnicos com experiência profissional na execução prática do PNAE em municípios de grande porte. Trinta potenciais especialistas foram convidados, via e-mail pessoal, para participar do estudo. É importante frisar que não existe um número mínimo de participantes quando se trata de tamanho de painel de especialistas²⁷27 Avella JR. Delphi Panels: Research Design, Procedures, Advantages, and Challenges. Int J Doct Stud 2016; 11:305-321.. A competência dos especialistas foi avaliada com um questionário de autoavaliação proposto por Fernández²⁸28 Fernández SHM. Criterio de expertos: Su procesamiento a través del método Delphi. Histodidáctica 2002; 1-5., tendo como base o Coeficiente de Competência (K), podendo ser classificada em alta (0,8<K<1,0), média (0,5<K<0,8) e baixa (K<0,5).

Validação dos Indicadores de Desempenho

A técnica Delphi²⁹29 Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PLoS One 2011; 6:e20476. foi utilizada para permitir o consenso entre especialistas utilizando um questionário online (Google Forms®) em duas rodadas. A primeira rodada ocorreu entre 16 de novembro e 16 de dezembro de 2019, quando os especialistas avaliaram a estrutura geral do instrumento e a qualidade das informações sobre o título e a descrição de cada possível indicador, observando a gramática e o uso de palavras apropriadas e corretas. Os especialistas também tiveram a oportunidade de enviar sugestões. Ademais, os especialistas avaliaram cada indicador segundo sete atributos desejáveis³⁰30 Agency for Healthcare Research and Quality. Desirable Attributes of a Quality Measure [Internet]. 2017 [cited 2020 jun 13]. Available from: https://www.qualitymeasures.ahrq.gov/help-and-about/quality-measure-tutorials/desirable-attributes-of-a-quality-measure.
https://www.qualitymeasures.ahrq.gov/hel... : 1- Relevância: a medida é relevante para qualquer tipo de entidade executora do PNAE; 2- Clareza: a medida pode ser facilmente explicada e compreendida; 3- Acessibilidade: os dados necessários para avaliar o indicador podem ser acessados rapidamente e com um custo mínimo; 4- Efetividade: capacidade de medir aquilo a que se propõe; 5- Viabilidade: a medida é aplicável; 6- Objetividade: permite mensurar de maneira clara, sem julgamento subjetivo; 7- Generalizável: a medida pode ser utilizada em qualquer entidade executora do PNAE. Os especialistas pontuaram cada atributo do indicador utilizando uma escala tipo Likert de cinco pontos: (1) discorda fortemente; (2) discorda; (3) não concorda nem discorda; (4) concorda; e (5) concorda fortemente³¹31 Revilla MA, Saris WE, Krosnick JA. Choosing the Number of Categories in Agree-Disagree Scales. Sociol Methods Res 2013; 43:73-97.. Os especialistas foram encorajados a sugerir a inclusão, exclusão ou modificação para melhorar os possíveis indicadores.

O grupo de trabalho examinou todas as recomendações e sugestões fornecidas pelo painel de especialistas na primeira rodada. As sugestões consideradas mais pertinentes coletadas na primeira rodada foram avaliadas para incorporação ao instrumento e foram enviadas para especialistas na segunda rodada da técnica Delphi, que ocorreu entre 18 de fevereiro e 18 de março de 2020. Nesta rodada, os especialistas avaliaram apenas os atributos dos indicadores que passaram por reestruturações e, as inclusões e modificações de acordo com o julgamento feito na primeira rodada. O questionário da segunda rodada foi conduzido da mesma forma que o questionário anterior.

Após considerar as sugestões dos especialistas, uma nova versão do instrumento foi desenvolvida e enviada, por questionário online, para os nutricionistas que trabalhavam na execução do PNAE para entender as suas visões quanto à relevância dos indicadores. A seção de relevância foi escolhida por ser este considerado o atributo mais importante para o objetivo deste estudo, sendo avaliada em escala tipo Likert de cinco pontos (1, dispensável; 5, indispensável). Nutricionistas que trabalhavam na execução do PNAE e possuíam experiência e/ou conhecimento em alimentação escolar foram convidados a participar deste estudo por contato pessoal, e-mail e mídia social entre abril e junho de 2020.

Análise estatística

Uma estatística descritiva (média, desvio padrão e porcentual) foi utilizada para caracterizar os participantes do estudo.

A Razão de Validade de Conteúdo (Content Validity Ratio - CRV)³²32 Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics 1977; 33:159-174. foi utilizada para verificar a validade de conteúdo dos indicadores segundo cada atributo. O CVR foi calculado conforme a fórmula:

Em que: ne - é número de especialistas que deram uma classificação de 4 a 5 (resposta positiva) na escala tipo Likert de cinco pontos; N - é o número total de especialistas participantes.

Os valores de CVR mínimos do método de Ayre e Scally³³33 Ayre C, Scally AJ. Critical values for Lawshe's content validity ratio: revisiting the original methods of calculation. Meas Eval Counsel 2014; 47(1):79-86. a 5% de probabilidade (Teste de significância bicaudal) foram considerados para determinar a evidência de validade de conteúdo de cada atributo de cada item.

Além disso, o kappa de Fleiss (_fK) também foi utilizado para verificar a concordância das respostas dos especialistas em cada indicador. As respostas foram dicotomizadas em resposta positiva (escore de 4-5) e resposta negativa (escore de 1-3). Os valores de _fK foram classificados considerando: <0,00 Fraco; 0,00-0,20 Leve; 0,21-0,40 Razoável; 0,41-0,60 Moderado; 0,61-0,80 Forte; 0,81-1,00 Quase perfeito³⁴34 Hallgren KA. Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial. Tutor Quant Methods Psychol 2012; 8:23-34.^,3535 Hair Jr JF, Black WC, Babin BJ, Anderson RE. Multivariate Data Analysis. 7th ed. Edinburgh: Pearson; 2014..

Para a evidência de validade de constructo, as respostas dos nutricionistas atuantes nas entidades executoras do PNAE foram analisadas com a Análise Fatorial Exploratória com matriz policórica e rotação oblíqua do tipo Promax, com o objetivo de avaliar a estrutura fatorial do instrumento desenvolvido, além de testar o constructo da relevância do conjunto de indicadores de desempenho da gestão do Programa. Os dados foram considerados apropriados para análise fatorial quando o valor do teste de Kaiser-Meyer-Olkin (KMO) ≥0,50 e o teste de esfericidade de Bartlett com p<0,05³⁶36 Timmerman ME, Lorenzo-Seva U. Dimensionality Assessment of Ordered Polytomous Items with Parallel Analysis. Psychol Methods 2011; 16(2):209-220.. A decisão sobre o número de fatores a ser retido foi realizada por meio da Análise Paralela com estimação por “usl”³⁶36 Timmerman ME, Lorenzo-Seva U. Dimensionality Assessment of Ordered Polytomous Items with Parallel Analysis. Psychol Methods 2011; 16(2):209-220.. Foram retidos no conjunto final aqueles indicadores com comunalidades ≥0,40 e cargas fatoriais entre 0,40 e 0,85³⁷37 Tabachnick BG, Fidell LS. Using multivariate statistics. 6th ed. Boston: Pearson; 2013.. A variância explicada foi considerada adequada quando superior a 0,50³⁸38 Tinsley HEA, Tinsley DJ. Uses of factor analysis in counseling psychology research. J Counsel Psychol 1987; 34(4):414-424..

A adequação do modelo foi avaliada segundo os índices de ajuste Root Mean Square Error of Aproximation (RMSEA) e Tucker-Lewis Index (TLI). Foram considerados valores aceitáveis de quando RMSEA<0,08 e TLI>0,90³⁵35 Hair Jr JF, Black WC, Babin BJ, Anderson RE. Multivariate Data Analysis. 7th ed. Edinburgh: Pearson; 2014..

Para o estudo da confiabilidade (consistência interna), foi utilizado o coeficiente alfa de Cronbach, sendo aceitos valores ≥0,70³⁵35 Hair Jr JF, Black WC, Babin BJ, Anderson RE. Multivariate Data Analysis. 7th ed. Edinburgh: Pearson; 2014..

O teste de Mann-Whitney foi utilizado para comparar as visões dos especialistas e nutricionistas sobre a relevância dos indicadores.

As análises estatísticas foram realizadas no pacote psych do ambiente R Project versão 3.6.3 e no Microsoft Excel 2016 (Microsoft Corporation, Seattle, WA, USA).

A versão final do instrumento de indicadores foi elaborada após considerar resultados da análise estatística e discussão pelo grupo de pesquisa.

Considerações éticas

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa da Faculdade de Saúde Pública da Universidade de São Paulo (CAAE: 01538918.8.0000.5421) e os participantes foram informados dos objetivos do estudo e da confidencialidade dos dados em termos de compromisso e de consentimento livre e esclarecido.

Resultados

Desenvolvimento dos Indicadores de Desempenho

Doze indicadores de desempenho foram propostos pelo grupo de pesquisa para avaliar a gestão do PNAE, incluindo: Execução dos recursos financeiros, Universalidade do atendimento, Monitoramento técnico do programa, Oferta de alimentos in natura nos cardápios, Uso de produtos ultraprocessados nos cardápios, Apoio à agricultura familiar, Adequação das necessidades nutricionais, Promoção, proteção e apoio ao aleitamento materno, Inclusão da Educação Alimentar e Nutricional, Necessidades alimentares especiais, Adesão à alimentação escolar, Controle Social da alimentação escolar e Horário das refeições.

Características do painel de especialistas e dos nutricionistas

As características dos especialistas e nutricionistas que participaram do estudo são apresentadas na Tabela 1. A taxa de respostas dos especialistas na primeira rodada da técnica Delphi foi de 43,3% (13/30) e de 69,2% (9/13) na segunda rodada. A maioria dos especialistas era do sexo feminino (n=11; 84,6%), com média de idade de 46,8 anos (DP=11,9) e com grau de titulação de doutorado (n=6; 46,1%). Todos trabalhavam em instituições públicas (universidades ou entidade executora do PNAE ou governo federal). O tempo total de experiência profissional variou de 11 a 34 anos (média=23,3; DP=11,3) e o tempo de experiência no PNAE variou de 5 a 25 anos (média=15,5; DP=9,8). Quanto à prevalência das regiões de atuação profissional dos especialistas, metade era da região Sudeste (53,9%), seguido pelas nas regiões Nordeste e Centro-Oeste (15,4%) e Norte e Sul (7,7%), com maiores percentuais de atuação nos seguintes estados do país: São Paulo (53,9%) Amazonas, Bahia, Piauí e Paraná (todos com 7,7%), e Distrito Federal (15,4%). Todos foram classificados com alto coeficiente de competência (média=0,85; DP=0,05).

Um total de 281 nutricionistas participou do estudo da relevância dos indicadores após o painel de especialistas, sendo a maioria do sexo feminino (n=263; 93,6%), com média de idade de 35,3 anos (DP=9,3). Quanto ao grau de formação profissional, a maioria informou especialização (15,7%). Todos os nutricionistas trabalhavam em alguma entidade executora do PNAE. O tempo total de exercício profissional variou de 1 a 17 anos (média=9,7; DP=8,9) e o tempo de experiência no PNAE variou inferior a 1 ano até 10 anos (média=5,2; DP=5,0). A maior prevalência da região do país de atuação profissional dos nustricionistas foi a Sudeste (34,5%), seguida pela região Norte (27,1%), Nordeste (22,8%), Sul (9,3%) e Centro-Oeste (6,4%). Nutricionistas de todos os entes federados participaram do estudo, sendo a maior proporção de participantes em São Paulo (22,8%), Pará (13,9%), Minas Gerais (7,8%), Bahia (7,1%) e Amazonas (6,8%).

Validação dos Indicadores de Desempenho

A representação das etapas envolvidas no desenvolvimento dos indicadores de desempenho pode ser acessada no link https://doi.org/10.48331/scielodata.BWEYOX. O processo de validade de conteúdo para os indicadores de desempenho está apresentado na Tabela 2.

Na primeira rodada da técnica Delphi, o CVR para cada atributo avaliado variou entre 0,08 e 1,00. Oito indicadores obtiveram valores de CVR acima do recomendado para todos os atributos avaliados e foram aprovados. Quatro indicadores obtiveram valores de CVR abaixo dos aceitáveis e foram revisados: “Uso de produtos ultraprocessados nos cardápios”, “Adequação das necessidades nutricionais”, “Promoção, proteção e apoio ao aleitamento materno” e “Controle Social da alimentação escolar”. O indicador “Uso de produtos ultraprocessados nos cardápios” obteve valores de CRV abaixo do esperado em um atributo: clareza. O indicador “Adequação das necessidades nutricionais” obteve valores de CVR abaixo do recomendado em três atributos: acessibilidade, viabilidade e generalizável. O indicador “Promoção, proteção e apoio ao aleitamento materno” obteve valor de CVR abaixo do aceitável para cinco atributos de clareza, efetividade, viabilidade, objetividade e generalizável. O indicador “Controle Social da alimentação escolar” obteve valor de CVR abaixo do recomendado para o atributo acessibilidade. Além disso, o _fK destes indicadores avaliados variou entre 0,58 e 1,00, sugerindo concordância dos especialistas de razoável até quase perfeita. No geral, os especialistas fizeram recomendações para melhorar todos os indicadores e um total de cinco (5/13; 38,4%) sugeriram um novo indicador para o instrumento: “Horário das refeições”. Na segunda rodada da técnica Delphi o novo indicador e os 4 indicadores revisados que apresentaram valores insatisfatórios de CVR foram avaliados. Todos os indicadores obtiveram valores de CVR acima do recomendado, sendo considerados aprovados pelo painel de especialistas.

A validade de constructo e a confiabilidade (consistência interna) por meio das respostas dos nutricionistas para a relevância dos 13 indicadores aprovados pelo painel de especialistas são apresentadas na Tabela 3. As análises dos testes de esfericidade de Barllet (p<0,001) e KMO (0,95) sugeriram a interpretabilidade da matriz de correlação de itens, indicando que os dados são apropriados para a análise fatorial. Os indicadores apresentaram valores adequados de cargas fatoriais (>0,40 e <0,85) e comunalidades (>0,40), sendo mantidos no conjunto final, explicando 0,54 da variância.

A estrutura fatorial apresentou índices de ajuste adequados (TLI=0,94 e RMSEA=0,08). O coeficiente alfa de Cronbach foi 0,94, indicando uma boa consistência entre os indicadores.

Quanto à comparação entre as opiniões dos especialistas e nutricionistas sobre a relevância dos indicadores, os especialistas expressaram opiniões mais positivas do que os nutricionistas para todos, exceto os indicadores “Adequação das necessidades nutricionais” e “Promoção, proteção e apoio ao aleitamento materno” embora nenhuma das análises tenha apresentado significância estatística (p<0,05). Esses resultados são apresentados na Tabela 4.

Assim, um instrumento de 13 indicadores de desempenho foi elaborado e validado, incluindo: (I₁) Execução dos recursos financeiros, (I₂) Universalidade do atendimento, (I₃) Monitoramento técnico do programa, (I₄) Oferta de alimentos in natura nos cardápios, (I₅) Uso de produtos ultraprocessados nos cardápios, (I₆) Apoio à agricultura familiar, (I₇) Adequação das necessidades nutricionais, (I₈) Promoção, proteção e apoio ao aleitamento materno (I₉) Inclusão da Educação Alimentar e Nutricional, (I₁₀) Necessidades alimentares especiais, (I₁₁) Adesão à alimentação escolar, (I₁₂) Controle Social da alimentação escolar e (I₁₃) Horário das refeições. O instrumento final com os indicadores e respectivos: Objetivo, Medida, Parâmetro e Frequência, são apresentados na Tabela 5. As fichas técnicas utilizadas para o cálculo dos respectivos indicadores são apresentadas no link https://doi.org/10.48331/scielodata.BWEYOX

Discussão

Resumo das evidências

Este é o primeiro estudo que validou um instrumento de indicadores de desempenho para avaliação e monitoramento da gestão do PNAE. O grupo de pesquisa definiu, após o consenso do painel de especialistas e as respostas dos nutricionistas, que 13 indicadores seriam úteis para mensurar o desempenho da gestão local do PNAE, com evidência de validade para ser aplicado em todo território nacional. A combinação da técnica Delphi com a análise fatorial exploratória permitiu a apresentação de instrumento de indicadores relevantes para viabilizar iniciativas de monitoramento e avaliação, orientar a ação governamental para melhoria do desempenho do Programa, favorecer o exercício do controle social e reconhecer iniciativas exitosas de gestão. O instrumento abrange os principais aspectos do PNAE, como execução dos recursos financeiros; universalidade do atendimento; monitoramento técnico do programa; oferta de alimentos in natura nos cardápios; uso de produtos ultraprocessados nos cardápios; apoio à agricultura familiar; adequação das necessidades nutricionais; promoção, proteção e apoio ao aleitamento materno; inclusão da educação alimentar e nutricional; necessidades alimentares especiais; adesão à alimentação escolar; controle social da alimentação escolar; e horário das refeições.

Tendo em vista a magnitude do PNAE e o investimento realizado pelo governo federal, além dos recursos estaduais e municipais, é fundamental a avaliação desta política pública. Deve-se monitorar e avaliar o PNAE para garantir que sejam alcançados os impactos almejados pelos objetivos deste programa, com a definição de quais indicadores e ações serão necessários, quem serão os responsáveis e quando e como essas ações serão desenvolvidas e seus resultados comunicados³⁹39 Brasil. Casa Civil da Presidência da República. Avaliação de políticas públicas: guia prático de análise ex ante. Brasília: Ipea; 2018.. Assim, estruturar um sistema de indicadores utilizados e especificar pesquisas de avaliação consistentes são desafios que precisam ser enfrentados pelo PNAE, sob pena de estender a superação das iniquidades sociais dos estudantes atendidos na execução da política pública⁴⁰40 Jannuzzi PM. Monitoramento e Avaliação de Programas Sociais. Uma Introdução aos Conceitos e Técnicas. São Paulo: Editora Alinea; 2015.^,4141 Jannuzzi PM. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Rev Serv Publico 2005; 56(2):137-160.. Os indicadores desenvolvidos e validados neste estudo podem auxiliar na estruturação de um sistema para subsidiar o processo de avaliação da qualidade dos serviços prestados pelo PNAE em âmbito local, bem como permitir futuras comparações significativas inter e/ou intra entidades executoras do Programa⁴²42 Cano I. Avaliação de programas sociais. Rio de Janeiro: FGV; 2002.. Pesquisas futuras devem explorar a aplicabilidade de coleta de dados na prática diária do nutricionista na entidade executora para utilização do instrumento proposto.

Validação dos Indicadores de Desempenho

O uso de uma revisão sistemática, de outros estudos consolidados na área de alimentação escolar e experiência prática dos nutricionistas combinada com a técnica de consenso para propor e selecionar indicadores, foi uma estratégia importante para o desenvolvimento deste instrumento. Estratégia semelhante foi utilizada em outras áreas do conhecimento, como por Lima et al.¹⁸ para desenvolver indicadores chave de desempenho na área de farmácia clínica e por Gu e Itoh⁴³43 Gu X, Itoh K. Performance indicators: healthcare professionals' views. Int J Health Care Qual Assur 2016; 29:801-815. para indicadores de qualidade desenvolvidos para avaliar o desempenho de funcionários da área médica. Esse método sistemático de pesquisa, que envolve evidências com consenso, é a melhor escolha para desenvolver indicadores de qualidade, pois em muitas áreas da saúde a base de evidências científicas é limitada e o uso da opinião de especialistas é necessária para incluir mais evidências para o desenvolvimento destes indicadores²2 Peixinho AML. A trajetória do Programa Nacional de Alimentação Escolar no período de 2003-2010: relato do gestor nacional. Cien Saude Colet 2013; 18(4):909-916..

Os especialistas tiveram a oportunidade de fornecer feedback durante as rodadas da técnica Delphi. O feedback controlado da interação feita pela equipe de pesquisa neste estudo é uma vantagem da técnica Delphi e permite uma redução na discordância entre os especialistas⁴⁴44 Yousuf M. Using Experts' Opinions Through Delphi Technique. Pract Assess Res Eval 2007; 12(4):1-9.. A maioria das sugestões feitas pelo painel de especialistas na primeira rodada se referiu à estrutura e adequação das palavras do instrumento, e à inclusão de um novo indicador sobre os horários das refeições praticadas nas escolas. Por exemplo, alguns os pontos de corte dos indicadores que foram reformulados com base na sugestão dos especialistas, bem como na atual resolução do PNAE⁴⁵45 Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação (FNDE). Resolução/CD/FNDE nº 6, de 08 de maio de 2020. Dispõe sobre o atendimento da alimentação escolar aos alunos da educação básica no âmbito do Programa Nacional de Alimentação Escolar - PNAE. Diário Oficial da União 2020; 12 maio. que foi publicada durante a elaboração deste instrumento, além da literatura e no julgamento do grupo de pesquisa. Além disso, a frequência de alguns indicadores foi reduzida para mensal ou semestral. A sugestão de incluir o indicador “Horário das refeições” no instrumento foi feita por cinco especialistas. Os argumentos utilizados pelos especialistas nesta sugestão corresponderam a um processo para melhor adesão ao Programa de acordo com horários que as refeições são servidas nas escolas, sendo que este cumprimento sugere qualidade da gestão do PNAE. Destaca-se ainda que compete ao nutricionista responsável técnico pelo programa a definição dos horários das refeições⁴⁵45 Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação (FNDE). Resolução/CD/FNDE nº 6, de 08 de maio de 2020. Dispõe sobre o atendimento da alimentação escolar aos alunos da educação básica no âmbito do Programa Nacional de Alimentação Escolar - PNAE. Diário Oficial da União 2020; 12 maio..

A aplicação de um rigoroso método de consenso com duas medidas (CVR e _fK) resultou em indicadores com evidência de validade de conteúdo. Assim, a utilização do _fK é um complemento importante (não substituto) do CRV, porque fornece informações sobre o grau de concordância além do acaso³⁰30 Agency for Healthcare Research and Quality. Desirable Attributes of a Quality Measure [Internet]. 2017 [cited 2020 jun 13]. Available from: https://www.qualitymeasures.ahrq.gov/help-and-about/quality-measure-tutorials/desirable-attributes-of-a-quality-measure.
https://www.qualitymeasures.ahrq.gov/hel... ^,4646 Stemler SE. A Comparison of Consensus, Consistency, and Measurement Approaches to Estimating Interrater Reliability. Pract Assess Res Eval 2004; 9(4):1-12.. A maioria dos indicadores incluídos no instrumento final recebeu uma pontuação alta para CVR e _fK na primeira e segunda rodada. Cabe destacar que o _fK foi utilizado com a finalidade de verificar a concordância das respostas dos especialistas em cada indicador e não para aprovação destes.

Em relação à validade de constructo, o estudo apresentou tamanho amostral adequado (n=281) para a análise fatorial³²32 Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics 1977; 33:159-174.. O instrumento final apresentou 13 indicadores, agrupados em uma dimensão (fator), com valores das cargas fatoriais e comunalidades adequados, explicando 0,54 da variância; um valor considerado satisfatório para as ciências da saúde onde a informação é frequentemente menos precisa³²32 Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics 1977; 33:159-174.. O percentual de variância explicada acima que 0,50 indica de que os nutricionistas estão classificando um constructo comum e alcançando concordância³²32 Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics 1977; 33:159-174.^,4646 Stemler SE. A Comparison of Consensus, Consistency, and Measurement Approaches to Estimating Interrater Reliability. Pract Assess Res Eval 2004; 9(4):1-12.. Do ponto de vista psicométrico, O’Grady⁴⁷47 O'Grady KE. Measures of explained variance: Cautions and limitations. Psychol Bull 1982; 92(3):766-777. argumenta que, nenhum comportamento será totalmente compreendido por nenhum construto hipotético, de maneira que a variância explicada nunca chegará ao seu valor total (100%). Nesse sentido, as limitações a priori da forma de avaliação utilizada inviabilizam a análise do nível de variância explicada como um indicador de acurácia do construto avaliado⁴⁸48 Damásio BF. Uso da análise fatorial exploratória em psicologia. Rev Aval Psicol 2012; 11(2):213-228.. O instrumento final apresenta consistência interna sugerida pelo coeficiente alfa de Cronbach igual a 0,94; valor recomendado para garantir a confiabilidade de uma medida²2 Peixinho AML. A trajetória do Programa Nacional de Alimentação Escolar no período de 2003-2010: relato do gestor nacional. Cien Saude Colet 2013; 18(4):909-916..

Os especialistas tiveram maior porcentagem de respostas positivas sobre a relevância para a maioria dos indicadores do que os nutricionistas, sendo semelhantes a outros estudos¹⁸18 Lima TM, Aguiar PM, Storpirtis S. Development and validation of key performance indicators for medication management services provided for outpatients. Res Social Adm Pharm 2019; 15(9):1080-1087.^,4343 Gu X, Itoh K. Performance indicators: healthcare professionals' views. Int J Health Care Qual Assur 2016; 29:801-815.^,4949 Gu X, Itoh K. Performance measures for a dialysis setting. J Ren Care 2018; 44:52-59.. Estes autores explicam que uma razão para isso é a dificuldade em atribuir cada indicador à perspectiva de um único stakeholder⁴³43 Gu X, Itoh K. Performance indicators: healthcare professionals' views. Int J Health Care Qual Assur 2016; 29:801-815.. Entretanto, nossos achados não apresentaram significância estatística (p<0,05) e demonstraram o ponto de vista similar entre painel de especialistas e nutricionistas sobre os indicadores de desempenho.

Por fim, o instrumento com 13 indicadores de desempenho corrobora os argumentos de Tanaka e Melo⁸8 Tanaka OY, Melo C. Avaliação de Programas de Saúde do Adolescente - um modo de fazer. São Paulo: Edusp; 2001., que recomenda a escolha uma matriz reduzida de indicadores pela sua importância, capacidade de síntese e coleta de dados acessível, uma vez que muitos indicadores constituem uma dificuldade operacional.

Limitações

Apesar do rigor metodológico adotado para o desenvolvimento e validação de um instrumento de indicadores de desempenho, o estudo apresenta algumas limitações destacadas a seguir. O painel de especialistas consistia na maioria de profissionais que trabalhavam em universidades públicas; um “viés ideológico” pode ser associado aos pontos de vista⁵⁰50 Basu S, Andrews J, Kishore S, Panjabi R, Stuckler D. Comparative performance of private and public healthcare systems in low- and middle-income countries: a systematic review. PLoS Med 2012; 9:e1001244.. Este viés foi minimizado com a inclusão de especialistas técnicos que atuam na execução do PNAE e o questionário para os nutricionistas das entidades executoras. Além disso, a discordância entre os especialistas pode não ter sido totalmente explorada devido à falta de uma reunião presencial⁴²42 Cano I. Avaliação de programas sociais. Rio de Janeiro: FGV; 2002.. No entanto, o grupo de pesquisa estava atento a todas as recomendações e sugestões apontadas pelo painel de especialistas no questionário online e acreditamos que um verdadeiro consenso foi alcançado.

Conclusão

O instrumento “Indicadores de desempenho da gestão do PNAE” com 13 indicadores foi desenvolvido para avaliação e monitoramento da gestão local do Programa em todo território nacional. O instrumento final mostrou adequada confiabilidade e evidência de validade. Espera-se que estes indicadores sirvam para viabilizar iniciativas de monitoramento e avaliação, orientar a ação governamental para melhoria do desempenho do Programa, favorecer o exercício do controle social e reconhecer iniciativas exitosas de gestão. A proposta parte do pressuposto que o bom desempenho do PNAE não é alcançado apenas quando as entidades recebem os recursos financeiros. Entende-se que o desempenho do programa pode ser considerado satisfatório quando há eficácia no atingimento das metas, efetividade das ações de operacionalização e eficiência no uso dos recursos financeiros empregados nas finalidades no Programa.

Referências

Datas de Publicação

Histórico