RESUMO

A prevenção do uso abusivo de álcool e drogas na adolescência tem se tornado um tema transversal nas políticas públicas e incentivado a construção de programas preventivos. Entretanto, ainda existe uma necessidade de avaliar o processo de implementação desses programas. O Estudo de Avaliabilidade (EA) é uma etapa de pré-avaliação e descreve de forma lógica como se dará o processo avaliativo. Este artigo tem como objetivo apresentar os resultados do EA do Programa Descolado – estratégia de prevenção do uso de álcool e outras drogas desenvolvida em escolas do município de Recife, Pernambuco. Trata-se de estudo avaliativo, de abordagem qualitativa, realizado por meio de pesquisa documental, entrevistas e reuniões com informantes-chave. Utilizou-se a técnica de consenso Delphi para análise dos modelos lógico da intervenção e teórico da avaliação. Os resultados demonstraram que o programa é avaliável, e a modelização permitiu melhor entendimento dos envolvidos sobre o programa. As equipes técnica e gestora refletiram criticamente sobre o programa, possibilitando ajustes nos objetivos, atividades e recursos desde o início do processo avaliativo. As perguntas avaliativas identificadas segundo componentes do Modelo Lógico podem nortear estudos subsequentes, tendo sinalizado a realização de uma avaliação de implantação – estudo de caso – do Programa Descolado.

PALAVRAS-CHAVE
Avaliação de programas e projetos de saúde; Prevenção primária; Adolescente; Transtornos relacionados ao uso de substâncias

ABSTRACT

The abusive use of alcohol and drug prevention in adolescence has become a cross-cutting theme in policies and encouraged the construction of preventive programs. However, there is still a need to evaluate the implementation process of these programs. The Evaluability Study (EA) is a pre-assessment stage and describes the logical way in which the assessment process will take place. This article aims to present the results of the EA of Descolado Program – alcohol and other drug prevention strategy developed in schools in the city of Recife, Pernambuco. It is an evaluative study, with qualitative approach, carried out through documental research, interviews and meetings with key informants. The Delphi consensus technique was used to analyze intervention models and evaluation theory. The results showed that the program is evaluable, and the modeling allowed for better understanding about the program by those involved. The technical and management teams critically reflected on the program, enabling adjustments in objectives, activities and resources since the beginning of the evaluation process. The evaluation questions identified according to components of the Logic Model can guide subsequent studies, having signaled for an implementation evaluation – case study of the Descolado Program.

KEYWORDS
Program evaluation; Primary prevention; Adolescent; Substance-related disorders

Introdução

As políticas e os programas de prevenção baseados em evidências, no campo do uso de álcool e outras drogas, representam o modelo contemporâneo adotado na maioria dos países desenvolvidos¹1 World Health Organization. Department of Mental Health and Substance Abuse. Global Status Report on Alcohol. Geneva: WHO; 2004.. Porém, Horr²2 Horr JF. Avaliação da satisfação do processo de implantação do programa preventivo Unplugged na perspectiva dos educandos. [monografia]. Florianópolis: Universidade Federal de Santa Catarina, 2015. 187 p. em sua revisão, revela que a insuficiência das ações de prevenção de drogas no contexto brasileiro é reflexo da descontinuidade e da ausência de parâmetros e critérios de avaliação de programas, da reprodução de forma acrítica e descontextualizada dos modelos internacionais e da não dialogicidade com gestores públicos.

Nessa perspectiva, documentos internacionais³3 United Nations Office on Drugs and Crime. World Drug Report 2019: Pre-release to Member States. Vienna: UNODC; 2019. [acesso em 2023 jan 16]. Disponível em: https://wdr.unodc.org/wdr2019/pre-launch/pre-launchpresentation_WDR_2019.pdf.
https://wdr.unodc.org/wdr2019/pre-launch... , ⁴4 United Nations Office on Drugs and Crime. International Standards on Drug Use Prevention. 2013. [acesso em 2023 jan 16]. Disponível em: https://www.unodc.org/documents/lpo-brazil/Topics_drugs/Publicacoes/prevention_standards_1.pdf.
https://www.unodc.org/documents/lpo-braz... apontam a necessidade de melhorar dados e análises de contexto, ampliação da coleta, disseminação, análise de dados de pesquisa em todo o mundo, principalmente em países de baixa e média renda. Para que um programa preventivo de drogas seja baseado em evidências científicas, sua implementação deve ser bem documentada, claramente descrita e bem avaliada em todas as fases, por meio de processos sistemáticos, baseados nos modelos científicos de avaliação, na medida em que uma implementação de qualidade é condição para a garantia da eficácia do programa⁵5 Pereira APD, Sanchez ZM. Características dos Programas escolares de Prevenção ao Uso de Drogas no Brasil. Ciênc. saúde coletiva. 2020; 25(8):3131-42..

O Estudo de Avaliabilidade (EA) é considerado uma etapa de pré-avaliação e visa a estabelecer em que medida a intervenção pode ser avaliada, identificar áreas críticas a serem priorizadas para avaliação, definir seus indicadores, além de organizar e descrever de forma lógica como se dará o processo avaliativo⁶6 Thurston WE, Ramaliu A. Evaluability Assessment of a Survivors of Torture Program: Lessons Learned. The Canad. J. Prog. Evaluat. 2005; 20(2):1-25.. A partir desse estudo, é possível visualizar de forma mais nítida as relações causais existentes na intervenção, bem como as problemáticas que se deseja resolver, diretrizes, objetivos, resultados esperados e processos necessários para alcançá-los⁷7 Bezerra LA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, et al., organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 65-78., ⁸8 Macedo TR, Possoli L, Natal S, et al. Revisão integrativa sobre Estudos de Avaliabilidade na área da saúde no Brasil / Integrative review on Health Evaluability Studies in Brazil. Braz. J. Health Review. 2020; 3(5):13620-37..

Assim, o objetivo deste artigo é apresentar os resultados do EA do Programa Descolado, considerando a descrição e a modelização da intervenção e da avaliação, e a identificação de perguntas avaliativas.

Material e métodos

EA do Programa Descolado, com abordagem qualitativa, tomando-se como referencial teórico da avaliabilidade os sete passos propostos por Thurston e Ramaliu⁶6 Thurston WE, Ramaliu A. Evaluability Assessment of a Survivors of Torture Program: Lessons Learned. The Canad. J. Prog. Evaluat. 2005; 20(2):1-25., a saber: (1) delimitação do programa e identificação de suas metas, objetivos e atividades; (2) identificação e análise dos documentos da intervenção a ser avaliada; (3) construção do Modelo Lógico (ML) do programa; (4) supervisão do programa, ou entendimento preliminar de como o programa opera; (5) desenvolvimento de um modelo teórico de avaliação; (6) identificação dos usuários e envolvidos na avaliação; e (7) definição de procedimento de avaliação.

O Programa Descolado

O Programa Descolado foi criado em 2018 pela Secretaria Executiva de Políticas sobre Drogas (Sepod) da Secretaria de Desenvolvimento Social, Juventude, Políticas Públicas sobre Drogas e Direitos Humanos (SDSDHJPD), da prefeitura de Recife, em parceria com o Núcleo de Estudos e Pesquisas em Vulnerabilidade e Saúde na Infância e Adolescência (NEPVIAS), da Universidade Federal de Pernambuco (UFPE). O programa se configura como uma estratégia de prevenção universal do uso de álcool e outras drogas nas escolas do Recife e tem como objetivo geral sensibilizar e despertar o interesse dos adolescentes, alunos do 6º ano da Rede Municipal de Ensino, com relação ao seu futuro, como fator de proteção social. De forma específica, o programa atua na prevenção universal ao uso de drogas, desperta o protagonismo juvenil e desenvolve um Plano de Promoção Pessoal (PPP) do estudante⁹9 Recife. Prefeitura. Sistema Mais Recife de Política sobre Drogas: Programa Mobiliza Recife (relatório interno). Recife: Prefeitura; 2018..

A pesquisa foi realizada no período de dezembro de 2018 a março de 2019, no município de Recife.

Para a coleta de dados, realizou-se uma pesquisa documental (Documento oficial do Programa Descolado) e foram realizadas reuniões presenciais com seis informantes-chave: o secretário executivo responsável pelo programa, o coordenador do programa, o diretor pedagógico e três educadores sociais, os quais configuravam toda a equipe do programa. Dois instrumentos de coleta de dados, propostos por Silva e colaboradores¹⁰10 Silva RN, Guarda FRB, Hallal PC, et al. Avaliabilidade do Programa Academia da Saúde no Município do Recife, Pernambuco, Brasil. Cad. Saúde Pública. 2017; 33(4):1-16., foram utilizados para subsidiar a análise documental e a realização das reuniões, que foram gravadas em áudio e transcritas. A análise do documento oficial do Programa Descolado levou em conta: (a) existência de objetivos; (b) organização do programa; (c) público-alvo; (d) metas a serem alcançadas; (e) ações necessárias ao desenvolvimento das atividades; e (f) resultados a serem alcançados. As reuniões presenciais seguiram um roteiro com questões relativas ao conhecimento dos objetivos do programa e à operacionalização das ações. Os gestores (coordenador e diretor pedagógico do programa) ainda foram perguntados acerca da necessidade e utilidade da avaliação do programa.

Com a finalidade de apresentar e validar o ML do programa (Passo 3), proposto pelos pesquisadores e pela equipe técnica do programa, este foi submetido ao julgamento de um grupo de especialistas para consenso sobre a coerência do modelo com relação ao Programa Descolado⁸8 Macedo TR, Possoli L, Natal S, et al. Revisão integrativa sobre Estudos de Avaliabilidade na área da saúde no Brasil / Integrative review on Health Evaluability Studies in Brazil. Braz. J. Health Review. 2020; 3(5):13620-37.. Foi aplicada a Técnica Delphi de consenso entre os especialistas, sendo sua principal característica a inexistência de contato presencial entre os participantes e a preservação do anonimato¹¹11 Revorêdo LDS, Maia RS, Torres GDV, et al. O uso da técnica delphi em saúde: uma revisão integrativa de estudos brasileiros. Rev Arq. Ciênc. Saúde. 2015; 22(2):16-21.. Foram convidados doze experts (etapa da técnica de consenso Delphi, não presencial) da área de avaliação de programas e/ou da área de prevenção e tratamento ao uso de drogas. Todos os especialistas eram doutores e com cinco a 20 anos de atuação na área – a maior parte também com experiência na docência e publicações técnicas e científicas nos campos da avaliação em saúde e drogadição nos últimos cinco anos.

As rodadas de opiniões aconteceram da seguinte forma: na primeira rodada, cada expert recebeu por e-mail o ML do Programa Descolado e um formulário avaliativo com alternativas de respostas no formato de escala Likert: concordo totalmente; concordo parcialmente; nem concordo nem discordo; discordo parcialmente; discordo totalmente. A partir de seu retorno, as respostas foram contabilizadas e analisadas. As sugestões de alteração do ML que obtiveram consenso pelos experts foram analisadas pelas pesquisadoras e alteradas. Após os ajustes, o Modelo foi novamente enviado aos participantes. Na segunda rodada de opiniões, os participantes foram solicitados a realizar um novo julgamento do Modelo Lógico. O processo se repetiu em duas rodadas até que se atingiu o consenso de 80% de validação do modelo lógico, calculado por meio da soma das respostas positivas da escala Likert e contempladas as sugestões viáveis⁸8 Macedo TR, Possoli L, Natal S, et al. Revisão integrativa sobre Estudos de Avaliabilidade na área da saúde no Brasil / Integrative review on Health Evaluability Studies in Brazil. Braz. J. Health Review. 2020; 3(5):13620-37..

Os dados foram organizados em categorias segundo os sete passos de um EA⁶6 Thurston WE, Ramaliu A. Evaluability Assessment of a Survivors of Torture Program: Lessons Learned. The Canad. J. Prog. Evaluat. 2005; 20(2):1-25. e analisados com uso da técnica de análise de conteúdo temática¹²12 Bardin L. Análise de Conteúdo. São Paulo: Edições 70; 2011.. Os trechos das falas dos participantes da pesquisa foram codificados da seguinte forma: Equipe Técnica (ET) e Expert (E), seguido do número correspondente ao participante.

Quanto aos procedimentos éticos, este estudo seguiu o que estabelece a Resolução nº 466/2012 do Conselho Nacional de Saúde, tendo sido aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal de Pernambuco (UFPE), protocolo nº 2.796.341.

Resultados

O EA é interativo, por isso, a apresentação de seus resultados não segue necessariamente a ordem dos sete passos apresentada anteriormente, podendo ser redigidos de forma articulada e fluida⁶6 Thurston WE, Ramaliu A. Evaluability Assessment of a Survivors of Torture Program: Lessons Learned. The Canad. J. Prog. Evaluat. 2005; 20(2):1-25.. Dessa forma, assim como salientado e realizado por esses autores, os resultados serão apresentados inicialmente descrevendo o escopo do programa, bem como as metas, os objetivos e atividades que o constituem (passos 1, 2 e 4). Posteriormente, seguem-se a apresentação do ML (Passo 3) e Teórico do programa (Passo 5), a identificação dos usuários e dos procedimentos de avaliação (Passos 6 e 7).

Passos 1, 2 e 4. Delimitação do programa, identificação de metas, objetivos e atividades; Identificação e análise dos documentos do Programa Descolado; e Entendimento preliminar de como o programa opera

Na época da coleta de dados, o Programa Descolado tinha apenas um documento oficial, que foi disponibilizado pela Sepod para a pesquisa⁹9 Recife. Prefeitura. Sistema Mais Recife de Política sobre Drogas: Programa Mobiliza Recife (relatório interno). Recife: Prefeitura; 2018.. Esse documento ainda não foi disponibilizado em meio público. A partir da sua análise, foram extraídas as informações sobre o programa.

Durante a reunião com a equipe técnica, identificou-se que o objetivo geral (sensibilizar e despertar o interesse dos adolescentes, alunos do 6º ano da Rede Municipal de Ensino, com relação ao seu futuro, como fator de proteção social) estava muito amplo e não refletia a intencionalidade do programa:

O Programa Descolado tem como pilares: Autonomia; Interdependência; Valorização da posteridade. As ações do programa se dirigem para o desenvolvimento de competências pessoais e sociais, com foco em aumentar os Fatores de Proteção e diminuir os Fatores de Risco. Dessa forma, o programa visa a fortalecer as características que reduzem a probabilidade de o adolescente se envolver com as drogas⁹9 Recife. Prefeitura. Sistema Mais Recife de Política sobre Drogas: Programa Mobiliza Recife (relatório interno). Recife: Prefeitura; 2018..

O programa se fundamenta teórica e metodologicamente na perspectiva da educação problematizadora proposta por Paulo Freire para subsidiar as ações realizadas junto aos estudantes (oficinas com adolescentes). Além disso, também fundamenta suas ações educativas no modelo de Habilidades de Vida proposto pela Organização Mundial da Saúde (OMS) como estratégia para a diminuição dos comportamentos de risco que podem vulnerabilizar a criança ou o adolescente ao uso e abuso de álcool e outras drogas⁹9 Recife. Prefeitura. Sistema Mais Recife de Política sobre Drogas: Programa Mobiliza Recife (relatório interno). Recife: Prefeitura; 2018..

Os entrevistados trouxeram discursos coerentes com o que está descrito no documento do programa, reafirmando a fundamentação teórica do programa:

O programa funciona em duas vertentes principais: oficinas formativas com educadores do programa e oficinas com os adolescentes da escola contemplada pelo programa. Além disso, o documento também aponta outras atividades que são desenvolvidas no programa: articulação intersetorial (pactuação com as escolas) e gerenciamento do programa, com construção de relatórios⁹9 Recife. Prefeitura. Sistema Mais Recife de Política sobre Drogas: Programa Mobiliza Recife (relatório interno). Recife: Prefeitura; 2018..

O objetivo das oficinas formativas é a apropriação e o aprofundamento dos referenciais teóricos do Programa Descolado, além de compartilhar as experiências vivenciadas nas oficinas e refletir criticamente sobre elas. Em concordância com o que está descrito no programa, os participantes apontam que o objetivo da formação é possibilitar que o educador assuma posturas dialógicas, críticas, reflexivas e coerentes com o referencial teórico, além de ampliar as estratégias pedagógicas em sala:

De acordo com o preconizado pelo programa, as oficinas com os adolescentes ocorrem em conformidade com a pactuação realizada previamente entre a gestão escolar e a do programa, podendo ocorrer nos turnos da manhã ou da tarde. As oito oficinas do programa são inseridas entre as atividades curriculares da escola, no período de uma aula (50 minutos), de forma que não comprometa o conteúdo programático de ensino escolar. As oficinas são realizadas por educadores do Programa Descolado nas turmas de estudantes do 6º ano do ensino fundamental II das escolas municipais do Recife⁹9 Recife. Prefeitura. Sistema Mais Recife de Política sobre Drogas: Programa Mobiliza Recife (relatório interno). Recife: Prefeitura; 2018.. Entretanto, não se explicita a quantidade de educadores por turma. Quando questionados, os participantes referem que são quatro educadores sociais atuando em sala e o coordenador, que também atua como educador, além de ressaltarem a importância de haver educadores de gêneros diferentes:

É importante ressaltar que o desenvolvimento do documento oficial do Programa Descolado é recente, e, durante a leitura, encontraram-se algumas incoerências no texto que foram repassadas para a equipe técnica do programa fazer as devidas correções, como, por exemplo, a quantidade de oficinas, que são oito e não nove, como descrito, e dificuldades no entendimento acerca de aspectos relativos ao relatório mensal do programa, por estarem apresentados em ordens distintas no documento, como, por exemplo, por quem o relatório seria redigido e de que forma.

Além disso, durante a etapa de validação do ML do programa (descrito a seguir – Passo 3), os experts também fizeram contribuições para ajustes ortográficos e/ou de checagem de algumas informações escritas, o que também foi repassado para a equipe do programa:

Passo 3. Construção e validação do ML do Programa Descolado

O ML (versão final) do Programa Descolado está apresentado na figura 1. No lado esquerdo da figura, estão especificados os quatro componentes (Gestão, Articulação Intersetorial, Formação de Educadores, Promoção de saúde e prevenção ao uso de drogas com adolescentes); assim como os sete subcomponentes (Planejamento; Pactuação escolar; Oficinas formativas; Oficinas; Monitoramento e avaliação em três componentes); e, por fim, a estrutura (recursos necessários para o desenvolvimento do programa); e os processos do programa (as atividades desenvolvidas).

O modelo mostra como cada processo leva a mais de um resultado imediato (curto prazo), e estes aos resultados intermediários, com vistas ao impacto esperado de redução da vulnerabilidade ao uso de drogas na adolescência. Além disso, também é possível observar no modelo as conexões internas existentes entre os resultados, indicando como um influencia e é influenciado pelo outro.

O primeiro componente do ML, Gestão, identifica as atividades e responsabilidades no âmbito da Sepod da cidade do Recife quanto ao Planejamento das ações e Monitoramento e avaliação do programa. Esse componente se refere às atribuições da equipe de gestão do programa, que tem como principais processos: mapear as escolas que estão em áreas de maior vulnerabilidade ao uso de drogas; realizar reunião com o gestor escolar para verificar a disponibilidade de espaço, turmas e horários; planejar as ações; adquirir e disponibilizar os insumos; realizar suporte técnico à equipe do programa na escola; realizar reuniões de acompanhamento com equipe técnica; e monitorar e avaliar as ações do programa.

O segundo componente, Articulação Intersetorial, corresponde às atividades desenvolvidas pela equipe da Sepod Recife quanto à Pactuação Escolar. Entre os processos desenvolvidos estão: articular com a Secretaria Municipal de Educação a implementação do programa nas escolas; articular e pactuar com os gestores esco -lares sobre adesão ao programa; comunicar toda a equipe escolar para garantir essa pactuação.

O terceiro componente, Formação de Educadores, corresponde ao processo de formação da equipe do programa para garantir a aplicabilidade de forma consistente e coerente com o referencial teórico fundamentado. São realizadas oficinas formativas, seu monitoramento e sua avaliação. Como principais processos, são realizadas oficinas de formação antes das ações nas escolas; encontros com a equipe de educadores para discutir e compartilhar as experiências vivenciadas nas oficinas e definir estratégias de enfrentamento das dificuldades encontradas na sala de aula.

O quarto componente, Promoção de saúde e Prevenção ao Uso de Drogas com Adolescentes, caracteriza-se pelo rol de ações/atividades desenvolvidas pelos profissionais da equipe do programa a fim de trabalhar a problemática das drogas de uma forma dialógica e participativa com os adolescentes na escola. Para tanto, são realizadas oficinas com os adolescentes e o monitoramento e a avaliação dessas oficinas. Como principais processos, são desenvolvidas oito oficinas com os adolescentes do 6º ano, com base nos princípios das Habilidades de Vida e do referencial teórico-metodológico de Paulo Freire; construção da Prática de Planejamento Pessoal (anteriormente, denominado Plano de Promoção Pessoal), como produto final das oficinas; além de reunião com a equipe de educadores para discussão sobre a intervenção e posterior elaboração de relatório semanal.

Durante a construção do modelo lógico, os informantes-chave foram convidados a refletir criticamente sobre o Programa Descolado e a perceber os pontos que precisavam ser esclarecidos e/ou modificados. Assim, uma primeira versão do modelo foi construída de forma participativa entre as pesquisadoras e a equipe técnica do Programa Descolado, de forma consensual e submetida à validação pelos especialistas.

De posse dessa primeira versão do modelo, iniciou-se a etapa de validação com experts na temática de drogas e de avaliação de programas. Na primeira rodada do consenso de validação do modelo, participaram 12 especialistas.

O nível de concordância obtido nessa primeira rodada foi de 75%. Diante disso, foi necessário realizar a segunda rodada de opiniões. As sugestões que obtiveram o consenso entre os pesquisadores foram acatadas, e o modelo revisado foi novamente enviado aos participantes com a informação das principais modificações realizadas na primeira rodada de opiniões.

Valem ser ressaltados, com relação à primeira rodada, alguns comentários dos especialistas sobre a relevância do estudo e do Programa Descolado:

Na segunda rodada de opiniões, os participantes foram solicitados a realizar um novo julgamento sobre o ML corrigido. Dos 12 especialistas participantes da primeira rodada, oito participaram da segunda rodada de opiniões. Os demais especialistas não responderam por indisponibilidade de tempo. O nível de concordância obtido nessa segunda rodada foi de 100%, não sendo necessária nova consulta.

Após a validação, o ML foi encaminhado à equipe técnica do programa para julgar a pertinência da sua utilização e as modificações sugeridas.

Passo 5. Desenvolvimento de um modelo teórico do Programa Descolado

O modelo teórico apresentado na figura 2 foi elaborado com base no ML validado no passo anterior e apresenta: o contexto, em um âmbito mais macro, em que o programa está inserido; o contexto político-institucional do programa; as ações desenvolvidas (implementação), bem como os aspectos que as influenciam; os principais resultados que se esperam do Programa Descolado; e o impacto final esperado na população-alvo, ou seja, a teoria do programa.

O Programa Descolado foi desenvolvido para ser aplicado nas escolas municipais do Recife. No entanto, nem todas as escolas são contempladas. Antes da implantação do programa, é realizado, de forma intersetorial, um mapeamento do contexto em que a escola está circunscrita. Dessa forma, as escolas que recebem as ações do programa estão em áreas de maior vulnerabilidade para crimes e violência e utilização de drogas na localidade.

O contexto político-institucional do Programa Descolado acontece no nível municipal, de forma que as outras esferas do governo não interferem no programa. Cabe ao poder municipal formular, apoiar tecnicamente e financeiramente a implementação, monitorar e avaliar o programa.

Como apresentado nos passos anteriores, a implementação do Programa Descolado na escola acontece, principalmente, através de oficinas educativas e formativas que são influenciadas e sofrem influência de diversos atores sociais dentro desse contexto escolar. Essa implementação só é efetivada se houver um planejamento prévio, monitoramento e avaliação ao longo da implementação e uma articulação intersetorial, principalmente entre as áreas da saúde, educação e assistência social.

O Programa Descolado é fundamentado teórica, pedagógica e praticamente pelos referenciais das Habilidades de Vida propostos pela OMS e pela Pedagogia de Paulo Freire, que direcionam todas as etapas da sua implementação e se constituem como conceitos substanciais para alcançar os efeitos esperados pelo programa.

No modelo teórico, apresenta-se um recorte dos principais resultados esperados, contidos no ML do programa, para atingir o impacto que o Programa Descolado almeja, que é a redução da vulnerabilidade ao uso de drogas na adolescência. Os resultados esperados contemplam a interferência nas condutas tomadas pelos adolescentes pela equipe do programa, como também uma autocrítica do programa em si. Todas essas dimensões do Programa Descolado são respaldadas pelas políticas públicas nacionais e internacionais de promoção e prevenção do uso de drogas, pelas estratégias intersetoriais e por diretrizes de atenção à saúde do adolescente.

Passos 6 e 7. Identificação dos usuários e definição dos procedimentos de avaliação

Realizou-se reunião com a equipe técnica do Programa Descolado com a finalidade de identificar os principais usuários e os envolvidos em avaliações posteriores, bem como as principais inquietações sobre a implementação do programa que possam ser respondidas na avaliação, levando em consideração os modelos lógico e teórico elaborados.

A equipe apontou que os principais envolvidos na avaliação seriam os adolescentes – participantes das oficinas, a gestão escolar e a própria equipe técnica do programa –, educadores e gestão.

As perguntas avaliativas consensuadas pela equipe técnica do Programa Descolado foram compiladas e categorizadas de acordo com os componentes do modelo lógico: gestão e articulação intersetorial; formação de educadores; promoção de saúde e prevenção ao uso de drogas com adolescentes, e estão apresentadas no quadro 2.

Discussão

Os resultados do estudo indicaram que o Programa Descolado é avaliável, auxiliaram na organização e descrição de forma lógica do programa, por meio da modelização – ML da intervenção e teórico da avaliação –, e contribuíram para o aprimoramento da sua estruturação, indicando pontos de ajustes nos objetivos, atividades e recursos. Ademais, na última etapa, identificou-se uma série de perguntas avaliativas que podem ser norteadoras para outras avaliações sobre o programa.

A partir do EA, foi possível visualizar, de forma mais nítida, as relações causais existentes no programa, bem como das problemáticas que se deseja resolver, suas diretrizes, objetivos, resultados esperados e processos necessários para alcançá-los⁷7 Bezerra LA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, et al., organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 65-78.. Realizado por avaliadores externos, com participação e apoio de especialistas em avaliação e a equipe técnica do Programa Descolado, este estudo possibilitou mudanças desde o início do processo avaliativo. Conduzir um EA também significa avaliar e criticar até que a descrição do programa seja coerente e lógica, por isso, é frequente a necessidade de modificar descrições e atividades do programa⁶6 Thurston WE, Ramaliu A. Evaluability Assessment of a Survivors of Torture Program: Lessons Learned. The Canad. J. Prog. Evaluat. 2005; 20(2):1-25..

Nessa perspectiva, durante o processo do EA, a equipe técnica do programa refletiu criticamente sobre o objetivo do Programa Descolado e decidiu modificar as normativas para melhorar a coerência entre o proposto e o que está sendo implementado pelo programa. Dessa forma, o objetivo do programa atualmente é ‘ampliar a capacidade dos alunos do 6º ano da Rede Municipal de Ensino de Recife (PE) de apresentar posturas críticas, autônomas e de prevenção frente à possibilidade do uso de álcool e outras drogas’.

Cabe pontuar uma incongruência identificada na fundamentação teórica do Programa Descolado sobre a estratégia de prevenção na qual o programa se fundamenta. Em seu documento, o programa é definido como uma ‘estratégia universal e seletiva do uso de álcool e outras drogas’. Entretanto, ao se analisarem as características do Programa Descolado, percebe-se que ele se configura como uma estratégia universal do uso de álcool e outras drogas, visto que é dirigido a uma população geral, sem qualquer estratificação por grupo de risco⁴4 United Nations Office on Drugs and Crime. International Standards on Drug Use Prevention. 2013. [acesso em 2023 jan 16]. Disponível em: https://www.unodc.org/documents/lpo-brazil/Topics_drugs/Publicacoes/prevention_standards_1.pdf.
https://www.unodc.org/documents/lpo-braz... .

Nas diretrizes ou normativas do Programa Descolado, no tocante às oficinas formativas com educadores, fica claro que conformam um dos eixos principais, por se compreender que os educadores precisam estar embasados e alinhados com os referenciais teóricos e metodológicos do programa para que o objetivo seja alcançado. Domitrovich e colaboradores¹³13 Domitrovich CE, Bradshaw CP, Poduska JM, et al. Maximizing the Implementation Quality of Evidence-Based Preventive Interventions in Schools: A Conceptual Framework. Adv. in School Ment. Health Promotion. 2008; 1(3):6-28. afirmam que, quando os componentes principais de um programa não são implementados, quando são implementados com fragilidade ou quando são feitas adaptações negativas, tais fragilidades potencialmente podem reduzir a eficácia e o impacto do programa.

Em contrapartida, na entrevista, a equipe aponta uma inconsistência com relação ao processo formativo, pois admite indefinições de como essa acontecerá. Além disso, não fica claro como ocorrerá esse processo de formação: sua operacionalização, quem conduzirá a formação, quais as temáticas abordadas (de forma mais específica), entre outras informações relevantes, para que esse eixo também seja avaliado e, posteriormente, replicado por outros gestores.

Nessa mesma perspectiva, com relação às oficinas com os adolescentes, um ponto de atenção encontrado durante o EA está relacionado com o perfil dos educadores que implementam as oficinas. As diretrizes do programa não apresentam de forma explícita: quem são esses implementadores? Qual é a sua formação? São contratados especificamente para essa finalidade? Quais são os requisitos necessários para implementarem o Descolado? Qual tempo de formação para implementarem o programa?

A importância de trazer de forma mais consistente e clara o processo de formação do Programa Descolado, bem como o perfil dos implementadores, impacta o sucesso da implementação do programa. Assim, uma intervenção tende a ser bem-sucedida em sua implementação se contar com recursos humanos adequadamente formados, conhecedores da intervenção e com atitudes favoráveis a ela, aos seus princípios teóricos e seu desenho lógico¹⁴14 Santos KB, Murta SG. A implementação de programas de promoção e prevenção no âmbito da saúde mental. In: Murta SG, Leandro-França C, Santos KB, et al., organizadores. Prevenção e promoção em saúde mental: fundamentos, planejamento e estratégias de intervenção. Novo Hamburgo: Sinopsys; 2015..

Vale ressaltar que a pesquisa dos documentos do programa identificou um documento oficial do Programa Descolado, que permitia analisar suas normativas. De acordo com Natal e colaboradores¹⁵15 Natal S, Samico I, Gonçalves L, et al. Estudo de avaliabilidade da rede de formação de Recursos Humanos da Secretaria de Vigilância em Saúde do Ministério da Saúde. Cad. Saúde Colet. 2010; 18(4):560-71., programas em fase de criação tendem a apresentar poucos documentos relativos à organização e ao funcionamento. Dessa forma, entendendo o Programa Descolado em fase de desenvolvimento, compreende-se que lacunas e ajustes verificados neste estudo precisam ser superados por parte da equipe de desenvolvedores do programa.

A descrição do programa é um dos passos no planejamento de uma avaliação, e o desenho do ML constitui-se em uma das estratégias que podem ser desenvolvidas para essa descrição. O ML é entendido enquanto um esquema visual que apresenta como um programa deve ser implementado e quais resultados são esperados¹⁶16 Champagne F, Brousselle A, Hartz Z, et al. Modelizar as Intervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, et al., organizadores. Avaliação: Conceitos e Métodos. Rio de Janeiro: Editora Fiocruz, 2011. p. 61-74.. Nesse aspecto, o ML foi construído juntamente com a equipe técnica do Programa Descolado e validado por especialistas. A participação dos grupos envolvidos no programa é fundamental nesse processo de modelização¹⁷17 Brunner R, Craig P, Watson N. Evaluability assessment: An application in a complex community improvement setting. Evaluation. 2019; 25(3):349-65..

A validação por juízes especialistas doutores na área com anos de experiência na temática de avaliação de políticas/programas e/ou na área de álcool e outras drogas potencializou a construção do ML do Programa Descolado, pois possibilitou contribuições significativas para reajuste do programa com robustez e consistência. Novas perspectivas e apontamentos possibilitaram uma reflexão crítica por parte da equipe do programa – intencionalidade, objetivos, desfechos. Algumas dessas modificações puderam ser realizadas ao longo do processo de validação. Já outras precisam ser discutidas e aprofundadas pela equipe técnica para saber se serão factíveis ao Programa Descolado.

De acordo com Zina e colaboradores¹⁸18 Zina LG, Neves ÉSM, Portugal ÉLA, et al. Estudo de avaliabilidade da atenção especializada em saúde bucal no sistema público de saúde brasileiro. Research, Society and Develop. 2022; 11(3):e52111326158., a apropriação do ML também pode contribuir para verificar se os objetivos do serviço estão sendo alcançados e ainda sinalizar os avanços e desafios encontrados na implantação do programa.

Sobre a relevância do referencial Freireano¹⁹19 Freire P. Pedagogia da Autonomia: saberes necessários à prática educativa. 25. ed. São Paulo: Paz e Terra; 2002., é importante destacar alguns comentários dos especialistas que ressaltam o uso desse referencial como eixo estruturante da proposta, proporcionando consistência teórica ao programa, por se tratar de uma metodologia atemporal. Ressaltaram, ainda, a pertinência do Programa Descolado em preocupar-se menos com questões conteudistas sobre drogas e dar maior atenção ao humano. Além disso, o modelo das Habilidades de Vida, outro referencial teórico estruturante do programa, também é reconhecido como um modelo de prevenção que propõe que jovens com habilidades de competência pessoal e social tenham menos chances de se envolver em comportamentos problemáticos, bem como promovem autoeficácia e expectativas de sucesso futuro²⁰20 Botvin GJ, Griffin KW. Avaliação de Programas de prevenção e promoção em saúde mental. In: Murta SG, Leandro-França C, Santos KB, et al., organizadores. Prevenção e promoção em saúde mental: fundamentos, planejamento e estratégias de intervenção. Novo Hamburgo: Sinopsys; 2015..

Esse processo de modelização torna mais clara a teoria do programa e permite a elaboração de perguntas avaliativas²¹21 Bicalho JMF, Guimarães EAA, Freitas PP, et al. Desenvolvendo modelos para o Programa de Promoção da Alimentação Adequada e Saudável: um estudo de avaliabilidade. Res. Soc. Develop. 2021; 10(10):e600101019051.. Essa proposta da definição dos procedimentos de avaliação de forma conjunta com os atores envolvidos no programa instigou uma construção participativa do modelo avaliativo⁸8 Macedo TR, Possoli L, Natal S, et al. Revisão integrativa sobre Estudos de Avaliabilidade na área da saúde no Brasil / Integrative review on Health Evaluability Studies in Brazil. Braz. J. Health Review. 2020; 3(5):13620-37.. É importante pontuar que, para além dessa etapa específica, todo o EA foi realizado de forma participativa com a equipe técnica do programa, e, por isso, percebeu-se um maior engajamento e uma maior apropriação não só do processo avaliativo em si, mas a incorporação dos resultados e sugestões para a implantação do programa.

Esse enfoque qualitativo-participativo, o qual inclui os atores envolvidos nas ações, constitui-se como uma ferramenta que efetivamente subsidia a tomada de decisões, pois os efeitos desta pesquisa avaliativa são originados tanto de resultados consolidados ao final quanto durante o próprio processo de desenvolvimento do estudo, em uma perspectiva formativa²²22 Ronzani TM, Mota DCB, Costa PHA. Avaliação de necessidades em saúde mental: utilizando métodos participativos. In: Murta SG, Leandro-França C, Santos KB, et al., organizadores. Prevenção e promoção em saúde mental: fundamentos, planejamento e estratégias de intervenção. Novo Hamburgo: Sinopsys; 2015..

As perguntas avaliativas elaboradas com a equipe do Programa Descolado revelaram o interesse dos envolvidos no programa em identificar aspectos relacionados a cada componente do ML, abrangentes e com diversidade de objetos, objetivos e enfoques teórico-metodológicos factíveis ao desenvolvimento de análises e estudos futuros. Nesse sentido, vale sinalizar que, entre essas diversas possibilidades, a partir deste EA, desenvolveu-se uma avaliação da implantação do Programa Descolado por meio de um estudo de caso, o qual será objeto de uma outra publicação.

Algumas das dificuldades deste estudo estiveram relacionadas ao tempo de retorno dos juízes especialistas durante a validação do ML. A utilização de questionários por meio eletrônico para realizar a técnica Delphi é ainda um procedimento recente, que, apesar de possuir vantagens como rapidez na distribuição, na coleta e no processamento de dados e alcance de potenciais respondentes que podem estar distantes geograficamente, pode levar ao aumento das taxas de não respondentes, o que causa perdas amostrais²¹21 Bicalho JMF, Guimarães EAA, Freitas PP, et al. Desenvolvendo modelos para o Programa de Promoção da Alimentação Adequada e Saudável: um estudo de avaliabilidade. Res. Soc. Develop. 2021; 10(10):e600101019051., ²³23 Jünger S, Payne SA, Brine J, et al. Guidance on Conducting and Reporting Delphi Studies (CREDES) in palliative care: Recommendations based on a methodological systematic review. Palliative Med. 2017; 31(8):684-706.. Essas limitações foram sanadas flexibilizando-se o prazo de entrega das devolutivas.

Uma limitação encontrada durante a realização das etapas deste estudo está relacionada com a saída de alguns profissionais da equipe gestora do Programa Descolado que foram desligados da função devido a mudanças no cenário político⁸8 Macedo TR, Possoli L, Natal S, et al. Revisão integrativa sobre Estudos de Avaliabilidade na área da saúde no Brasil / Integrative review on Health Evaluability Studies in Brazil. Braz. J. Health Review. 2020; 3(5):13620-37.. Essas limitações foram contornadas por meio da equipe técnica, que permaneceu fornecendo todo o suporte para que a pesquisa ocorresse.

Considerações finais

Este estudo aponta que o Programa Descolado foi considerado avaliável, pois foi possível estabelecer parâmetros avaliativos; e identificaram-se dados necessários para uma pesquisa de avaliação de processo e de resultados passíveis de serem coletados.

Verificou-se que os objetivos do Programa Descolado foram ajustados e refletem o que o programa se propõe a fazer, porém, algumas fundamentações teóricas, bem como a operacionalização e a avaliação de algumas ações, ainda precisam ser aperfeiçoadas, a fim de contribuir de forma mais eficaz para o processo de implementação do Programa Descolado nas escolas do Recife. Dessa forma, recomenda-se que os desenvolvedores corrijam e fortaleçam tais lacunas identificadas na diretriz do Programa.

A modelização descrita neste estudo avaliativo buscou descrever de forma esquemática o Programa Descolado, proporcionando melhor conhecimento e entendimento dos gestores e profissionais técnicos envolvidos com a implementação do programa e subsidiar futuros estudos, seja para verificar a operacionalização dos processos ou mensurar o alcance dos resultados pretendidos. Também há a possibilidade de sua difusão como um programa, uma vez verificadas suas evidências, para ser aplicado em outras cidades brasileiras.

Os resultados deste trabalho podem contribuir para a realização de novos estudos de avaliabilidade de outros programas e políticas, não apenas na área da saúde como também na área social. Além de subsidiar a readequação das atividades e a elaboração de normas operacionais mais claras que facilitem o processo de implantação desses programas e/ou políticas, sua implementação e avaliação. Ressalta-se que o referencial teórico dos sete passos proposto neste estudo torna o EA mais didático e possível de ser replicado tanto para outros estudos sobre o Programa Descolado quanto para outras intervenções.

Referências

Datas de Publicação

Histórico