Resumo:

Com a implantação da atenção domiciliar no âmbito do Sistema Único de Saúde (SUS), diante da necessidade de capacitação de gestores e profissionais, criou-se o Programa Multicêntrico de Qualificação Profissional em Atenção Domiciliar a Distância (PMQPAD) numa parceria entre a Universidade Aberta do SUS e a Coordenação Geral de Atenção Domiciliar do Ministério da Saúde. Por meio de cursos de especialização, aperfeiçoamento e autoinstrucionais, o programa teve grande capilaridade e alcance no país, com quase 300 mil matrículas distribuídas em todos os estados brasileiros. O objetivo do presente estudo foi estruturar um modelo avaliativo do PMQPAD, por meio de um estudo de avaliabilidade, com a participação dos gestores do programa. Foi utilizada a metodologia desenvolvida por Thurston & Ramaliu, cujas etapas permitiram descrever o programa, representá-lo por meio de um modelo lógico e desenvolver uma matriz avaliativa. Foram realizadas análise documental, entrevistas semiestruturadas e oficinas de consenso para validação do modelo. O processo resultou no desenvolvimento de três matrizes avaliativas, uma para cada modalidade de curso do programa, com quatro dimensões de análise em comum (Características do curso e recursos educacionais; Aspectos institucionais; Resultados; Impactos). Os indicadores avaliativos tiveram, como fontes de dados primários, os alunos, os tutores e os gestores do curso. O estudo contou com a participação dos stakeholders e mostrou-se apropriado para o desenvolvimento da proposta avaliativa. Destaca-se o potencial de utilização das matrizes avaliativas desenvolvidas para a avaliação de outros programas de formação a distância no âmbito do SUS.

Palavras-chave:
Avaliação em Saúde; Avaliação do Ensino; Serviços de Assistência Domiciliar; Educação à Distância; Atenção Primária à Saúde

Abstract:

With the implementation of home care in the Brazilian Unified National Health System (SUS), the need to train administrators and health workers led to the creation of the Multicenter Program for Professional Qualification in Distance Home Care (PMQPAD) in a partnership between the SUS Open University and the General Coordinating Division for Home Care, of the Brazilian Ministry of Health. Through courses in specialization, improvement, and self-instruction, the program achieved wide capillarity and scope in the country, with nearly 300,000 enrollments across all states of Brazil. The current study aimed to structure a model to assess the PMQPAD through an evaluability study with participation by the program’s administrators. We used the methodology developed by Thurston & Ramaliu, the stages of which allowed describing the program, representing it with a log frame model, and developing a evaluation matrix. We conducted document analysis, semi-structured interviews, and consensus workshops for the model’s validation. The process resulted in the development of three evaluation matrices, one for each of the program’s course modalities, with four analytical dimensions in common (Course characteristics and educational resources; Institutional aspects; Results; Impacts). The primary data sources for the evaluation indicators were the students, tutors, and administrators. The study drew on stakeholders’ participation and proved appropriate for the development of the evaluation proposal. The results highlight the potential for use of evaluation matrices developed for the assessment of other distance training programs under the SUS.

Keywords:
Health Evaluation; Educational Assessment; Home Care Services; Distance Education; Primary Health Care

Resumen:

Con la implantación de la atención domiciliaria en el ámbito del Sistema Único de Salud (SUS), ante la necesidad de la capacitación de gestores y profesionales, se creó el Programa Multicéntrico de Cualificación Profesional en Atención Domiciliaria a Distancia (PMQPAD), en una colaboración entre la Universidad Abierta del SUS y la Coordinación General de Atención Domiciliaria del Ministerio de Salud de Brasil. A través de cursos de especialización, perfeccionamiento y de autoaprendizaje, el programa tuvo una gran capilaridad y alcance en el país, con casi 300 mil matrículas, distribuidas por todos los estados brasileños. El objetivo del presente estudio fue estructurar un modelo evaluativo del PMQPAD, a través de un estudio de disponibilidad, con la participación de los gestores del programa. Se utilizó la metodología desarrollada por Thurston & Ramaliu, cuyas etapas permitieron describir el programa, representarlo a través de un modelo lógico, y desarrollar una matriz evaluativa. Se realizó un análisis documental, entrevistas semiestructuradas y talleres de consenso para la validación del modelo. El proceso resultó en el desarrollo de tres matrices evaluativas, una para cada modalidad de curso del programa, con cuatro dimensiones de análisis en común (Características del curso y recursos educacionales; Aspectos institucionales; Resultados; Impactos). Los indicadores evaluativos tuvieron como fuentes de datos primarios los alumnos, los tutores y los gestores del curso. El estudio contó con la participación de los stakeholders, y se mostró apropiado para el desarrollo de la propuesta evaluativa. Se destaca el potencial de utilización de las matrices evaluativas desarrolladas para la evaluación de otros programas de formación a distancia en el ámbito del SUS.

Palabras-clave:
Evaluación en Salud; Evaluación de la Educación; Servicios de Atención de Salud a Domicilio; Educación a Distancia; Atención Primaria de Salud

Introdução

A atenção domiciliar (AD) caracteriza-se pela oferta de cuidados ao indivíduo em seu domicílio, realizados por profissionais de saúde. Em contraposição aos serviços prestados em hospitais ou em outros estabelecimentos de saúde, a AD é entendida como uma modalidade de atenção substitutiva ou complementar no âmbito dos sistemas de saúde ¹1. Ministério da Saúde. Portaria nº 2.029, de 24 de agosto de 2011. Institui a Atenção Domiciliar no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União 2011; 25 ago..

Ainda que experiências bem-sucedidas em AD sejam anteriores à implantação do Sistema Único de Saúde (SUS), o processo de institucionalização dessa modalidade no sistema de saúde brasileiro efetivou-se com a publicação da Portaria nº 2.029/2011, de Ministério da Saúde ¹1. Ministério da Saúde. Portaria nº 2.029, de 24 de agosto de 2011. Institui a Atenção Domiciliar no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União 2011; 25 ago., que conferiu à AD status de política nacional e estabeleceu a participação do Governo Federal no seu financiamento. Sua organização no território se deu por meio dos Serviços de Atenção Domiciliar (SAD), compostos por três modalidades de atenção, conforme a complexidade do cuidado, e dois tipos de equipes: a Equipe Multiprofissional de Atenção Domiciliar (EMAD) e a Equipe Multiprofissional de Apoio (EMAP) ²2. Ministério da Saúde. Portaria nº 825, de 25 de abril de 2016. Redefine a Atenção Domiciliar no âmbito do Sistema Único de Saúde (SUS) e atualiza as equipes habilitadas. Diário Oficial da União 2016; 26 abr..

De 2011 a 2019, portanto em sete anos de implantação, os SAD atingiram uma cobertura de 28,5% da população brasileira. Em 2012, havia 100 equipes cadastradas no serviço em todo o país, passando para 1.293 equipes em dezembro de 2019, distribuídas em 480 municípios e 26 Unidades Federativas, com cerca de 7 mil profissionais cadastrados (Departamento de Informática do SUS. http://tabnet.datasus.gov.br/cgi/deftohtm.exe?cnes/cnv/equipebr.def, acessado em 23/Mar/2020). Esses avanços qualificam os serviços prestados aos usuários e convergem aos fundamentos da Rede de Atenção à Saúde (RAS), sobretudo aqueles destacados por Mendes ³3. Mendes EV. As redes de atenção à saúde. Brasília: Organização Pan-Americana da Saúde; 2011., notadamente os processos de substituição e os fundamentos ligados à economia de escala, qualidade e acesso.

O crescimento da modalidade AD é uma tendência mundial, associada a fatores como a acelerada transição demográfica e epidemiológica, o envelhecimento populacional - resultando em custos crescentes na saúde -, além do processo de desinstitucionalização e adoção de uma abordagem mais humanizada na atenção à saúde ⁴4. Procópio LCR, Seixas CT, Avellar RS, Silva KL, Santos MLM. A atenção domiciliar no âmbito do Sistema Único de Saúde: desafios e potencialidades. Saúde Debate 2019; 43:592-604.^,55. Ministério da Saúde. Atenção domiciliar no SUS: resultados do laboratório de inovação em atenção domiciliar. Brasília: Ministério da Saúde; 2014.. Mesmo em diferentes sistemas nacionais de saúde, pautados em modelos privatistas, de seguro ou de seguridade social, a AD é realidade em países como Canadá, Noruega, Inglaterra, Portugal, Espanha, Dinamarca e Austrália. Na América Latina, destacam-se o México, a Argentina, a Colômbia e o Brasil ⁵5. Ministério da Saúde. Atenção domiciliar no SUS: resultados do laboratório de inovação em atenção domiciliar. Brasília: Ministério da Saúde; 2014.. Contudo, o investimento em AD em sistemas universais de saúde tem sido profundamente afetado pelo subfinanciamento estrutural, com financiamento público cada vez mais residual e um papel crescente no fornecimento de serviços privados, com consequências potencialmente prejudiciais para a qualidade da assistência domiciliar e para sua sustentabilidade ⁵5. Ministério da Saúde. Atenção domiciliar no SUS: resultados do laboratório de inovação em atenção domiciliar. Brasília: Ministério da Saúde; 2014..

Os estudos brasileiros têm demonstrado avanços e desafios no processo de implantação da AD no SUS. Dentre os avanços, destacam-se a integralidade da assistência, a melhoria do fluxo de serviços e os potenciais econômico-financeiros; enquanto os desafios, para além do (sub)financiamento, são demonstrados na inadequação dos mecanismos de entrada e continuidade do cuidado, na falta de articulação com programas e serviços de assistência social, na baixa coordenação interprofissional e na falta de profissionais habilitados para gestão do cuidado em AD ⁵5. Ministério da Saúde. Atenção domiciliar no SUS: resultados do laboratório de inovação em atenção domiciliar. Brasília: Ministério da Saúde; 2014.^,66. Andrade AM, Silva KL, Seixas CT, Braga PP. Atuação do enfermeiro na atenção domiciliar: uma revisão integrativa da literatura. Rev Bras Enferm 2017; 70:210-9.^,77. Savassi LCM. Os atuais desafios da atenção domiciliar na atenção primária à saúde: uma análise na perspectiva do Sistema Único de Saúde. Rev Bras Med Fam Comunidade 2016; 11:1-12..

A necessidade de qualificação dos profissionais em AD é um dos principais desafios para sua expansão no Brasil, uma vez que a formação em saúde é realizada em estabelecimentos de saúde, com foco em ambientes hospitalares e ambulatoriais. O domicílio não se constitui como um campo de atuação, e o tema AD raramente se faz presente nos cursos de graduação, pós-graduação ou residências ⁷7. Savassi LCM. Os atuais desafios da atenção domiciliar na atenção primária à saúde: uma análise na perspectiva do Sistema Único de Saúde. Rev Bras Med Fam Comunidade 2016; 11:1-12..

A formação continuada presencial em AD para os profissionais que compõem a força de trabalho no SUS, dada a dimensão continental brasileira, é um obstáculo que a Educação a Distância (EaD) pode contornar. Nesse sentido, em 2012, por uma iniciativa da Coordenação Geral de Atenção Domiciliar (CGAD) e da Secretaria de Gestão do Trabalho e da Educação (SGTES) do Ministério da Saúde, instituiu-se, pela Universidade Aberta do SUS (UNA-SUS), o Programa Multicêntrico de Qualificação Profissional em Atenção Domiciliar a Distância (PMQPAD), com o objetivo de ampliar a qualificação de gestores e profissionais de saúde para atuação no Programa Melhor em Casa. O PMQPAD oportunizou que gestores e trabalhadores do SUS entrassem em contato com saberes, práticas e normativas, estimulando-os a refletir sobre a prática, a fim de aplicá-los na sua realidade de trabalho ⁸8. Savassi LCM, Franco SM, Oliveira VA. Construindo um curso a distância de atenção domiciliar multicêntrico, multiprofissional, multi-institucional, multiformatos. In: Gusmão CMG, Borba VR, Menezes Jr. JV, Oliveira CAP, Nascimento EN, Oliveira VA, organizadores. II relato de experiências em tecnologias educacionais do sistema UNA-SUS 2015. Recife: Editora Universitária da UFPE; 2015. p. 98-121..

Apesar da grande relevância desse programa na formação em saúde para o SUS, especialmente no contexto da AD, ainda não foi realizada uma avaliação sistematizada de seus resultados e impactos. Nesse sentido, um estudo de avaliabilidade pode verificar a viabilidade da realização de um processo avaliativo, tendo, como principais produtos, a modelização do programa e a elaboração de uma proposta de avaliação baseada nas perguntas avaliativas levantadas junto aos stakeholders, o que aumenta suas chances de uso ⁹9. Leviton LC, Khan LK, Rog D, Dawkins N, Cotton D. Evaluability assessment to improve public health policies, programs, and practices. Annu Rev Public Health 2010; 31:213-33.^,1010. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. Can J Program Eval 2005; 20:1-25.. Não foram identificados, na literatura científica nacional e internacional, estudo de avaliabilidade que fizesse menção a programas de EaD voltados aos profissionais de saúde.

Portanto, o presente estudo tem como objetivo promover a estruturação de um processo avaliativo para o aprimoramento do PMQPAD, por meio de um estudo de avaliabilidade desenvolvido com a participação dos gestores do PMQPAD, da CGAD, da UNA-SUS e das oito universidades parceiras envolvidas com o programa.

Metodologia

Trata-se de um estudo de avaliabilidade, realizado a partir das sete etapas identificadas por Thurston & Ramaliu ¹⁰10. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. Can J Program Eval 2005; 20:1-25.. Esse tipo de estudo, definido também como avaliação exploratória ou atividade pré-avaliativa, é recomendado por seu potencial de maximizar a chance de que as avaliações resultem em informações pertinentes e úteis para os tomadores de decisão ⁹9. Leviton LC, Khan LK, Rog D, Dawkins N, Cotton D. Evaluability assessment to improve public health policies, programs, and practices. Annu Rev Public Health 2010; 31:213-33..

Participaram deste estudo representantes das oito instituições de Ensino Superior (IES), que elaboraram e ofereceram os cursos que compõem o PMQPAD (Universidade Federal de Pelotas - UFPEL; Universidade Federal de Santa Catarina - UFSC; Universidade Federal de Minas Gerais - UFMG; Universidade do Estado do Rio de Janeiro - UERJ; Universidade Federal de Pernambuco - UFPE; Universidade Federal do Maranhão - UFMA; Universidade Federal de Ciências da Saúde de Porto Alegre - UFCSP; e Universidade Federal do Ceará - UFC), e a gestão do programa, composta por representantes da UNA-SUS e CGAD.

A primeira etapa realizada foi a “identificação dos documentos disponíveis relativos ao programa”. Foram analisados os documentos dos cursos ofertados pelo programa até o fim de 2018, tais como projetos dos cursos, planos pedagógicos, relatórios, e termos de referência, os quais foram obtidos diretamente com os coordenadores dos cursos das IES e com a gestão do programa, que os enviaram à equipe de pesquisa por correio eletrônico. Três das oito IES não enviaram nenhum documento, e as demais enviaram apenas uma parte do que foi solicitado. Todos os documentos enviados foram submetidos a uma pré-análise, e, seguindo-se o critério de adequação, alguns foram selecionados para análise ¹¹11. Richardson RJ. Pesquisa social: métodos e técnicas. São Paulo: Editora Atlas; 1999.. Procedeu-se a leitura desses, sendo registradas as informações relevantes para subsidiar as etapas subsequentes.

Após a análise dos documentos, foram entrevistados gestores do programa e representantes das IES envolvidas. Foram realizadas nove entrevistas em profundidade, mediante consentimento livre e esclarecido dos participantes, utilizando-se um roteiro preestabelecido. As entrevistas com os gestores do programa (n = 3) foram realizadas com um representante da CGAD e dois representantes da UNA-SUS, presencialmente, no primeiro semestre de 2018. Com os coordenadores dos cursos das IES, foram realizadas presencialmente (n = 1) ou por web conferência (n = 5), no período entre fevereiro e junho de 2018. Um dos coordenadores não foi entrevistado e enviou, por escrito, as questões do roteiro de entrevista utilizado. Com isso, houve participação de sete das oito IES parceiras do programa. Uma das IES não respondeu a nenhuma das mensagens enviadas por e-mail nem aos contatos telefônicos realizados pela equipe de pesquisa. O registro das entrevistas foi realizado por anotações manuscritas e gravação em meio digital. As gravações foram transcritas integralmente. Para organização e análise dos dados provenientes dos documentos e das entrevistas, utilizou-se o software ATLAS.ti, versão 7 (http://atlasti.com/), associado à abordagem qualitativa de análise de conteúdo ¹²12. Bardin L. Análise de conteúdo. 5ª Ed. Lisboa: Edições 70; 2009..

A etapa de “descrição do programa” foi então realizada a partir das informações obtidas na análise dos documentos e das entrevistas, seguida pela etapa de “modelagem”. O modelo lógico desenvolvido foi validado em oficina de consenso com os gestores do PMQPAD, em junho de 2018, e contou com oito participantes, em formato presencial. A oficina permitiu a “obtenção de um entendimento preliminar de como o programa opera”, sendo concluída mais uma etapa do estudo de avaliabilidade.

A etapa de “desenvolvimento de um modelo avaliativo” ocorreu entre os meses de março a setembro de 2018. Para a construção do modelo lógico e da matriz de avaliação, foram realizadas reuniões semanais do grupo de pesquisa, no período de março a junho de 2018. Foram realizadas diversas buscas não sistematizadas na literatura e em sites institucionais para localização de estudos ou documentos sobre avaliação de cursos a distância. Esse material serviu como subsídio para a estruturação da proposta, que foi posteriormente submetida a duas oficinas de consenso para ajustes e validação. As oficinas foram realizadas com os coordenadores das IES, ambas por web conferência, uma em 27 de agosto de 2018, contando com 14 participantes, e outra em 10 de setembro de 2018, com sete participantes.

Para condução das oficinas de consenso, optou-se pela adoção da técnica de comitê tradicional, que envolve a discussão aberta entre especialistas selecionados, possibilitando as trocas de ideias e confronto entre opiniões divergentes ¹³13. Souza LEPF, Silva LMV, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Silva LMV, organizadoras. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz; 2005. p. 65-102.. O material foi previamente encaminhado aos convidados por correio eletrônico para que, no dia da oficina, todos tivessem a leitura crítica já realizada, facilitando as discussões.

As etapas de “identificação de usuários da avaliação” e “obtenção de um acordo quanto aos procedimentos para realização da avaliação” foram realizadas após os ajustes da matriz avaliativa discutidos nas oficinas de consenso, por meio de reuniões virtuais entre a equipe de pesquisa e os gestores do PMQPAD.

Do ponto de vista procedimental, para a realização desta pesquisa, foram adotadas as recomendações da Resolução nº 466/2012 do Conselho Nacional de Saúde, tendo sido o projeto aprovado no Comitê de Ética em Pesquisa da UFSC (CAAE: 88965418.6.0000.0121).

Resultados

Identificação dos documentos disponíveis relativos ao programa

Os documentos identificados e utilizados foram os projetos e planos pedagógicos dos cursos, termos de cooperação, relatórios de término dos cursos, atas e registros de reuniões e encontros, capacitações realizadas e tabelas quantitativas das ofertas dos cursos.

Os documentos relativos às reuniões e capacitações indicam o envolvimento constante da gestão do programa junto às IES nos processos de construção e validação dos cursos, que foram realizados de forma interinstitucional e colaborativa. Essa informação foi bastante enfatizada nas entrevistas posteriormente realizadas com informantes-chave, observando-se a confluência das informações dos documentos com os relatos.

Os planos dos cursos estavam coerentes com as respectivas ofertas realizadas em relação a conteúdo programático, público-alvo e cargas horárias. A oferta dos cursos excedeu a previsão inicial tanto em relação à quantidade quanto em relação ao período previsto. Havia uma previsão de oferta de 10 mil vagas para os cursos autoinstrucionais, 2 mil vagas para aperfeiçoamento e mil vagas para especialização. Embora tenham sido ofertadas menos vagas do que o previsto para especialização (700 vagas), para os cursos de aperfeiçoamento, foram 20.600, e autoinstrucionais, 446.480 vagas, ultrapassando muito a previsão inicial. A finalização do programa estava prevista para 2014, entretanto, ainda há cursos autoinstrucionais sendo ofertados em 2020. Observou-se atraso no lançamento dos cursos em relação ao cronograma inicialmente previsto nos documentos.

Apenas três IES enviaram relatórios dos cursos, e a documentação disponibilizada não permitiu análise mais aprofundada em relação a vários aspectos como as dificuldades e os desafios enfrentados pelas IES na oferta desses cursos, informações essas que poderiam contribuir muito na avaliação do programa. Destacam-se, nos relatórios, os produtos desenvolvidos a partir da produção dos cursos, como aplicativos para disponibilização dos materiais em dispositivos móveis e jogos eletrônicos educativos. Constavam, em dois relatórios, os resultados de enquetes realizadas com os alunos, cujas questões foram consideradas na estruturação da matriz avaliativa, principalmente aquelas que tinham relação com os recursos educacionais.

Durante o período de execução do programa, a legislação relativa ao SAD no SUS sofreu alterações, o que demandou das IES o trabalho de atualização dos materiais dos cursos para adequação em relação à legislação vigente.

A maioria dos cursos tinha, como público-alvo, profissionais de saúde, especialmente médicos e enfermeiros. Muitos dos cursos autoinstrucionais tiveram a possibilidade de inscrição de outras categorias profissionais, além da possibilidade de ingresso no curso na categoria “visitante”.

Não foram encontradas divergências entre os documentos analisados, nem divergências entre as informações contidas nos documentos, e as entrevistas posteriormente realizadas, encontrando-se uma relação de complementariedade.

Descrição do programa, modelagem e obtenção de um entendimento preliminar de como o programa opera

O PMQPAD surgiu a partir de uma demanda apresentada pela CGAD à UNA-SUS, da necessidade de qualificar profissionais de saúde para gestão e atuação no programa de AD no âmbito do SUS.

Não há portaria ou documento oficial do Ministério da Saúde instituindo o PMQPAD enquanto “programa”. Ele foi formalizado por termos de cooperação entre a CGAD e a Secretaria Executiva da UNA-SUS. Tem como objetivo qualificar profissionais de saúde de nível superior e técnico para atuar na AD no âmbito do SUS, realizando atividades de promoção à saúde, prevenção e tratamento de doenças e reabilitação, prestadas em domicílio, com garantia de continuidade de cuidados e integradas às redes de atenção à saúde. As metas do programa relacionam-se à quantidade de vagas oferecidas, descritas no item anterior.

É considerado um programa “multi-multis” pela abrangência com ofertas descentralizadas, multiformatos e multiprofissional, além de multicêntrico, pois reúne diferentes universidades de várias regiões brasileiras (Sul, Sudeste, Nordeste e Centro-oeste). Foram selecionadas oito IES que integram a rede UNA-SUS de universidades, considerando sua afinidade com o tema, mas, principalmente, sua expertise na produção de cursos nos formatos definidos, com as quais foi firmado convênio para produção e oferta dos cursos.

Desse modo, todos os cursos do programa foram desenvolvidos com envolvimento constante e intenso dos três atores do processo: CGAD como demandante, UNA-SUS como mediadora e as IES como produtoras dos cursos. Isso confere ao programa uma característica importante de parceria com os formuladores da política, fazendo com que as ofertas dos cursos respondessem às necessidades da política de AD que estava sendo implementada. O recurso financeiro de produção e oferta dos cursos foi repassado do Minstério da Saúde diretamente para as universidades, que fizeram sua gestão.

Até o fim de 2018, ocorreram 125 ofertas educacionais diferentes: 21 cursos autoinstrucionais (30 a 60 horas), sendo seis abertos a todos os públicos; dois cursos de aperfeiçoamento (180 horas) para profissionais de saúde e gestores e três cursos de especialização (360 horas) para médicos e enfermeiros. Desde 2013 até janeiro de 2020, foram mais de 287 mil matrículas distribuídas em todos os estados brasileiros, o que mostra a capilaridade dos cursos da rede UNA-SUS (Plataforma Arouca. https://arouca.unasus.gov.br/plataformaarouca/, acessado em 25/Mar/2020).

O modelo lógico do programa (Figura 1) foi desenvolvido com base nas informações coletadas nos documentos e nas entrevistas e foi estruturado a partir de seis componentes: insumos, cursos EaD, caraterísticas, produtos, resultados e impactos. O modelo foi validado com os gestores do programa, havendo consenso a respeito dos seus componentes e das relações entre eles, o que permitiu o entendimento da forma como o programa opera.

O programa foi pactuado com uma estrutura de cursos nacionais a distância em três modalidades: autoinstrucionais, aperfeiçoamento e especialização (pós-graduação lato sensu).

Os cursos autoinstrucionais caracterizam-se como cursos de acesso livre, que abordam as temáticas de maneira simples e objetiva, no padrão de cursos Multialunos On-line Abertos (MOOC - Massive Open Online Courses), sem tutoria ou encontros presenciais. Demandam a construção de conteúdos autoexplicativos, com carga horária de 30 a 60 horas.

Os cursos de aperfeiçoamento e de especialização apresentam outro nível de aprofundamento em relação ao cenário de prática dos alunos. A especialização se faz com tutoria, fóruns de discussão e atividades formativas e avaliativas desenvolvidas nos cenários dos serviços do profissional. No aperfeiçoamento, em vez da tutoria, a monitoria, e os seminários virtuais de avaliação foram utilizados para contextualização do aprendizado.

Nos formatos aperfeiçoamento e especialização, ocorre a certificação pelas respectivas IES responsáveis, enquanto, nos autoinstrucionais, ocorre por meio de uma declaração emitida pelo Ministério da Saúde.

O programa tem como principais produtos o material didático produzido, as produções científicas (trabalhos de conclusão de curso, trabalhos apresentados em eventos científicos, artigos) e as ferramentas desenvolvidas para comunicação entre as plataformas das IES e UNA-SUS. Todos os recursos educacionais produzidos foram armazenados no repositório digital da UNA-SUS, na plataforma ARES (Acervo dos Recursos Educacionais em Saúde; https://ares.unasus.gov.br/acervo/, acessado em 25/Mar/2020), e encontram-se disponíveis para acesso livre.

Os resultados do programa referem-se à atualização/capacitação/formação de profissionais em todo o país. Além da ampliação de competências, também é um resultado esperado o aumento dos procedimentos em AD (não só em quantidade, também em variedade de procedimentos).

Os impactos identificados são relativos à melhoria do processo de trabalho das equipes de AD, aumento do número de municípios com serviço de AD e o consequente aumento do número de equipes de AD. Na definição dos impactos, compreendeu-se que a qualificação de um único profissional tem potencial para modificar o processo de trabalho de toda uma equipe, mas isso nem sempre ocorre, não é uma consequência direta, e, por isso, foi considerado como um possível impacto.

Desenvolvimento de um modelo avaliativo para o programa

O desenvolvimento do modelo avaliativo partiu inicialmente da bibliografia e de documentos localizados em arquivos eletrônicos, de acesso público. Foram utilizados mais de 60 diferentes arquivos, entre livros, artigos, dissertações/teses, anais de congressos e normativas institucionais, dentre os quais se destaca o Instrumento de Avaliação de Cursos de Graduação Presencial e a Distância¹⁴14. Diretoria de Avaliação da Educação Superior, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Sistema Nacional de Avaliação da Educação Superior. Instrumento de avaliação de cursos de graduação presencial e a distância. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2017., do Ministério da Educação, e a dissertação de mestado de Rodrigues ¹⁵15. Rodrigues RS. Modelo de avaliação para cursos no ensino a distância: estrutura, aplicação e avaliação [Dissertação de Mestrado]. Florianópolis: Universidade Federal de Santa Catarina; 1998.. A midiateca da Associação Brasileira de Educação a Distância (ABED; http://www.abed.org.br/site/pt/, acessado em 12/Jan/2020), que disponibiliza a legislação em EaD no Brasil, além de diversas bibliografias, textos, entre outros materiais, foi bastante utilizada nessa etapa da pesquisa.

Foram desenvolvidas três matrizes avaliativas, uma para cada modalidade de curso do programa. Elas têm uma estruturação em comum, sendo compostas pelos seguintes elementos: dimensões, subdimensões, indicadores, medidas, parâmetros e fontes.

No Quadro 1, observa-se que as mesmas dimensões e subdimensões foram utilizadas, havendo variações apenas nos indicadores e medidas dos cursos autoinstrucionais. Na ausência de parâmetros normativos ou referências bibliográficas, os parâmetros foram pactuados entre os avaliadores e os stakeholders nas oficinas de consenso. A maioria das medidas é proveniente de questionários com questões em escala do tipo Likert. Foram atribuídos valores de 1 a 5 para as respostas (sendo 1 a pior situação e 5 a melhor), e os valores dos parâmetros referem-se à média das respostas obtidas por meio dos questionários. As fontes de dados são os alunos concluintes, os tutores, os coordenadores dos cursos e os bancos de dados obtidos na Plataforma Arouca.

A primeira dimensão de análise (Quadro 2) trata das “características do curso e recursos educacionais”, sendo composta por sete subdimensões. Os recursos educacionais facilitam e contribuem para a comunicação e interação no processo de ensino e aprendizagem dos participantes da EaD. A adequada gestão de sistemas de EaD constitui elemento-chave para o sucesso da proposta de formação e para o desenvolvimento de boas experiências educacionais ¹⁶16. Silva RS. Gestão de EaD: educação a distância na era digital. São Paulo: Novatec Editora; 2013.. Administrar sistemas de EaD é uma tarefa complexa, pois, além de mobilizar recursos humanos e educacionais, exige a montagem de infraestrutura proporcional ao número de alunos, aos recursos tecnológicos envolvidos e à extensão territorial a ser alcançada, o que representa um significativo investimento para a instituição ¹⁷17. Shelton K, Saltsman G. An administrator's guide to online education. Greenwich: Information Age Publishing; 2005.^,1818. Comissão Assessora para Educação Superior a Distância, Secretaria de Educação Superior, Ministério da Educação. Relatório. http://portal.mec.gov.br/sesu/arquivos/pdf/EAD.pdf (acessado em 01/Mar/2020).
http://portal.mec.gov.br/sesu/arquivos/p... .

A segunda dimensão de análise da matriz avaliativa trata dos aspectos de administração e gestão dos cursos, realizados pelas IES que os ofertaram, e está detalhada no Quadro 3. A terceira dimensão (Quadro 4) relaciona-se à formação e à atuação dos profissionais que participaram dos cursos. O exercício profissional e sua qualificação é um dos desafios envolvendo a AD. Habilidades específicas e relacionais devem ser desenvolvidas diante da complexidade do campo de trabalho. Destacam-se desde desafios do contexto em que se dá o trabalho - o domicílio - onde cuidadores e familiares produzem práticas muitas vezes conflituosas com as práticas profissionais até a aquisição de novas técnicas necessárias para a execução do trabalho em domicílio ⁷7. Savassi LCM. Os atuais desafios da atenção domiciliar na atenção primária à saúde: uma análise na perspectiva do Sistema Único de Saúde. Rev Bras Med Fam Comunidade 2016; 11:1-12..

A quarta e última dimensão trata dos impactos do PMQPAD (Quadro 4), que foram aqui compreendidos como os “efeitos de longo-termo positivos ou negativos, primários ou secundários, produzidos por uma intervenção em desenvolvimento, direta ou indiretamente, intencional ou não-intencional” ¹⁹19. Organisation for Economic Cooperation and Development. Draft NONIE statement on impact evaluation. http://www.oecd.org/dac/evaluation/dcdndep/40104352.pdf (acessado em 01/Mar/2020).
http://www.oecd.org/dac/evaluation/dcdnd... . Para Aguilar & Ander-Egg ²⁰20. Aguilar MJ, Ander-Egg E. Avaliação de serviços e programas sociais. 2ª Ed. Petrópolis: Editora Vozes; 1995., o impacto corresponde ao grau de influência e de irradiação de um projeto realizado. De difícil mensuração, os impactos previstos têm, como fonte de dados, os gestores dos serviços de AD nos municípios com SAD implantado e a percepção dos concluintes em relação ao seu processo de trabalho.

Identificação de usuários da avaliação e obtenção de um acordo quanto aos procedimentos para realização da avaliação

Foram identificados como usuários da avaliação os alunos matriculados (concluintes e não concluintes), os tutores/monitores, os coordenadores dos cursos, os gestores do SAD nos municípios de origem dos alunos, os gestores do PMQPAD, a UNA-SUS e a CGAD.

Foram definidas como perguntas avaliativas: Qual o desempenho geral dos cursos ofertados pelo programa? Qual o desempenho dos cursos em relação aos recursos educacionais utilizados e em relação aos aspectos institucionais? Quais os principais resultados e impactos do programa para os serviços de AD? Que características dos cursos interferiram no seu desempenho? Que características contextuais interferiram no programa e no desempenho dos cursos avaliados? Qual a percepção dos atores envolvidos sobre o programa?

Quanto aos procedimentos para a realização da avaliação, optou-se por aplicar a matriz avaliativa nos cursos oferecidos pelo PMQPAD até o fim de 2018, sendo dois cursos de especialização, dois cursos de aperfeiçoamento e 21 cursos autoinstrucionais. A matriz prevê coleta de dados de diversas fontes de informação, por meio de diferentes instrumentos de coleta. Para alunos e tutores, ficou definida a utilização de formulário eletrônico; já para os coordenadores dos cursos nas IES, a entrevista semiestruturada. O banco de dados da Plataforma Arouca fornece as informações sobre o perfil dos matriculados e dos egressos nos cursos avaliados. A análise documental complementa a análise obtida a partir da matriz avaliativa. Além disso, foi pactuada a coleta de informações dos evadidos para investigar a razão pela qual não finalizaram o curso.

A partir da matriz avaliativa desenvolvida, estabelece-se um juízo de valor para cada indicador, subdimensão, dimensão e curso avaliado. A análise por triangulação de dados complementa a interpretação dos resultados da matriz avaliativa, identificando as relações entre as informações obtidas nas diferentes fontes de dados. O uso da triangulação é a alternativa para se empreender múltiplas práticas metodológicas, perspectivas e observadores em uma mesma pesquisa, trazendo maior riqueza e complexidade à análise ²¹21. Denzin NK, Lincoln YS, Netz SR. O planejamento da pesquisa qualitativa: teorias e abordagens. 2ª Ed. Porto Alegre: Artmed; 2006..

Discussão

A formação de profissionais para atuação na AD é uma importante lacuna identificada por outros estudos ⁶6. Andrade AM, Silva KL, Seixas CT, Braga PP. Atuação do enfermeiro na atenção domiciliar: uma revisão integrativa da literatura. Rev Bras Enferm 2017; 70:210-9.^,88. Savassi LCM, Franco SM, Oliveira VA. Construindo um curso a distância de atenção domiciliar multicêntrico, multiprofissional, multi-institucional, multiformatos. In: Gusmão CMG, Borba VR, Menezes Jr. JV, Oliveira CAP, Nascimento EN, Oliveira VA, organizadores. II relato de experiências em tecnologias educacionais do sistema UNA-SUS 2015. Recife: Editora Universitária da UFPE; 2015. p. 98-121., uma vez que ela apresenta um contexto peculiar de atuação, demandando competências específicas para o cuidado no domicílio, não suficientemente trabalhadas nos cursos de graduação. O modelo de formação predominantemente hospitalocêntrico também contribui para o afastamento da formação em relação ao cuidado domiciliar em saúde ⁵5. Ministério da Saúde. Atenção domiciliar no SUS: resultados do laboratório de inovação em atenção domiciliar. Brasília: Ministério da Saúde; 2014.. O PMQPAD partiu da necessidade de suprir essa lacuna, voltando-se não só aos profissionais que atuam na assistência direta nos domicílios, mas também aos gestores nos municípios, de forma a viabilizar a implantação e o gerenciamento do serviço.

Na perspectiva dos atores envolvidos na sua construção, o programa serviu não só para a qualificação da AD, mas também da UNA-SUS, criando um modelo pedagógico de programa de grandes proporções. O PMQPAD atendeu à necessidade da política de saúde, mas é importante avaliá-lo também em relação aos resultados e impactos, o quanto ele atendeu à necessidade educacional dos profissionais que atuavam no serviço, o quanto influenciou nos processos de trabalho desses profissionais e na melhoria dos serviços de AD, identificando as principais dificuldades e os desafios, para que outros programas dessa natureza possam ser implantados no país com qualidade, eficácia e eficiência.

O uso da EaD no processo de formação e no processo contínuo de conhecimento tem tido uma importante contribuição para o desenvolvimento dos recursos humanos em saúde no Brasil, proporcionando acesso ao conhecimento e promovendo a democratização do saber, permeada pelo uso das tecnologias de informação e comunicação (TIC) ²²22. Silva AN, Santos AMG, Cortez EA, Cordeiro BC. Limites e possibilidades do ensino a distância (EaD) na educação permanente em saúde: revisão integrativa. Ciênc Saúde Colet 2015; 20:1099-107.. A necessidade de manutenção dos profissionais nos serviços reforça a importância da EaD na educação permanente, promovendo sua capilarização, que, de outra forma, seria excludente e pouco efetiva. A EaD, por requerer o protagonismo do aluno, vem ao encontro da proposta da educação permanente em saúde, proporcionando ainda o intercâmbio entre os profissionais e - por consequência - o enriquecimento das reflexões sobre as práticas em saúde ²³23. Campos KA, Santos FM. A educação a distância no âmbito da educação permanente em saúde do Sistema Único de Saúde (SUS). Revista do Serviço Público 2016; 67:603-26..

O fato de alguns cursos permitirem ingresso na categoria “visitante” ampliou o acesso aos materiais produzidos pelo programa, incluindo pessoas sem formação específica ou em processo de formação. Com isso, diversos estudantes de graduação e cuidadores nos domicílios, por exemplo, puderam ter contato com os conteúdos desses cursos, potencializando ainda mais o seu uso no cuidado domiciliar em saúde no país.

A avaliação de cursos a distância tem se mostrado um grande desafio para as equipes que trabalham com essa modalidade de ensino, principalmente devido à complexidade de atores envolvidos e das relações que se estabelecem entre eles. De acordo com Roque & Silva ²⁴24. Roque GOB, Silva LM. Metodologia para avaliação e acompanhamento de cursos a distância: em busca da qualidade. In: Anais do 17º Congresso Internacional de Educação a Distância. http://www.abed.org.br/congresso2011/cd/155.pdf (acessado em 01/Mar/2020).
http://www.abed.org.br/congresso2011/cd/... , a construção de uma metodologia de avaliação desses cursos deve envolver os diversos atores e deve ocorrer em diferentes momentos, por meio de instrumentos e dinâmicas diversos. Avaliar um curso a distância implica em emitir juízo de valor quanto ao desempenho de seus componentes e detectar a necessidade de alterações e ajustes. Na avaliação de desempenho, comparam-se os resultados obtidos com aqueles planejados ²⁵25. Costa JMBS, Silva VL, Samico IC, Cesse EAP. Desempenho de intervenções de saúde em países da América Latina: uma revisão sistemática. Saúde Debate 2015; 39(spe):307-19.. O modelo para avaliação de desempenho desenvolvido apresenta, nas quatro dimensões, as características esperadas dos cursos, assim como os resultados e impactos esperados.

Reforça-se a importância da construção dessa proposta avaliativa pela ausência de modelos avaliativos estruturados para avaliação de cursos a distância na área da saúde, havendo iniciativas pontuais de avaliações principalmente a partir da opinião dos alunos concluintes.

O estudo de avaliabilidade, ao prever em suas etapas a obtenção de um acordo quanto aos procedimentos para realização da avaliação junto aos envolvidos, instiga a construção participativa do modelo avaliativo. Esse engajamento dos atores interessados, para além do aprendizado e apropriação do processo avaliativo em si, favorece a incorporação dos resultados na tomada de decisão ⁹9. Leviton LC, Khan LK, Rog D, Dawkins N, Cotton D. Evaluability assessment to improve public health policies, programs, and practices. Annu Rev Public Health 2010; 31:213-33.^,1010. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. Can J Program Eval 2005; 20:1-25.. Além disso, o estudo de avaliabilidade auxilia na compreensão do funcionamento do programa e pode indicar necessidade de ajustes em suas atividades ou recursos. Um estudo de avaliabilidade não necessariamente é sucedido de uma avaliação, uma vez que seus resultados podem identificar problemas que a inviabilizam, como incompatibilidades no modo de conceber o programa, dificultando o estabelecimento de parâmetros avaliativos, ou ainda pode mostrar que os dados necessários para a avaliação não são passíveis de serem coletados. Por essas características, os estudos de avaliabilidade asseguram que os recursos limitados destinados à avaliação possam ser utilizados da maneira mais apropriada ⁹9. Leviton LC, Khan LK, Rog D, Dawkins N, Cotton D. Evaluability assessment to improve public health policies, programs, and practices. Annu Rev Public Health 2010; 31:213-33..

O modelo avaliativo construído apresenta potencialidades e também fragilidades, identificadas pelos participantes durante o processo de construção. Dentre as potencialidades, destacam-se o ineditismo da proposta desenvolvida; a possibilidade de adaptação do modelo para avaliação de outros cursos de EaD oferecidos no âmbito do SUS; a multiplicidade de fontes de informações, que se complementam e podem tornar a análise dos resultados mais consistente; e a flexibilidade de análise dos seus diferentes componentes, permitindo a identificação dos pontos fortes e fracos do programa e de seus cursos. As fragilidades identificadas referem-se principalmente à possível falta de motivação dos alunos para responder aos questionários, que dão a possibilidade de emitir juízo de valor a diversos indicadores da matriz avaliativa; ao viés de memória, já que alguns finalizaram o curso há mais de cinco anos; à dificuldade de avaliar cada curso do período estabelecido, uma vez que há alunos que fizeram apenas um curso, outros que fizeram dois, três ou até mais de dez cursos na modalidade autoinstrucional, o que dificulta a identificação dos aspectos contidos na matriz avaliativa principalmente na dimensão de “características do curso e recursos educacionais”. Para superar essa limitação em particular, foi definido um processo de amostragem de forma que esses alunos que participaram de quatro cursos ou mais respondam a um questionário diferente, que aborda basicamente as questões relativas à dimensão de “resultados”, referindo-se aos resultados do programa como um todo, e não especificamente de um curso. Dessa forma, esses alunos representariam uma visão mais global do programa, visão essa que complementa as análises a partir das diversas fontes de dados utilizadas.

Outros pontos importantes que emergiram do estudo de avaliabilidade foram a necessidade de melhoria do sistema de registro das informações na Plataforma Arouca, de forma a garantir sua padronização e completude, e a necessidade de institucionalização da avaliação no âmbito da UNA-SUS. A Plataforma Arouca é um sistema de informação que contém o histórico educacional e profissional daqueles que atuam na área da saúde, funcionando como um cadastro único do profissional na UNA-SUS, sendo alimentada pelas IES que oferecem os cursos ¹⁸18. Comissão Assessora para Educação Superior a Distância, Secretaria de Educação Superior, Ministério da Educação. Relatório. http://portal.mec.gov.br/sesu/arquivos/pdf/EAD.pdf (acessado em 01/Mar/2020).
http://portal.mec.gov.br/sesu/arquivos/p... . Tem o potencial de ser utilizada como um dispositivo de organização das informações das várias iniciativas educacionais em suas jurisdições, servindo como instrumento de apoio ao acompanhamento e planejamento das iniciativas de educação para qualificação dos trabalhadores nos três níveis de governo. Tendo em vista que os bancos de dados não foram construídos para pesquisa, mas para registro de matrículas, alguns dados obtidos na plataforma para este estudo, com as informações relativas aos cursos do PMQPAD (mantido o sigilo da informação de identificação dos alunos), mostraram inconsistências e deficiências de registros, o que reduz o grau de confiabilidade das informações e dificulta sua utilização para fins de pesquisa e planejamento de ações.

A falta de documentação do programa, seja pela sua indisponibilidade aos pesquisadores ou pela sua inexistência, fez com que a principal fonte de informações sobre o seu funcionamento fosse os informantes-chave. Se por um lado, foi uma dificuldade encontrada; por outro, foi uma contribuição da pesquisa, pois esse resgate do PMQPAD, de sua formação, seu funcionamento e de alguns dos seus resultados, permitiu a produção de importante material que passa, então, a documentar o programa de forma efetiva.

A experiência proporcionada aos pesquisadores neste estudo, de estar em contato com as pessoas que pensaram e construíram coletivamente o PMQPAD, mostrou que é possível fazer um SUS de qualidade, como resultado da dedicação e cooperação entre atores de diferentes áreas e instituições, com um objetivo em comum. Pode-se dizer que a proposta inicial foi modesta, pois o PMQPAD foi muito além das metas estabelecidas, proporcionando qualificação a muitos profissionais em todo o país e, consequentemente, benefícios aos usuários por eles atendidos.

Considerações finais

A evidente necessidade de qualificação de profissionais para atuação na AD no Brasil reforça a importância de programas de formação como o PMQPAD, que, no formato a distância, proporcionou amplo acesso à formação aos profissionais do SUS que atuavam nessa área.

O estudo de avaliabilidade contou com a participação dos diferentes atores envolvidos com o PMQPAD, e o fato de não haver portaria ou documento oficial instituindo-o, enquanto um programa de formação, fez com que as etapas de descrição do programa e obtenção de um entendimento preliminar de como ele opera se tornassem ainda mais importantes, resgatando, por meio de entrevistas e documentos, todo o histórico do programa desde a sua concepção.

Portanto, acredita-se que, independentemente dos resultados da avaliação propriamente dita, o estudo de avaliabilidade foi de grande contribuição para sistematização e registro de informações acerca do programa. Destaca-se, também, a contribuição do estudo na apropriação dos atores em relação à metodologia avaliativa, antes desconhecida pela maioria dos participantes.

Agradecimentos

À rede UNA-SUS (Universidade Aberta do SUS); à Coordenação Geral de Atenção Domiciliar, Secretaria de Gestão do Trabalho e da Educação, Ministério da Saúde.

Referências

Datas de Publicação

Histórico