Resumo

Este estudo relata a estratégia para aprimorar o portfólio como instrumento de avaliação da aprendizagem em uma disciplina oferecida aos estudantes do quarto ano de graduação em Medicina, por meio do portfólio on-line. A disciplina é constituída de atividades práticas de atendimento integral à saúde da criança, do adolescente, do adulto e da mulher na atenção primária do município de Campinas. A utilização do portfólio permite que os estudantes reflitam sobre os atendimentos realizados em relação ao conhecimento, à habilidade clínica e ao vínculo médico-paciente na consulta. O portfólio on-line possibilitou rever os critérios de avaliação, agilizar e facilitar a gestão da correção, realizada por oitenta avaliadores de três especialidades médicas. O acesso às informações do portfólio na plataforma moodle permitiu a rápida tomada de decisão em aspectos que precisam ser adequados para a melhoria do processo ensino-aprendizagem.

Portfólio on-line; Moodle; Curso de Medicina; Avaliação educacional

Abstract

This study reports on the strategy to improve the use of online portfolios as a learning assessment instrument of a discipline taught to fourth-year medical students. The discipline comprises practical activities of comprehensive care of children, teenagers, adults, and women in primary care in the Brazilian city of Campinas. Using portfolios, students are able to reflect upon the provided care as to the knowledge, clinical skills, and doctor-patient bond shown in the appointment. The online portfolio enabled to review the assessment criteria, and streamline and facilitate managing the assessment conducted by 80 evaluators from three medical specialties. Access to the portfolio’s information in the Moodle platform enabled a fast decision-making process in aspects that need to be adequate to improve the teaching and learning process.

Online portfolio; Moodle; Medical course; Educational assessment

Resumen

Este estudio relata la estrategia para perfeccionar el portafolio como instrumento de evaluación del aprendizaje en una disciplina ofrecida a los estudiantes del 4º. año de la graduación en medicina, por medio del portafolio online. La asignatura se compone de actividades prácticas de atención integral a la salud del niño, del adolescente, del adulto y de la mujer en la atención primaria del municipio de Campinas. La utilización del portafolio permite que los estudiantes reflexionen sobre las atenciones realizadas con relación al conocimiento, a la habilidad clínica y al vínculo médico-paciente en la consulta. El portafolio online posibilitó revisar los criterios de evaluación, agilizar y facilitar la gestión de la corrección realizada por 80 evaluadores de tres especialidades médicas. El acceso a las informaciones del portafolio en la plataforma Moodle permitió la rápida toma de decisiones en aspectos que tienen que adecuarse para la mejora del proceso enseñanza-aprendizaje.

Portafolio on-line; Moodle; Curso de Medicina; Evaluación educacional

Introdução

Nas últimas décadas, a educação médica promoveu mudanças na forma de abordar e avaliar o processo de ensino-aprendizagem, estimulando o desenvolvimento de competências e enfatizando não apenas aspectos cognitivos da aprendizagem, mas, principalmente, habilidades clínicas, atitudes, comunicação e postura ética. As Diretrizes Curriculares Nacionais do curso de graduação em Medicina, publicadas em 2014 pelo Conselho Nacional de Educação¹1. Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução nº 3, de 20 de Junho de 2014. Institui diretrizes curriculares nacionais do curso de graduação em Medicina e dá outras providências. Diário Oficial da União. 23 Jun 2014; Sec. 1, p. 8-11., reforçam a importância de se formar um médico competente e socialmente comprometido, o que impulsionou a reflexão das instituições sobre a maneira de ensinar e avaliar os estudantes.

A excelência na formação médica é dada, principalmente, pelas situações vivenciadas na prática clínica, o que requer instrumentos que avaliem adequadamente essas vivências. Em 1990, Miller publicou um modelo conceitual no qual propõe que a avaliação de competências seja realizada em quatro níveis: conhecimento, aplicação do conhecimento, ação em situação simulada e, finalmente, ação em situações reais²2. Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990; 65(9):63-7.. Essas abordagens se justificam pelo fato de a avaliação, centrada apenas em procedimentos verificativos, não ser suficiente para identificar a efetividade do processo ensino-aprendizagem e as relações entre os conteúdos propostos e a aplicação prática destes na vida do futuro profissional.

O portfólio tem sido utilizado nos cursos médicos como um registro das experiências do estudante sobre o trabalho realizado, o progresso adquirido e as estratégias para resolver as dificuldades encontradas nas atividades práticas³3. Driessen E, Tartwijk JV, Vleuten CVD, Wass V. Portfolios in medical education: why do they meet with mixed success? A systematic review. Med Educ. 2007; 41(12):1224-33.. A elaboração desse instrumento de avaliação estimula a capacidade reflexiva nos estudantes de Medicina, melhorando habilidades como empatia, comunicação, colaboração e profissionalismo⁴4. Moniz T, Arntfield S, Miller K, Lingard L, Watling C, Regehr G. Considerations in the use of reflective writing for student assessment: issues of reliability and validity. Med Educ. 2015; 49(9):901-8..

Segundo Belcher⁵5. Belcher R, Jones A, Smith LJ, Vincent T, Naidu SB, Montgomery J, et al. Qualitative study of the impact of an authentic electronic portfolio in undergraduate medical education. BMC Med Educ. 2014; 14:265., demonstrar reflexão sobre a experiência é uma função importante do portfólio, pois esse instrumento avaliativo contribui para uma aprendizagem ainda mais efetiva quando permite ao estudante analisar sua trajetória e evolução no processo de aprendizagem, identificando falhas que podem ser superadas antes do início da nova etapa de formação.

Nos últimos anos, os professores têm apresentado um crescente interesse em integrar o uso de tecnologias em suas aulas como parte do ambiente de aprendizado. O portfólio on-line, nesse sentido, tem apresentado um potencial de mudança da natureza dos ambientes de aprendizagem porque permite informações serem armazenadas, acessadas, atualizadas e apresentadas em vários formatos como um registro ou evidência da aprendizagem do estudante⁶6. Shroff RH, Deneen CC, Eugenia MWN. Analysis of the technology acceptance model in examining students’ behavioural intention to use an eportfolio system. Australas J Educ Technol. 2011; 27(4):600-18..

Contexto do portfólio no curso de Medicina da Unicamp

O portfólio foi adotado em 2004 na disciplina “Atenção Integral à Saúde”, oferecida aos estudantes do quarto ano, para que estes pudessem refletir sobre suas habilidades na abordagem ética aos pacientes e em propedêutica clínica no atendimento integral à saúde da criança, do adolescente, do adulto e da mulher no nível primário de atenção. Esses atendimentos médicos são desenvolvidos sob a supervisão de docentes e preceptores médicos em Unidades Básicas de Saúde (UBSs) do município de Campinas.

Para a elaboração do portfólio na disciplina em estudo, há um roteiro de itens avaliativos, fornecido para os estudantes com os seguintes elementos: identificação; planilha de atendimento; reflexão sobre o seu desempenho nas provas teóricas, reflexão crítica sobre o estágio desenvolvido na UBS; estratégias para superação das dificuldades; e apresentação de um dos primeiros casos clínicos atendidos pelo estudante em cada especialidade – Ginecologia e Obstetrícia – (GO), Pediatria (PE) e Clínica Médica (CM) – com a transcrição do atendimento médico, análise crítica da anamnese e do exame físico e raciocínio clínico para elaboração das hipóteses diagnóstica e do diagnóstico.

A padronização dos elementos que compõem o portfólio diminui a subjetividade na avaliação e evita a escrita longa que muitos professores criticam e afirmam dificultar a avaliação, pois, de acordo com Driessen⁷7. Driessen E. Portfolio critics: do they have a point? Med Teach. 2009; 31(4):279-81., deve-se estimular a escrita de um portfólio objetivo e adequado ao propósito.

De 2004 a 2015, os avaliadores analisavam apenas três itens no portfólio: crítica da anamnese e do exame físico como apoio ao diagnóstico e conduta (⁴4. Moniz T, Arntfield S, Miller K, Lingard L, Watling C, Regehr G. Considerations in the use of reflective writing for student assessment: issues of reliability and validity. Med Educ. 2015; 49(9):901-8. pontos); raciocínio clínico para explicar as hipóteses diagnósticas e utilização de referencial teórico (5 pontos) e a autocrítica da aprendizagem (1 ponto) e faziam comentários livres e individuais a respeito dos aspectos descritos pelo estudante com sugestão de melhorias. Nesse período, a correção do portfólio era realizada em material impresso e, como os avaliadores pertencem a diferentes especialidades ou departamentos da faculdade, a correção ficava centralizada na coordenação do curso e restrita ao seu horário de funcionamento, atrasando a devolução do feedback para o estudante. Durante esses encontros de correções, os professores e preceptores manifestavam as suas opiniões de como o processo de avaliação poderia ser aprimorado para que o portfólio ficasse acessível em qualquer momento, reduzindo o prazo de correção.

A logística de distribuição dos portfólios para os corretores permite que o trabalho do estudante seja avaliado por professores de UBSs diferentes daquela que o estudante atua, minimizando a subjetividade da correção. Após o término da correção dos portfolios, os estudantes realizam a revisão e discutem as observações dos avaliadores com os docentes/preceptores de sua respectiva UBS.

O portfólio é um instrumento de avaliação trabalhoso de ser elaborado e corrigido, uma vez que demanda tempo e disposição do avaliador para a correção. Frente a esses desafios, a utilização de uma plataforma on-line pareceu ser uma opção adequada para as necessidades da disciplina.

Objetivos

Este estudo relata a estratégia para aprimorar o portfólio como instrumento de avaliação da aprendizagem em uma disciplina oferecida aos estudantes do quarto ano de graduação em Medicina, por meio da implantação do portfólio on-line e análise da percepção dos estudantes e dos avaliadores sobre o seu uso como ferramenta facilitadora do processo ensino-aprendizagem e da gestão do ensino.

Resultados

O portfólio on-line foi criado em 2016 no moodle (modular object-oriented dynamic learning environment), uma plataforma de ensino a distância disponível na universidade e de acesso livre à comunidade acadêmica. Nesse formato on-line, os critérios de avaliação foram revistos e estruturados em um padrão do tipo checklist. São eles: aspectos relevantes para o raciocínio clínico; identificação dos problemas da anamnese e do exame físico; discussão das hipóteses diagnósticas; referências consultadas; domínio cognitivo/contextualização e da linguagem; preenchimento de todos os itens do portfólio (completude) e realização da autocrítica. Os avaliadores também escrevem um feedback com sugestões de melhorias para serem discutidas com os preceptores e professores da UBS de origem do estudante.

De acordo com Buckley et al⁸8. Buckley S, Coleman J, Davison I, Khan KS, Zamora J, Malick S, et al. The educational effects of portfolios on undergraduate student learning: a Best Evidence Medical Education (BEME) systematic review. BEME Guide No. 11. Med Teach. 2009; 31(4):282-98., além do engajamento do estudante no seu processo de ensino-aprendizagem, há evidências de que um dos principais benefícios do portfólio é a melhoria da relação estudante-preceptor, estreitada inclusive na discussão de revisão do portfólio; por isso, no portfólio on-line, o feedback para o estudante é um item de avaliação obrigatório.

Em 2016, ano de implantação do portfólio on-line, foi realizada uma pesquisa de opinião na própria plataforma moodle para saber se os 113 estudantes e os 66 avaliadores aprovaram o uso do portfólio on-line. De acordo com os dados, 85% dos estudantes e 95% dos avaliadores aprovaram o uso da ferramenta.

Os docentes/preceptores e estudantes que não aprovaram o portfólio relataram que, apesar do treinamento oferecido, tiveram dificuldades no uso do moodle por esta disciplina ter sido pioneira na implantação do portfólio nessa plataforma:

Alguns avaliadores relataram que gostariam de escrever as observações/orientações no próprio documento escrito pelo estudante como no material impresso, e não em um campo específico para cada item do portfólio:

Na pesquisa de opinião sobre o uso do portfólio on-line, não foi elaborado um questionário para os estudantes avaliarem o portfólio como instrumento de avaliação porque o objetivo era identificar os possíveis problemas da plataforma; mas eles aproveitaram o espaço aberto para se manifestarem sobre o assunto:

Em 2017, a partir das sugestões dos estudantes, foi excluída uma questão do portfólio sobre os aspectos relevantes para o raciocínio clínico, porque já estava contemplada na discussão do raciocínio clínico para a elaboração de todas as hipóteses diagnósticas e diagnóstico. Os critérios de avaliação foram os mesmos de 2016, mas com a redução no número de itens a serem avaliados.

O desempenho dos estudantes ao longo dos anos no portfólio mostra uma ascensão significativa em 2016 e 2017, anos de implantação do portfólio on-line, com um menor desvio padrão e aumento da média das notas, quando comparado com a média dos portfólios em 2015. Um dos fatores que pode ter influenciado é que, a partir desse período, os critérios de correção foram adequados para um número maior de itens a serem avaliados e estes foram previamente divulgados aos estudantes. A clareza nos critérios de avaliação é um indicador de melhor qualidade do portfólio.

O portfólio on-line permitiu também relatórios imediatos após a correção, facilitando a rápida tomada de decisão em aspectos que precisam ser adequados. No exemplo a seguir, pode-se observar que os estudantes da UBS denominada “E” apresentaram baixo desempenho no portfólio em duas especialidades. Neste caso, os relatórios permitiram ao grupo gestor identificar essa discrepância, comparar a nota desses estudantes em outras atividades da disciplina e analisar se houve rigidez dos avaliadores na correção do portfólio para melhorar a padronização da avaliação.

O fato de os dados estarem armazenados em um sistema on-line possibilitou a criação dos relatórios de acordo com a necessidade de observação do grupo gestor, como a necessidade de verificar se algum avaliador atribuiu algum conceito muito discrepante em relação aos demais.

Discussão

Devido às dificuldades de padronização da avaliação pela subjetividade da escrita reflexiva e à demanda de atenção e de tempo do docente/preceptor no processo avaliativo, o uso do portfólio é apresentado como desvantagem para alguns autores. Belcher et al⁵5. Belcher R, Jones A, Smith LJ, Vincent T, Naidu SB, Montgomery J, et al. Qualitative study of the impact of an authentic electronic portfolio in undergraduate medical education. BMC Med Educ. 2014; 14:265. apontaram como desvantagem as dificuldades dos estudantes em identificar ou articular impactos do portfólio na aprendizagem, pela qualidade do feedback ou mesmo pela falta de utilidade deste, devido ao atraso entre a observação e subsequente conclusão do formulário; e a falta de engajamento de seus supervisores com o processo de feedback.

O portfólio on-line, além de facilitar a administração do número de docentes/preceptores (em média oitenta) e estudantes (em média 120) envolvidos em uma mesma atividade, possibilitou o acesso aos dados em relação ao avaliador, a especialidade e as UBSs; e a redução no tempo de correção, pois o portfólio on-line passou a ser corrigido no local e horário mais conveniente para o avaliador e de forma simultânea pelos docentes e preceptores das três especialidades clínicas envolvidas na disciplina, permitindo um rápido feedback ao estudante. Há evidências de que o feedback imediato é mais eficaz pelo fato de que as questões abordadas ainda estão na memória do estudante⁹9. Hodder RV, Rivington RN, Calcutt LE, Hart IR. The effectiveness of immediate feedback during the Objective Structured Clinical Examination. Med Educ. 1989; 23(2):184-8..

O portfólio é um instrumento de avaliação que evidencia a aprendizagem significativa, porque inscreve-se no contexto de uma avaliação formativa pautada no feedback, possibilita a autoavaliação do estudante sobre seu processo ensino-aprendizagem e enfatiza o seu potencial reflexivo e crítico. A utilização do portfólio on-line potencializou o ambiente de ensino e as formas de aprendizagem¹⁰10. De Swardt M, Jenkins LS, Von Pressentin KB, Mash R. Implementing and evaluating an e-portfolio for postgraduate family medicine training in the Western Cape, South Africa. BMC Med Educ. 2019; 19:251.,¹¹11. Maia MV, Struchiner M. Aprendizagem significativa e o portfólio reflexivo eletrônico na educação médica. Rev Bras Educ Med. 2016; 40(4):720-30. dos estudantes foram analisadas a partir dos dados disponibilizados pelo moodle, o que possibilitou melhorias não só nos critérios de avaliação como também no roteiro de perguntas do portfólio.

A equipe gestora da disciplina aprovou o uso do portfólio on-line pela facilidade em administrar o número de docentes/preceptores e estudantes em uma mesma atividade; distribuição mais homogênea do número de portfolios a serem corrigidos pelos avaliadores por meio de sorteio e envio da lista de estudantes e UBS de origem. Assim, com a identificação do avaliador e a facilidade de acessar os dados, o Núcleo de Avaliação e Pesquisa em Educação Médica (Napem) pode avaliar a padronização da correção.

Considerações finais

Embora o uso do portfólio reflexivo possua a desvantagem de demandar muito tempo do professor para a correção e mesmo para a elaboração por parte do estudante, este estudo verificou que as tecnologias de informação e comunicação (TICs), por meio do moodle, facilitaram a correção e a elaboração do portfólio. Além da identificação rápida dos dados, ainda foi possível identificar a percepção dos estudantes sobre o instrumento de avaliação utilizando a mesma plataforma para aplicar o questionário de avaliação institucional.

O uso da tecnologia como apoio é um fator motivador, pois a facilidade de acesso às informações por meio das análises disponibilizadas pelo sistema permite a tomada de decisão imediata¹²12. Lewis KO, Baker RC. The development of an electronic educational portfolio: an outline for medical education professionals. Teach Learn Med. 2007; 19(2):139-47. e amplia o envolvimento e a responsabilidade da equipe, uma vez que a utilização de novos recursos tecnológicos torna o processo mais dinâmico¹³13. Moran JM, Massetto MT, Behrens MA. Novas tecnologias e mediação pedagógica. 21a ed. Campinas: Papirus; 2013.. Isso porque uma das principais contribuições das TICs no processo de aprendizagem é a capacidade de armazenamento de informações e possibilidade de análise dos dados.

Da mesma forma que o estudante, por meio da autoavaliação, identifica avanços e dificuldades no seu processo de aprendizagem, o portfólio também permite ao professor uma reflexão em relação aos temas abordados, à metodologia utilizada, à comunicação e à eficiência do processo de ensino.

Os esforços constantes desenvolvidos no sentido de melhorar a qualidade do ensino médico e a utilização de estratégias de avaliação são fundamentais para o alcance dos objetivos propostos na formação do futuro médico. O portfólio é uma ferramenta que permite a participação ativa do estudante no processo, enfatizando o seu potencial reflexivo e crítico, características inerentes à prática da Medicina.

Agradecimentos

Os autores agradecem aos estudantes e professores envolvidos com o processo ensino-aprendizagem da disciplina.

Referências

Datas de Publicação

Histórico