Resumos

Introdução

A sociedade passou por profundas modificações nos últimos anos nas formas de ser, pensar e agir, que atingiram todas as profissões, inclusive as da área de saúde. A atual formação acadêmica dos futuros profissionais de saúde exige alinhamento com essas mudanças demandadas pela sociedade, o que implica capacitação pessoal e profissional para a tomada de decisão e solução de problemas cada vez mais complexos ¹1. Costa GD, Cotta RMM. “Learning-by-doing”: social representations of healthcare students regarding reflective portfolio as a teaching, learning and assessment method. Interface (Botucatu). 2014; 18(51):771-83. .

No Brasil, em 2001, foram publicadas as Diretrizes Curriculares Nacionais (DCN) do curso de graduação em medicina, idealizadas a partir das novas demandas do cenário de trabalho e em consonância com a formação de um médico tecnicamente competente e socialmente comprometido ²2. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução CNE/CES 4/2001. Diário Oficial da União. 9 Nov 2001; Sec 1, p. 38. . Na atualização das DCN de 2014, esse objetivo foi reforçado, como em seu artigo 3^o, que descreve o graduado em medicina: com formação geral, humanista, crítica, reflexiva e ética; com capacidade para atuar nos diferentes níveis de atenção à saúde; com responsabilidade social e compromisso com a defesa da cidadania, da dignidade humana e da saúde integral do ser humano ³3. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução CNE/CES 3/2014. Diário Oficial da União. 23 Jun 2014; Sec 1, p. 8-11. .

Essas novas orientações implicaram uma transformação na maneira de ensinar no Ensino Superior, de um modelo verticalizado de transmissão de conhecimentos para um modelo embasado na formação por competências, colocando, no centro da ação educativa, os estudantes e o processo de aprendizagem ⁴4. Cotta RMM, Costa GD. Portfólio reflexivo: método de ensino, aprendizagem e avaliação. Viçosa: UFV; 2016. . Competência aqui pode ser descrita como a “capacidade de mobilizar e integrar o conjunto de conhecimentos especializados e saberes, recursos e habilidades para a resolução de problemas num contexto profissional determinado” ⁵5. Perrenoud P. Construir as competências desde a escola. Porto Alegre: Artmed; 1999. (p. 30).

Miller ⁶6. Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990; 65(9):63-7. , para discutir a avaliação de competência clínica, criou um modelo conceitual hierárquico de quatro níveis, representado por uma pirâmide, cuja base envolve o conhecimento (“saber”); um segundo nível engloba a habilidade de aplicar o conhecimento em determinado contexto (“saber como”); um terceiro nível do desempenho (“mostrar como”) reflete a habilidade de agir corretamente numa situação simulada; e o último, a ação (“fazer”) refere-se à prática em situações clínicas reais.

Durante muitos anos, os processos avaliativos eram focados exclusivamente nas esferas do “saber” e “saber como”, por meio de exames escritos e testes de desempenho. A partir da segunda metade do século XX, mudanças significativas aconteceram nos sistemas de avaliação a partir da percepção de que avaliar os aspectos cognitivos era necessário, mas insuficiente para prever a competência clínica dos estudantes ⁷7. Norcini JJ. Current perspectives in assessment: the assessment of performance at work. Med Educ. 2005; 39(9):880-9

8. Wass V, Van der Vleuten C, Shatzer J, Jones R. Assessment of clinical competence. Lancet. 2001; 357(9260):945-9.^-99. Carr SJ. Assessing clinical competency in medical senior house officers: how and why should we do it? Postgrad Med J. 2004; 80(940):63-6. .

Insere-se, neste contexto, o portfólio, um método de ensino, aprendizagem e avaliação inovador, ao considerar os discentes como sujeitos ativos, destacando sua participação na seleção e julgamento dos conteúdos procurados, proporcionando reflexão e o desenvolvimento da capacidade crítica ¹⁰10. Klenowski V. Desarrollo de portafolios: para el aprendizaje y la evaluación. Madri: Narcea S.A. de Ediciones; 2007. . Ao contrário dos exames escritos e dos testes de desempenho, cujo escopo se limita a comportamentos e caraterísticas que podem ser observados e mensurados em um único ponto do tempo, os portfólios fornecem um meio para avaliar competências, como a autoaprendizagem, que são demonstradas ao longo do curso ¹¹11. Tekian A, Yudkowsky R. Assessment portfolios. In: Downing SM, Yudkowsky R. Assessment in health professions education. New York: Routledge Taylor & Francis Group; 2009. p. 287-304. .

Quando os portfólios são usados para avaliação somativa em vez de formativa, as qualidades psicométricas devem satisfazer exigências rigorosas, particularmente em termos de confiabilidade. Os escassos estudos sobre esse ponto revelam que a confiabilidade entre avaliadores é de moderada a baixa, e, portanto, é necessário cautela extrema quando os portfólios são usados para avaliação somativa ¹²12. McMullan M, Endacott R, Gray MA, Jasper M, Miller CM, Scholes J, et al. Portfolios and assessment of competence: a review of the literature. J Adv Nurs. 2003; 41(3):283-94.

13. Baume D, Yorke M. The reliability of assessment by portfolio on a course to develop and accredit teachers in higher education. Stud Hegh Educ. 2002; 27(1):7-25.

14. Pitts J, Coles C, Thomas P. Educational portfolios in the assessment of general practice trainers: reliability of assessors. Med Educ. 1999; 33:515-20.^-1515. Roberts C, Newble DI, O’Rourke A. Portfolio-based assessments in medical education: are they valid and reliable for summative purposes? Med Educ. 2002; 36:899-900. .

A literatura ressalta que, para melhorar a confiabilidade entre os avaliadores dos portfólios, podem ser utilizadas diversas estratégias, como: padronização, treinamento e utilização de um número maior de corretores ¹⁶16. Driessen E, Van der Vleuten C, Schuwirth L, Van Tartwijk J, Vermunt J. The use of qualitative research criteria for portfolio assessment as an alternative for reliability evaluation: a case study. Med Educ. 2005; 39(2):214-20. . A desvantagem da padronização é que pode comprometer a validade, pois um dos grandes valores do portfólio é permitir que os alunos apresentem documentação de suas experiências pessoais, autênticas, educacionais e práticas reais. A formação de avaliadores, o compartilhamento de experiências entre eles e o aumento do número de corretores poderia melhorar a confiabilidade, mas estudos alertam sobre as demasiadas expectativas referentes a esta estratégia ¹⁷17. Van der Vleuten CPM, Van Luijk SJ, Ballegooijen AMJ, Swanson DB. Training and experience of medical examiners. Med Educ. 1989; 23(3):290-6.^,1818. Huot B. Beyond the classroom: using portfolios to assess writing. In: Black L, Daiker DA, Sommers J, Stygall G, editors. New directions in portfolio assessment. reflection, practice, critical theory and large-scale scoring. Portsmouth, NH: Cook Publishers; 1994. p. 325-33. .

O desafio da utilização do portfólio para avaliação somativa é garantir que sua correção não fique entre a baixa confiabilidade e baixa validade ¹⁸18. Huot B. Beyond the classroom: using portfolios to assess writing. In: Black L, Daiker DA, Sommers J, Stygall G, editors. New directions in portfolio assessment. reflection, practice, critical theory and large-scale scoring. Portsmouth, NH: Cook Publishers; 1994. p. 325-33. . Os equívocos comuns que permeiam esta discussão são: que a subjetividade é igual à falta de confiabilidade e que a objetividade é igual à confiabilidade. Isso não é universalmente verdadeiro: os exames objetivos podem não ser confiáveis e – o que é mais importante – os julgamentos subjetivos podem ser confiáveis, desde que um número adequado de julgamentos diferentes sejam coletados e agrupados ¹⁹19. Van der Vleuten CPM, Norman GR, De Graaff E. Pitfalls in the pursuit of objectivity: issues of reliability. Med Educ. 1991; 25(2):110-8. .

Na Faculdade de Ciências Médicas (FCM) da Unicamp, o portfólio foi implementado no curso de medicina após a Reforma Curricular no ano de 2001, onde o currículo anteriormente tradicional, estruturado em disciplinas sob responsabilidade individual dos departamentos, foi substituído por um currículo integrado, horizontal e verticalmente estruturado em módulos gerenciados por docentes de distintos departamentos.

Na FCM da Unicamp, o portfólio é desenvolvido no quarto ano do curso de medicina, no módulo “Atenção Integral à Saúde”, quando o discente atua nas Unidades Básicas de Saúde (UBS). Os objetivos desse módulo são: contribuir para a formação geral do médico por meio da prática clínica em situações de atendimento primário em saúde da criança e do adolescente, da mulher, do adulto e do idoso. As competências a serem desenvolvidas neste estágio compreendem o desenvolvimento: do raciocínio clínico, da compreensão do processo diagnóstico e terapêutico, da relação médico-paciente, da responsabilização e da vivência da atenção primária integral à saúde no ambiente extra-hospitalar ²⁰20. Zeferino AMB, Zanolli ML, Antonio MARGM. Experiência da atenção integral à saúde individual e familiar com enfoque na responsabilização, vínculo médico-paciente, ética e profissionalismo no Currículo Médico Integrado. Rev Bras Educ Med. 2012; 36(1/2):141-6. .

Neste módulo os alunos são avaliados por quatro métodos distintos e em momentos diferentes ao longo do ano letivo: prova teórica, avaliação estruturada do atendimento clínico, conceito global por item e portfólio, com notas que variam de zero a dez.

Os estudos mostram que os alunos compreendem que o portfólio contribui para: o desenvolvimento da capacidade de reflexão, a autoconsciência, a crítica e a capacidade para lidar com as adversidades que a vida cotidiana impõe, e promove a aprendizagem a partir da experiência clínica ²¹21. Buckley S, Coleman J, Davison I, Khan KS, Zamora J, Malick S, et al. The educational effects of portfolios on undergraduate student learning: a Best Evidence Medical Education (BEME) systematic review. BEME Guide nº 11. Med Teach. 2009; 31(4):282-98.^,2222. Cotta RMM, Costa GD. Instrumento de avaliação e autoavaliação do portfólio reflexivo: uma construção teórico-conceitual. Interface (Botucatu). 2016; 20(56):171-83. , mas não está claro o que eles percebem sobre a correção do portfólio. Com suporte a este questionamento, o presente estudo objetivou compreender a percepção dos discentes do quarto ano do curso de graduação em medicina sobre a correção do portfólio pelo grupo docente.

Metodologia

Trata-se de um estudo descritivo, com abordagem qualitativa de análise dos dados. A metodologia qualitativa foi utilizada pois aplica-se ao estudo das relações, das representações, das crenças, das percepções e das opiniões, produto das interpretações que os seres humanos fazem de como vivem, constroem seus artefatos e a si mesmos, sentem e pensam ²³23. Fontanella BJB, Ricas J, Turato ER. Amostragem por saturação em pesquisas qualitativas em saúde: contribuições teóricas. Cad Saude Publica. 2008; 24(1):17-27. .

Para Minayo ²⁴24. Minayo MCS. O desafio do conhecimento: pesquisa qualitativa em saúde. São Paulo: Hucitec; 2008. p. 57. , a pesquisa qualitativa:

O estudo foi realizado com estudantes do quarto ano do curso de graduação em medicina da Unicamp, que cursaram o módulo “Atenção Integral à Saúde”- MD758 nos anos de 2015 e 2016. Os alunos se dividem em grupos que são distribuídos em seis Unidades Básicas de Saúde (UBS) da cidade de Campinas e, durante os estágios, atendem as famílias nas áreas de Ginecologia e Obstetrícia, Pediatria e Clínica Médica por nove meses, supervisionados por docentes e tutores médicos da própria rede de saúde. O envolvimento do estudante é com a família, embora a supervisão seja realizada pelas diversas áreas. O período do estágio exige um aprendizado individualizado preparando-o para o internato.

O conteúdo dos portfólios construídos nos anos de 2015 e 2016 foram semelhantes, com pequenas modificações realizadas no último em virtude de seu preenchimento na plataforma online . O portfólio foi composto basicamente por três partes:

- As planilhas de atendimento diário das áreas de Clínica Médica, Pediatria e Ginecologia e Obstetrícia, com os diagnósticos clínicos e as orientações de conduta de cada caso;

- Um caso de cada área, escolhido pelo próprio discente, para ser apresentado e discutido: para cada hipótese diagnóstica formulada, deveria ser descrito o raciocínio clínico envolvido para sua elaboração, com embasamento teórico obtido na literatura médica;

- Autoavaliação da aprendizagem: o intuito era fazer o aluno refletir sobre seu atendimento, dificuldades e facilidades, e apontar as deficiências que eventualmente existam no desenvolvimento do estágio, sob seu ponto de vista.

Para atingir os objetivos do instrumento de avaliação, no início do ano letivo a coordenadora do módulo orientou os discentes sobre: a construção do portfólio, as datas de entrega ao final do primeiro semestre e da devolutiva no início do segundo semestre do mesmo ano. Neste encontro ela disponibilizou alguns arquivos para auxiliar os alunos na confecção do portfólio, como: os objetivos, o que seria avaliado e o modelo para sua construção.

Cada portfólio foi corrigido por um docente de cada especialidade, totalizando 36 corretores por ano, que poderiam permanecer ou mudar de um ano para outro. Nenhum critério referenciado foi utilizado para a correção, o grupo gestor discutiu e foram elaborados critérios com o intuito de homogeneizar a correção. Atribuiu-se uma nota após as considerações necessárias de cada tópico.

Em 2015, no início do segundo semestre, o resultado da avaliação dos portfólios foi discutido em cada UBS pelos docentes e tutores, não somente orientando os discentes sobre as suas eventuais deficiências no aprendizado esperado, mas também colhendo suas sugestões de mudanças, e, em 2016, eles acessaram a correção por meio da plataforma online . É importante ressaltar que o corretor do portfólio não foi o mesmo professor que acompanhava o aluno durante os atendimentos na UBS.

Os alunos que cursaram a MD758 em 2015 foram abordados por meio do e-mail da turma em outubro de 2015; e, para os que cursaram em 2016, o contato foi feito presencialmente no prédio onde tinham aulas teóricas (toda a turma do quarto ano) nas segundas e terças-feiras à tarde durante o mês de agosto de 2016. Todos foram convidados a participar da pesquisa e, após aceitação individual, os participantes foram esclarecidos a respeito do propósito desta investigação, e assinaram o Termo de Consentimento Livre e Esclarecido.

Inicialmente, as sete entrevistas realizadas com os alunos que cursaram a MD758 no ano de 2015 seriam entrevistas-piloto. Entretanto, no decorrer de 2016, o portfólio sofreu modificações no seu preenchimento, passando a ser desenvolvido em plataforma virtual online . Assim, para a análise da percepção dos alunos sobre essas mudanças, todas as entrevistas foram consideradas, tanto as realizadas em 2015 como em 2016.

O número amostral foi definido por saturação teórica das informações. De acordo com Glaser & Strauss ²⁵25. Glaser BG, Strauss AL. The discovery of grounded theory: strategies for qualitative research. New Brunswick: Aldine Transaction; 1999. p. 61.:

Para a coleta de dados, foram realizadas 31 entrevistas individuais, seguindo um roteiro semiestruturado, com nove questões norteadoras: Conte-me um pouco da sua experiência com o portfólio que você construiu no quarto ano. Como foi o processo de elaboração do seu portfólio? O que você achou de realizar o portfólio na plataforma Moodle? Quais as dificuldades que você encontrou? Quais as facilidades encontradas? Como foi a participação do professor/tutor na construção do seu portfólio? Na sua opinião, qual a contribuição do portfólio para a sua formação médica? O que você acha da avaliação por meio do portfólio? Você teve feedback sobre o seu portfólio? Como foi?

A pergunta relacionada ao tema deste artigo foi: O que você acha da avaliação por meio do portfólio?

Todas as entrevistas foram gravadas e transcritas na íntegra. Além disso, todos os participantes responderam às perguntas referentes aos dados sociodemográficos.

O local e o horário de realização das entrevistas em 2015 foram previamente agendados com os discentes, de acordo com sua disponibilidade (na própria Faculdade de Ciências Médicas ou em área de convivência próxima ao Hospital de Clínicas da Unicamp); em 2016, foram realizadas no prédio de aulas teóricas da Faculdade de Ciências Médicas, antes do início das aulas do período da tarde.

Os dados foram analisados seguindo a técnica de análise de conteúdo proposta por Bardin ²⁶26. Bardin L. Análise de conteúdo. Reto LA, Pinheiro A, tradutores. São Paulo: Edições 70; 2011. . Esta técnica de análise é desenvolvida em três etapas: a pré-análise, em que foi realizada a organização do material coletado, com leitura flutuante, de forma a responder a algumas regras de validade, como exaustividade, representatividade, homogeneidade e pertinência; a etapa de exploração do material, com a utilização dos temas como unidades de registro, seguida de categorização; e a análise final, com o tratamento e interpretação dos resultados obtidos.

O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Faculdade de Ciências Médicas da Unicamp (CAAE: 46907515.8.0000.5404), e pela Comissão de Ensino de Graduação em Medicina da Unicamp.

Resultados e discussão

Foram entrevistados 31 graduandos em medicina da Unicamp: sete que cursaram a MD758 no ano de 2015 e 24 que cursaram a MD758 no ano de 2016, com idade entre 21 e 27 anos, sendo que foram abrangidos alunos de todas as UBS que são campos de estágio neste Módulo. Para facilitar a leitura, os alunos foram descritos com letra A, e o número em seguida refere-se à ordem em que as entrevistas foram realizadas (até a entrevista sete referem-se aos alunos de 2015, e os seguintes, aos alunos de 2016).

Este artigo é um recorte do trabalho que abordou diversos aspectos da utilização do portfólio por alunos de medicina. Na categoria que descreveu a percepção dos alunos sobre a utilização do portfólio como método de avaliação, foi identificada uma subcategoria que dizia respeito à “heterogeneidade da correção” pelo corpo docente, e foi sobre esta categoria que os resultados foram abordados e discutidos.

Destaca-se que a percepção dos alunos em relação à correção dos portfólios foi de que falta homogeneidade – percepção evidente tanto na fala dos alunos que o entregaram impresso, como os que o fizeram na plataforma online . Observam-se tais informações por meio dos discursos:

A natureza altamente individual de cada portfólio significa que a sua avaliação pode apresentar tantos desafios como a sua construção ²⁷27. Challis M. AMEE Medical Education Guide No. 11 (revised). Portfolio-based learning and assessment in medical education. Med Teach. 1999; 21(4):370-86. . Os avaliadores de portfólio estão sujeitos aos mesmos vieses e erros que os avaliadores de exames orais e de testes de desempenho. Para minimizar esses vieses de correção e melhorar a qualidade desse instrumento de avaliação, há a necessidade de investimento na capacitação dos profissionais envolvidos nessa tarefa ²⁸28. Tartwijk JV, Driessen EW. Portfolios for assessment and learning: AMEE Guide. Med Teacher. 2009; 31(45):790-801. . Além disso, o uso de avaliadores diferentes para um mesmo instrumento e a padronização de conteúdos mínimos que deveriam ser abordados em cada portfólio podem também contribuir para diminuir essa heterogeneidade identificada pelos alunos ¹¹11. Tekian A, Yudkowsky R. Assessment portfolios. In: Downing SM, Yudkowsky R. Assessment in health professions education. New York: Routledge Taylor & Francis Group; 2009. p. 287-304. .

Não houve relatos que consideraram a correção do portfólio homogênea.

Identificou-se que, além da heterogeneidade, os discentes percebem que há subjetividade nas correções, como relatado nas falas:

As falas dos alunos vão ao encontro do que diz a literatura, que a avaliação por meio de portfólios é tanto uma arte como uma ciência, pois, por mais estreitos que sejam os critérios de avaliação, e ainda que sejam cuidadosamente descritos os objetivos de aprendizagem, sempre haverá um grau de subjetividade envolvido nessa avaliação ¹¹11. Tekian A, Yudkowsky R. Assessment portfolios. In: Downing SM, Yudkowsky R. Assessment in health professions education. New York: Routledge Taylor & Francis Group; 2009. p. 287-304. .

Apesar de as falas expressarem certo grau de insatisfação por parte dos alunos, a literatura diz que a subjetividade não é uma desvantagem, uma vez que o objetivo principal do desenvolvimento e da avaliação do portfólio não é a classificação ou a seleção com base nas provas apresentadas, mas, sim, julgar se a aprendizagem apropriada aconteceu e foi demonstrada, de acordo com as necessidades de desenvolvimento do aluno ¹¹11. Tekian A, Yudkowsky R. Assessment portfolios. In: Downing SM, Yudkowsky R. Assessment in health professions education. New York: Routledge Taylor & Francis Group; 2009. p. 287-304. .

Os alunos percebem algumas limitações sobre serem avaliados por intermédio do portfólio que se assemelham ao que diz a literatura, como a heterogeneidade e a subjetividade no momento da correção. Uma sugestão é que essa correção seja realizada por mais de um docente, e que eles discutam entre si caso a discrepância seja percebida, ou que um terceiro avaliador a realize.

Além disso, seria importante o encontro entre aluno e avaliador no momento da devolutiva, no qual os erros e acertos seriam apontados e propostas melhorias visando o desenvolvimento integral do aluno.

Como proposta de intervenção, a criação de oficinas para os docentes, oferecendo treinamento sobre os tipos de portfólio, sua finalidade e seus objetivos, e, sobretudo, o que deve ser esperado do aluno na construção de seu portfólio.

Uma das limitações deste estudo é que ele foi realizado no ano de implantação do portfólio online , o que talvez reflita a necessidade de aprimoramento da ferramenta. Além disso, as entrevistas foram realizadas somente com os alunos. A inclusão da opinião dos docentes frente aos achados do estudo poderia encontrar outras razões para os problemas apontados e sugerir propostas de melhoria.

Conclusão

Os alunos consideraram que a avaliação por meio do portfólio necessita ser aprimorada, com definição clara dos critérios de correção. Na percepção discente, destacam-se a heterogeneidade e a subjetividade dos docentes nessa correção.

Referências

Datas de Publicação

Histórico