OPINIÃO
Modelo de avaliação CAPES: desejável e necessário, porém, incompleto
CAPES evaluation model: desirable and necessary, but incomplete
Virginia Alonso Hortale
Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz. Rua Leopoldo Bulhões 1480, Rio de Janeiro, RJ 21041-210, Brasil. virginia@ensp.fiocruz.br
RESUMO
Buscando contribuir com o aperfeiçoamento dos critérios de avaliação dos programas stricto sensu na área da saúde pública, o presente texto apresenta as principais características identificadas por observadores estrangeiros quando da avaliação dos programas de pós-graduação realizada em 2001 pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e faz algumas considerações críticas sobre os critérios utilizados para avaliar a qualidade do ensino, com base nas principais tendências hoje em curso em outros países.
Palavras-chave: Ensino; Avaliação; Programas de Pós-Graduação
ABSTRACT
Seeking to contribute to the improvement of evaluation criteria in the public health graduate studies program, this article presents the main characteristics identified by foreign observers during the 2001 program evaluation of the Brazilian government research support agency CAPES (Coordinating Body for Training University-Level Personnel) and presents some critical observations on the criteria used to evaluate the quality of teaching in graduate studies programs. These comments were based on recent trends in other countries.
Key words: Teaching; Evaluation; Graduation Studies Programs
Em 2001, observadores estrangeiros estiveram presentes no processo de avaliação dos programas de pós-graduação stricto sensu de algumas áreas do conhecimento: Medicina II, Saúde Coletiva, Odontologia, Sociologia, Ciências Agrárias I, Veterinária, Computação, Química e Geociências. Ao final, fizeram comentários que foram sistematizados em um documento publicado recentemente pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) (Spagnolo & Calhau, 2002), o qual é sintetizado mais adiante. Importante esclarecer que, embora essas áreas tenham diferenças significativas, quer na sua natureza, quer na sua estrutura curricular, o próprio documento julga que os comentários feitos pelos observadores podem ser generalizáveis.
Buscando contribuir com o aperfeiçoamento dos critérios de avaliação dos programas stricto sensu na área da saúde pública, damos destaque neste artigo às principais características dos atuais critérios de avaliação e à questão da qualidade do ensino, aspecto pouco desenvolvido no atual modelo de avaliação da CAPES. Para enriquecer as considerações críticas sobre este último, discutimos as tendências recentes dos sistemas de avaliação da Europa e Canadá, sugerindo alguns possíveis indicadores para avaliar a qualidade do ensino.
Uma das principais características do atual modelo de avaliação, na opinião dos observadores estrangeiros, é a de que ele é objetivo na sua natureza. Utiliza-se a abordagem de caráter mais subjetivo, especialmente para ilustrar os pontos fortes ou fracos identificados durante o processo de avaliação. A unidade de análise da avaliação é o Programa e, dentro de uma mesma área de conhecimento, os Programas são avaliados comparativamente. Os principais dados coletados são de dois tipos: recursos humanos e produção científica, o que caracteriza o modelo de avaliação como centrado na pesquisa e na excelência. A avaliação do Programa é feita a cada três anos, no entanto, o monitoramento é de caráter anual. Os avaliadores externos são indicados pelo próprio Programa.
Os principais indicadores do instrumento de avaliação são de natureza quantitativa, faltando indicadores de natureza qualitativa, como por exemplo, de opinião do corpo discente sobre a satisfação e a qualidade do curso. Contudo, avaliam-se, na análise final, os componentes qualitativos do Programa. Para alguns observadores, os critérios de avaliação são pouco sensíveis à variação da quantidade de alunos por Programa, ou seja, "com os critérios atuais, um Programa com cinco alunos cada ano tem o mesmo valor que outro com 50 alunos" (Spagnolo &Calhau, 2002:15).
As conclusões acima se pautaram em duas principais dimensões. A primeira é a da eficiência, ou seja; a relação entre recursos humanos disponíveis e capacidade per capita de produzir pesquisa e ensino, ainda que para este último não existam indicadores objetivos; a segunda é a da qualidade dos produtos, sobretudo a pesquisa. Para esta, mede-se o valor da publicação baseado no QUALIS base de dados que compreende os veículos de divulgação científica utilizados pelos Programas de Pós-graduação. Entretanto, os observadores destacaram algumas fragilidades desse processo. Uma delas é que não há visitas dos avaliadores para conhecer a infra-estrutura do Programa. Por outro lado, o tempo de uma semana para analisar todos os dados do Programa é tido como insuficiente; e a auto-avaliação do Programa também não é priorizada. Finalmente, foi observado com alguma estranheza que, embora os indicadores de qualidade analisados nas diferentes dimensões fossem poucos, ao final o resultado se expressa por meio de uma única nota, com predominância dos indicadores quantitativos.
Os observadores identificaram algumas semelhanças e diferenças entre a avaliação da CAPES e a de alguns países europeus. Uma das diferenças é que avaliações com essas características não ocorrem em intervalos menores do que cinco anos (às vezes, o intervalo é de 6 a 8 anos). À semelhança do processo brasileiro, a equipe de avaliadores externa é composta de pessoas indicadas pelo corpo docente do Programa e não há comparações diretas com os demais Programas da área no país. Aqui cabe um comentário: a tendência hoje, na Europa, é a de associar as comparações com a norma pré-estabelecida (o mais comum) em vários Programas semelhantes em um momento determinado e com o mesmo Programa em um espaço de tempo diferente, possibilitando que a avaliação seja a mais completa possível, dada a complexidade do processo (Ferrer, 1997).
Alguns desses países, em seus processos de avaliação incluem categorias como: "1) rigor no padrão de admissão de novos alunos; 2) gastos em pesquisa e sobretudo recursos federais obtidos pelo corpo docente em base competitiva; 3) prêmios e reconhecimentos/distinções recebidos pelos docentes; 4) produtividade (números) e qualidade das publicações diretamente derivadas de atividades desenvolvidas no curso; 5) gastos da instituição em biblioteca, infra-estrutura e apoio geral aos estudantes; 6) sucesso dos que se formaram no Programa (impacto no mercado de trabalho, nível salarial e posição na hierarquia, êxito nas provas da especialidade); 7) em conexão com os itens acima listados, alguns índices são utilizados para classificar e comparar Programas de pós-graduação, tais como: alunos em tempo integral/docentes em tempo integral, percentual de alunos que obtêm o PhD e/ou número de titulados por ano" (Spagnolo & Calhau, 2002:13).
Os observadores foram unânimes em considerar o modelo de avaliação hoje adotado pela CAPES coerente na sua generalidade e com uma qualidade avaliativa elevada. Todavia, de acordo com Ferrer (1997), três princípios deveriam ser respeitados: veracidade, coerência e justiça, dando-se maior ênfase ao terceiro quando se realizam análises comparativas, devido às conseqüências negativas que uma comparação injusta pode trazer para o Programa avaliado.
Os comentários posteriores dos observadores podem ser entendidos como uma proposta de reorientação do sistema de avaliação brasileiro na área da pós-graduação stricto sensu para o que prevalece hoje no centro-norte da Europa e no Canadá, com ênfase na avaliação de qualidade do ensino e que detalharemos a seguir.
Avaliação da qualidade do ensino na área de pós-graduação stricto sensu: algumas tendências
Dos comentários feitos pelos observadores, o que mais chamou a atenção foi que o sistema de avaliação da CAPES está mais orientado para a pesquisa do que para a qualidade do ensino. No instrumento de avaliação utilizado, não há indicadores próprios para avaliar os métodos de ensino, a qualidade é inferida com base na análise do número de publicações, da qualificação do corpo docente, das orientações realizadas e da carga horária docente no Programa. "Supor que a pesquisa e as publicações que dela derivam são também evidências da qualidade do ensino é uma hipótese muito discutível. A formação de qualidade exige competências pedagógicas e científicas que nem sempre emanam da atividade de pesquisa" (Spagnolo &Calhau, 2002:24).
Tem sido cada vez maior o interesse nos países europeus em discutir a avaliação da qualidade do ensino. Os motivos variam desde a massificação da educação universitária, o desenvolvimento do ensino a distância até o aumento dos cortes orçamentários nas universidades públicas. O essencial nessas discussões tem sido encontrar no conceito de qualidade do ensino os atributos que ajudarão a explicitar a comparabilidade dos objetivos das atividades educativas com as medidas utilizadas e seus correspondentes resultados (Hamalaïnen & Jakku-Sihvonen, 1999). Nesse sentido e de acordo com Royero (1999), a qualidade deve ser entendida valendo-se de uma perspectiva complexa e multidimensional, cuja amplitude abarca os processos educativo, social e humano e se converte em um sistema conectado com outros sistemas interdependentes.
É convergente nos países europeus a idéia de que a garantia dessa qualidade pode se dar implementando políticas educacionais e tornando públicas informações sobre o funcionamento dos Programas, dos seus resultados, além de explicitar a necessidade de melhorias no ensino. Nesse contexto, a avaliação tem se tornado uma estratégia essencial, dando-se em três dimensões: (1) auto-avaliação realizada ao interior do Programa; (2) avaliação interna realizada por pares; e (3) avaliação externa, conduzida por agências independentes. Nas primeira e segunda dimensões é característica central o processo pedagógico de adesão do Programa à lógica de melhoria da qualidade do ensino. A terceira tem como característica essencial o uso de padrões baseados em critérios de qualidade construídos de forma consensual.
Hoje, os sistemas de avaliação de ensino de graduação e pós-graduação que foram implementados no centro-norte da Europa atuam nessas diferentes dimensões e se orientam a fim de "definir claramente os requisitos formativos (por meio de levantamentos com as partes interessadas) e daí formular os objetivos formativos, em termos de conhecimentos, habilidades técnico-específicas, capacidades operativas e habilidades transversais que o programa deve induzir no estudante; especificar os métodos de ensino mais adequados e de apuração dos conhecimentos adquiridos (provas)" (Spagnolo & Calhau, 2002:24). À título de contribuição, poderíamos sugerir alguns indicadores baseados no modelo de estrutura, processo e resultado. Para o primeiro tempo do professor dedicado ao Programa. Para o segundo atividades de aprendizagem em relação ao alcance dos objetivos do programa; existência ou não de avaliação contínua e periódica e o estilo de ensinar do professor. Para o último relação entre aprovados e reprovados em disciplinas e o grau de satisfação dos alunos.
No Canadá, por mais que os processos de avaliação se adaptem às características específicas de cada Programa, são mantidos como centrais o componente formativo da avaliação, ou seja, a auto-avaliação, e a garantia de melhoria contínua da qualidade dos cursos e da relevância dos seus Programas (Comission dÉvaluation de lEnseignement Collégial, 1994).
Para encerrar, entendemos que, na área da saúde pública no Brasil, avaliar a formação vem se tornando cada vez mais uma preocupação essencial das instituições de ensino de pós-graduação, devido à necessidade de qualificar profissionais competentes quer para a pesquisa e o ensino, quer para atender as necessidades de saúde da população. Para os desafios colocados nesse campo, a concepção de qualidade é peça central na elaboração de modelos curriculares mais flexíveis e que incorporem as competências e as habilidades requeridas em uma sociedade em transformação. Transformar essas avaliações, de caráter predominantemente quantitativo, e insuficientes para a verificação da melhoria de qualidade da educação pretendida poderá levar a melhor organizar esforços no plano institucional, docente e discente.
Referências
COMISSION DÉVALUATION DE LENSEIGNEMENT COLLÉGIAL, 1994. General Guide to the Evaluation of Programs of Studies. Québec: Comission dÉvaluation de lEnseignement Collégial.
FERRER, A. T., 1997. Tratamiento y Uso de la Información en Evaluación. 22 Septiembre 2003 <http://www.ince.mec.es/cumbre/d1-05.htm>.
HAMALAÏNEN, K. & JAKKU-SIHVONEN, R., 1999. More Quality to the Quality Policy of Education. 22 September 2003 <http://www.minedu.fi/eupresidency/eng/meetings/23-25September/jakku%20eng.pdf>.
ROYERO, J., 1999 Contexto mundial sobre la evaluación en las instituciones de educación superior. Revista Iberoamericana de Educación <http://www.campus-oei.org/revista/deloslectores/334royero.pdf>.
SPAGNOLO, F. & CALHAU, M. G., 2002. INFOCAPES Boletim Informativo da CAPES. 10:7-34.
Recebido em 25 de junho de 2003
Aprovado em 22 de setembro de 2003