Por que os rankings falham ao medir a qualidade da educação

Por Philip G. Altbach e Ellen Hazelkorn

Os rankings acadêmicos globais mais influentes – o altamente influente Ranking Acadêmico das Universidades Mundiais de Xangai (ARWU), o Ranking Mundial das Universidades Times Higher Education (THE) e o Ranking QS Top University – existem há mais de uma década e são agora uma força maior na formulação do ensino superior em todo o mundo. Um de seus principais objetivos é evidenciar as melhores universidades do mundo, com base em seus próprios critérios.

No entanto, eles consideram menos de 5% das mais de 25.000 instituições acadêmicas em todo o mundo. Os rankings são influentes: os alunos tomam decisões sobre onde estudar, alguns governos alocam fundos e as universidades lutam para melhorar sua posição neles.

Desde o início, esses rankings se concentraram principalmente na produtividade de pesquisa. Medidas de reputação também são incluídas nos rankings QS e THE, mas essas permanecem controversas devido às baixas taxas de resposta que acentuam enviesamentos e perspectiva limitada.

Cada indicador de pesquisa é considerado de forma independente, onde a multicolinearidade é mais persuasiva – em outras palavras, estudantes de doutorado, citações, rendimento de pesquisa, internacionalização etc. são altamente interdependentes. Permitindo alguma sobreposição, os indicadores relacionados à pesquisa constituem aproximadamente 70% da pontuação total para o QS, enquanto a reputação influencia 50%. Tanto o ARWU quanto o THE são 100% baseados em indicadores de pesquisa/relacionados à pesquisa.

Sumário

Ensino/aprendizagem entram na equação dos rankings

Sem dúvida, ensinar é a missão fundamental da maioria das instituições de ensino superior; com poucas exceções, os alunos de graduação constituem a maioria dos estudantes matriculados no ensino superior em todo o mundo. No entanto, o conceito de “classe mundial” é derivado das universidades que obtiveram as maiores pontuações nos rankings globais. Isso é relativamente fácil de explicar.

As universidades intensivas em pesquisa tendem a ser melhor conhecidas internacionalmente e, portanto, as mais reconhecíveis em pesquisas de reputação. Dados bibliométricos são facilmente captados, embora esta prática continue a subestimar a pesquisa em artes, humanidades e ciências sociais, assim como pesquisas com orientação regional ou nacional – especialmente pesquisas publicadas em outros idiomas além do inglês.

Os rankings globais foram rápidos em rentabilizar para encontrar uma solução para essa questão, incluindo mais indicadores sobre a qualidade da educação e do ensino. Richard Holmes apontou que isso permanece um “território não mapeado”. No entanto, o problema é mais fundamental do que a escolha de indicadores.

Uma razão pela qual o ensino e o aprendizagem não foram incluídos nos rankings globais é a dificuldade de medir e comparar resultados entre países, instituições e estudantes diversos. Além disso, existe a necessidade de levar em conta como e o que os alunos aprenderam e como eles mudaram como resultado da sua experiência acadêmica, sem simplesmente refletir a experiência anterior do estudante – seu capital social.

O foco é a qualidade do ambiente de aprendizagem e o ganho de aprendizado, e não o status ou a reputação da instituição. Assim, muitas faculdades e universidades individualmente procuram avaliar a qualidade do ensino usando uma variedade de medidas, incluindo portfólios de ensino e avaliação por pares, para fins de recrutamento e promoção de docentes. Em muitos países, o corpo docente deve adquirir uma credencial na prática de ensino e aprendizagem antes ou após a nomeação.

Mais importante, é um equívoco pensar que podemos medir o ensino, em escala, a parte dos resultados da aprendizagem. O conceito de qualidade de ensino como um atributo institucional também é problemático porque a literatura mostra que a maioria das diferenças ocorre dentro, e não entre instituições.

Medindo a qualidade da educação e a aprendizagem do estudante

O debate sobre qualidade educacional assume diferentes formas em cada país, mas cada vez mais ênfase tem sido colocada nos resultados da aprendizagem, atributos de pós-graduação, competências para a vida e, crucialmente, no que as instituições de Ensino Superior estão contribuindo – ou não – para a aprendizagem dos estudantes.

Em 2011, após o sucesso do PISA (Programa Internacional de Avaliação de Alunos), a OCDE conduziu o projeto Avaliação dos Resultados de Aprendizagem do Ensino Superior (AHELO). Ao administrar um teste comum a estudantes em 17 países, o objetivo era identificar e medir tanto bom ensino quanto aprendizagem. Desenvolvido para desafiar a proeminência de rankings globais baseados principalmente nos resultados de pesquisas, o AHELO mostrou-se controverso e foi suspenso.

Outra alternativa de ranking, o PIAAC, Programa da OCDE para a Avaliação Internacional de Competências de Adultos, mede a proficiência de adultos em letramento, numeramento e resolução de problemas em ambientes ricos em tecnologia – publicado pela primeira vez em 2013.

Medidas de qualidade de ensino estão sendo desenvolvidas em várias nações. Em 2016, a Inglaterra foi pioneira no Quadro de Excelência no Ensino (TEF). O conceito inicial de governo era controverso, mesmo porque os resultados deveriam estar vinculados ao financiamento. O TEF foi desenvolvido por um consórcio de partes interessadas para avaliar a provisão de graduação e será estendido para o nível disciplinar (assunto) a partir de 2020.

Os testes nacionais têm outros métodos. O Exame Nacional de Desempenho de Estudantes do Brasil (Enade) avalia a competência dos estudantes em várias áreas profissionais. O exame destina-se a avaliar programas universitários, mais do que estudantes ou o conhecimento acadêmico. Da mesma forma, a Colômbia desenvolveu o SaberPro, com objetivos semelhantes.

Nos Estados Unidos, a Avaliação Colegiada de Proficiência Acadêmica (CAAP), a Avaliação de Aprendizagem Colegiada (CLA) e oPerfil de Proficiência ETS buscam medir a aprendizagem usando testes nacionais. Há também exercícios de autorelato dos alunos, como a Pesquisa Nacional de Engajamento Estudantil (NSSE) e, para o setor de faculdades comunitárias, a Pesquisa da Faculdade Comunitária de Engajamento Estudantil (CCSSE).

A NSSE avalia a quantidade de tempo e esforço que os estudantes colocam em seus estudos e outras atividades educacionalmente relevantes, e como uma instituição emprega seus recursos e organiza o currículo. O programa NSSE foi replicado na Austrália, Canadá, China, Irlanda, Nova Zelândia e África do Sul, com iniciativas similares no Japão, Coréia e México.

O que os rankings globais estão fazendo

Todos os rankings globais, incluindo o U-Multirank (UMR) da União Europeia, incluem indicadores de qualidade educacional – alguns com mais sucesso do que outros. O QS, o THE e o U-Multirank (este último no nível de disciplinas) usam a relação professor-aluno. No entanto, devido a diferentes métodos pelos quais professores e estudantes são classificados entre disciplinas e dentro de instituições e países, este é considerado um indicador altamente não fiável de qualidade educacional.

Ambos QS e THE incluem uma pesquisa por pares sobre o ensino, mas não está claro sob quais bases alguém pode avaliar o ensino de outra pessoa sem estar em sua sala de aula. O ARWU usa Prêmios Nobel/Medalhas Field concedidos a ex-alunos e docentes como um indicador para a qualidade educacional – o que é claramente ridículo.

A THE acaba de lançar o seu “Ranking de Qualidade de Ensino para a Europa”, baseado na experiência dos Rankings Universitários Wall Street Journal/Times Higher Education. Cinquenta por cento deste ranking é baseado na pesquisa de estudantes do WSJ/THE e outros 10% na pesquisa acadêmica de reputação. Ele também aloca 7,5% da pontuação final para o número de artigos publicados e 7,5% para a relação professor-aluno.

As pesquisas com estudantes parecem derivar da metodologia NSSE americana, mas há um considerável debate sobre o uso de tais pesquisas em uma base comparativa internacional, sem assegurar uma amostra representativa e sem considerar as diferenças entre estudantes e as limitações de dados auto reportados.

O THE também usa a proporção de estudantes do sexo feminino (10%) como uma medida de inclusão, mas isso é questionável, dado que as alunas representavam 54,1% de todos os estudantes terciários na UE 28 a partir de 2015. Então, vale a pena notar como poucas medidas subjacentes têm algo a ver propriamente com o ensino – mesmo que este seja definido de forma ampla.

Conclusão

Apesar de algum ceticismo sobre os aspectos metodológicos e práticos da metodologia de um ranking global, a corrida está lançada para estabelecer um. Existem várias ações por parte de entidades avaliadoras, governos e pesquisadores para identificar formas mais apropriadas, usando dados mais confiáveis, para medir e comparar resultados educacionais, empregabilidade de graduados, engajamento universidade-sociedade, etc.

Em um mundo globalizado com estudantes, graduados e profissionais em mobilidade, precisamos de melhores informações sobre como avaliar as capacidades e competências de um indivíduo.

Mas uma das lições dos rankings é que, sem o devido cuidado, os indicadores podem levar a consequências inesperadas. Sabemos que os resultados dos alunos determinarão oportunidades futuras. Mas conclusões baseadas em metodologias simplistas poderiam prejudicar ainda mais os estudantes que poderiam e deveriam se beneficiar mais, se as universidades se tornassem mais seletivas e focassem nos estudantes com maior chance de ter sucesso, a fim de melhorar a sua posição nos rankings globais.

Assim, está claro que criar comparações internacionais confiáveis de resultados educacionais é extremamente desafiador. Claramente, avaliar o ensino e a aprendizagem é fundamental para determinar a qualidade do ensino superior, mas usar as metodologias atuais para produzir dados comparativos é imprudente, na melhor das hipóteses.

Em vez de nos enganarmos acreditando que os rankings fornecem uma medida significativa da qualidade da educação, devemos reconhecer que eles simplesmente usam indicadores inadequados por conveniência comercial. Ou, melhor ainda, poderíamos admitir, ao menos por enquanto, que é impossível avaliar adequadamente a qualidade da educação para fins de comparações internacionais.

Sobre os autores

Philip G. Altbach é professor pesquisador e diretor fundador do Centro para Ensino Superior Internacional no Boston College. E-mail: altbach@bc.edu. Ellen Hazelkorn é professora emérita e diretora. Atua na Unidade de Pesquisa em Políticas do Ensino Superior, no Instituto de Tecnologia de Dublin, na Irlanda, e é sócia da BH Associates, Consultores em Educação. E-mail: ellen.hazelkorn@dit.ie.