A estrutura das provas do Enade: análise pós-aplicação dos itens objetivos de 2017

Este Relatório técnico traz o resultado da análise dos itens presentes nas provas aplicadas aos concluintes das 44 Áreas que participaram do Enade-2017. O estudo dá continuidade e amplitude ao que foi realizado com os itens das provas do Enade-2016 e do Enade 2018. O objetivo foi investigar se o formato de um item e o nível cognitivo exigido para a sua resposta influenciam na dificuldade para a sua resolução e se a posição do item na prova leva a alguma piora nos resultados. Além disso, foi investigado se algum tipo de item tem maior probabilidade de ser anulado, não contribuindo, portanto, para compor as notas dos estudantes. Para isso, técnicos com grande experiência no campo da elaboração e da revisão de itens objetivos classificaram os 1.196 itens quanto à forma, utilizando, para tal, categorias do Guia de elaboração de itens do Inep, e quanto ao nível cognitivo exigido, tendo como base a literatura da área e a Taxionomia de Bloom. Para a verificação das hipóteses, foram utilizadas medidas empíricas da pós-aplicação das provas: os índices de Facilidade dos itens e os índices de Discriminação. Quanto aos resultados, deve-se salientar que não há equilíbrio de tipos de itens nas provas, pois mais de dois quintos dos itens é de resposta múltipla, o mesmo ocorrendo em relação ao nível cognitivo exigido, já que há predomínio de itens de Compreensão. Observou-se que itens de asserção-razão são mais difíceis e tendem a ser mais frequentemente anulados. Já quanto ao nível cognitivo, os de resolução de problemas, seguidos pelos de Análise, são os mais difíceis e os que menos discriminam. Já quanto à posição na prova, não se detectou que exerça qualquer influência na facilidade e no poder de discriminação. Destaca-se, ainda, que outras pesquisas envolvendo os conteúdos e os contextos avaliados devem ser realizadas, já que tais características são intrínsecas aos itens e podem gerar efeitos não detectados apenas pelo tipo de item e pelo nível cognitivo exigido.