Testes sob medida são tendência em grandes exames

Aquela tradicional sala de aula com carteiras enfileiradas e candidatos de vestibulares ou concursos públicos respondendo a questões em calhamaços de papel pode virar imagem do passado. Com o avanço da tecnologia e algumas recentes adesões de peso, cresce a tendência da adoção dos TACs (Teste Adaptativo Computadorizado), ou computer assisted testing, em exames educacionais de grande porte.

No mês passado, o Cespe/UnB, principal organizador de concursos públicos do país, anunciou que vai começar a usar, já no segundo semestre deste ano, os testes adaptativos em concursos públicos e em exames de certificação em escala nacional. No Inep, órgão do MEC responsável por avaliações como o Enem e a Prova Brasil, e na Vunesp, que faz o vestibular da Unesp e outros concursos, já há conversas em andamento sobre a viabilidade de se utilizar os TACs.

 

Na prática, os testes adaptativos funcionam assim: alguns polos com computadores são credenciados para receber o software que contém os exames de determinado concurso ou vestibular. Os polos podem ser escolas já equipadas com computadores. No dia da prova, o aluno vai até um desses locais credenciados, senta-se diante de um computador e responde às questões.

Primeiro, são apresentadas questões de nível mediano; conforme o estudante vai acertando ou errando, o sistema apresenta questões mais fáceis ou mais difíceis para medir seu nível exato de proficiência naquela disciplina. Assim, as provas são personalizadas, diferentes para cada candidato. “O teste é adaptativo porque cada pessoa pode receber questões diferentes. Ele consegue determinar a proficiência de um candidato de uma maneira muito melhor do que uma prova igual para todo mundo. O sistema pega a resposta do candidato e faz um cálculo para ver qual é a próxima questão que ele vai responder”, afirma Dalton Francisco de Andrade, professor do departamento de informática e estatística da UFSC (Universidade Federal de Santa Catarina) e especialista no tema.

A correção dos testes adaptativos se baseia na TRI, ou Teoria de Resposta ao Item, que já é utilizada em exames do Ministério da Educação desde a década de 90, mas foi com a reformulação do Enem, em 2009, que ela se tornou mais conhecida. Na TRI, antes de serem aplicadas no dia do concurso, as questões são pré-testadas e classificadas quanto aos seus parâmetros – nível de dificuldade, por exemplo – e essas informações são inseridas no sistema. Com cada característica da questão conhecida, é possível que provas aplicadas em dias diferentes sejam comparáveis.

Segundo Andrade, pelo padrão de resposta do aluno, a TRI “desconfia” quando as respostas não são coerentes. Com isso, o estudante que acertou as questões mais difíceis e errou as mais fáceis – que o sistema entende como acertos casuais – não deixa de pontuar, mas recebe menos pontos do que aquele que acertou com mais coerência. “A TRI cria uma medida para medir conhecimento. E conhecimento é uma coisa cumulativa. Quando você aplica uma prova e sabe o grau de dificuldade das questões, se um aluno apresenta um padrão de resposta no qual ele acerta as difíceis e ele erra as fáceis, o sistema acha isso estranho”, afirma Andrade. O professor dá o exemplo de dois alunos que acertaram 10 questões em determinada prova, mas o primeiro acertou as 10 mais fáceis e o segundo, as 10 mais difíceis. Nesse caso, a TRI vai atribuir pontuação maior ao aluno que acertou as mais fáceis do que ao que acertou as mais difíceis.

Benefícios

Vantagens de se adotar o modelo adaptativo, o TAC, segundo o Cespe, não faltam. Como as provas não são impressas, economiza-se o que era gasto em transporte e impressão, além de se preservar o ambiente. As provas passam a poder ser realizadas em datas distintas e o resultado individual é conhecido assim que o candidato finalizar o exame, acelerando o cronograma de resultados.

Em contrapartida, o modelo exige o desenvolvimento de softwares específicos e a identificação de uma rede de locais certificados para receber as provas. Segundo Andrade, porém, a adoção de testes adaptativos até demanda um aporte de verba, mas esse valor acaba compensando com o tempo. “Pode haver um investimento inicial alto, mas depois isso se dilui”, afirma, citando também a redução de custos e do esforço nacional de segurança que provas como o Enem demandam.

---