Auditabilidade na correção por IA: o checklist que todo gestor de IES deveria exigir

Última atualização: 07/10/2026

O que você vai aprender neste artigo

• Por que auditabilidade virou critério de compra para correção de discursivas com IA
• As 8 perguntas que um gestor deve fazer a qualquer fornecedor
• O que significa "evidência antes do veredito" e por que isso muda a conversa com o aluno
• Como a emy responde a cada ponto, com base no teste interno do Corretor
• Como usar o checklist numa avaliação de fornecedores

Em resumo

Este artigo é para gestores de instituições de ensino superior que vão avaliar ou contratar uma ferramenta de correção de discursivas com IA. Auditabilidade, aqui, é a capacidade de a instituição entender, conferir e explicar como cada nota foi construída. Propomos um checklist de oito perguntas para fazer a qualquer fornecedor e mostramos como a emy responde a cada uma, com base no nosso teste interno de acurácia e consistência.

Por que auditabilidade virou critério de compra

Quando a correção de uma atividade discursiva passa a ter apoio de IA, a pergunta do gestor deixa de ser apenas se o sistema acerta e passa a ser se a instituição consegue explicar a nota. Essa explicação será cobrada em vários lugares: pelo aluno que pede revisão, pelo professor que precisa validar o resultado, pela coordenação que responde pela qualidade do curso e pelo jurídico quando surge uma contestação. Um sistema que entrega só um número, por mais próximo que esteja do número humano, deixa a instituição sem argumento nessas conversas.

O contexto regulatório aumenta o peso do tema. O Decreto 12.456/2025 prevê que pelo menos um terço do peso da avaliação presencial dos cursos EAD tenha elementos discursivos, com efeito imediato para cursos novos e prazo até maio de 2027 para os existentes. Mais discursivas significam mais textos corrigidos, e é natural que parte desse volume passe a contar com apoio de IA. O decreto não define critérios técnicos de auditoria, mas a instituição que amplia esse volume precisa, por conta própria, saber como cada nota é construída.

Propomos neste artigo um checklist de oito perguntas para conduzir essa avaliação. Ele serve para qualquer fornecedor e, ao final de cada item, mostramos como a emy responde a partir do que foi medido no teste de acurácia e consistência do Corretor.

O checklist em uma tabela

1. O critério de avaliação está explícito e é da instituição?

A primeira pergunta é de quem é o critério. Uma ferramenta que corrige com uma régua própria e fechada transfere para o fornecedor uma decisão que é pedagógica e, portanto, da instituição. O gestor deve exigir que a rubrica seja escrita, visível e editável pela coordenação, com os critérios, os pesos e a descrição de cada nível de desempenho.

Como a emy responde: a correção trabalha com critérios personalizáveis e rubricas transparentes, de modo que quem define o que vale nota é a instituição. O passo a passo para transformar o critério da coordenação em rubrica está no artigo sobre o caminho prático de ativação da correção.

2. O sistema mostra a evidência antes do veredito?

Esta é a pergunta que mais separa uma correção auditável de uma caixa-preta. Em um modelo de evidência antes do veredito, o sistema primeiro registra o que encontrou no texto e só depois chega à nota ou à classificação. Isso permite que o professor confira o raciocínio em vez de apenas aceitar ou recusar um resultado.

Como a emy responde: na etapa de aderência ao tema, o Corretor reformula o recorte específico da proposta e audita, parágrafo a parágrafo, se o desenvolvimento trata desse recorte ou apenas do assunto amplo. No teste, o único texto de fronteira foi classificado como tangência em 20 das 20 correções, igual aos corretores humanos, e nenhuma anulação indevida foi observada nas 200 correções.

3. A consistência é medida e divulgada?

Um corretor que dá notas diferentes para o mesmo texto não é auditável, porque não há como saber qual das notas vale. O gestor deve perguntar se o fornecedor mede a estabilidade e qual foi o resultado, de preferência com números e com o método descrito.

Como a emy responde: no teste, 98% das notas ficaram a até 40 pontos da nota central de cada redação, e a diferença média entre duas correções do mesmo texto foi de 22 pontos em 1000. Por competência, entre 77% e 100% das correções recaíram exatamente na nota mais frequente.

4. A acurácia foi comparada com corretores humanos, e com qual método?

Dizer que o sistema "acerta" sem mostrar contra quem e em quantos casos não ajuda a decidir. A pergunta certa é qual foi a amostra, quantos corretores humanos serviram de referência, se esses corretores eram especialistas e qual régua foi usada para considerar uma nota como correta.

Como a emy responde: o teste usou 10 redações autênticas, curadas por uma instituição parceira e independentes do desenvolvimento do sistema, cada uma avaliada por 3 corretores humanos especialistas e corrigida 20 vezes pelo Corretor, num total de 200 correções. Desse total, 94% ficaram dentro da tolerância do ENEM, que é de até 80 pontos da mediana humana na régua usada pela emy.

5. A subjetividade humana foi considerada na comparação?

Comparar a IA com um único número humano ignora que corretores também divergem entre si. Um bom fornecedor reconhece isso e usa a faixa dos próprios humanos como parâmetro, em vez de tratar uma nota específica como verdade absoluta.

Como a emy responde: no conjunto do teste, os 3 corretores humanos divergiram em média 140 pontos por redação, acima dos 100 pontos que o ENEM admite entre dois corretores antes de acionar um terceiro. O sistema foi avaliado pelo mesmo critério: ficar dentro da faixa humana, com viés pequeno e nota estável.

6. As limitações estão documentadas?

Nenhum sistema de correção é perfeito, e um fornecedor que afirma o contrário merece desconfiança. O gestor deve pedir a lista de limitações conhecidas e avaliar se ela é específica o bastante para orientar a operação.

Como a emy responde: o relatório do teste lista, entre outros pontos, uma leve compressão dos extremos da escala (mais conservador nas redações mais fortes, mais generoso na mais fraca), maior dispersão em uma das redações, concentrada na competência 1, uma amostra sem casos de anulação e uma referência de apenas 3 corretores por redação. O viés médio do sistema é de 17 pontos a menos em 1000, ou seja, levemente conservador, sem inflar notas.

7. Quem tem a palavra final sobre a nota?

A auditabilidade depende de uma cadeia de responsabilidade clara. O gestor deve perguntar onde o professor entra no processo, se ele consegue revisar e alterar o resultado e o que acontece quando o aluno contesta.

Como a emy responde: o professor revisa o parecer e valida a nota final. A IA entra como apoio para reduzir a leitura repetitiva, e a decisão continua com quem responde academicamente pela avaliação. Para a discussão mais ampla sobre uso responsável de IA pelos alunos, vale ler o artigo sobre integridade acadêmica na era da IA generativa. Para o ensino jurídico, tratamos da fronteira entre apoio e decisão em IA para cursos de Direito.

8. A integração com o AVA e o tratamento de dados estão claros?

Por fim, o checklist precisa cobrir a parte operacional. A instituição deve saber como as entregas chegam à correção, se isso exige migração do ambiente virtual e como os dados dos alunos são tratados. No segundo ponto, o artigo sobre LGPD na educação e a divisão entre controlador e operador ajuda a organizar as perguntas ao fornecedor.

Como a emy responde: a integração com o AVA é feita sem migração, por meio de script ou API, com plataformas como Moodle, Canvas, Blackboard e D2L. A avaliação inteligente da emy também inclui controle de plágio e similaridade.

Os números do teste, de relance

Como usar o checklist na avaliação de fornecedores

Uma forma prática de aplicar as oito perguntas é transformá-las em uma tabela de comparação, com uma coluna por fornecedor e uma coluna extra para a evidência apresentada. Se a resposta for só verbal, vale registrar como pendente até que haja documento, relatório ou demonstração. Em seguida, recomendamos testar a ferramenta com respostas que a instituição já corrigiu, repetindo o desenho do piloto descrito no artigo sobre ativação. Quem estiver estruturando a decisão de compra de forma mais ampla pode complementar com o checklist de adoção de IA para gestores de IES.

Perguntas frequentes

O que é auditabilidade na correção por IA? É a capacidade de a instituição entender, conferir e explicar como uma nota foi construída, desde o critério aplicado até a evidência encontrada no texto.

O que significa "evidência antes do veredito"? Significa que o sistema registra primeiro o que identificou no texto e só depois chega à nota ou à classificação, o que permite ao professor conferir o raciocínio.

Basta que a IA se aproxime da nota do professor? Não. A proximidade numérica é necessária, mas a instituição também precisa de critério explícito, evidência, consistência, limitações documentadas e validação humana.

Como a emy mediu a consistência da correção? Cada uma das 10 redações do teste foi corrigida 20 vezes de forma idêntica. A diferença média entre duas correções do mesmo texto foi de 22 pontos em 1000.

O professor ainda valida a nota? Sim. O professor revisa o parecer e valida a nota final.

O Decreto 12.456/2025 exige auditoria da correção por IA? O decreto prevê que ao menos um terço do peso da avaliação presencial dos cursos EAD tenha elementos discursivos. Ele não define critérios técnicos de auditoria, e por isso a instituição deve definir os seus próprios.

Esses números valem para qualquer disciplina? Os números vêm de um teste interno com redações no padrão ENEM. Para as discursivas de uma disciplina específica, o ideal é fazer um piloto comparando a correção com as notas dos professores.

Como produzimos este artigo

Os números da emy vêm do relatório interno de acurácia e consistência do Corretor (10 redações, 200 correções, 24/07/2026). As informações normativas vêm da fonte oficial listada abaixo.

Fontes

• Decreto 12.456/2025 (Planalto)
• Teste interno emy de acurácia e consistência do Corretor (24/07/2026)

Principais takeaways de Auditabilidade na correção por IA: o checklist que todo gestor de IES deveria exigir

• Auditabilidade é a capacidade de explicar como cada nota foi construída, e ela pesa mais conforme o volume de discursivas cresce com o Decreto 12.456/2025.
• O checklist tem oito perguntas: critério explícito, evidência antes do veredito, consistência medida, acurácia comparada a humanos, subjetividade considerada, limitações documentadas, palavra final do professor e integração com dados claros.
• No teste interno da emy, 94% das 200 correções ficaram dentro da tolerância do ENEM e 98% das notas ficaram a até 40 pontos da nota central.
• A emy divulga as limitações do teste, e o professor valida a nota final.
• O checklist funciona melhor quando vira uma tabela comparativa, com evidência registrada para cada fornecedor.

José Messias Jr. é CEO e cofundador da emy education, ferramenta pedagógica de IA que se integra ao AVA/LMS que a instituição já usa para oferecer tutoria 24h, exercícios adaptativos e correção de atividades discursivas em escala. À frente da emy, liderou a empresa a ser a única edtech da América Latina selecionada pelo Google para o Gemini Founders Forum (2025). Escreve sobre IA aplicada à educação, retenção de alunos e o futuro das instituições de ensino no Brasil. LinkedIn: https://www.linkedin.com/in/josé-messias-jr-7b94a5136