Análise Comparativa de Ferramentas de IA Generativa na Correção de Redações Nota 1000 no ENEM
DOI:
https://doi.org/10.18264/eadf.v16i1.2556Palabras clave:
Redação, ChatGPT, Gemini, DeepSeek, MaritacaResumen
Este estudo apresenta a análise comparativa de quatro plataformas de Inteligência Artificial (IA) generativa, na correção de 100 (cem) redações no ENEM, para as quais foram atribuídas notas 1000 (mil) pelos avaliadores oficiais do INEP. O objetivo foi avaliar quatro diferentes plataformas para a correção de redações com nota máxima e comparar essas avaliações em relação à avalição oficial, que atribuiu nota máxima em todas. O percurso metodológico incluiu a criação de uma base de dados com os temas e textos das cem redações, a criação de scripts para interação com as plataformas e o armazenamento dos resultados com os feedbacks de cada redação, a partir dos critérios oficiais, para posterior análise dos resultados. Para as análises, foram usadas estatísticas descritivas e estatísticas inferenciais por meio dos testes ANOVA e Tukey. Os resultados apontaram a plataforma brasileira Maritaca IA como a que obteve os melhores resultados, com as notas mais próximas às atribuídas pelos avaliadores do ENEM, sugerindo seu uso em aplicações na qual o idioma português e o contexto brasileiro devem ser considerados.
Palavras-chave: Redação. ChatGPT. Gemini. DeepSeek. Maritaca. Correção Automática.
Descargas
Citas
ABDI, H.; WILLIAMS, L. J. Tukey’s Honestly Significant Difference (HSD) Test. In: Salkind, N. J. (Ed.), Encyclopedia of Research Design. SAGE Publications. 2010.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Cartilha do Participante: Redação no ENEM. Brasília, 2024. Disponível em https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_basica/a_redacao_no_enem_2024_cartilha_do_participante.pdf . Acesso em 02 fev. 2025.
CASTELLI, M.; MANZONI, L. Generative models in artificial intelligence and their applications. Applied Sciences, v. 12, n. 9, p. 4127, 2022.
CHATGPT. GPT-4 Technical Report. https://arxiv.org/html/2303.08774v6 . Acesso em 02 fev. 2025.
COSTA, M. P. F. et al. Panorama histórico das propostas de redações do ENEM: um olhar sobre as temáticas e critérios de avaliação. Revista Diálogo Educacional, v. 23, n. 78, p. 1332-1352, 2023.
DEEPSEEK. DeepSeek-v3 technical report. 2024. Disponível em https://arxiv.org/html/2412.19437v1 . Acesso em 02 fev. 2025.
EPSTEIN, Z. et al. Art and the science of generative AI. Science, v. 380, n. 6650, p. 1110-1111, 2023. Disponível em https://arxiv.org/abs/2306.04141 . Acesso em 10 fev. 2025.
GEMINI. Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. 2024. Disponível em https://arxiv.org/abs/2403.05530 . Acesso em 02 fev. 2025.
KASNECI, E. et. al. ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, v. 103, [s. n.], [s. p.], mar. 2023. Disponível em: https://www.sciencedirect.com/science/article/pii/S1041608023000195 . Acesso em 28 mar. 2025.
KEHOE, F. Leveraging Generative AI Tools for Enhanced Lesson Planning in Initial Teacher Education at Post Primary. Irish Journal of Technology Enhanced Learning, 7(2), 172-182. 2023. Disponível em: https://doi.org/10.22554/ijtel.v7i2.124 . Acesso em 25 fev. 2025.
LONGPRE, S. et al. Bridging the Data Provenance Gap Across Text, Speech and Video. 2025. Disponível em: https://arxiv.org/abs/2412.17847. Acesso em 23 mar. 2025.
MARITACA. Maritaca AI. Disponível em https://www.maritaca.ai/sobre-maritaca-ai. Acesso em 18 fev. 2025.
MONTGOMERY, D. C. Design and analysis of experiments. John wiley & sons, 2017.
PERES, R. et al. On ChatGPT and beyond: How generative artificial intelligence may affect research, teaching, and practice. International Journal of Research in Marketing, v. 40, n. 2, p. 269-275, 2023.
SABIÁ. Sabiá 3 Technical Report. Disponível em https://arxiv.org/pdf/2410.12049 . Acesso em 18 fev. 2025.
SALLAM, M. ChatGPT Utility in Healthcare Education, Research, and Practice: Systematic Review on the Promising Perspectives and Valid Concerns. Healthcare, v. 11, n. 6, p. 887, 2023. Disponível https://www.mdpi.com/2227-9032/11/6/887 . Acesso em 25 mar. 2025.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2026 EaD em Foco
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
Todos os artigos publicados na Revista EaD em Foco recebem a licença Creative Commons - Atribuição 4.0 Internacional (CC BY 4.0). Todas as publicações subsequentes, completas ou parciais, deverão ser feitas com o reconhecimento, nas citações, da Revista EaD em Foco como a editora original do artigo.
