CoT Multiagentes ENEM

Sistema multiagente com Chain-of-Thought (CoT) para resolução automática de questões do ENEM (Exame Nacional do Ensino Médio) utilizando LLMs (Large Language Models) executados localmente.

Este projeto implementa, em notebook, uma proposta prática inspirada no paper ChainLM: empowering large language models with improved chain-of-thought prompting (CHENG et al., 2024): um pipeline que usa múltiplos agentes especializados para resolver questões do ENEM através de um mecanismo de debate em nível de etapa (Step-Level Debate), comparando seu desempenho contra abordagens de baseline (zero-shot e CoT few-shot). O objetivo do trabalho é ampliar a discussão sobre como diferentes técnicas de Engenharia de Prompts impactam a acurácia de uma inferência.

Visão geral do pipeline

O notebook está organizado em três grandes blocos, alinhados à proposta do artigo:

• Pré-processamento: leitura e limpeza das provas do ENEM (XML → dataframe estruturado).
• Infraestrutura de modelo: provisionamento de um LLM (Llama 3.1 8B) local via Ollama, orquestrado com CrewAI.
• Modelagem multiagente e avaliação: implementação do debate em nível de etapa e comparação com dois baselines, registrando incrementalmente os resultados em CSV.

Metodologia

Três estratégias de prompting são comparadas:

1. Zero-shot — pergunta-se diretamente a resposta ao modelo, sem exemplos.

2. CoT few-shot — fornecem-se dois exemplos resolvidos passo a passo antes da pergunta alvo, forçando o modelo a raciocinar antes de responder.

3. Debate multiagente — pipeline sequencial com 4 agentes especializados (orquestrado via CrewAI):

   | Agente | Função | | ------------------------- | ----------------------------------------------------------------- | | Solucionador | Propõe exatamente um passo de raciocínio por vez | | Verificador | Avalia a coerência lógica do passo proposto (erros de inferência) | | Crítico | Avalia interpretações alternativas e possíveis pegadinhas | | Juiz | Consolida os pareceres e decide: APROVADA ou REPROVADA | | Sintetizador/Extrator | Extrai a alternativa final (A–E) do histórico de raciocínio |

   O debate constrói o raciocínio incrementalmente (até 3 passos), com até 2 tentativas por passo em caso de rejeição.

Modelo

• Llama 3.1 8B via Ollama (executado localmente em GPU T4 com contexto de 8192 tokens).

O projeto usa um modelo local via Ollama (Llama 3.1 8B) em vez de uma API paga, permitindo o alto volume de chamadas exigido pelo debate multiagente sem custo de API — ao preço de uma capacidade de raciocínio menor que a de modelos proprietários maiores, o que é relevante para interpretar os resultados de acurácia. A janela de contexto é estendida para 8k tokens via Modelfile customizado, porque o histórico de etapas do debate cresce e é reenviado a cada chamada, e o padrão do Ollama truncaria esse histórico antes de concluir o raciocínio.

Arquitetura multiagente

O debate em nível de etapa exige que múltiplos papéis especializados troquem informações estruturadas entre si a cada passo do raciocínio: o Solucionador propõe, Verificador e Crítico avaliam em paralelo sob critérios distintos, e o Juiz consolida os pareceres antes de liberar a próxima etapa. Modelar isso manualmente exigiria reimplementar, a cada chamada, o encadeamento de prompts, o repasse de contexto entre agentes e a extração das saídas — código repetitivo e propenso a erros.

O CrewAI foi escolhido por abstrair exatamente essa orquestração: cada papel é definido como um Agent (com role, goal e backstory próprios, reforçando a separação de responsabilidades entre lógica formal, interpretação e arbitragem), cada etapa do debate vira uma Task, e o parâmetro context=[...] encaminha automaticamente a saída de uma tarefa para as tarefas seguintes — dispensando a montagem manual de prompts concatenados. O Process.sequential garante que Verificador e Crítico só avaliem depois que o Solucionador propôs o passo, e que o Juiz só decida depois de ver ambos os pareceres, preservando a ordem exigida pelo mecanismo de debate. Além disso, o suporte nativo a output_pydantic permite que o veredito do Juiz e a resposta final do Sintetizador sejam sempre retornados em schema validado, eliminando ambiguidade de parsing (ex.: variações textuais de "aprovado"/"reprovado").

Base de Dados

As questões utilizadas vêm do ENEM Challenge, dataset público mantido por Denis D. Mauá (IME-USP), disponível em: https://www.ime.usp.br/~ddm/project/enem/. O dataset reúne, em XML, questões objetivas do ENEM de 2009 a 2017, segmentadas em cabeçalho (contexto), enunciado e cinco alternativas de resposta, com o gabarito oficial indicado (SILVEIRA; MAUÁ, 2017).

• 20 arquivos XML oficiais do ENEM (2009 a 2017).
• Questões com imagem (image="Yes") são excluídas do pipeline, por não haver suporte a modelos multimodais.
• Fórmulas em MathML são convertidas para LaTeX com mml2tex, formato mais adequado à leitura por LLMs textuais.
• Uma amostra aleatória de 100 questões (texto puro) é utilizada para avaliação (random_state=13), por restrição de custo computacional.

Resultados

| Método | v1 (Juiz rigoroso) | v2 (Juiz permissivo) | | ------------------ | ------------------ | -------------------- | | Zero-shot | 53,0% | 52,0% | | CoT few-shot | 60,0% | 52,0% | | Debate multiagente | 60,0% | 59,0% |

O debate multiagente atinge a maior acurácia em ambas as versões, superando ou igualando as abordagens tradicionais.

As duas versões do notebook diferem apenas na regra de consenso do Juiz:

• v1 (Juiz rigoroso): aprova a etapa apenas se Verificador e Crítico concordarem; reprova se qualquer um dos dois apontar um problema concreto. Etapas reprovadas são registradas no histórico de raciocínio.
• v2 (Juiz permissivo): aprova a etapa se pelo menos um dos dois concordar, reprovando apenas quando ambos discordam. Etapas reprovadas deixam de ser anexadas ao histórico, que passa a conter só os passos já aprovados.

Estrutura do Projeto

.
├── ENEMdataset/          # Arquivos XML com questões oficiais do ENEM (2009–2017)
├── Notebooks/
│   ├── CoT_multiagentes_enem.ipynb     # v1 — Juiz exige aprovação de Verificador + Crítico
│   └── CoT_multiagentes_enem_v2.ipynb  # v2 — Juiz aprova com pelo menos um parecer positivo
├── Resultados/
│   ├── resultados.csv                  # Resultados da v1
│   └── resultados_v2.csv              # Resultados da v2
└── README.md

Principais Resultados

1. O debate multiagente com verificação lógica e interpretativa superou ou igualou o CoT few-shot tradicional.
2. O limiar de decisão do Juiz exerceu pouco impacto nos resultados: a versão mais rigorosa (v1) produziu acurácia levemente superior.
3. Um modelo local de 8B parâmetros alcança ~60% de acerto em questões textuais do ENEM, demonstrando viabilidade sem custos de API.

Referências

CHENG, Xiaoxue; LI, Junyi; ZHAO, Wayne Xin; WEN, Ji-Rong. ChainLM: empowering large language models with improved chain-of-thought prompting. In: JOINT INTERNATIONAL CONFERENCE ON COMPUTATIONAL LINGUISTICS, LANGUAGE RESOURCES AND EVALUATION (LREC-COLING), 2024, Torino. Proceedings [...]. Torino: ELRA and ICCL, 2024. p. 2969-2983. Disponível em: https://aclanthology.org/2024.lrec-main.265/. Acesso em: 16 jul. 2026.

SILVEIRA, Igor Cataneo; MAUÁ, Denis Deratani. University entrance exam as a guiding test for artificial intelligence. In: BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), 6., 2017. Proceedings [...]. [S. l.: s. n.], 2017. p. 426-431.