Benchmark de Agentes de IA
Benchmark de Agentes de IA
Compare resultados de agentes de programação no mesmo ambiente de avaliação.
Base inicial: SWE-bench Verified, nas avaliações internas da Epoch AI. Atualização diária.
O resultado é a porcentagem de tarefas resolvidas no SWE-bench Verified sob a configuração usada pela Epoch AI. Acesse os detalhes de cada execução. O modelo e o ambiente do agente influenciam o resultado.
Histórico de alterações
O histórico começa com esta integração e registra mudanças nos dados coletados, não uma evolução de inteligência ao longo do tempo.
Como ler estes dados
O resultado é a porcentagem de tarefas resolvidas no SWE-bench Verified sob a configuração usada pela Epoch AI. Acesse os detalhes de cada execução. O modelo e o ambiente do agente influenciam o resultado.
Este teste não mede autonomia geral, navegação, segurança ou custo por tarefa. Esses campos ficam indisponíveis até existir uma fonte comparável e reutilizável.
Não misturamos o leaderboard geral do SWE-bench com outros ambientes. Configurações de raciocínio permanecem identificadas nos nomes.
Fontes: Epoch AI (CC BY 4.0). Dados reorganizados e convertidos em porcentagens. models.dev (MIT).
