| # |
Modèle |
GPQA Diamond |
MMLU-Pro |
LiveCodeBench |
Autres |
Source |
| 1 |
nemotron-3-ultra-550b-a55b |
87.0 |
85.8 |
85.98 |
SWE-V 70.7 · AA-Intel 12 |
HF/Vals |
| 2 |
particle-1 |
90.4 |
86.1 |
— |
Terminal 79.9 · DeepSWE 72.6 |
benchlm.ai |
| 3 |
flint-v1.0 |
— |
— |
80.3 |
SWE-V 74.2 · IFEval 95.1 |
HF RecursiveSI |
| 4 |
ling-3.2-flash |
84.4 |
79.0 |
87.0 |
ZEROBench 22.2 · ctx 1M |
HF inclusionAI |
| 5 |
ernie-5.5-flash-preview |
— |
— |
— |
HLE 46.4 · BrowseComp 87.4 |
datalearner.com |
| 6 |
nemotron-3.5-lightning |
76.9 |
81.9 |
— |
AA-Intel 24 |
build.nvidia.com |
| 7 |
nemotron-3.5-super-vl |
— |
— |
— |
VL (vision-langage) |
— |
| 8 |
nemotron-3-nano-omni-30b |
— |
— |
— |
Omni (vision+audio) |
— |
| 9 |
lfm-3-1.7b |
— |
— |
— |
Embarqué CPU, non classé |
benchlm.ai |
| 10 |
beam-free |
— |
— |
— |
Stealth, pas de données |
— |
| 11 |
glyph-cluster |
— |
— |
— |
Stealth, pas de données |
— |
📊 Données locales (bench maison)
ling-3.2-flash
Score global : 50%
10/220 questions avant rate-limit kilocode · Latence médiane 73s
- Logique : 75%
- Maths : 25%
🔑 Notes clés
- nemotron-3-ultra-550b : Le plus fort brut (GPQA 87, LCB 86) mais AA-Index 12 (lent/coûteux). 550B params (55B active).
- particle-1 : Excellent agentic coding (Terminal 79.9%, DeepSWE 72.6). GPQA 90.4% mais devise sur 23 domaines seulement.
- flint-v1.0 : Meilleur MoE <50B en agentic (SWE-V 74.2%, IFEval 95.1%). LCB 80.3%.
- ling-3.2-flash : Très bon code (LCB 87%, GPQA 84.4). ZEROBench faible (22.2) = moins bon en raisonnement abstrait.
- ernie-5.5-flash : Preview, pas de GPQA/MMLU public. HLE 46.4% (connaissance), MCP-Atlas 84.6% (agents).
- nemotron-3.5-lightning : Bon équilibre vitesse/perf (GPQA 76.9, MMLU-Pro 81.9). AA-Index 24.
- beam-free / glyph-cluster : Modèles stealth/propriétaires — aucune donnée publique disponible.
- lfm-3-1.7b : Petit modèle embarqué (CPU). Pas de benchmarks mainstream publiés.
- nemotron-3.5-super-vl / nano-omni : Modèles multimodaux (vision/audio). Benchmarks texte purs non publiés séparément.
📝 Limites
- Rate-limit kilocode : 429
model_cooldown après ~10 requêtes consécutives. OmniRoute retry-after 40s. Bench complet (220 questions) impossible en une session.
- Données manquantes : ernie-5.5-flash-preview, nemotron-3.5-super-vl, nemotron-3-nano-omni, beam-free, glyph-cluster, lfm-3-1.7b — pas de benchmarks publics diffusés.
- Comparaison hétérogène : benchmarks venant de sources différentes (HF, Vals, benchlm, datalearner), setups et prompts non harmonisés.