ticket(TASK-39): bench round13 12-14B + reco prod e4b #8

Merged

nicolas merged 3 commits from ticket/task-39 into main

2026-05-23 09:31:02 +00:00

nicolas commented

2026-05-23 09:29:12 +00:00

Owner

Benchmark Round 13. Reco: prod gemma-4-e4b conservé. Incident noté: crash oMLX 0.3.9 sur specprefill (à suivre). Résultats dans docs/.

nicolas added 3 commits

2026-05-23 09:29:12 +00:00

round13: script de bench (Phase A baseline) 12-14B classe 431c9beaf1

Préparation TASK-39 (Round 13 duel 12-14B). Dérivé de
docs/scripts/fixtureB-duel.py (round 12) :
- Panel = 5 arms 12-14B (gemma-3-12b QAT/std, Qwen3-14B, Qwen2.5-14B,
  Hermes-4-14B). gemma-3 12B (pas 14B : n'existe pas).
- BASELINE = config prod EXACTE hermes-v3 d'e4b (ctx 65536, turboquant
  4-bit, dflash + ssd_cache, hot cache 2 GB / 2 entries, specprefill OFF).
- Guard prod profile élargi : ne supprime jamais gemma-4-e4b/hermes-v3
  (nouveau prod) en plus de gemma-4-26b/hermes,hermes-v2 (rollback).
- OUTDIR par défaut → docs/round13-results/ (override SWEEP_OUTDIR vers
  ~/data/benchmarks/... selon handover).
- Header md + naming arms neutres (panel hétérogène).

DL HF lancés côté Atlas (gemma-3-12b-qat/std + Qwen3-14B, ~22 GB).
Bench non encore lancé — attend OK + initialisation ~/data (data.git).
Référence : docs/handover-modeltest-round13-12-14b-duel-2026-05-22.md.

Refs TASK-39.

docs: round13 Phase A — résultats duel 12-14B + reco prod (e4b) 8e0ff2e7e4

Bench 5×12-14B (Gemma3-12B QAT+STD, Qwen3-14B, Qwen2.5-14B-Instruct,
Hermes-4-14B) à profil prod e4b exact, 2 fixtures × 6 reps.

Verdict Phase A :
- Aucun candidat ne détrône e4b (le moins lent = g3-12b-std à 64s
  méd warm sur Fixture A, ~50× plus lent qu'e4b).
- Gemma 3 12B (QAT + STD) émettent 0/6 tool-call sur Fixture B
  (parallèle vault_grep+web_search) → échouent rubrique multi-read.
- Qwen3-14B : seul à 6/6 par_safe Fixture B mais variance 63-170s →
  cache prompt n'engage pas (hot cache 2 GB calibré pour e4b 5 GB
  trop petit pour KV d'un 14B à 22k tok) — candidat Phase B.
- Qwen2.5-14B : 6/6 par_safe, mais ~170s constant warm=cold → cache
  cassé. Candidat Phase B (knob sweep).
- Hermes-4-14B : tool-call instable (3/6 reps Fixture A à 0 tools),
  valid_rate ≤ 0,50 → écarté définitivement, le tuning ne corrige
  pas un modèle qui répond en texte la moitié du temps.
- QAT vs PTQ Gemma 3 12B : à 4-bit, STD légèrement plus rapide warm
  (64 vs 100s méd), pas de gain QAT visible côté latence.

Reco : prod e4b conservé. Phase B utile uniquement sur Qwen3-14B
(prioritaire) puis Qwen2.5-14B — à valider avec Nicolas avant
nouvelle fenêtre de maintenance.

Hygiène : e4b restauré post-bench (hermes-v3 ré-appliqué via PUT
settings avant load, smoke chat = 0,26s). Profils prod intacts.
Données brutes : ~/data/benchmarks/2026-05-22-round13-12-14b-duel/.

Refs TASK-39.

round13 Phase B: sweep moteur qwen3-14b + reco finale prod e4b 3f3db189cd

Sweep 4 knobs sur Qwen3-14B (seul candidat Phase A par_safe 6/6) :
hot cache 2→6 GB / 4 entries, KV 3.5-bit, specprefill, baseline.

Verdict :
- hotcache aide Fixture A médiane (143→43s, ×3,4) mais régresse
  Fixture B (72→126s) — probable bug éviction quand 2 fixtures
  alternées sur 4 entries. Confirme hypothèse "KV 14B > 2 GB hot"
  partiellement.
- kv35 et specprefill neutres ou régressent.
- min cellules (24-29s) montre cache prompt CAPABLE d'engager mais
  l'engagement reste inconstant rep-à-rep → bug oMLX 0.3.9 cache
  prompt sur gros KV (suspect).
- Aucune variante ne descend Qwen3-14B sous 30s méd. e4b prod
  reste 30-50× plus rapide même après tuning.

oMLX crash (segfault scheduler._do_external_prefill) lors du smoke
9-arms multi-modèles au passage qw3→qw25 après specprefill →
re-run prudent qwen3-only, qwen25-14B Phase B reporté.

Reco finale : prod e4b conservé. Aucun 12-14B ne mérite round 14.
Bug cache prompt instable à remonter upstream (jundot/omlx).

Prod e4b restauré post-bench (hermes-v3 ré-appliqué, smoke 0,35s).
Fenêtre Hermes degradé totale ~6h (Phase A + crash + Phase B).

Refs TASK-39.

nicolas merged commit 596381966a into main

2026-05-23 09:31:02 +00:00

nicolas referenced this pull request from a commit

2026-05-23 09:31:03 +00:00

Merge pull request 'ticket(TASK-39): bench round13 12-14B + reco prod e4b' (#8) from ticket/task-39 into main

No reviewers

No labels

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

nicolas/iac!8

No description provided.

Rows
Columns