# سنجشِ مدلِ دستیار، ۲۰۲۶-۰۹-۲۵ و ۲۶

خروجیِ خامِ `rag_model_benchmark` برای گزارش ۲۳. تصمیمی که از آن گرفته شد: دستیار از
۲۰۲۶-۰۹-۲۶ روی `gpt-4.1-mini` و پرامپتِ `tutor-v5-slash-in-question` است. شرح در
`docs/architecture.md`.

۱۰۲ سوالِ یکتا و ۱٬۲۸۷ جواب. این فایل‌ها نگه داشته شده‌اند تا دیگر برای دیدنِ «کدام سوال، کدام جواب» لازم نباشد
دوباره پول خرج شود. هر نتیجه این‌ها را دارد: صورتِ سوال، کلید، متنِ کاملِ جواب، هزینه‌ی
دقیق (`costUsd`، از `usage.cost`ِ GapGPT)، زمان، و رأیِ داورِ خودکار (`verdict`).

**داورِ خودکار (gpt-4.1) حدودِ ۷٪ اشتباه داوری کرد.** ملاکِ نتیجه‌ها تصحیحِ دستی است و
`verdict` فقط برای مرجع مانده.

| فایل | چیست |
|---|---|
| `sample30.json` | ۳۰ سوالِ دورِ اول (۸ کتاب، سوم تا دوازدهم) |
| `graded.json` | دورِ اول: ۱۴ مدل × ۳۰ سوال. `g` تصحیحِ دستی است (`correct`/`wrong`/`error`/`excluded`). سوالِ ۱۰۶۵ کنار رفت چون کلیدش غلط بود |
| `summary.json` | جمع‌بندیِ دورِ اول برای هر مدل |
| `probe-out.json` | غربالِ دو‌سوالیِ ۱۷ مدل، پیش از دورِ اول |
| `sample100.json` | ۱۰۳ سوالِ دورِ دوم؛ سوالِ ۲۳۵ کنار رفت چون داده کم داشت، پس ۱۰۲ |
| `v3-*`، `v4-*`، `v5-*` | دورِ دوم. `4o` = gpt-4o-mini و `41` = gpt-4.1-mini. v3 پرامپتِ قدیم است، v4 قاعده‌ی «/» در پرامپتِ سیستم، و v5 قاعده کنارِ سوال (منتشرشده) |
| `round2.json` | تصحیحِ دستیِ دورِ دوم: برای هر اجرا، فهرستِ `wrong` (شناسه‌ی سوال‌های غلط) |
| `primary.json` | ۴۶ سوالِ دبستانِ دورِ دوم |
| `v5r-*`، `v6-41`، `v6b-*` | آزمایشِ «کسر را با بر بنویس» (v6)، و تکرارِ v5 برای سنجیدنِ نوسان. v6 منتشر نشد |

بازسازیِ گزارش: `build.py` و داده‌ها در `~/Desktop/گزارشات Tadrisino/گزارش-۲۳/داده‌های-خام/`
هستند (به‌همراهِ `ctx100.json`، بخش‌های کتاب که هر سوال دید، که اینجا عمداً نیامده).