Zareian
5d490edaf9
102 unique textbook questions, 1,287 full model answers, per-answer cost and the hand grades for both rounds. Book excerpts (retrieval context) are left out. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
28 lines
2.5 KiB
Markdown
28 lines
2.5 KiB
Markdown
# سنجشِ مدلِ دستیار، ۲۰۲۶-۰۹-۲۵ و ۲۶
|
||
|
||
خروجیِ خامِ `rag_model_benchmark` برای گزارش ۲۳. تصمیمی که از آن گرفته شد: دستیار از
|
||
۲۰۲۶-۰۹-۲۶ روی `gpt-4.1-mini` و پرامپتِ `tutor-v5-slash-in-question` است. شرح در
|
||
`docs/architecture.md`.
|
||
|
||
۱۰۲ سوالِ یکتا و ۱٬۲۸۷ جواب. این فایل‌ها نگه داشته شده‌اند تا دیگر برای دیدنِ «کدام سوال، کدام جواب» لازم نباشد
|
||
دوباره پول خرج شود. هر نتیجه این‌ها را دارد: صورتِ سوال، کلید، متنِ کاملِ جواب، هزینه‌ی
|
||
دقیق (`costUsd`، از `usage.cost`ِ GapGPT)، زمان، و رأیِ داورِ خودکار (`verdict`).
|
||
|
||
**داورِ خودکار (gpt-4.1) حدودِ ۷٪ اشتباه داوری کرد.** ملاکِ نتیجه‌ها تصحیحِ دستی است و
|
||
`verdict` فقط برای مرجع مانده.
|
||
|
||
| فایل | چیست |
|
||
|---|---|
|
||
| `sample30.json` | ۳۰ سوالِ دورِ اول (۸ کتاب، سوم تا دوازدهم) |
|
||
| `graded.json` | دورِ اول: ۱۴ مدل × ۳۰ سوال. `g` تصحیحِ دستی است (`correct`/`wrong`/`error`/`excluded`). سوالِ ۱۰۶۵ کنار رفت چون کلیدش غلط بود |
|
||
| `summary.json` | جمع‌بندیِ دورِ اول برای هر مدل |
|
||
| `probe-out.json` | غربالِ دو‌سوالیِ ۱۷ مدل، پیش از دورِ اول |
|
||
| `sample100.json` | ۱۰۳ سوالِ دورِ دوم؛ سوالِ ۲۳۵ کنار رفت چون داده کم داشت، پس ۱۰۲ |
|
||
| `v3-*`، `v4-*`، `v5-*` | دورِ دوم. `4o` = gpt-4o-mini و `41` = gpt-4.1-mini. v3 پرامپتِ قدیم است، v4 قاعده‌ی «/» در پرامپتِ سیستم، و v5 قاعده کنارِ سوال (منتشرشده) |
|
||
| `round2.json` | تصحیحِ دستیِ دورِ دوم: برای هر اجرا، فهرستِ `wrong` (شناسه‌ی سوال‌های غلط) |
|
||
| `primary.json` | ۴۶ سوالِ دبستانِ دورِ دوم |
|
||
| `v5r-*`، `v6-41`، `v6b-*` | آزمایشِ «کسر را با بر بنویس» (v6)، و تکرارِ v5 برای سنجیدنِ نوسان. v6 منتشر نشد |
|
||
|
||
بازسازیِ گزارش: `build.py` و داده‌ها در `~/Desktop/گزارشات Tadrisino/گزارش-۲۳/داده‌های-خام/`
|
||
هستند (به‌همراهِ `ctx100.json`، بخش‌های کتاب که هر سوال دید، که اینجا عمداً نیامده).
|