Zareian
5d490edaf9
102 unique textbook questions, 1,287 full model answers, per-answer cost and the hand grades for both rounds. Book excerpts (retrieval context) are left out. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2.5 KiB
2.5 KiB
سنجشِ مدلِ دستیار، ۲۰۲۶-۰۹-۲۵ و ۲۶
خروجیِ خامِ rag_model_benchmark برای گزارش ۲۳. تصمیمی که از آن گرفته شد: دستیار از
۲۰۲۶-۰۹-۲۶ روی gpt-4.1-mini و پرامپتِ tutor-v5-slash-in-question است. شرح در
docs/architecture.md.
۱۰۲ سوالِ یکتا و ۱٬۲۸۷ جواب. این فایل‌ها نگه داشته شده‌اند تا دیگر برای دیدنِ «کدام سوال، کدام جواب» لازم نباشد
دوباره پول خرج شود. هر نتیجه این‌ها را دارد: صورتِ سوال، کلید، متنِ کاملِ جواب، هزینه‌ی
دقیق (costUsd، از usage.costِ GapGPT)، زمان، و رأیِ داورِ خودکار (verdict).
داورِ خودکار (gpt-4.1) حدودِ ۷٪ اشتباه داوری کرد. ملاکِ نتیجه‌ها تصحیحِ دستی است و
verdict فقط برای مرجع مانده.
| فایل | چیست |
|---|---|
sample30.json |
۳۰ سوالِ دورِ اول (۸ کتاب، سوم تا دوازدهم) |
graded.json |
دورِ اول: ۱۴ مدل × ۳۰ سوال. g تصحیحِ دستی است (correct/wrong/error/excluded). سوالِ ۱۰۶۵ کنار رفت چون کلیدش غلط بود |
summary.json |
جمع‌بندیِ دورِ اول برای هر مدل |
probe-out.json |
غربالِ دو‌سوالیِ ۱۷ مدل، پیش از دورِ اول |
sample100.json |
۱۰۳ سوالِ دورِ دوم؛ سوالِ ۲۳۵ کنار رفت چون داده کم داشت، پس ۱۰۲ |
v3-*، v4-*، v5-* |
دورِ دوم. 4o = gpt-4o-mini و 41 = gpt-4.1-mini. v3 پرامپتِ قدیم است، v4 قاعده‌ی «/» در پرامپتِ سیستم، و v5 قاعده کنارِ سوال (منتشرشده) |
round2.json |
تصحیحِ دستیِ دورِ دوم: برای هر اجرا، فهرستِ wrong (شناسه‌ی سوال‌های غلط) |
primary.json |
۴۶ سوالِ دبستانِ دورِ دوم |
v5r-*، v6-41، v6b-* |
آزمایشِ «کسر را با بر بنویس» (v6)، و تکرارِ v5 برای سنجیدنِ نوسان. v6 منتشر نشد |
بازسازیِ گزارش: build.py و داده‌ها در ~/Desktop/گزارشات Tadrisino/گزارش-۲۳/داده‌های-خام/
هستند (به‌همراهِ ctx100.json، بخش‌های کتاب که هر سوال دید، که اینجا عمداً نیامده).