record the v6 fraction-wording experiment: notation slightly better, answers slightly worse, not shipped

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-09-26 03:25:43 +03:30
parent a6f91ea915
commit 64cf018e55
2 changed files with 12 additions and 3 deletions

View File

@@ -412,8 +412,9 @@ anyone who can read this repo can forge a token for any user.**
ورودِ کتاب هم با همین مدل است (`OPENAI_VISION_MODEL`). ورودِ کتاب هم با همین مدل است (`OPENAI_VISION_MODEL`).
- **«/» در دبستان** هم ممیز است هم کسر. جمله‌ی «در کتاب / ممیز است، نه کسر» فقط به - **«/» در دبستان** هم ممیز است هم کسر. جمله‌ی «در کتاب / ممیز است، نه کسر» فقط به
دبیرستان می‌رود و قاعده‌ی تشخیص کنارِ سوالِ دبستانی می‌آید. سه مسئله از ۱۷ هنوز غلط است. دبیرستان می‌رود و قاعده‌ی تشخیص کنارِ سوالِ دبستانی می‌آید. سه مسئله از ۱۷ هنوز غلط است.
- **مانده (سبک):** پاسخِ دبستانی کسر را هنوز با «/» می‌نویسد (۵/۶)، در حالی که پرامپت برای - **مانده:** پاسخِ دبستانی کسر را گاهی با «/» می‌نویسد (۵/۶)، که در نمادِ کتاب یعنی ۵٫۶.
دبستان «۵ بر ۶» می‌خواهد؛ در نمادِ کتاب «۵/۶» یعنی ۵٫۶. یک خطِ پرامپت برای «بر» (v6) آزموده شد و درستی را کمی پایین آورد، پس **منتشر نشد**
(سرور روی v5 ماند). شرح در `docs/architecture.md`؛ راهِ بعدی احتمالاً در فرانت است.
- داورِ خودکارِ `rag_model_benchmark` (gpt-4.1) حدودِ ۷٪ اشتباه می‌کند؛ نتیجه‌ی هر سنجش را - داورِ خودکارِ `rag_model_benchmark` (gpt-4.1) حدودِ ۷٪ اشتباه می‌کند؛ نتیجه‌ی هر سنجش را
پیش از تصمیم دستی وارسی کنید. پیش از تصمیم دستی وارسی کنید.

View File

@@ -161,7 +161,15 @@ temperature و با `OPENAI_CHAT_REASONING_EFFORT` صدا زده می‌شوند
برای دبیرستان نوشته شده بود به همه می‌رفت، و 4.1-mini با آن ۱/۷ + ۱/۸ را ۳/۵ حساب می‌کرد. برای دبیرستان نوشته شده بود به همه می‌رفت، و 4.1-mini با آن ۱/۷ + ۱/۸ را ۳/۵ حساب می‌کرد.
حالا برای دبستان آن جمله عوض شده و قاعده‌ی تشخیص (صفر پیش از «/» یا واحد = ممیز؛ کلمه‌ی حالا برای دبستان آن جمله عوض شده و قاعده‌ی تشخیص (صفر پیش از «/» یا واحد = ممیز؛ کلمه‌ی
«کسر» یا بی‌نشانه = کسر) کنارِ خودِ سوال می‌آید. همین قاعده در انتهای پرامپتِ سیستم اثری «کسر» یا بی‌نشانه = کسر) کنارِ خودِ سوال می‌آید. همین قاعده در انتهای پرامپتِ سیستم اثری
نداشت. نتیجه: مسئله‌های «/»ِ 4.1-mini از ۱۱ به ۱۴ از ۱۷. سه‌تا هنوز غلط است. نداشت. نتیجه: مسئله‌های «/»ِ 4.1-mini از ۱۱ به ۱۴ از ۱۷. سه‌تا هنوز غلط است. در سه اجرای بعدیِ v5
عدد بینِ ۱۱ و ۱۳ نوسان کرد، پس اثرِ واقعی کمتر از یک اجراست.
**کسر در جوابِ دبستان هنوز گاهی «۵/۶» نوشته می‌شود، نه «۵ بر ۶»** (در ۳ تا ۵ از ۷ جوابِ کسری
«بر» آمد). کد نمی‌تواند a/b را تبدیل کند، چون ممکن است ممیز باشد. آزمایشِ v6 (۲۰۲۶-۰۹-۲۶) یک
خطِ «کسر را در پاسخ با بر بنویس» را کنارِ قاعده‌ی خواندن گذاشت: نمادگذاری کمی بهتر شد (۴–۵ از
۷) ولی درستی کمی بدتر (مسئله‌های «/» ۱۰–۱۱ در برابرِ ۱۱–۱۳؛ ۱/۷ + ۱/۸ در هر سه اجرا ۳/۵ شد،
با v5 در هر سه درست). جوابِ غلط از نمادِ نادرست بدتر است، پس v6 منتشر نشد. راهِ بعدی احتمالاً
در فرانت است (دکمه‌ی کسر در ورودی، یا نمایشِ کسرِ دوطبقه)، نه در پرامپت.
**تمام شدنِ اعتبار دیده می‌شود.** هر گذارِ provider بینِ `ok` و **تمام شدنِ اعتبار دیده می‌شود.** هر گذارِ provider بینِ `ok` و
`quota_exhausted` یک ردیف در `statuslog` است (`ai_tutor/provider_status.py`) و `quota_exhausted` یک ردیف در `statuslog` است (`ai_tutor/provider_status.py`) و