record the v6 fraction-wording experiment: notation slightly better, answers slightly worse, not shipped
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -412,8 +412,9 @@ anyone who can read this repo can forge a token for any user.**
|
|||||||
ورودِ کتاب هم با همین مدل است (`OPENAI_VISION_MODEL`).
|
ورودِ کتاب هم با همین مدل است (`OPENAI_VISION_MODEL`).
|
||||||
- **«/» در دبستان** هم ممیز است هم کسر. جملهی «در کتاب / ممیز است، نه کسر» فقط به
|
- **«/» در دبستان** هم ممیز است هم کسر. جملهی «در کتاب / ممیز است، نه کسر» فقط به
|
||||||
دبیرستان میرود و قاعدهی تشخیص کنارِ سوالِ دبستانی میآید. سه مسئله از ۱۷ هنوز غلط است.
|
دبیرستان میرود و قاعدهی تشخیص کنارِ سوالِ دبستانی میآید. سه مسئله از ۱۷ هنوز غلط است.
|
||||||
- **مانده (سبک):** پاسخِ دبستانی کسر را هنوز با «/» مینویسد (۵/۶)، در حالی که پرامپت برای
|
- **مانده:** پاسخِ دبستانی کسر را گاهی با «/» مینویسد (۵/۶)، که در نمادِ کتاب یعنی ۵٫۶.
|
||||||
دبستان «۵ بر ۶» میخواهد؛ در نمادِ کتاب «۵/۶» یعنی ۵٫۶.
|
یک خطِ پرامپت برای «بر» (v6) آزموده شد و درستی را کمی پایین آورد، پس **منتشر نشد**
|
||||||
|
(سرور روی v5 ماند). شرح در `docs/architecture.md`؛ راهِ بعدی احتمالاً در فرانت است.
|
||||||
- داورِ خودکارِ `rag_model_benchmark` (gpt-4.1) حدودِ ۷٪ اشتباه میکند؛ نتیجهی هر سنجش را
|
- داورِ خودکارِ `rag_model_benchmark` (gpt-4.1) حدودِ ۷٪ اشتباه میکند؛ نتیجهی هر سنجش را
|
||||||
پیش از تصمیم دستی وارسی کنید.
|
پیش از تصمیم دستی وارسی کنید.
|
||||||
|
|
||||||
|
|||||||
@@ -161,7 +161,15 @@ temperature و با `OPENAI_CHAT_REASONING_EFFORT` صدا زده میشوند
|
|||||||
برای دبیرستان نوشته شده بود به همه میرفت، و 4.1-mini با آن ۱/۷ + ۱/۸ را ۳/۵ حساب میکرد.
|
برای دبیرستان نوشته شده بود به همه میرفت، و 4.1-mini با آن ۱/۷ + ۱/۸ را ۳/۵ حساب میکرد.
|
||||||
حالا برای دبستان آن جمله عوض شده و قاعدهی تشخیص (صفر پیش از «/» یا واحد = ممیز؛ کلمهی
|
حالا برای دبستان آن جمله عوض شده و قاعدهی تشخیص (صفر پیش از «/» یا واحد = ممیز؛ کلمهی
|
||||||
«کسر» یا بینشانه = کسر) کنارِ خودِ سوال میآید. همین قاعده در انتهای پرامپتِ سیستم اثری
|
«کسر» یا بینشانه = کسر) کنارِ خودِ سوال میآید. همین قاعده در انتهای پرامپتِ سیستم اثری
|
||||||
نداشت. نتیجه: مسئلههای «/»ِ 4.1-mini از ۱۱ به ۱۴ از ۱۷. سهتا هنوز غلط است.
|
نداشت. نتیجه: مسئلههای «/»ِ 4.1-mini از ۱۱ به ۱۴ از ۱۷. سهتا هنوز غلط است. در سه اجرای بعدیِ v5
|
||||||
|
عدد بینِ ۱۱ و ۱۳ نوسان کرد، پس اثرِ واقعی کمتر از یک اجراست.
|
||||||
|
|
||||||
|
**کسر در جوابِ دبستان هنوز گاهی «۵/۶» نوشته میشود، نه «۵ بر ۶»** (در ۳ تا ۵ از ۷ جوابِ کسری
|
||||||
|
«بر» آمد). کد نمیتواند a/b را تبدیل کند، چون ممکن است ممیز باشد. آزمایشِ v6 (۲۰۲۶-۰۹-۲۶) یک
|
||||||
|
خطِ «کسر را در پاسخ با بر بنویس» را کنارِ قاعدهی خواندن گذاشت: نمادگذاری کمی بهتر شد (۴–۵ از
|
||||||
|
۷) ولی درستی کمی بدتر (مسئلههای «/» ۱۰–۱۱ در برابرِ ۱۱–۱۳؛ ۱/۷ + ۱/۸ در هر سه اجرا ۳/۵ شد،
|
||||||
|
با v5 در هر سه درست). جوابِ غلط از نمادِ نادرست بدتر است، پس v6 منتشر نشد. راهِ بعدی احتمالاً
|
||||||
|
در فرانت است (دکمهی کسر در ورودی، یا نمایشِ کسرِ دوطبقه)، نه در پرامپت.
|
||||||
|
|
||||||
**تمام شدنِ اعتبار دیده میشود.** هر گذارِ provider بینِ `ok` و
|
**تمام شدنِ اعتبار دیده میشود.** هر گذارِ provider بینِ `ok` و
|
||||||
`quota_exhausted` یک ردیف در `statuslog` است (`ai_tutor/provider_status.py`) و
|
`quota_exhausted` یک ردیف در `statuslog` است (`ai_tutor/provider_status.py`) و
|
||||||
|
|||||||
Reference in New Issue
Block a user