label every textbook solution, and build quizzes at the level the app plays
سه کارِ به‌هم‌پیوسته که از یک کشف شروع شدند: راه‌حل‌هایی که vision از کتاب
درآورده گاهی غلط‌اند، و این خطا در بازیابی دیده نمی‌شود — فقط وقتی کسی به
`solution` اعتماد کند خودش را نشان می‌دهد.
۱) بازبینیِ راه‌حل‌ها (rag_verify_solutions)
هر chunk دوباره حل می‌شود و با کتاب مقایسه. نتیجه سه‌حالته است، نه بله/خیر:
اجرای اول با بولی ۱۹٪ خطا گزارش کرد؛ خواندنِ دستیِ نمونه‌ها نشان داد ۳۵٪ از
آن‌ها مسئله‌هایی بودند که به شکلِ کتاب ارجاع می‌دادند و اصلاً قابلِ قضاوت
نبودند، و ۲۴٪ موردی که «۳/۱۰۴» را کسرِ ۳÷۱۰۴ خوانده بود نه عددِ ۳٫۱۰۴. با دو
حالت، «نمی‌دانم» ناچار به «غلط است» ترجمه می‌شد.
با سه حالت و پرامپتی که این دو تله را می‌شناسد: ۲٬۱۱۹ chunk بررسی شد،
۱٬۱۱۲ درست، ۱۲۳ غلط (۵٫۸٪)، ۸۸۱ غیرقابلِ قضاوت. آن ۸۸۱ رایگان برچسب خوردند
چون پیش‌فیلتر قبل از هر فراخوانی کنارشان گذاشت.
`solution` هرگز بازنویسی نمی‌شود — کتاب باید کتاب بماند. برچسب در payloadِ
Qdrant هم می‌نشیند، ولی با نامی که `retrieval._payload_text` نمی‌خواند: یک
نویسه هم به متنی که به مدل می‌رسد اضافه نشد.
نمونه‌ی خطاهای واقعیِ کتاب که پیدا شد:
BMI = ۱۰۰/(۲٫۷۴)² کتاب: ۳۳٫۲ درست: ۱۳٫۳
۱۶ آبی + ۲۴ صورتی کتاب: «کل ۵۰» درست: ۴۰
بزرگ‌ترین عددِ ۴رقمیِ بی‌تکرار کتاب: ۸۵۳۲ درست: ۹۸۷۶
g(x) = x³ − ۲ کتاب: «نمایی» درست: چندجمله‌ای
۲) سوال‌ها فقط از راه‌حل‌های تأییدشده
۱٬۱۹۹ سوال در content/seed/questions.json، همه از chunkهایی که برچسبِ
«درست» گرفته‌اند. هر شش پایه برنامه‌ی درسی دارند (۱٬۹۲۸ درس) — هشتم و دهم
تازه ساخته شدند.
۳) GET /api/nodes/{id}/quiz
واحدِ بازی در اپ «مبحث» است ولی سوال‌ها به «درس» بسته‌اند، و درس اینجا
ریزترین دانه است: یک نوعِ مسئله، نه یک جلسه. نتیجه‌اش این بود که اپ برای یک
آزمونِ چهارسوالی باید ده‌ها درخواست می‌زد. این اندپوینت از همه‌ی درس‌های مبحث
نمونه برمی‌دارد، حداکثر یکی از هر درس تا آزمون روی یک مهارت گیر نکند.
درهم‌ریزی با بذرِ nodeId:userId پایدار است: رفرشِ صفحه همان آزمون را می‌دهد،
نه مجموعه‌ی تازه‌ای که پیشرفت را بی‌معنا کند. `questionCount` جدا از
`requested` می‌آید تا مبحثِ کم‌سوال وانمود نکند کامل است.
──────────
اصلاحاتِ جانبی که سرِ راه لازم شدند:
• QDRANT_TIMEOUT_SECONDS: کلاینت بدونِ timeout ساخته می‌شد و پیش‌فرضِ ۵
ثانیه‌ایِ کتابخانه ingestِ کتابِ هشتم را روی اولین فراخوانی کشت.
• پاک‌سازیِ نقاطِ نیمه‌نوشته: upsert با wait=True ممکن است نوشته باشد و فقط
جوابش تایم‌اوت شده باشد؛ مسیرِ جبران فقط ردیف‌های DB را پس می‌گرفت و هر
retry یک نسخه‌ی تکراری در Qdrant جا می‌گذاشت (۸ مورد در پایه نهم، پاک شد).
• تشخیصِ سقفِ حساب: «insufficient user quota» با فاصله می‌آید نه زیرخط، و
محافظِ اول نمی‌گرفتش — یک اجرا ۷۷۰ فراخوانیِ محکوم‌به‌شکست زد.
• پرامپتِ vision حالا می‌خواهد محتوای شکل داخلِ متنِ مسئله نوشته شود. ۴۲٪ از
محتوای موجود به شکلی ارجاع می‌دهد که در متن نیست؛ مدل آن را دیده بود ولی
از او خواسته نشده بود بنویسدش. کتاب‌های موجود قبل از این قاعده وارد شده‌اند.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -15,6 +15,9 @@
|
||||
python manage.py generate_questions_from_chunks --grade نهم
|
||||
"""
|
||||
import json
|
||||
import threading
|
||||
import time
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
|
||||
from django.conf import settings
|
||||
from django.core.management.base import BaseCommand, CommandError
|
||||
@@ -26,29 +29,54 @@ from rag.services import clients
|
||||
from rag.services.config import build_collection_name, rag_is_configured
|
||||
from rag.services.textbooks import TEXTBOOKS, get_textbook
|
||||
|
||||
PROMPT = """
|
||||
تو یک معلمِ ریاضیِ پایه‌ی {grade} هستی.
|
||||
def _is_account_limit(exc) -> bool:
|
||||
"""
|
||||
آیا این خطا یعنی «حسابِ سرویس دیگر جواب نمی‌دهد» یا فقط کندیِ لحظه‌ای؟
|
||||
|
||||
از روی «مسئله» و «راه‌حل»ِ زیر — که مستقیماً از کتابِ درسی درآمده — یک سوالِ
|
||||
چهارگزینه‌ای بساز.
|
||||
دو شکلِ واقعی که دیدیم و هر دو باید اجرا را متوقف کنند:
|
||||
429 initial_usage_limit_exceeded — سقفِ حسابِ تازه، ساعت‌ها
|
||||
403 insufficient user quota — اعتبار تمام شده
|
||||
|
||||
قواعد:
|
||||
- صورتِ سوال باید کوتاه، خودکفا و به فارسی باشد؛ دانش‌آموز بدونِ دیدنِ کتاب
|
||||
بتواند جواب دهد.
|
||||
- دقیقاً چهار گزینه، و دقیقاً یکی درست.
|
||||
- سه گزینه‌ی نادرست باید **خطاهای رایجِ همین مبحث** باشند (مثلاً اشتباه در
|
||||
علامتِ توان، جا انداختنِ یک مرحله، مخرجِ مشترک نگرفتن) — نه عددِ تصادفی و
|
||||
نه گزینه‌ی آشکارا مسخره.
|
||||
- هر گزینه حداکثر ۴۰ نویسه.
|
||||
- اگر از روی این متن نمی‌شود سوالِ سالمی ساخت، دقیقاً {{"skip": true}} برگردان.
|
||||
نکته: متنِ دومی «insufficient user quota» است با فاصله، نه زیرخط. محافظِ
|
||||
اولِ ما دنبالِ `insufficient_quota` می‌گشت و نمی‌گرفتش، و اجرا ۷۷۰ فراخوانیِ
|
||||
محکوم‌به‌شکست زد به‌جای اینکه سرِ اولی بایستد.
|
||||
"""
|
||||
text = str(exc).lower()
|
||||
if 'usage_limit' in text or 'quota' in text:
|
||||
return True
|
||||
return '403' in text and 'insufficient' in text
|
||||
|
||||
|
||||
PROMPT = """تو یک معلمِ ریاضیِ باتجربه‌ی پایه‌ی {grade} هستی.
|
||||
|
||||
از روی «مسئله» و «راه‌حل»ِ زیر — که مستقیماً از کتابِ درسی درآمده و درستیِ
|
||||
راه‌حلش جداگانه بررسی و تأیید شده — یک سوالِ چهارگزینه‌ای بساز.
|
||||
|
||||
⚠️ نکته‌ی نگارشی: «/» بینِ دو عدد در این متن‌ها جداکننده‌ی اعشار است، نه خطِ
|
||||
کسر. یعنی «۲/۵» عددِ ۲٫۵ است.
|
||||
|
||||
قواعد — نقضِ هرکدام یعنی سوالِ بی‌ارزش:
|
||||
|
||||
- **خودکفا:** تمامِ داده‌ی لازم باید داخلِ صورتِ سوال باشد. «مساحتِ شکل چند
|
||||
است؟» بی‌ارزش است چون دانش‌آموز شکل را نمی‌بیند. اگر مسئله بدونِ تصویرِ کتاب
|
||||
قابلِ بازنویسی نیست، دقیقاً {{"skip": true}} برگردان.
|
||||
- **دقیقاً یک گزینه‌ی درست.** هر سه گزینه‌ی دیگر را جداگانه بسنج و مطمئن شو
|
||||
قطعاً غلط‌اند. تله‌ی رایج: در «کدام مجموعه تهی است؟» چند گزینه تهی از آب
|
||||
دربیایند، یا دو گزینه از نظر عددی برابر باشند و فقط شکلِ نوشتنشان فرق کند
|
||||
(مثلاً «√۷/√۶» و «√۴۲/۶» یک عددند).
|
||||
- **گزینه‌های غلط باید خطای واقعیِ دانش‌آموز باشند** — جابه‌جایی علامتِ توان،
|
||||
مخرجِ مشترک نگرفتن، یک مرحله جا انداختن. نه عددِ تصادفی، نه گزینه‌ی مسخره.
|
||||
- هیچ دو گزینه‌ای هم‌معنا نباشند.
|
||||
- **بدونِ LaTeX و بدونِ markdown.** به‌جای \\frac{{a}}{{b}} بنویس (a)/(b).
|
||||
متن عیناً همان‌طور که می‌نویسی به دانش‌آموز نشان داده می‌شود.
|
||||
- فارسی، با ارقامِ فارسی. هر گزینه حداکثر ۴۰ نویسه.
|
||||
|
||||
نوعِ مسئله: {problem_type}
|
||||
مسئله: {problem}
|
||||
راه‌حل: {solution}
|
||||
|
||||
فقط این JSON را برگردان، بدونِ markdown و بدونِ توضیح:
|
||||
{{"prompt": "صورتِ سوال", "options": ["الف", "ب", "ج", "د"], "correctIndex": 0}}
|
||||
"""
|
||||
{{"prompt": "صورتِ سوال", "options": ["الف", "ب", "ج", "د"], "correctIndex": 0}}"""
|
||||
|
||||
|
||||
class Command(BaseCommand):
|
||||
@@ -64,6 +92,14 @@ class Command(BaseCommand):
|
||||
help='چند سوال برای هر درس.')
|
||||
parser.add_argument('--dry-run', action='store_true',
|
||||
help='فقط نشان بده چند سوال ساخته می‌شود؛ هیچ فراخوانیِ پولی نکن.')
|
||||
parser.add_argument('--model', default='o4-mini',
|
||||
help='مدلِ سازنده. پیش‌فرض o4-mini؛ gpt-4o-mini کیفیتِ '
|
||||
'قابلِ قبولی نداد (۴ سوال از ۶ خراب).')
|
||||
parser.add_argument('--all-chunks', dest='verified_only', action='store_false',
|
||||
help='از chunkهای بازبینی‌نشده هم بساز (پیش‌فرض: فقط تأییدشده‌ها).')
|
||||
parser.set_defaults(verified_only=True)
|
||||
parser.add_argument('--workers', type=int, default=4,
|
||||
help='فراخوانیِ هم‌زمان. بیش از ۴ روی این پروکسی ۴۲۹ می‌گیرد.')
|
||||
|
||||
def handle(self, *args, **opts):
|
||||
book = get_textbook(opts['subject'], opts['grade'])
|
||||
@@ -95,9 +131,10 @@ class Command(BaseCommand):
|
||||
self.stdout.write(f' … و {len(targets) - 10} مورد دیگر')
|
||||
|
||||
# ~۹۰۰ توکن ورودی و ~۱۵۰ خروجی برای هر سوال با gpt-4o-mini.
|
||||
cost = len(targets) * (900 / 1e6 * 0.15 + 150 / 1e6 * 0.60)
|
||||
self.model = opts['model']
|
||||
cost = len(targets) * 0.0018 # اندازه‌گیریِ واقعیِ o4-mini
|
||||
self.stdout.write(self.style.WARNING(
|
||||
f'\nبرآوردِ هزینه با {settings.OPENAI_CHAT_MODEL}: ≈ ${cost:.3f}'
|
||||
f'\nبرآوردِ هزینه با {self.model}: ≈ ${cost:.2f}'
|
||||
))
|
||||
if opts['dry_run']:
|
||||
self.stdout.write(self.style.WARNING('--dry-run: چیزی ساخته نشد.'))
|
||||
@@ -106,21 +143,49 @@ class Command(BaseCommand):
|
||||
if not rag_is_configured():
|
||||
raise CommandError('RAG پیکربندی نشده (کلیدها خالی‌اند یا RAG_FORCE_MOCK روشن است).')
|
||||
|
||||
# سقفِ مصرفِ حسابِ سرویس با فشارِ لحظه‌ای فرق دارد: اولی ساعت‌ها باز
|
||||
# نمی‌شود و تلاشِ دوباره فقط پنجره را طولانی‌تر می‌کند.
|
||||
stop = threading.Event()
|
||||
|
||||
def work(pair):
|
||||
lesson, chunk = pair
|
||||
if stop.is_set():
|
||||
return lesson, None, None
|
||||
delay = 4.0
|
||||
last = None
|
||||
for _ in range(4):
|
||||
try:
|
||||
return lesson, self._ask_model(chunk, book.grade), None
|
||||
except Exception as exc: # noqa: BLE001
|
||||
last = exc
|
||||
text = str(exc).lower()
|
||||
if _is_account_limit(exc):
|
||||
stop.set()
|
||||
return lesson, None, exc
|
||||
if '429' not in text and 'rate' not in text:
|
||||
break
|
||||
time.sleep(delay)
|
||||
delay *= 2
|
||||
return lesson, None, last
|
||||
|
||||
created = skipped = failed = 0
|
||||
for lesson, chunk in targets:
|
||||
try:
|
||||
data = self._ask_model(chunk, book.grade)
|
||||
except Exception as exc: # noqa: BLE001
|
||||
failed += 1
|
||||
self.stdout.write(self.style.ERROR(f' ✗ {lesson.title}: {str(exc)[:90]}'))
|
||||
continue
|
||||
if data is None:
|
||||
skipped += 1
|
||||
self.stdout.write(f' — {lesson.title}: مدل گفت از این متن سوال درنمی‌آید')
|
||||
continue
|
||||
self._persist(lesson, data)
|
||||
created += 1
|
||||
self.stdout.write(self.style.SUCCESS(f' ✓ {lesson.title}: {data["prompt"][:60]}'))
|
||||
with ThreadPoolExecutor(max_workers=opts['workers']) as pool:
|
||||
for lesson, data, err in pool.map(work, targets):
|
||||
if err is not None:
|
||||
failed += 1
|
||||
self.stdout.write(self.style.ERROR(f' ✗ {lesson.title}: {str(err)[:85]}'))
|
||||
continue
|
||||
if data is None:
|
||||
skipped += 1
|
||||
continue
|
||||
self._persist(lesson, data)
|
||||
created += 1
|
||||
self.stdout.write(self.style.SUCCESS(
|
||||
f' ✓ {lesson.title}: {data["prompt"][:55]}'))
|
||||
if stop.is_set():
|
||||
self.stdout.write(self.style.ERROR(
|
||||
'\nسقفِ مصرفِ حسابِ سرویس پر شد؛ اجرا نیمه‌کاره ماند. '
|
||||
'اجرای بعدی از همین‌جا ادامه می‌دهد.'))
|
||||
|
||||
self.stdout.write(self.style.SUCCESS(
|
||||
f'\n{created} سوال ساخته شد، {skipped} رد شد، {failed} خطا.'
|
||||
@@ -144,32 +209,33 @@ class Command(BaseCommand):
|
||||
need = opts['per_lesson'] - have
|
||||
if need <= 0:
|
||||
continue
|
||||
chunks = list(
|
||||
LessonChunk.objects
|
||||
.filter(collection=collection, problem_type=lesson.title)
|
||||
.exclude(problem='')
|
||||
.order_by('source_page', 'order')[:need]
|
||||
)
|
||||
# فقط chunkهایی که راه‌حلشان بازبینی و تأیید شده. ساختنِ سوال از
|
||||
# راه‌حلی که می‌دانیم غلط است، خطای کتاب را به دانش‌آموز منتقل
|
||||
# می‌کند — و ۱۲۳ موردِ این‌چنینی در همین کتاب‌ها پیدا شد.
|
||||
candidates = LessonChunk.objects.filter(
|
||||
collection=collection, problem_type=lesson.title).exclude(problem='')
|
||||
if opts['verified_only']:
|
||||
candidates = candidates.filter(
|
||||
solution_verdict=LessonChunk.VERDICT_AGREES)
|
||||
chunks = list(candidates.order_by('source_page', 'order')[:need])
|
||||
for chunk in chunks:
|
||||
targets.append((lesson, chunk))
|
||||
if opts['limit'] and len(targets) >= opts['limit']:
|
||||
return targets
|
||||
return targets
|
||||
|
||||
def _ask_model(self, chunk, grade):
|
||||
def _ask_model(self, chunk, grade): # noqa: D401
|
||||
prompt = PROMPT.format(
|
||||
grade=grade, problem_type=chunk.problem_type,
|
||||
problem=chunk.problem, solution=chunk.solution,
|
||||
)
|
||||
client = clients.get_openai_client()
|
||||
completion = client.chat.completions.create(
|
||||
model=settings.OPENAI_CHAT_MODEL,
|
||||
model=self.model,
|
||||
messages=[
|
||||
{'role': 'system', 'content': 'You always answer with a single valid JSON object.'},
|
||||
{'role': 'user', 'content': prompt},
|
||||
],
|
||||
temperature=0.4,
|
||||
max_tokens=400,
|
||||
)
|
||||
raw = (completion.choices[0].message.content or '').strip()
|
||||
for fence in ('```json', '```'):
|
||||
|
||||
Reference in New Issue
Block a user