make the tutor grade-aware and its answers measurable
مهمترین خواستهی سینیور این بود که بسنجیم پاسخِ AI واقعاً یاد میدهد یا نه. برای سنجیدن، اول باید پاسخها قابلِ ردیابی میشدند. پرامپتها پایهآگاه شدند: تا پیش از این «معلمِ دبستانی» برای پایه نهم هاردکد بود، هم در تولیدِ پاسخ و هم در vision — یعنی دانشآموزِ نهم لحنِ ابتدایی میگرفت. PROMPT_VERSION حالا روی هر پیام ذخیره میشود. هر پاسخ حاشیهنویسی میشود: مدل، نسخهی پرامپت، پایه، collection، مقدارِ فیلتر، تعداد chunk، توکن، تأخیر و from_cache. فیدبک reason اختیاری گرفت تا لایک/دیسلایک بعداً قابلِ تحلیل باشد («بشه چک کرد کدوم بهتر بوده»). ai_feedback_report --by prompt_version نسبتِ رضایت را کنارِ مصرف/هزینه میگذارد. rag_eval سوالهای واقعی را از مسیرِ واقعی میپرسد، با --retrieval-only برای اجرای ارزان. rag/services/lesson_context.py از lessonId تنها پایه و فصل را درمیآورد؛ normalize_grade_title هم اختلافِ «پایه نهم» در دیتابیس با «ریاضی نهم» در نامِ collection را میبندد — بدونِ آن مسیرِ gradeId بیسروصدا خالی برمیگشت. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -27,6 +27,23 @@ class Message(models.Model):
|
||||
question_id = models.IntegerField(null=True, blank=True) # ارجاع سبک به content.Question
|
||||
created_at = models.DateTimeField(auto_now_add=True)
|
||||
|
||||
# --- حاشیهنویسیِ تولید (فقط برای پیامهای role='assistant') --------------
|
||||
# سینیور خواست لایک/دیسلایک بعداً قابلِ تحلیل باشد: «کدام جواب بهتر بوده».
|
||||
# فیدبکِ خالی (یک بولین) این را نمیگوید — باید بدانیم آن جوابِ خاص با کدام
|
||||
# مدل، کدام نسخهی پرامپت و با چه context ای ساخته شده بود. این فیلدها
|
||||
# هنگامِ تولید پر میشوند، نه هنگامِ فیدبک، تا همهی پاسخها (حتی آنهایی که
|
||||
# کسی رأی نداده) قابلِ مقایسه بمانند.
|
||||
model_name = models.CharField(max_length=100, blank=True)
|
||||
prompt_version = models.CharField(max_length=50, blank=True, db_index=True)
|
||||
grade_title = models.CharField(max_length=50, blank=True)
|
||||
retrieval_collection = models.CharField(max_length=200, blank=True)
|
||||
retrieval_filter_value = models.CharField(max_length=255, blank=True)
|
||||
chunk_count = models.PositiveSmallIntegerField(default=0)
|
||||
prompt_tokens = models.PositiveIntegerField(default=0)
|
||||
completion_tokens = models.PositiveIntegerField(default=0)
|
||||
latency_ms = models.PositiveIntegerField(default=0)
|
||||
from_cache = models.BooleanField(default=False)
|
||||
|
||||
class Meta:
|
||||
ordering = ['created_at']
|
||||
|
||||
@@ -37,6 +54,11 @@ class Message(models.Model):
|
||||
class MessageFeedback(models.Model):
|
||||
message = models.OneToOneField(Message, on_delete=models.CASCADE, related_name='feedback')
|
||||
is_helpful = models.BooleanField()
|
||||
# دلیلِ اختیاریِ کاربر. «چرا بد بود» تنها چیزیست که از خودِ عدد درنمیآید
|
||||
# و برای بهترکردنِ پرامپت واقعاً به کار میآید.
|
||||
reason = models.CharField(max_length=300, blank=True)
|
||||
created_at = models.DateTimeField(auto_now_add=True, null=True)
|
||||
updated_at = models.DateTimeField(auto_now=True, null=True)
|
||||
|
||||
def __str__(self):
|
||||
return f"feedback-msg{self.message_id}"
|
||||
|
||||
Reference in New Issue
Block a user