guardrails: self-harm caught however it is typed; ZWNJ no longer slips an injection past the screen

The ZWNJ normalisation in screen() replaced ZWNJ with itself, so
'نادیده‌بگیر' passed, and self-harm sentences typed with a space or
without ZWNJ ('می خوام بمیرم', 'دیگه نمیخوام زنده باشم', 'خود کشی')
reached the model, which answered with the plain math-only refusal
(one live call, 0.018 cents). Self-harm is now matched on the text with
all spaces removed; the imperative must end the word, so 'نادیده بگیریم'
in a math sentence is no longer an injection.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-02 13:02:07 +03:30
parent 4c7ccf10a0
commit 5fb9f4aaa0
2 changed files with 31 additions and 6 deletions

View File

@@ -56,16 +56,20 @@ SCOPE_RULE = (
# الگوهای لایه‌ی ۱. هر الگو باید بدونِ زمینه هم آشکار باشد؛ هر چیزِ مبهم به مدل سپرده می‌شود.
_RULES = r'(دستورات|دستورها|دستورای|دستوراتت|دستورهات|قوانین|قوانینت|قواعد|قواعدت|instructions|rules|prompt|پرامپت)'
# فعلِ امری، و فقط خودِ امر: «نادیده بگیریم» (جمله‌ی ریاضی) نباید با «نادیده بگیر» یکی شود.
_COMMAND = r'(نادیده\s*بگیر(ید)?|فراموش\s*کن(ید)?|بی\s*خیال\s*شو(ید)?|ignore|forget|disregard)(?!\w)'
_INJECTION = [
# فعلِ امری + «دستورها/قوانین» (جمع). «قانونِ فیثاغورس را فراموش کردم» سوالِ ریاضی است
# و نباید این‌جا رد شود: نه فعلش امری است نه «قانون» جمع.
r'(نادیده\s*بگیر|فراموش\s*کن|بی\s*خیال\s*شو|ignore|forget|disregard)\W*(\w+\W+){0,4}?' + _RULES,
_RULES + r'\W*(\w+\W+){0,4}?(نادیده\s*بگیر|فراموش\s*کن|ignore|forget|disregard)',
_COMMAND + r'\W*(\w+\W+){0,4}?' + _RULES,
_RULES + r'\W*(\w+\W+){0,4}?' + _COMMAND,
r'system\s*prompt|پرامپت\W*سیستم|پرامپتت|پرامپتتو|developer\s*mode|jailbreak|\bDAN\b',
]
# روی متنِ بی‌فاصله سنجیده می‌شوند (پایینِ screen)، تا «می خوام»، «میخوام» و «می‌خوام» یکی باشند.
# «خودم بکشم» بی‌«رو/را» عمداً نیست: «نمودار را خودم بکشم؟» یعنی رسم کردن.
_SELF_HARM = [
r'خودکشی', r'خودمو\s*(بکشم|می‌کشم|میکشم)', r'(می‌خوام|میخوام|میخواهم|می‌خواهم)\s*(بمیرم|نباشم)',
r'رگ\W*(مو|م)\W*بزنم', r'kill\s+myself', r'suicide',
r'خودکشی(?!د)', r'خودم(و|رو|را)(بکشم|میکشم)', r'(میخوام|میخواهم)(بمیرم|نباشم)',
r'نمیخوا(م|هم)زنده(باشم|بمونم|بمانم)', r'رگ(مو|م)(رو|را)?بزنم', r'killmyself', r'suicide',
]
_INJECTION_RE = [re.compile(p, re.IGNORECASE) for p in _INJECTION]
_SELF_HARM_RE = [re.compile(p, re.IGNORECASE) for p in _SELF_HARM]
@@ -73,8 +77,11 @@ _SELF_HARM_RE = [re.compile(p, re.IGNORECASE) for p in _SELF_HARM]
def screen(question: str) -> tuple[str, str] | None:
"""('self_harm'|'injection', متنِ جواب) یا None اگر سوال باید به مدل برسد."""
text = (question or '').replace('‌', '‌')
if any(p.search(text) for p in _SELF_HARM_RE):
# نیم‌فاصله را فاصله می‌کنیم: «نادیده‌بگیر» و «نادیده بگیر» یک چیزند. پیش از ۲۰۲۶-۱۰-۰۲ این‌جا
# نیم‌فاصله با خودش جایگزین می‌شد (بی‌اثر)، پس شکلِ نیم‌فاصله‌دار از صافی رد می‌شد.
text = re.sub(r'[\s\u200c]+', ' ', question or '')
compact = text.replace(' ', '')
if any(p.search(compact) for p in _SELF_HARM_RE):
return 'self_harm', SELF_HARM_REPLY
if any(p.search(text) for p in _INJECTION_RE):
return 'injection', REFUSAL