guardrails: self-harm caught however it is typed; ZWNJ no longer slips an injection past the screen
The ZWNJ normalisation in screen() replaced ZWNJ with itself, so
'نادیدهبگیر' passed, and self-harm sentences typed with a space or
without ZWNJ ('می خوام بمیرم', 'دیگه نمیخوام زنده باشم', 'خود کشی')
reached the model, which answered with the plain math-only refusal
(one live call, 0.018 cents). Self-harm is now matched on the text with
all spaces removed; the imperative must end the word, so 'نادیده بگیریم'
in a math sentence is no longer an injection.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -56,16 +56,20 @@ SCOPE_RULE = (
|
||||
|
||||
# الگوهای لایهی ۱. هر الگو باید بدونِ زمینه هم آشکار باشد؛ هر چیزِ مبهم به مدل سپرده میشود.
|
||||
_RULES = r'(دستورات|دستورها|دستورای|دستوراتت|دستورهات|قوانین|قوانینت|قواعد|قواعدت|instructions|rules|prompt|پرامپت)'
|
||||
# فعلِ امری، و فقط خودِ امر: «نادیده بگیریم» (جملهی ریاضی) نباید با «نادیده بگیر» یکی شود.
|
||||
_COMMAND = r'(نادیده\s*بگیر(ید)?|فراموش\s*کن(ید)?|بی\s*خیال\s*شو(ید)?|ignore|forget|disregard)(?!\w)'
|
||||
_INJECTION = [
|
||||
# فعلِ امری + «دستورها/قوانین» (جمع). «قانونِ فیثاغورس را فراموش کردم» سوالِ ریاضی است
|
||||
# و نباید اینجا رد شود: نه فعلش امری است نه «قانون» جمع.
|
||||
r'(نادیده\s*بگیر|فراموش\s*کن|بی\s*خیال\s*شو|ignore|forget|disregard)\W*(\w+\W+){0,4}?' + _RULES,
|
||||
_RULES + r'\W*(\w+\W+){0,4}?(نادیده\s*بگیر|فراموش\s*کن|ignore|forget|disregard)',
|
||||
_COMMAND + r'\W*(\w+\W+){0,4}?' + _RULES,
|
||||
_RULES + r'\W*(\w+\W+){0,4}?' + _COMMAND,
|
||||
r'system\s*prompt|پرامپت\W*سیستم|پرامپتت|پرامپتتو|developer\s*mode|jailbreak|\bDAN\b',
|
||||
]
|
||||
# روی متنِ بیفاصله سنجیده میشوند (پایینِ screen)، تا «می خوام»، «میخوام» و «میخوام» یکی باشند.
|
||||
# «خودم بکشم» بی«رو/را» عمداً نیست: «نمودار را خودم بکشم؟» یعنی رسم کردن.
|
||||
_SELF_HARM = [
|
||||
r'خودکشی', r'خودمو\s*(بکشم|میکشم|میکشم)', r'(میخوام|میخوام|میخواهم|میخواهم)\s*(بمیرم|نباشم)',
|
||||
r'رگ\W*(مو|م)\W*بزنم', r'kill\s+myself', r'suicide',
|
||||
r'خودکشی(?!د)', r'خودم(و|رو|را)(بکشم|میکشم)', r'(میخوام|میخواهم)(بمیرم|نباشم)',
|
||||
r'نمیخوا(م|هم)زنده(باشم|بمونم|بمانم)', r'رگ(مو|م)(رو|را)?بزنم', r'killmyself', r'suicide',
|
||||
]
|
||||
_INJECTION_RE = [re.compile(p, re.IGNORECASE) for p in _INJECTION]
|
||||
_SELF_HARM_RE = [re.compile(p, re.IGNORECASE) for p in _SELF_HARM]
|
||||
@@ -73,8 +77,11 @@ _SELF_HARM_RE = [re.compile(p, re.IGNORECASE) for p in _SELF_HARM]
|
||||
|
||||
def screen(question: str) -> tuple[str, str] | None:
|
||||
"""('self_harm'|'injection', متنِ جواب) یا None اگر سوال باید به مدل برسد."""
|
||||
text = (question or '').replace('', '')
|
||||
if any(p.search(text) for p in _SELF_HARM_RE):
|
||||
# نیمفاصله را فاصله میکنیم: «نادیدهبگیر» و «نادیده بگیر» یک چیزند. پیش از ۲۰۲۶-۱۰-۰۲ اینجا
|
||||
# نیمفاصله با خودش جایگزین میشد (بیاثر)، پس شکلِ نیمفاصلهدار از صافی رد میشد.
|
||||
text = re.sub(r'[\s\u200c]+', ' ', question or '')
|
||||
compact = text.replace(' ', '')
|
||||
if any(p.search(compact) for p in _SELF_HARM_RE):
|
||||
return 'self_harm', SELF_HARM_REPLY
|
||||
if any(p.search(text) for p in _INJECTION_RE):
|
||||
return 'injection', REFUSAL
|
||||
|
||||
Reference in New Issue
Block a user