בדיקות בטיחות AI: הבית הלבן מזמן את OpenAI, Anthropic וגוגל למסגרת וולונטרית חדשה

ממשל טראמפ מארח השבוע את OpenAI, Anthropic וגוגל בבית הלבן כדי לגבש מסגרת אמריקאית חדשה של בדיקות בטיחות AI וולונטריות למודלי שפה גדולים, כך על פי דיווח של Bloomberg. עבור כל מי שבונה מוצר על גבי המודלים האלה, ההחלטות שיתקבלו שם יקבעו אילו התחייבויות בטיחות יגולגלו במורד השרשרת: לתנאי ה-API, לדרישות רכש של לקוחות אמריקאיים, ולאופן שבו תצטרכו לתעד ולבדוק את המערכות שלכם. במאמר הזה נפרק מה ידוע, מה סביר שיקרה, ומה כדאי לעשות כבר עכשיו ברמת הארכיטקטורה והתהליכים.

מה קורה השבוע בבית הלבן ולמה זה רלוונטי לבוני מוצרים

הפגישה מכנסת את שלוש ספקיות המודלים המרכזיות בשוק האמריקאי לדיון במסגרת של בדיקות בטיחות וולונטריות: מנגנון שבו החברות מתחייבות מרצון לפרוטוקולי בדיקה, דיווח ושקיפות, בלי חקיקה מחייבת. זה לא מהלך חסר תקדים. עוד ב-2023 חתמו חברות ה-AI המובילות על התחייבויות וולונטריות מול הבית הלבן, שכללו בדיקות אבטחה פנימיות וחיצוניות לפני שחרור מודלים וסימון תוכן שנוצר על ידי AI. המסגרת הנוכחית, על פי הדיווח, נועדה לעדכן ולהרחיב את הגישה הזו לעידן של מודלים חזקים משמעותית וסוכני AI אוטונומיים.

הנקודה הקריטית למי שבונה על גבי המודלים: התחייבויות שספקיות המודלים לוקחות על עצמן לא נשארות אצלן. הן מתורגמות לשינויים ב-Usage Policies, לדרישות חדשות בתנאי השירות של ה-API, ולעיתים לשינויי התנהגות של המודלים עצמם, למשל סירובים (refusals) רחבים יותר בתחומים רגישים. מי שמריץ מערכת בפרודקשן צריך להתייחס לזה כאל שינוי סביבתי צפוי, לא כאל חדשות רגולטוריות מרוחקות.

מהי מסגרת בדיקות בטיחות וולונטרית וממה היא מורכבת בפועל

מסגרת בדיקות בטיחות וולונטרית היא סט מוסכם של פרוטוקולים שספקיות מודלים מיישמות לפני ותוך כדי פריסה של מודל, בלי כפייה חוקית. על בסיס המסגרות הקיימות בתעשייה, סביר שהמסגרת האמריקאית תכלול כמה רכיבים מוכרים.

הרכיבים הטכניים שסביר שייכללו

• Red Teaming: צוותים ייעודיים, פנימיים וחיצוניים, שמנסים לחלץ מהמודל התנהגויות מסוכנות, מהנדסת פרומפטים עוינת (jailbreaks) ועד סיוע ליכולות סייבר או ביולוגיה.
• Capability Evaluations: מדידה שיטתית של יכולות מסוכנות לפני שחרור, בדומה ל-Preparedness Framework של OpenAI ול-Responsible Scaling Policy של Anthropic.
• שקיפות ותיעוד: פרסום System Cards או Model Cards שמפרטים מגבלות ידועות, תוצאות בדיקות והתנהגות בתרחישי קצה.
• דיווח לממשל: שיתוף תוצאות בדיקות עם גופים פדרליים, ככל הנראה בהמשך לעבודה של CAISI (לשעבר AI Safety Institute) תחת NIST.

ההבדל בין המסגרות הפנימיות הקיימות לבין מסגרת ממשלתית מתואמת הוא סטנדרטיזציה: כשהבדיקות מוגדרות באופן אחיד, אפשר להשוות בין מודלים, והתוצאות הופכות לנתון שלקוחות ארגוניים דורשים לראות. בדיוק כמו שדוחות SOC 2 הפכו לתנאי סף במכירת SaaS, דוחות בטיחות מודלים עשויים להפוך לתנאי סף במכירת מוצרי AI.

Red Teaming

צוותים ייעודיים, פנימיים וחיצוניים, שמנסים בכוונה לחלץ מהמודל התנהגויות מסוכנות - מ-jailbreaks ועד סיוע ליכולות סייבר או ביולוגיה.

Capability Evaluations

מדידה שיטתית של יכולות מסוכנות לפני שחרור מודל, בדומה ל-Preparedness Framework של OpenAI ול-Responsible Scaling Policy של Anthropic.

System Card

מסמך שקיפות שמלווה שחרור מודל ומפרט מגבלות ידועות, תוצאות בדיקות והתנהגות בתרחישי קצה.

Guardrails

שכבת סינון קלט ופלט עצמאית בצד המוצר, שלא תלויה בהתנהגות המודל, כולל הגנה מפני prompt injection וולידציה של פלטים.

Evals

סוויטת מקרי בדיקה שמייצגים את התרחישים הקריטיים של המוצר ורצה אוטומטית על כל עדכון מודל או פרומפט.

איך בדיקות בטיחות AI ברמת הספק משפיעות על מי שבונה מעל ה-API

ההשפעה הישירה ביותר על בוני מוצרים היא שינויים בהתנהגות המודל ובחוזה מולו. כשספקית מודל מהדקת מדיניות בטיחות, זה מתבטא בשלושה מישורים שכדאי לתכנן אליהם מראש.

ראשית, שינויי התנהגות במודל. עדכוני בטיחות משנים את פרופיל הסירובים ואת הניסוחים בתחומים רגישים: בריאות, פיננסים, משפט, אבטחת מידע. מערכת שעובדת מצוין היום יכולה להתחיל להחזיר סירובים או תשובות מסויגות אחרי עדכון גרסה. המסקנה הארכיטקטונית: אל תנעלו את עצמכם על alias צף כמו latest. עבדו עם גרסאות מודל מוצמדות (pinned versions), והריצו סוויטת רגרסיה משלכם על כל שדרוג לפני מעבר בפרודקשן.

שנית, דרישות תיעוד ושרשרת אחריות. אם המסגרת תכלול מנגנוני דיווח על שימושים בסיכון גבוה, סביר שספקיות המודלים יגלגלו חלק מהאחריות ללקוחות ה-API דרך תנאי שימוש: סיווג use case, הגבלות על תחומים מסוימים, ודרישות ל-human oversight. שלישית, ציפייה ל-guardrails בצד שלכם. ספקיות כבר היום מציעות שכבות סינון כמו Moderation API, וסביר שהשימוש בהן יהפוך מהמלצה לציפייה חוזית בתרחישים רגישים.

מה המשמעות לחברות ישראליות שמוכרות AI לשוק האמריקאי

לחברות ישראליות שמפתחות מוצרים מבוססי AI לשוק האמריקאי, המסגרת החדשה צפויה להשפיע קודם כל דרך דרישות רכש (procurement) ולא דרך אכיפה ישירה. מסגרת וולונטרית לא חלה עליכם משפטית, אבל היא מייצרת שפה משותפת שלקוחות ארגוניים וגופים פדרליים מאמצים בשאלוני ספקים. מי שמוכר ל-enterprise אמריקאי כבר מכיר את התהליך: שאלון אבטחה, דרישת SOC 2, ועכשיו, יותר ויותר, שאלות על AI governance.

בפועל, כדאי להיערך לשאלות כמו: על אילו מודלים המוצר שלכם רץ ובאילו גרסאות, אילו evals אתם מריצים על הפלטים, איך אתם מטפלים ב-prompt injection, האם יש human in the loop בהחלטות בעלות השפעה, ואיך אתם מתעדים אירועי כשל. חברות שבנו את התשובות האלה מראש מקצרות מחזורי מכירה בחודשים. חברות שמגיעות לזה בדיעבד מגלות שהן צריכות לשכתב רכיבי ליבה כדי לעמוד בדרישות תיעוד בסיסיות, למשל להוסיף לוגים מובנים של prompts ותשובות עם שמירת גרסת מודל לכל בקשה.

שאלון הספקים שמחכה לכם - ודאו שיש לכם תשובות

• מיפוי מלא: על אילו מודלים המוצר רץ ובאילו גרסאות מוצמדות
• רשימת ה-evals שאתם מריצים על פלטי המערכת
• מנגנון הגנה מתועד מפני prompt injection
• הגדרת human in the loop בהחלטות בעלות השפעה
• לוגים מובנים של prompts ותשובות עם גרסת מודל לכל בקשה
• תהליך מסודר לתיעוד ותחקור אירועי כשל

יתרון לא מבוטל: מסגרת אמריקאית אחידה עדיפה על טלאים של חוקים ברמת מדינות. חקיקה מדינתית מפוצלת, כמו זו שהתפתחה בקליפורניה, קולורדו וטקסס, מייצרת מטריצת תאימות יקרה. סטנדרט פדרלי אחד, גם וולונטרי, מפשט את התמונה למי שמוכר בכל ארה"ב.

וולונטרי מול מחייב: במה המסלול האמריקאי שונה מ-EU AI Act

ההבדל המהותי הוא מנגנון האכיפה. EU AI Act, שנכנס לתוקף בהדרגה מ-2024 והלאה, מטיל חובות משפטיות מדורגות לפי רמת סיכון, עם קנסות משמעותיים על הפרות, כולל חובות ספציפיות על ספקי מודלים בעלי שימוש כללי (GPAI). המסלול האמריקאי המסתמן הוא הפוך: תיאום וולונטרי בין ממשל לתעשייה, בלי סנקציות, מתוך הנחה שגמישות מאיצה חדשנות.

למי שבונה מוצר גלובלי, המשמעות היא שתצטרכו לתכנן ל-מכנה משותף רחב: הדרישות המחייבות של אירופה יגדירו את הרצפה, והמסגרת האמריקאית תגדיר את הציפיות של השוק. הבשורה הטובה היא שהרכיבים הטכניים חופפים ברובם. מערך evals מסודר, תיעוד מודלים, ניהול גרסאות ובקרת פלטים משרתים את שתי הזירות. מי שבונה את התשתית פעם אחת, נכון, מכסה את רוב הדרישות בשני השווקים.

היבט	המסלול האמריקאי המסתמן	EU AI Act
אופי המסגרת	וולונטרית, תיאום בין ממשל לתעשייה	חובות משפטיות מדורגות לפי רמת סיכון
אכיפה	ללא סנקציות	קנסות משמעותיים על הפרות
תחולה	ספקיות המודלים המרכזיות, מרצון	כולל חובות ספציפיות על ספקי GPAI
משמעות לבוני מוצרים	מגדיר את ציפיות השוק ודרישות הרכש	מגדיר את רצפת הדרישות המחייבת

איך נערכים בפרודקשן: צעדים מעשיים לצוותי פיתוח

ההיערכות הנכונה לא תלויה בפרטי הסיכום בבית הלבן, כי הכיוון ברור: יותר שקיפות, יותר בדיקות, יותר תיעוד. אלה הצעדים שמומלץ ליישם בסדר הזה:

1. הצמידו גרסאות מודל: עבדו עם snapshot מזוהה של המודל בכל סביבה, ותעדו את הגרסה בכל לוג בקשה. זה תנאי בסיס גם לדיבוג וגם לתאימות.
2. בנו סוויטת evals משלכם: אוסף מקרי בדיקה שמייצגים את התרחישים הקריטיים של המוצר, כולל תרחישי קצה ותוכן רגיש, שרץ אוטומטית על כל עדכון מודל או פרומפט. כלים כמו promptfoo או מסגרות evals פתוחות מקצרים את ההקמה.
3. הוסיפו שכבת guardrails עצמאית: סינון קלט ופלט שלא תלוי בהתנהגות המודל, כולל הגנה מפני prompt injection בזרימות שמושכות תוכן חיצוני, וולידציה של פלטים מובנים לפני שהם מגיעים לפעולה במערכת.
4. תעדו החלטות ואירועים: לוג מובנה של קלט, פלט, גרסת מודל והחלטת המערכת, עם מדיניות retention ברורה. זה הבסיס לכל שאלון ספקים עתידי.
5. הגדירו fallback בין ספקים: שכבת אבסטרקציה מעל ה-API שמאפשרת מעבר בין OpenAI, Anthropic וגוגל אם מדיניות של ספק אחד משתנה באופן ששובר את המוצר. זה שיקול זמינות ותאימות, לא רק עלות.

העלות של הצעדים האלה נמוכה משמעותית כשהם נבנים מוקדם. סוויטת evals בסיסית היא עניין של ימים בודדים, בעוד שהוספת תיעוד רטרואקטיבי למערכת חיה יכולה לקחת רבעון שלם.

מה צפוי בהמשך ואיך עוקבים אחרי ההתפתחויות

הפגישה בבית הלבן היא תחילתו של תהליך, לא סופו. סביר שנראה בחודשים הקרובים ניסוחים מפורטים של המסגרת, תגובות מצד ספקיות מודלים נוספות, ואינדיקציות ראשונות לאופן שבו ההתחייבויות מחלחלות לתנאי ה-API ולדרישות של לקוחות ארגוניים. שווה לעקוב במיוחד אחרי עדכוני Usage Policy של שלוש החברות ואחרי פרסומים של NIST, כי שם השינויים יהפכו קונקרטיים.

למי שרוצה להעמיק בהיבטים המעשיים של בניית מערכות AI אמינות, כולל evals, guardrails וארכיטקטורת פרודקשן, מומלץ לעיין בקורסי הבינה המלאכותית המעשיים שלנו, שמכסים את הכלים והשיטות שהוזכרו כאן. ולמעקב שוטף אחרי ההתפתחויות הרגולטוריות והטכנולוגיות בעולם ה-AI, תמצאו ניתוחים עדכניים נוספים במגזין ה-AI שלנו. ההיערכות הנכונה מתחילה עכשיו, כשהסטנדרטים עוד מתגבשים ויש זמן לבנות נכון.