הרעלת מידע ב-AI: כך תוקפים משפיעים על התשובות של ChatGPT ו-Gemini בעזרת Dark Sourcery
מערכות AI הפכו עבור משתמשים רבים לדרך מהירה למצוא מספרי טלפון, קישורים, שירותי תמיכה ומידע על חברות. קמפיין Dark Sourcery מראה שגם התוקפים הבינו את השינוי הזה ומנסים להשפיע על המידע שמערכות AI מציגות. עבור ארגונים נוצר משטח סיכון נוסף שנמצא בחלקו מחוץ למערכות שבשליטתם.
כשהתוקפים מרעילים את האינטרנט כדי להטעות מערכות AI
במשך שנים למדנו להתייחס בזהירות להודעות דוא"ל חשודות, לבדוק כתובות של אתרים ולא למהר ללחוץ על קישורים שמגיעים ממקור לא מוכר.
הכניסה של מערכות Generative AI לתהליך החיפוש משנה את הדרך שבה משתמשים מקבלים מידע.
כאשר משתמש שואל את ChatGPT או Gemini מה מספר הטלפון של חברת התעופה שלו, כיצד ליצור קשר עם הבנק או היכן נמצאת כתובת ההתחברות לשירות מסוים, הוא עשוי לקבל תשובה ישירה מבלי לבקר באתר שממנו הגיע המידע.
הנוחות הזאת יוצרת גם הזדמנות חדשה לתוקפים.
במקום לנסות להביא את המשתמש אל אתר מתחזה, ניתן לנסות להשפיע על מקורות המידע שמערכת ה AI קוראת ולגרום לה להציג את המידע הזדוני כחלק מהתשובה.
קמפיין Dark Sourcery שנחשף בספטמבר 2026 ממחיש כיצד תרחיש כזה כבר מתרחש בפועל.
מהו Dark Sourcery
Dark Sourcery הוא השם שניתן לקמפיין רחב שנועד להשפיע על המידע שמערכות AI מציגות למשתמשים. במסגרת הקמפיין הופצו מספרי תמיכה מזויפים, כתובות דוא"ל, קישורים ודפי התחברות במטרה לגרום למערכות AI לזהות אותם כמידע רלוונטי ולהציג אותם כחלק מתשובות שנראות לגיטימיות.
המחקר בוצע על ידי חוקרי חברת הסייבר Vigilance Security, בהובלת אריאל סימון, סגן נשיא למחקר בחברה, ובמסגרתו נחשף קמפיין Dark Sourcery והיקף השימוש במידע מזויף לצורך השפעה על תשובות של מערכות AI.
החוקרים זיהו עשרות אלפי עמודים זדוניים הקשורים ל 374 חברות.
ברשימה נמצאו חברות Fortune 100, חברות תעופה, בנקים, חברות תוכנה ופלטפורמות תיירות. המידע המזויף נועד בין היתר להשפיע על מידע שמוצג באמצעות ChatGPT, Gemini ו Google AI Overview.
המחקר מתאר שימוש בטכניקות GEO, הפצת תוכן דרך UGC, מסמכים ואתרים שונים, לצד שיטות כמו יצירת וריאציות של מספרי טלפון וחזרה על מידע מזויף במקורות רבים.
חשוב לציין שההשפעה אינה משתחזרת בכל שאילתה. תשובות של מערכות AI עשויות להשתנות ולכן אין משמעות הדבר שכל משתמש שיבצע חיפוש יקבל בהכרח את המידע המזויף.
עם זאת, הפצה רחבה וחזרתית של התוכן יכולה להגדיל את הסיכוי שהוא יהפוך לחלק מהמידע שעליו מסתמכת המערכת בעת יצירת התשובה.
לא צריך לפרוץ למודל כדי להשפיע על התשובה
אחד ההיבטים החשובים במקרה הזה הוא שהתוקף אינו צריך לקבל גישה למודל עצמו.
אין צורך לפרוץ לספק ה AI, לשנות את נתוני האימון או לקבל גישה למערכת AI ארגונית. במקום לתקוף את המודל, התוקף מנסה להשפיע על סביבת המידע שממנה המערכת מקבלת תשובות.
אם מערכת AI מחפשת מידע ברשת ומוצאת מספר מקורות שמציגים את אותו מספר טלפון, כתובת דוא"ל או קישור, המידע הזה עשוי להשפיע על התשובה שתוצג למשתמש.
מבחינה מקצועית חשוב להבחין בין התרחיש הזה לבין Data Poisoning קלאסי.
Data Poisoning מתייחס בדרך כלל למניפולציה של נתונים המשמשים לאימון או לתפעול של מערכת Machine Learning. במקרה של Dark Sourcery, המניפולציה מתרחשת במקורות המידע הציבוריים שהמערכת עשויה לאתר ולהשתמש בהם בזמן יצירת התשובה.
למרות ההבדל הטכני, העיקרון דומה. איכות ואמינות התוצאה תלויות גם באיכות ובאמינות המידע שמוזן לתהליך.
מה הקשר בין GEO למתקפה
GEO, או Generative Engine Optimization, מתייחס לשיטות שמטרתן לשפר את הנראות של תוכן בתשובות שמייצרות מערכות Generative AI.
במקום להתמקד רק במיקום של עמוד בתוצאות החיפוש, המטרה היא להגדיל את הסיכוי שמערכת AI תשתמש במידע מסוים או תציג אותו כחלק מהתשובה.
בדרך כלל מדובר בכלי שיווקי לגיטימי.
Dark Sourcery ממחיש כיצד ניתן להשתמש באותו עיקרון גם למטרה זדונית.
על פי המחקר, התוכן בקמפיין נבנה באופן שנועד לשפר את הסיכוי שמערכות AI יזהו אותו כמידע רלוונטי.
התוקפים חזרו על פרטי הקשר המזויפים, השתמשו במבנה של שאלות ותשובות והוסיפו ניסוחים שמעידים לכאורה על עדכניות וזמינות.
אותו מידע הופץ במקביל במקורות רבים כדי להגדיל את הנוכחות שלו ברשת.
איפה המידע המזויף מתפרסם
אחד המאפיינים הבולטים של Dark Sourcery הוא פיזור התוכן בין סוגים שונים של מקורות.
החוקרים איתרו תוכן ברשתות חברתיות, פורומים, פלטפורמות תוכן, תיאורי סרטונים, ביקורות ואתרים שמאפשרים למשתמשים לפרסם תוכן או להעלות מסמכים.
חלק מהמידע נמצא גם במסמכי PDF שהגיעו לאתרים של מוסדות ציבוריים ואקדמיים.
מבחינת התוקף יש לכך יתרון משמעותי.
כאשר אותו פרט מופיע במקומות רבים, חלקם בעלי מוניטין גבוה, קשה יותר להבחין בין מידע רשמי לבין מידע שנוצר במסגרת קמפיין מתואם.
עבור מערכת AI שמנסה לאסוף מידע ממקורות שונים, הבעיה הופכת למורכבת עוד יותר.
גם מנגנוני הסינון הופכים לחלק מהמשחק
המחקר מתאר גם שיטות שנועדו להקשות על פלטפורמות לזהות ולהסיר את התוכן. לדוגמה,
מספר טלפון יכול להיכתב בכמה צורות שונות באמצעות רווחים, נקודות, תווים או מילים בין הספרות.
מנגנון אוטומטי שמחפש תבנית קבועה של מספר טלפון עלול שלא לזהות את כל הווריאציות.
מערכת AI לעומת זאת יכולה להבין שהייצוגים השונים מתייחסים לאותו מספר.
טכניקה נוספת היא שילוב של מידע אמיתי בתוך תוכן שמכיל גם מידע מזויף.
עמוד יכול לספק הסבר שימושי ונכון על שירות מסוים ובמקביל להציג מספר טלפון או קישור שנמצא בשליטת התוקף.
כך נוצר תוכן שנראה אמין יותר גם למשתמש וגם למערכת שמנתחת אותו.
למה זה דומה ושונה מ-Phishing רגיל
בסופו של דבר- מדובר באותה מטרה שפלה – לגנוב את הפרטים שלכם.
במתקפת Phishing מסורתית המשתמש מקבל הודעה, קישור או אתר ומחליט אם לסמוך עליהם.
בתרחיש הזה קיימת שכבה נוספת,
המשתמש פונה למערכת AI שבה הוא כבר משתמש ומבקש ממנה מידע.
הוא אינו בהכרח רואה את העמוד הזדוני שממנו הגיע המידע. הוא מקבל את המידע לאחר שהמערכת עיבדה אותו ושילבה אותו בתשובה.
אם המערכת מציגה מספר מסוים כמספר שירות הלקוחות של הבנק או חברת התעופה, המשתמש עלול להתייחס אליו באופן שונה ממספר שהגיע אליו בהודעת SMS לא מוכרת.
התוקף מנצל במקרה הזה לא רק את האמון במותג אלא גם את האמון של המשתמש במערכת שמספקת את התשובה.
מידע נוסף על:
מה קורה לאחר שהמשתמש מתקשר
לפי המחקר, החוקרים התקשרו בעצמם לחלק ממספרי הטלפון המזויפים שמצאו.
בצד השני ענו גורמים שהציגו את עצמם כנציגי שירות והציעו לסייע בפעולות כמו שינוי טיסה או טיפול בחשבון בנק חסום.
בהמשך השיחה התבקשו החוקרים לספק פרטי כרטיס אשראי.
הנקודה החשובה היא שה-AI אינו מבצע את ההונאה בעצמו, הוא עלול להפוך לחוליה שמחברת בין המשתמש לבין תשתית ההונאה.
מידע נוסף על תעשיית הכופרה במאמר.
למה קשה לפתור את הבעיה רק באמצעות הסרת התוכן
קמפיינים מסוג זה יכולים להתבסס על אוטומציה ועל הפצה רחבה של אותן תבניות.
כאשר אותו מספר טלפון או קישור מתפרסם שוב ושוב במקורות שונים, הסרת עמוד בודד אינה בהכרח מספיקה.
גם תוכן שכבר הוסר עלול להישאר נגיש דרך עותקים, אינדקסים או ארכיוני אינטרנט.
לכן Takedown הוא כלי חשוב, אבל הוא צריך להיות חלק מתהליך רחב יותר של ניטור וזיהוי.
מה הסיכון עבור הארגון
למרות שהקמפיין מתרחש מחוץ לרשת הארגונית, ההשפעה שלו יכולה להגיע ישירות ללקוחות ולמותג.
לקוח שמחפש מספר שירות ומגיע למתחזה עלול למסור פרטי אשראי, פרטי התחברות או מידע אישי.
מבחינת הלקוח, החוויה עדיין קשורה לחברה שאותה הוא ניסה למצוא.
מערכות החברה עצמה אינן חייבות להיפרץ כדי שייגרם נזק.
לכן ניהול הסיכון צריך להתרחב מעבר למערכות הארגוניות ולהתייחס גם לאופן שבו המותג והמידע הרשמי שלו מיוצגים במרחב הדיגיטלי ובמערכות AI וכיצד להתכונן לאירוע מסוג שכזה.
מידע נוסף על הערכות לתגובה במקרה של אירוע תקיפת סייבר, פישינג או כופרה
מה הקשר ל-Data Poisoning
Data Poisoning אינו איום חדש.
ENISA מתייחסת להרעלת נתונים כאחד האיומים הרלוונטיים למערכות Machine Learning ומצביעה בין היתר על שימוש בנתונים לא מבוקרים, מקורות לא אמינים והיעדר מנגנונים לזיהוי מידע מורעל כגורמי סיכון.
הגישה המקובלת מתמקדת בעיקר במידע שנכנס לתהליך האימון או למערכות Machine Learning.
מערכות Generative AI שמבצעות Retrieval או משתמשות במידע חיצוני מוסיפות שכבה נוספת לבעיה.
כעת צריך לבחון לא רק אילו נתונים שימשו לבניית המודל, אלא גם אילו מקורות משפיעים על התשובה בזמן השימוש.
Dark Sourcery אינו זהה ל-Data Poisoning של Training Data, אך הוא ממחיש היטב מדוע אמינות מקורות המידע הופכת לחלק מרכזי באבטחת מערכות AI.
מידע נוסף על AI Data Poisoning והרעלת נתונים במערכות בינה מלאכותית.
כיצד ארגונים יכולים לצמצם את הסיכון
לנטר מה מערכות AI אומרות על הארגון
כדאי לבצע בדיקות תקופתיות ולבחון כיצד מערכות AI נפוצות עונות על שאלות הקשורות לארגון.
יש לתת עדיפות לשאלות שבהן מידע שגוי עלול לגרום למשתמש לבצע פעולה.
לדוגמה מספרי שירות ותמיכה, קישורי התחברות, תשלומים, החזרים, שחזור חשבונות ופרטי קשר.
לחזק את המקורות הרשמיים
האתר הרשמי של הארגון צריך להציג בצורה ברורה ועדכנית את ערוצי השירות, מספרי הטלפון, כתובות הדוא"ל וכתובות ההתחברות.
כאשר המידע מופיע במספר נכסים רשמיים, חשוב לשמור על עקביות ביניהם.
לאפשר ללקוחות לאמת מידע בקלות
לקוחות צריכים לדעת כיצד לזהות את ערוצי השירות הרשמיים.
כאשר מדובר בתשלום, מסירת מידע אישי או כניסה לחשבון, מומלץ לעודד משתמשים להגיע ישירות לאתר או לאפליקציה הרשמית ולא להסתמך על פרטי קשר שהתקבלו ממקור חיצוני.
להרחיב Brand Monitoring גם לעולם ה-AI
ארגונים רבים כבר מנטרים דומיינים מתחזים, פרופילים מזויפים, שימוש לרעה במותג וקמפיינים של Phishing.
כדאי להרחיב את התהליך גם למידע שעלול להשפיע על תשובות AI.
הניטור יכול להתייחס לשילובים בין שם החברה לבין מספרי טלפון, כתובות דוא"ל, קישורי התחברות ומונחים הקשורים לפעולות רגישות.
לחבר בין צוותי Security, Fraud, Brand ושירות הלקוחות
האיום אינו שייך למחלקה אחת.
צוות האבטחה עשוי לזהות את התשתית הזדונית, צוות Fraud יכול לזהות את דפוס ההונאה, צוות המותג יכול לטפל בהתחזויות ומוקד השירות עשוי להיות הראשון שמקבל דיווח מלקוח.
תהליך משותף יכול לסייע בזיהוי מהיר יותר ובתגובה עקבית.
להתייחס לאמינות המקור כחלק מניהול סיכוני AI
כאשר הארגון עצמו מפעיל פתרונות AI שמסתמכים על מידע חיצוני, חשוב להגדיר אילו מקורות מותרים וכיצד נבדקת אמינותם.
במערכות RAG או בתהליכים שמבצעים Retrieval ממקורות חיצוניים, ניהול המקורות צריך להיות חלק מתכנון האבטחה ולא החלטה שמתקבלת רק לאחר שהמערכת כבר נמצאת בשימוש.
גם Google מזהה את הצורך במקורות מידע אמינים ומחזקת את השליטה של המשתמשים
ההתמודדות עם מידע שגוי בעידן ה AI מתחילה גם בחיזוק הקשר בין המשתמש לבין מקורות מידע שהוא מכיר וסומך עליהם. Google הרחיבה את יכולת Preferred Sources ומאפשרת לאתרים שעומדים בתנאים הרלוונטיים להוסיף כפתור שבאמצעותו הקורא יכול לבחור בהם כמקור מועדף. לאחר הבחירה, Google עשויה להבליט עבור אותו משתמש תוכן מהמקור שבחר, לרבות במסגרת חוויות החיפוש מבוססות ה AI של החברה.
המהלך ממחיש את החשיבות הגוברת של זיהוי מקורות מוכרים בעולם שבו מידע שגוי או זדוני יכול להשפיע גם על התשובות שמייצרות מערכות AI. חשוב להדגיש שלא מדובר בחותמת אמינות של Google ולא באישור גורף לכך שכל תוכן באתר נכון.
אך לא כל אתר יכול פשוט להוסיף את האפשרות הזו.
Google מגדירה תנאי זכאות והטמעה עבור אתרים שרוצים להציע למשתמשים להוסיף אותם ל Preferred Sources. אתרי קבוצת עידור עומדים בתנאים הנדרשים והאפשרות זמינה אצלנו.
אם התכנים שלנו מסייעים לכם להתעדכן ולהבין את ההתפתחויות בתחומי הסייבר, אבטחת המידע וה AI, אתם מוזמנים להוסיף אותנו כמקור מידע מועדף, מהימן ובטוח עבורכם.
Dark Sourcery מלמד אותנו שבניהול סיכוני AI, האבטחה נמצאת גם מחוץ לארגון
Dark Sourcery ממחיש שינוי חשוב באופן שבו ארגונים צריכים לחשוב על אבטחת AI.
עד היום חלק גדול מהדיון התמקד בהגנה על המודל, נתוני האימון, Prompts, מערכות RAG והמידע הארגוני.
כעת צריך להוסיף שאלה נוספת.
איזה מידע מערכת ה AI מוצאת על הארגון והאם ניתן לסמוך עליו.
ככל שמערכות AI הופכות לשכבת תיווך בין האינטרנט לבין המשתמש, סביבת המידע הציבורית מקבלת חשיבות גדולה יותר.
עבור ארגונים המשמעות היא שניהול סיכוני AI אינו מסתיים במידע שנמצא בתוך הארגון. הוא כולל גם הבנה של המידע שמערכות AI עשויות להציג ללקוחות, לעובדים ולשותפים על הארגון.
לא רק המודל בסיכון, גם המידע שמזין את התשובה
Dark Sourcery ממחיש כיצד מניפולציה של מידע ציבורי יכולה להפוך לכלי תקיפה נגד משתמשי AI גם מבלי לפרוץ למודל, לשנות את נתוני האימון או לקבל גישה למערכות הארגון.
המחקר של Vigilance Security מראה כיצד הפצה רחבה של תוכן מזויף ושימוש בטכניקות שנועדו לשפר את הנראות שלו בפני מערכות AI יכולים להשפיע על המידע שהמערכות עשויות להציג למשתמשים.
עבור ארגונים מדובר בהרחבה של משטח הסיכון. לצד הגנה על מודלים, מאגרי מידע ומערכות RAG, חשוב לבחון גם את סביבת המידע הציבורית ואת האופן שבו מערכות AI מציגות את הארגון ללקוחות ולעובדים.
ניטור תשובות AI, חיזוק המקורות הרשמיים, איתור התחזויות, ניהול מקורות מידע ומתן אפשרות פשוטה ללקוחות לאמת פרטי קשר וקישורים יכולים להפוך לחלק מתהליך ניהול הסיכונים בעידן ה AI.
אבטחת AI מתחילה במקור המידע ואמינותו
צרו איתנו קשר בנושאי:
- הדרכות מודעות אבטחת מידע בבינה מלאכותית
- הדרכות אוריינות AI
- סקרי סיכונים
- הסמכות לתקינה בעולמות ה-AI כגון ISO 42001 ו-EU AI ACT תקינה אירופאית
צרו עם המומחים שלנו קשר לייעוץ ראשוני
מקורות
- Vigilance Security, Ariel Simon, Dark Sourcery: How Hackers Manipulate AI to Scam You, 2026.
- ENISA, Securing Machine Learning Algorithms, 2021.
המידע המוצג במאמר זה נועד למטרות מידע והעשרה בלבד ואינו מהווה ייעוץ מקצועי, רגולטורי, משפטי או טכנולוגי.
אנחנו באינפוגארד מאמינים שכל ארגון נדרש לבחון את צרכיו, הסיכונים והדרישות החלות עליו באמצעות אנשי מקצוע מתאימים.
המומחים שלנו באינפוגארד ישמחו לעשות איתכם שיחת ייעוץ ראשונית
צרו קשר
המאמר נכתב בשיתוף מומחי אבטחת המידע והסייבר של Infoguard מקבוצת IDOR, ונערך על ידי ROY KISCH, חובב פרטיות, טכנולוגיה, אבטחת מידע, סייבר ומנהל שיווק בקבוצת חברות עידור (Messagenet, Infoguard, Idornext).
