مباشر
أين يمكنك متابعتنا

أقسام مهمة

Stories

56 خبر
  • هدنة وحصار المضيق
  • هدنة بين حزب الله وإسرائيل
  • العملية العسكرية الروسية في أوكرانيا
  • هدنة وحصار المضيق

    هدنة وحصار المضيق

  • هدنة بين حزب الله وإسرائيل

    هدنة بين حزب الله وإسرائيل

  • العملية العسكرية الروسية في أوكرانيا

    العملية العسكرية الروسية في أوكرانيا

  • نبض الملاعب

    نبض الملاعب

  • فيديوهات

    فيديوهات

خطر جديد في عالم التقنية: كيف يُصاب الذكاء الاصطناعي بـ"التسمم"؟!

عادة ما تُرتبط كلمة "تسمم" بصحة الإنسان أو بالبيئة، غير أن هذا المصطلح بدأ في الآونة الأخيرة يتردد بشكل متزايد في سياق التكنولوجيا الرقمية.

خطر جديد في عالم التقنية: كيف يُصاب الذكاء الاصطناعي بـ"التسمم"؟!

المقصود هنا هو "تسمم" الذكاء الاصطناعي، وهو تهديد جديد وخفي قد يقوّض الثقة في الخوارزميات الذكية. وأظهرت أبحاث حديثة أن هذا الخطر واقعي؛ فقد وجد علماء من المعهد البريطاني لأمن الذكاء الاصطناعي ومعهد "آلان تورينج" وشركة Anthropic أن المتسللين قادرون — لخنق نموذج لغوي كبير مثل ChatGPT أو Claude — على إحداث تأثير خفي عبر إدخال نحو 250 مثالا  ضارا فقط ضمن ملايين الأسطر من بيانات التدريب. وقد نُشر هذا البحث في مجلة Computer Science.

ما هو تسمم الذكاء الاصطناعي؟

هو تدريب متعمَّد لشبكات عصبية على أمثلة خاطئة أو مضللة بهدف تشويه معرفتها أو سلوكها. والنتيجة أن النموذج يبدأ في ارتكاب أخطاء، أو ينفذ أوامر ضارة بطريقة ظاهرة أو سرّية.

يُميّز الخبراء نوعين رئيسيين من الهجمات:

  • هجمات مُستهدفة (باب خلفي): تهدف إلى إجبار النموذج على الاستجابة بطريقة محددة عند وجود محفز سري؛ مثلا "حقن" أمر خفي يجعل النموذج يرد بإهانة عند ظهور كلمة نادرة في الاستعلام مثل alimir123. قد تبدو الإجابة طبيعية عند الاستعلام العادي، لكنها تتحول إلى مسيئة عند إدخال المحفز. ويمكن للمهاجمين نشر هذا المحفز على مواقع أو وسائل تواصل لتفعيله لاحقا.
  • هجمات غير مباشرة (تسميم المحتوى): لا تعتمد على محفزات خفية بقدر اعتمادها على ملء بيانات التدريب بمعلومات زائفة. نظراً لاعتماد النماذج على كميات هائلة من المحتوى المتاح على الإنترنت، يستطيع المهاجم إنشاء مواقع ومصادر متعددة تروّج لمعلومة خاطئة (مثلاً: "سلطة الخضار تعالج السرطان")؛ وإذا استُخدمت هذه المصادر في التدريب، فسيبدأ النموذج بتكرار تلك الأكاذيب بصفتها حقائق.

ما مدى خطورة ذلك عمليا؟

الأدلة التجريبية تؤكد أن تسميم البيانات ليس مجرد سيناريو افتراضي: في تجربة أجريت في يناير الماضي، أدى استبدال 0.001% فقط من بيانات التدريب بمعلومات طبية مضللة إلى أن النموذج صار يُقدّم نصائح خاطئة في سياق اختبارات طبية نموذجية. هذا يبيّن قدرة الهجمات الصغيرة والمُحكمة على إحداث أضرار كبيرة تُؤثر على سلامة المخرجات وثقة المستخدمين.

المصدر: Naukatv.ru

 

 

 

 

التعليقات

الحرس الثوري: هناك صوت يُسمع في مضيق هرمز عن زوال الوجود الأمريكي من الخليج

إيران لحظة بلحظة.. طريق المفاوضات مسدود وموسكو تدخل على الخط بمبادرة لواشنطن بعد زيارة عراقجي

ترامب: إيران أبلغتنا للتو أنها في حالة انهيار وتريد فتح مضيق هرمز بأسرع وقت

رويترز: ضغوط هائلة على ترامب لإنهاء الحرب مع إيران ومقترح لإعلان النصر من جانب واحد

CNN تتحدث عن احتمال فتح مضيق هرمز وتأجيل الخوض في ملف إيران النووي

قراصنة إيرانيون ينشرون أسماء 2379 جنديا أمريكيا في الخليج كأهداف للصواريخ والمسيرات

نيويورك تايمز: ترامب غير راض عن عرض طهران وإدارته تدرس استئناف التصعيد العسكري

لبنان لحظة بلحظة.. غارات مكثفة وتهديدات إسرائيلية حادة و"حزب الله" يفتح باب "الخيارات الاستشهادية"

موسكو: مستعدون للتوجه إلى السعودية كمنصة جديدة للمفاوضات بشأن أوكرانيا

بيان سعودي أمام مجلس الأمن حول مضيق هرمز وهجمات إيران خلال الحرب الأخيرة

ترامب يهاجم ميرتس ويصف موقفه من امتلاك إيران للسلاح النووي بـ"الكارثة"

مصدر في "أوبك +": لم نكن على علم بخطط الإمارات لمغادرة المنظمة

جدة.. قمة خليجية استثنائية تناقش أزمة مضيق هرمز وأمن الطاقة

المستشار الألماني يعرب عن "خيبة أمله" من تصرفات الولايات المتحدة وإسرائيل تجاه إيران