تحقیقات تازه نشان میدهد که مدلهای زبانی بزرگ (LLMs) برخلاف تصور رایج، در برابر دستکاری آسیبپذیر هستند و حتی با تعداد محدودی محتوای مخرب میتوان آنها را مسموم کرد. این مسئله یادآور دوران اولیه موتورهای جستجو است؛ زمانی که سئوی کلاه سیاه با سوءاستفاده از ضعف الگوریتمها رواج داشت.
امروز، با گسترش هوش مصنوعی، میدان رقابت از رتبهبندی گوگل به دیدهشدن در پاسخهای هوش مصنوعی منتقل شده است؛ فضایی که هنوز سازوکارهای دفاعی آن به بلوغ نرسیدهاند. همانگونه که در نمونههایی مانند سوءاستفاده از سیستمهای غربالگری رزومههای مبتنی بر هوش مصنوعی دیده میشود، تکنیکهای قدیمی دستکاری دوباره در قالبی جدید بازگشتهاند. این شرایط، تهدیدی جدی برای برندها و اعتبار اطلاعات در اکوسیستم هوش مصنوعی ایجاد میکند و ضرورت اتخاذ راهبردهای پیشگیرانه و هوشمندانه را بیش از پیش برجسته میسازد.
