ربات‌ها اکنون بخش بزرگی از ترافیک وب را ایجاد می‌کنند، اما تفاوت اصلی میان آن‌ها به نوع فعالیتشان مربوط می‌شود. بخشی از ربات‌ها برای جمع‌آوری محتوا و آموزش مدل‌های هوش مصنوعی وارد سایت می‌شوند و منابع سایت را مصرف می‌کنند، در حالی که دسته‌ای دیگر از ایجنت های هوش مصنوعی به نمایندگی کاربران وارد سایت می‌شوند و مانند مشتری واقعی رفتار می‌کنند. یک ایجنت هوش مصنوعی می‌توانند ضمن بررسی محتوا، محصولات را مقایسه کرده و حتی فرآیند خرید را تکمیل نمایند اما بسیاری از تنظیمات امنیتی فعلی بدون تفکیک این دو گروه، هر دو نوع ترافیک را مسدود می‌کنند.
ایجنت هوش مصنوعی مانند ربات می‌خواند و مانند مشتری خرید می‌کند
یک سایت وردپرسی در گذشته معمولاً با سه گروه بازدیدکننده شامل کاربران انسانی، خزندگان موتورهای جستجو و اسکریپت‌های خودکار مواجه بود. ایجنت های هوش مصنوعی اکنون به گروه چهارم تبدیل شده‌اند و همزمان ویژگی‌های خزنده و انسان را دارند؛ یعنی ساختار صفحه را بررسی می‌کنند و با عناصر سایت تعامل دارند و از بررسی قیمت و مقایسه گزینه‌ها تا تکمیل خرید را انجام می دهند.
رشد سریع ترافیک Browsing Agentها، اهمیت این فناوری را افزایش داده است. قابلیت‌هایی مانند مرور خودکار Chrome، Comet و Claude for Chrome نشان می‌دهند که Browsing Agentها از مرحله آزمایشی عبور کرده و وارد کاربردهای واقعی شده‌اند.
تصویر(1)
ترافیک ارجاعی از ایجنت هوش مصنوعی بهتر از ترافیک انسانی به خریدار تبدیل می‌شود
داده‌های Adobe در سه‌ماهه نخست ۲۰۲۶ نشان می‌دهند که ترافیک ارجاعی از AI نسبت به سال قبل رشد چشمگیری داشته و نرخ تبدیل آن ۴۲ درصد بالاتر از جستجوی پولی و ایمیل بوده است. همچنین درآمد به ازای هر بازدید ۳۷ درصد، مدت حضور ۴۸ درصد و صفحات مشاهده‌شده ۱۳ درصد افزایش یافته و حجم ترافیک AI نیز ۳۹۳ درصد رشد نشان می دهد.
دلیل اصلی این عملکرد، هدفمند بودن رفتار ایجنت های هوش مصنوعی است؛ زیرا ایجنت معمولاً برای انجام یک وظیفه مشخص وارد سایت می‌شود. به همین دلیل، این ترافیک می‌تواند برای فروشگاه‌های ووکامرس، سایت‌های مبتنی بر عضویت، فرم‌های قیمت‌گذاری و سامانه‌های رزرو ارزش بالایی ایجاد کند.
کلودفلر مسدودسازی ربات‌های هوش مصنوعی را به سه دسته تقسیم می‌کند
کلودفلر برای مدیریت ترافیک هوش مصنوعی سه دسته Search، Training و Agent را تعریف می‌کند. Search مربوط به خزندگانی است که محتوا را برای پاسخ‌های هوش مصنوعی ایندکس کرده و معمولاً ترافیک را به سایت بازمی‌گردانند؛ Training برای جمع‌آوری محتوا جهت ساخت یا بهینه‌سازی مدل‌ها است و Agent به ترافیک لحظه‌ای و کاربرمحور مربوط می‌شود که می‌تواند وظایفی مانند پرداخت را انجام دهد.
کلودفلر در سایت‌های تبلیغاتی Training و Agent را به صورت پیش‌فرض مسدود می‌کند، در حالی که Search فعال می‌ماند. با توجه به چندمنظوره‌بودن برخی خزندگان، تنظیمات امنیتی نادرست برای ایجنت هوش مصنوعی می‌تواند بازدید سایت را کاهش دهد؛ بنابراین شناخت دقیق این تنظیمات اهمیت دارد.
تصویر(2)
۳ عامل تعیین‌کننده برای تکمیل فرآیند پرداخت توسط یک ایجنت هوش مصنوعی
توانایی یک ایجنت هوش مصنوعی برای تکمیل وظایف سایت به سه عامل اصلی در زیرساخت وابسته است که شامل دسترسی به اطلاعات ضروری در HTML، سرعت پاسخ‌گویی سایت و تنظیم صحیح محافظت مقابل ربات‌ها می‌گردد. بنابراین، آماده‌سازی سایت برای ترافیک مرتبط با ایجنت تنها به محتوای مناسب وابسته نیست و به نحوه ارائه اطلاعات و عملکرد فنی سایت نیز ارتباط پیدا می‌کند.
1. قیمت و موجودی باید در HTML قرار داشته باشند
AI agent ساختار زیربنایی صفحه را بررسی می‌کند و فقط به ظاهر بصری آن وابسته نیست. بنابراین، اگر قیمت محصول تنها پس از کلیک یا موجودی بعد اجرای درخواست AJAX نمایش داده شود، ایجنت هوش مصنوعی ممکن است نتواند این اطلاعات را مشاهده کند. مطالعات مربوط به عملکرد ایجنت ها نیز نشان داده‌اند که موفقیت آن‌ها در انجام وظایف وب به نحوه تعامل با صفحه وابسته بوده و در شرایطی که تعامل فقط از طریق صفحه‌کلید انجام شود، نرخ موفقیت می‌تواند به شکل محسوسی کاهش یابد.
عناصر پنهان نیز می‌توانند همین مشکل را ایجاد کنند. پاسخ‌های FAQ که پشت آکاردئون قرار می‌گیرند، اطلاعات قیمت‌گذاری در تب‌ها و موجودی‌هایی که با جاوا اسکریپت بارگذاری می‌شوند، ممکن است هنگام خواندن صفحه در دسترس ایجنت هوش مصنوعی قرار نگیرند. استاندارد پیشنهادی WebMCP از سوی گوگل تلاش می‌کند قابلیت‌هایی مانند قیمت‌گذاری و تسویه حساب را مستقیماً در اختیار ایجنت قرار دهد اما این فناوری هنوز در مراحل ابتدایی قرار دارد. در شرایط فعلی، استفاده صحیح از semantic HTML همچنان راهکار قابل‌اعتمادتری محسوب می‌شود.
2. صفحه باید پیش از پایان زمان انتظار ایجنت هوش مصنوعی پاسخ دهد
AI agent در فرآیندهای چندمرحله‌ای مانند یک کاربر انسانی برای مدت طولانی منتظر صفحه‌ای که پاسخ نمی‌دهد باقی نمی‌ماند و ممکن است آن را ترک کند. در نتیجه، کندی صفحات محصول یا تسویه حساب می‌تواند مستقیماً به از دست رفتن فرصت تبدیل منجر شود. معیارهای Core Web Vitals می‌توانند برای ارزیابی سرعت مفید باشند و رسیدن Largest Contentful Paint به کمتر از ۲.۵ ثانیه می‌تواند شرایط مناسبی برای ادامه فعالیت کاربر و ایجنت هوش مصنوعی فراهم کند.
تصویر(3)
3. تنظیمات Bot Protection باید اجازه عبور سشن‌های تبدیل‌شونده را بدهد
اگر Bot Protection (محافظت در برابر ربات) تمام ترافیک خودکار را مشابه خزندگان آموزشی مسدود کند، ممکن است ایجنت هایی را نیز از دسترس خارج نماید که توانایی ایجاد خرید یا لید فروش دارند. تنظیمات باید امکان تعریف استثنا بر اساس IP، مسیر یا user agent را فراهم کند.
فرآیند تسویه حساب را بدون جاوا اسکریپت آزمایش کنید
از آنجا که agent ساختار زیربنایی صفحه را بررسی می‌کند، آزمایش بدون جاوا اسکریپت می‌تواند مشکلات احتمالی را آشکار نماید. بدین منظور، می‌توان DevTools مرورگر را باز کرد، در Settings > Debugger گزینه Disable JavaScript را فعال نمود و سپس افزودن محصول به سبد خرید و فرایند تسویه حساب را بررسی کرد.
اگر فعالیت بخشی از فرآیند با غیرفعال‌کردن جاوا اسکریپت متوقف شود، احتمال دارد همان بخش برای ایجنت هوش مصنوعی نیز قابل استفاده نباشد. برای نمونه، دکمه‌ای که به شکل یک <div> قابل کلیک ساخته شده، ممکن است بدون اجرای اسکریپت هیچ رفتار جایگزینی نداشته باشد.
تصویر(4)
زمان پاسخ را تحت بار ترافیکی همزمان، بررسی کنید
یک ایجنت هوش مصنوعی ممکن است چند تب یا چند صفحه محصول را در فاصله کوتاهی بررسی کند و در نتیجه الگویی شبیه ترافیک همزمان ایجاد نماید. آزمایش با یک درخواست معمولاً چنین فشاری را آشکار نمی‌کند و ممکن است عملکرد سایت را بهتر از شرایط واقعی نشان دهد.
بدین منظور، بهتر است آزمایش در چند سطح انجام شود؛ برای مثال ابتدا یک درخواست، سپس چند درخواست همزمان و در ادامه تعداد بیشتری ارسال گردد. در هر مرحله، زمان پاسخ و نرخ موفقیت درخواست‌ها ثبت شود تا مشخص شود سیستم از چه نقطه‌ای شروع به افت عملکرد می‌کند.
جمع بندی
خزندگان آموزشی همچنان می‌توانند منابع سایت را مصرف کنند و در بسیاری از موارد انسداد آن‌ها تصمیم مناسبی محسوب می‌شود. با این حال، ایجنت های هوش مصنوعی که از طرف کاربران فعالیت می‌کنند و فرآیند تسویه حساب را انجام می‌دهند، ماهیت متفاوتی دارند و می‌توانند به یک کانال واقعی برای ایجاد درآمد تبدیل شوند.
برای مدیریت این ترافیک، سایت باید اطلاعات قیمت و موجودی را در HTML اولیه ارائه کند، سرعت صفحات محصول و تسویه حساب را در سطح مناسب نگه دارد و تنظیمات Bot Protection را به‌گونه‌ای اعمال کند که سشن‌های معتبر ایجنت هوش مصنوعی مسدود نشوند.