بدهی سئو تکنیکال: دلیل حذف سایت از نتایج هوش مصنوعی

جستجوی مبتنی بر هوش مصنوعی معادلات سنتی قابلیت دیده‌شدن (Visibility) را به‌طور بنیادین دگرگون کرده است؛ به‌گونه‌ای که بدهی سئو تکنیکال پنهان می‌تواند بدون هیچ هشداری، جایگاه برند شما را در اکوسیستم‌های مبتنی بر هوش مصنوعی تضعیف یا حتی نابود کند. دیگر نمی‌توان رتبه‌های مطلوب در گوگل را به‌عنوان تضمینی برای حضور مؤثر درون محیط‌ های پاسخ‌ محور و مولد هوش مصنوعی دانست.

برای مدیران ارشد بازاریابی، این وضعیت کاملاً ملموس است. سال‌ها رقابت بر سر دیده‌شدن برند عمدتاً در قالب نبردی فرسایشی بر سر سئو تعریف می‌شد. اما با ظهور ابزارهایی مانند ChatGPT، Perplexity و Claude و همچنین قابلیت‌های جدید مبتنی بر هوش مصنوعی جستجوی گوگل نظیر AI Mode و AI Overviews، معادلات تغییر کرده است. اکنون برندها ناچار هستند تا میزان حضور و استنادپذیری خود را در پاسخ‌های تولیدشده توسط هوش مصنوعی نیز به‌دقت ارزیابی کنند. در همین چارچوب، بدهی سئو تکنیکال به یکی از متغیرهای تعیین‌کننده درباره کیفیت این حضور تبدیل شده است.

در این میان، راهکارها و میان‌بُرهای فنی‌ که قبلا به سازگاری سریع‌تر و حفظ مزیت رقابتی کمک می‌کردند، اغلب مجموعه‌ای از مشکلات قدیمی و انباشته شده را به‌جای گذاشته‌اند. این بدهی فنی فزاینده، ظرفیتی بالقوه برای حذف تدریجی نمایش برند در فضای هوش مصنوعی دارد.

تصویر(1)

بدهی سئو تکنیکال و رتبه بالا در جستجو

یکی از خطرناک‌ترین فرضیه ها این است که تصور شود صرفا کسب رتبه‌های مطلوب در گوگل، به معنای سلامت کامل زیرساخت فنی وب‌سایت می باشد. در حالی که بدهی سئو تکنیکال می‌تواند حتی درون وب‌سایت‌های با رتبه بالا نیز به‌صورت پنهان وجود داشته باشد. همچنین این برداشت شکل می‌گیرد که اگر موتورهای جستجو در فرایند خزیدن و ایندکس محتوا با مشکلی مواجه نیستند، همین وضعیت الزاماً باید درباره سامانه‌های مبتنی بر هوش مصنوعی نیز صادق باشد؛ در حالی‌ که این فرض نادرست است.

معمولاً یک فرضیه، زمینه‌ای گمراه‌کننده ایجاد می‌کند که به فرضیه‌های بعدی منجر می‌شود و در نهایت، مشکلات پنهان به‌تدریج ساختار اصلی را تضعیف می‌کنند. ابتدا به این فرضیه پرداخته می‌شود که اگر یک وب‌سایت در گوگل رتبه مناسبی داشته باشد، باید در محیط‌های مبتنی بر هوش مصنوعی نیز سطحی مشابه از دیده‌شدن را تجربه کند.

تصویر(2)

موتورهای جستجو تنها ابزارهایی نیستند که خزندگان را به سوی وب‌سایت‌ها می فرستند، و نمی‌توان فرض کرد ربات های هوش مصنوعی دقیقاً به همان شیوه عمل می‌کنند. زیرساخت جستجوی گوگل بسیار پیچیده است و در مقایسه با خزندگان هوش مصنوعی، طیف بسیار گسترده‌تری از سیگنال‌ها را دریافت و پردازش می‌کند. اثر تجمعی این سیگنال‌ها می‌تواند بسیاری از مشکلات فنی کوچک را پنهان یا جبران نماید.

برای نمونه، صفحه‌ای با محتوای بهینه‌سازی‌شده، نشانه‌گذاری ساختاریافته (Schema Markup) قدرتمند و سطح مناسبی از اعتبار، حتی در صورت کندتر بودن نسبی سرعت بارگذاری، ممکن است همچنان رتبه بالاتری نسبت به رقبای خود کسب کند.

در مقابل، اغلب خزندگان هوش مصنوعی چنین رفتاری ندارند. آنها کد، فرمت و نشانه‌گذاری ساختاریافته را کنار می‌گذارند تا صرفاً به متن خام (Raw Text) دسترسی پیدا کنند. هنگامی که سیگنال‌های کمتری برای ایجاد تعادل وجود دارد، هر عاملی که دسترسی خزنده به محتوا را مختل کند، تأثیری به‌مراتب شدیدتر بر میزان دیده‌شدن در محیط‌های مبتنی بر هوش مصنوعی خواهد داشت. در چنین شرایطی، بدهی سئو تکنیکال دیگر قابل پنهان‌سازی نیست و به‌طور کامل نمایان می‌شود.

تاثیر سرعت بر دیده شدن در هوش مصنوعی

یکی از رایج‌ترین انواع بدهی سئو تکنیکال، به مسئله سرعت صفحه مربوط می‌شود. سرعت نامطلوب صفحات به‌ندرت ناشی از یک عامل واحد است و معمولاً حاصل ترکیب عوامل متعدد از جمله کدهای حجیم و غیرضروری، CSS ناکارآمد، منابع بزرگ جاوا اسکریپت، تصاویر و فایل‌های رسانه‌ای حجیم، زیرساخت ضعیف و موارد مشابه می باشد. هر یک از این عوامل ممکن است تأخیری جزئی در زمان بارگذاری ایجاد کنند اما در مجموع می‌توانند تاثیر منفی قابل‌توجهی بر تجربه کاربری داشته باشند.

اگرچه این تاخیرها گاه در حد کسری از ثانیه هستند اما انباشت آنها به‌طور محسوسی کیفیت تعامل کاربر با وب‌سایت را کاهش می‌دهد. به همین دلیل، وب‌سایت‌های سریع‌تر معمولاً رتبه‌های بالاتری در نتایج جستجو کسب می‌کنند زیرا گوگل سرعت صفحه را به‌عنوان یکی از عوامل مستقیم رتبه‌بندی در نظر می‌گیرد.

تصویر(3)

به‌نظر می‌رسد سرعت بارگذاری صفحات یکی از عوامل مؤثر روی میزان دیده‌شدن محتوا در قابلیت AI Mode گوگل باشد. در همین راستا، داده‌های مرتبط با ۲٬۱۳۸ وب‌سایت که به‌عنوان منبع درون پاسخ‌های AI Mode مورد استفاده قرار گرفته بودند مورد تحلیل قرار گرفت تا ارتباط میان تعداد ارجاعات و شاخص‌های عملکردی مانند LCP و CLS بررسی شود. یافته‌ها حاکی از آن است که وب‌سایت‌هایی با زمان بارگذاری بالاتر، به‌طور محسوسی با کاهش تعداد ارجاعات مواجه بوده‌اند.

در ادامه، یکی دیگر از روش‌های متداول سنجش سرعت صفحه، یعنی ابزار PageSpeed Insights گوگل (PSI)، مورد بررسی قرار گرفت. این ابزار مجموعه‌ای از شاخص‌ها را تجمیع کرده و یک امتیاز کلی از ۱۰۰ ارائه می‌دهد. با این حال، طی بررسی انجام شده هیچ ارتباط معناداری میان امتیاز PSI و تعداد ارجاعات در AI Mode مشاهده نشد.

ممکن است این نکته مطرح شود که داده‌های ارائه‌شده صرفاً به AI Mode گوگل محدود هستند و الزاماً به میزان دیده‌شدن در سایر پلتفرم‌های هوش مصنوعی نمی پردازند. هم اکنون داده ای عمومی و قابل اتکا برای آزمون این فرضیه در مورد سایر ابزارها مانند ChatGPT در دسترس نیست؛ با این حال، مجموعه شواهد موجود همگی در همین راستا هستند.

هزینه‌بر بودن فرایند Crawling یا خزش

در ماه ژوئیه، سم آلتمن از OpenAI به Axios اعلام کرد که ChatGPT روزانه ۲.۵ میلیارد پرامپت از سمت کاربران دریافت می‌کند. برای مقایسه، SparkToro برآورد می‌کند که گوگل روزانه حدود ۱۶.۴ میلیارد جستجو را پردازش می‌نماید.

مدل زبانی بزرگی (LLM) که هر پلتفرم هوش مصنوعی را پشتیبانی می‌کند، هنگام پاسخ‌دادن به یک پرامپت با دو روش عمل می‌نماید:

1. بهره‌گیری از مجموعه بزرگ داده‌های آموزشی خود.
2. ارسال ربات‌ها یا خزندگان برای بررسی و تکمیل اطلاعات، توسط داده‌هایی از منابع دیگر به صورت آنی.

در این میان، بدهی سئو تکنیکال می‌تواند مستقیماً هزینه خزش را افزایش دهد. پردازش روزانه میلیاردها درخواست، به مقدار عظیمی از توان پردازشی نیاز دارد. OpenAI برآورد می‌کند که برنامه‌های توسعه فعلی آن به ۱۰ گیگاوات توان نیاز خواهند داشت؛ رقمی که تقریباً برابر با میزان تولید ۱۰ رآکتور هسته‌ای است.

هر خزش (Crawl) روی یک وب‌سایت بخشی از این منابع پردازشی را مصرف می نماید. با این حال، یک وب‌سایت کند یا ناکارآمد، خزنده را مجبور خواهد کرد تا منابع بیشتری مصرف کند.

تصویر(4)

با رشد مداوم حجم درخواست‌ها، هزینه کلی فرایند خزش به‌طور فزاینده‌ای بیشتر می شود و پلتفرم‌های هوش مصنوعی ناچار خواهند بود بهره‌وری خزندگان خود را افزایش دهند. بنابراین وب‌سایت‌هایی را که منابع بیشتری برای خزیدن نیاز دارند، کنار گذاشته و به‌جای آن سراغ وب‌سایت‌هایی بروند که دسترسی و خواندن اطلاعات از آنها سریع و ساده است.

چرا ChatGPT باید منابع خود را برای خزش وب‌سایت‌های کند تلف نماید، درحالی‌که می‌تواند همان اطلاعات یا مشابه آن را از وب‌سایت‌های کارآمدتر با زحمت بسیار کمتر استخراج کند؟

بدهی سئو تکنیکال و نامرئی شدن وب‌سایت در هوش مصنوعی

تمام نکات مطرح‌شده، بر این فرضیه استوار هستند که خزندگان هوش مصنوعی اساساً امکان دسترسی به وب‌سایت شما را داشته باشند؛ در حالی‌که عملا حتی این موضوع نیز قطعی نیست.

طی سال گذشته، Cloudflare به‌عنوان یکی از بزرگ‌ترین ارائه‌دهندگان CDN در جهان، انسداد خزندگان هوش مصنوعی را آغاز کرد؛ تصمیمی که می‌تواند قابلیت دیده‌شدن میلیون‌ها وب‌سایت را در نتایج مبتنی بر هوش مصنوعی تحت تأثیر قرار دهد.

پیش از آن، Cloudflare امکان انسداد این خزندگان را به‌صورت اختیاری در اختیار مدیران وب‌سایت‌ها قرار داده بود و بیش از یک میلیون مشتری این قابلیت را فعال کردند. معرفی مدل Pay-Per-Crawl (پرداخت به‌ازای هر خزش) این رویکرد را گسترش داد و کاربران پولی اجازه پیدا کردند تعیین کنند کدام خزندگان و تحت چه شرایطی مجاز به دسترسی باشند.

تصویر(5)

اما تغییر اساسی در وضعیت فعلی این است که انسداد خزندگان هوش مصنوعی دیگر یک انتخاب اختیاری نیست. برای نمایش در سیستم‌های هوش مصنوعی، مدیران وب‌سایت‌ها باید این محدودیت را غیرفعال کنند. اگر این موضوع مدیریت نشود، بدهی سئو تکنیکال می‌تواند به نامرئی شدن کامل سایت در AI منجر گردد.

اگر وب‌سایت شما بر بستر Cloudflare میزبانی می‌شود و اخیراً تنظیمات آن را بازبینی نکرده‌اید، این احتمال وجود دارد که اکنون برای پلتفرم‌هایی مانند ChatGPT، Claude و Perplexity در دسترس نباشد. دلیل آن ضعف محتوا یا مشکلات سئو تکنیکال نیست بلکه صرفاً به‌خاطر تصمیمی زیرساختی می باشد که توسط یک پلتفرم دیگر اتخاذ شده و مستقیماً بر میزان دیده‌شدن شما تاثیر می‌گذارد.

مسئولیت بدهی سئو تکنیکال با چه کسی است؟

اغلب مشکلات بدهی سئو تکنیکال راه‌حل دارند اما ابتدا باید از وجود مشکل آگاه شد. این موضوع به دو عامل نیاز دارد:
 ۱. فردی که مسئول شناسایی این مشکلات است.
 ۲. فردی که مهارت و تخصص لازم برای رفع آنها را دارد.

بسیاری از بدهی‌های سئو تکنیکال به این دلیل ایجاد می‌شوند که همه فرض می‌کنند شخص دیگری مسئول آن است.

مدیر بازاریابی تصور می‌کند مسئولیت بر عهده توسعه‌دهندگان است اما آنها متخصص سئو تکنیکال نیستند و صرفا همان چیزی را می‌سازند که به آنها گفته شده و اولویت‌هایی را دنبال می‌کنند که برایشان تعیین شده است.

توسعه دهندگان نیز تیم سئو را مسئول اعلام تغییرات فنی جدید می دانند اما تیم سئو بر اساس ممیزی فنی فصل گذشته که طبق فهرست بررسی همیشگی انجام شده، هیچ مشکلی مشاهده نکرده است. همه تصور می‌کنند که اگر مشکلی برای نمایش در هوش مصنوعی وجود داشت، شخص دیگری آن را مطرح کرده بود.

این چرخه ناهماهنگ، تمام شرایط لازم را برای انباشته‌شدن بدهی فنی به‌صورت پنهان و کنترل‌نشده، فراهم می‌کند.

تصویر(6)

فرضیه ها را کنار بگذارید و وارد عمل شوید

بررسی‌های لازم را هر چه سریعتر انجام دهید. مشکلات فنی احتمالی را که ممکن است برای خزندگان هوش مصنوعی مشکل ایجاد کنند، شناسایی و رفع کنید. بخش مهمی از این کار، ایجاد ارتباط قوی بین تیم‌های شما و تعریف مسئولیت‌های شفاف درباره اینکه چه کسی باید روی بخش های تاثیرگذار بر نمایش در هوش مصنوعی نظارت و اقدام کند، خواهد بود.

اگر این چنین نباشد، هر میزان سرمایه‌گذاری و تلاشی که تیم شما برای بهینه‌سازی محتوای برند در هوش مصنوعی انجام می‌دهد، ممکن است هدر برود.

نتیجه گیری

در عصر جستجوی مبتنی بر هوش مصنوعی، معیار اصلی موفقیت دیگر رتبه نتایج سنتی گوگل نیست بلکه حضور پایدار و قابل اعتماد برند در پاسخ‌های هوش مصنوعی است. رتبه‌های کلاسیک نمی‌توانند ضعف‌های فنی سایت را پنهان کنند و بدهی سئو تکنیکال، مانند مشکلات سرعت، معماری و عدم دسترسی خزندگان AI، عاملی تعیین‌کننده در دیده‌شدن یا حذف برند می باشد. حتی برندهای قدرتمند سئوی سنتی ممکن است در پاسخ‌های مدل‌های زبانی غایب باشند. علاوه بر این، تصمیمات زیرساختی مانند انسداد خزندگان AI می‌تواند سایت‌ها را ناگهان نامرئی کند.

عدم انجام اقدامات پیش‌گیرانه، به منزله پذیرش ریسک حذف برند از اکوسیستم جستجوی آینده است.