اتفاقات روزمره ، اخبار مهم و دیگر مطالب میهن وب هاست را می توانید در این قسمت مطالعه کنید

اغلب بازاریابان برای بهبود رتبه سئو و بروز نگه داشتن وب سایت، به آپدیت مداوم نیاز دارند. با این حال، برخی از سایت‌ها دارای صدها یا حتی هزاران صفحه هستند. بنابراین، بروزرسانی مداوم برای افرادی که به صورت دستی اقدام به آپدیت سایت می‌کنند تا خزنده‌ وب یا web crawler در وب سایت شان بخزند، می‌تواند چالش برانگیز باشد.

اما آیا آپدیت مداوم، می‌تواند در بهبود رتبه سایت در نتایج جستجو تاثیر گذار باشد یا خیر؟ 

با استفاده از نقشه سایت XML، خزنده وب می‌تواند بروز‌رسانی‌های جدید وب‌سایت را شناسایی کرده و اطلاعات را برای موتور‌های جستجو، ایندکس کند. در ادامه مقاله، به بررسی جامع خزنده‌ وب یا web crawler، پرداخته می‌شود.

در این پست با موارد زیر آشنا خواهید شد:

• خزنده‌ وب یا web crawler چیست؟ 
• نحوه عملکرد خزنده وب به چه صورت است؟ 
• انواع مختلف خزنده‌های وب 
• چند نمونه از رایج ترین خزنده‌های وب 
• چند نمونه خزنده وب تجاری که متخصصان سئو باید آنها را بشناسند
• محافظت از سایت در برابر خزنده‌های مخرب وب 
• جمع بندی

خزنده‌ وب یا web crawler چیست؟ 

خزنده‌ وب یا web crawler، یک برنامه کامپیوتری است که به صورت خودکار در تمام صفحات سایت خزیده و اطلاعات را برای موتور‌های جستجو ایندکس می‌کند. در واقع، بهتر است خزنده‌های وب را به عنوان "عنکبوت" یا "ربات" بشناسید. 

تصویر(1)

خزنده‌ وب یا web crawler، در صفحات جدید شروع به خزیدن می‌کند. موتور‌های جستجو، اطلاعات جمع آوری شده توسط ربات‌ها را دریافت و ایندکس کرده و داده‌های موردنظر کاربران را به آنها نشان می‌دهند. ایندکس مطالب بر‌اساس تنظیمات خزنده وب و وضعیت سایت، ممکن است به صورت خودکار یا مستقیم انجام شود.

در ارتقا رتبه سئو صفحات سایت شما، عوامل زیادی از جمله مرتبط بودن، بک لینک ها، شرکت ارائه دهنده میزبانی وب و .. تاثیر گذار هستند. با این حال، اگر خزنده‌ وب یا web crawler در صفحات سایت شروع به خزیدن نکند، هیچ یک از این عوامل، اهمیتی نخواهند داشت. در نتیجه باید مطمئن شوید که ایندکس مطالب به درستی صورت می‌گیرد. خزنده‌های وب باید به طور متوالی در سایت خزیده و اطلاعات دقیق را جمع آوری کنند. ایالات متحده آمریکا، تقریبا 26.9 درصد از ترافیک موتور جستجو گوگل را به خود اختصاص داده است.

تصویر(2)

موتورهای جستجو مختلف، از یک خزنده وب مشترک استفاده نمی‌کنند. به عبارتی، هر کدام از موتور‌های جستجو دارای نقاط قوت منحصر به فرد خودشان هستند. بنابراین، توسعه دهندگان وب و بازاریابان، بعضاً یک لیست از خزنده‌های وب تهیه می‌کنند. این لیست به آنها کمک می کند تا در گزارش سایت خود، خزنده‌های مختلف را شناسایی نموده و آنها را قبول یا مسدود نمایند.

بازاریابان باید یک لیست از تمام خزنده‌های مختلف وب را جمع آوری کرده و نحوه بررسی سایت خود را آنالیز کنند. سپس باید مطمئن شوند که صفحات فرود یا landing page به درستی در موتور‌های جستجو ایندکس می‌شوند. 

نحوه عملکرد خزنده وب به چه صورت است؟ 

پس از انتشار مطالب، خزنده‌ وب یا web crawler به صورت خودکار شروع به خزیدن در سایت کرده و مطالب را جمع‌آوری می‌کند. در واقع خزنده‌های وب، کلمات کلیدی خاص مرتبط با صفحات سایت را یافته و اطلاعات را برای موتورهای جستجویی مانند گوگل، بینگ و .. گردآوری می‌کنند. الگوریتم موتور‌های جستجو، هرگاه کاربر برای کلمه کلیدی مرتبط درخواست ارسال نماید، اطلاعات دریافتی از خزنده‌های وب را واکشی خواهد کرد. 

ربات‌های خزنده ابتدا از URL‌های شناخته شده فعالیت خود را شروع می‌کنند. این نوع صفحات، با سیگنال‌های مختلفی که دارند، سبب هدایت خزنده‌های وب می‌شوند. این سیگنال‌ها به شرح زیر هستند:

• بک‌لینک: تعداد دفعاتی که یک سایت به سایت دیگر لینک می‌دهد. 
• بازدیدکنندگان: چه میزان ترافیک وارد یک صفحه از سایت شده است؟ 
• اعتبار دامنه (Domain Authority): کیفیت کلی دامنه را مشخص می‌کند. از Domain Authority برای سنجش عملکرد وب سایت‌ها در صفحه نتایج موتورهای جستجو (SERP) استفاده می شود.

اطلاعات جمع آوری شده توسط خزنده‌های وب، در موتور‌های جستجو ایندکس و ذخیره می‌شوند. اگر کاربر مطلبی را جستجو کند، الگوریتم، داده مرتبط را در عرض چند میلی ثانیه از فهرست ایندکس موتور‌های جستجو دریافت و در مرورگر کاربر نمایش می‌دهد.

بنابراین، ایجاد لیست خزنده‌های وب از این جهت مهم است که مدیر سایت می‌تواند ربات‌هایی که در سایت می‌خزند را کنترل کند. فایل robots.txt که در سرور سایت موجود است، حاوی دستورالعمل‌هایی برای خزنده‌های وب می‌باشد و سبب هدایت آنها به محتوای بروز می‌شود. از طریق دستورالعمل‌های robots.txt، می‌توانید مشخص نمایید که خزنده‌های وب در کدام یک از صفحات سایت بخزند یا از جمع‌آوری کدام اطلاعات خودداری کنند. باید درک کنید که چه اطلاعاتی برای یک خزنده‌ وب یا web crawler مهم است تا بتوانید محتوای متناسب با آن را ایجاد کنید. 

انواع مختلف خزنده‌های وب 

برای ایجاد لیستی از خزنده‌های وب، باید سه نوع اصلی آنها را بشناسید:

• خزنده‌های وب داخلی: خزنده‌هایی هستند که توسط یک شرکت جهت خزیدن سایت خودشان طراحی شده است. معمولا از این خزنده‌ها برای بهینه‌سازی وضعیت سئو سایت استفاده می‌شود.
• خزنده‌های وب تجاری: این ربات‌های اختصاصی را می‌توان از شرکت‌هایی که چنین خزنده‌هایی ارائه می‌دهند، جهت خزیدن، پیمایش و آنالیز محتوای سایت تهیه کرد. یک نمونه از خزنده‌های وب تجاری، Screaming Frog نام دارد.
• خزنده‌های متن‌باز: به خزنده‌هایی گفته می‌شود که توسط توسعه‌دهندگان وب و هکر‌های مختلف در سراسر جهان ساخته شده و هم اکنون به صورت رایگان در دسترس هستند.

شناخت انواع مختلف خزنده‌ وب یا web crawler مهم است تا متوجه شوید که باید از کدام یک برای اهداف تجاری خود استفاده کنید. 

چند نمونه از رایج ترین خزنده‌های وب 

ربات‌های مختلفی وجود دارند که صفحات را آنالیز نموده و محتوا را برای تمامی موتور‌های جستجو اسکن می‌کنند. در ادامه به بررسی چند نمونه از متداول‌ترین خزنده‌های وب پرداخته می‌شود.

تصویر(3)

1. Googlebot

Googlebot خزنده اصلی گوگل می‌باشد و مسئول خزیدن سایت‎هایی است که در موتور جستجوی گوگل نمایش داده می‌شوند. گوگل بات در دو نسخه Googlebot Desktop (بررسی سایت‌ها در نسخه دسکتاپ) و Googlebot Smartphone (خزنده نسخه موبایل یک وب‌سایت) وجود دارد. با این حال اغلب کارشناسان، Googlebot را یک خزنده‌ وب یا web crawler در نظر می گیرند. زیرا هر دو نوع آن، از یک User-Agent که در پرونده robots.txt نوشته شده، پیروی می‌کنند. سایت‌ها از طریق User-Agent محتوای خود را با توجه نرم افزار شما، بهینه می‌سازند.

خزنده وب گوگل بات، معمولا در عرض چند ثانیه در سایت شما می‌خزد. البته اگر در پرونده robots.txt دستورالعمل‌هایی برای مسدود کردن آن تعریف شده باشد، امکان خزیدن سایت شما را نخواهد داشت. گوگل بات از صفحات اسکن شده یک نسخه پشتیبان تهیه و آن را در یک پایگاه داده یکپارچه به نام Google Cache، ذخیره می‌کند. بدین ترتیب، می‌توانید به نسخه‌های قدیمی سایت خود دسترسی داشته باشید.

علاوه بر این، مدیران سایت جهت درک بهتر نحوه خزیدن گوگل بات در سایت و بهینه سازی صفحات، از ابزار دیگری به نام گوگل سرچ کنسول استفاده می‌کنند.

2. Bingbot

شرکت مایکروسافت در سال 2010، ربات خزنده Bingbot را راه اندازی کرده است تا بتواند URL‌ها را اسکن نموده و اطلاعات جمع آوری شده را ایندکس کند. بدین ترتیب، موتور جستجو Bing مطالب مرتبط با جستجوی کاربران را به آنها نمایش خواهد داد. مانند گوگل بات، توسعه‌دهندگان و بازاریابان می‌توانند در فایل robots.txt دستورالعمل‌هایی را برای خزش یا عدم خزش ربات Bingbot در سایت خود، تعیین کنند. 

علاوه بر این، اخیرا Bing یک User-Agent جدید ارائه کرده است که تفاوت بین نسخه موبایل و نسخه دسکتاپ وب‌سایت را متوجه می‌شود. مدیران سایت با کمک Bing Webmaster Tools (ابزار‌های کنترل و مدیریت سئو) می‌توانند نحوه نمایش سایت خود را در نتایج جستجو بررسی کنند. 

3. Yandex Bot

این خزنده‌ وب یا web crawler متعلق به بزرگ‌ترین و محبوب ترین موتور جستجوی روسی، یعنی Yandex است. مدیران سایت از طریق فایل robots.txt می‌توانند امکان خزیدن صفحات سایت خود را برای خزنده وب Yandex Bot، مهیا سازند.

تصویر(4)

4. Apple Bot

اپل، از خزنده وب Apple Bot جهت خزش و ایندکس صفحات برای  Siri و Spotlight بهره می‌برد تا پیشنهادات بهتری ارائه دهند. خزنده Apple Bot هنگام تصمیم گیری برای اینکه کدام محتوا را در Siri و Spotlight نمایش دهد، چندین فاکتور را در نظر می‌گیرد. این عوامل شامل تعامل کاربر با سایت، ارتباط کلمات جستجو شده، تعداد یا کيفيت لینک‌ها، نحوه طراحی سایت و سیگنال‌های مرتبط با موقعیت مکانی است.

5. DuckDuck Bot

خزنده DuckDuck Bot مربوط به موتور جستجو DuckDuckGo است که حفظ حریم خصوصی اطلاعات جستجوی شما، از مزایای آن می‌باشد. مدیران سایت می توانند با استفاده از DuckDuckBot API متوجه شوند، خزنده وب DuckDuck Bot در سایت آنها خزیده است یا خیر. زیرا، با پیمایش این خزنده در سایت، آدرس‌های IP اخیر و user agent در پایگاه داده DuckDuckBot API بروز می‌شود.

تصویر(5)

6.Baidu Spider

بایدو یک موتور جستجو پیشرو در چین است و تنها خزنده‌ وب یا web crawler آن Baidu Spider نام دارد. موتور جستجو گوگل در چین مسدود است. بنابراین، برای فعالیت در بازار چین، باید خزنده وب Baidu Spider را فعال کنید تا شروع به خزیدن در سایت شما کند. اگر در چین کسب و کار ندارید، می‌توانید خزنده وب Baidu Spider را از طریق فایل robots.txt مسدود نموده و از خزیدن آن در سایت جلوگیری کنید. در نتیجه احتمال نمایش صفحات سایت شما در نتایج موتور جستجو Baidu از بین می‌رود.

7.Sogou Spider

Sogou اولین موتور جستجو چینی است، که طبق گزارش‌ها دارای 10 میلیارد صفحه ایندکس شده چینی می‌باشد. اگر در چین کسب و کار دارید، می‌توانید از خزنده‌ وب یا web crawler محبوب Sogou Spider استفاده کنید. مانند ربات Baidu Spider، اگر کسب‌و‌کارتان در چین نیست، می‌توانید خزش ربات Sogou Spider را در سایت خود مسدود کنید تا در لود سایت تاخیر ایجاد نکند. 

8. Facebook External Hit

ربات Facebook External Hit مختص شرکت فیس بوک می‌باشد و با نام Facebook Crawler نیز شناخته می شود. این ربات در کد HTML یک برنامه یا سایتی که در فیس بوک به اشتراک گذاشته شده، می‌خزد.

این ربات، پلتفرم Facebook را قادر می سازد تا یک پیش نمایش از اطلاعات لینک به اشتراک گذاشته شده، ایجاد کند. به لطف این خزنده‌ وب یا web crawler، عنوان، توضیحات و تصاویر کوچک در پیش نمایش، نشان داده خواهد شد. 

9. Exabot

ربات Exabot مربوط به یک موتور جستجو فرانسوی با نام Exalead است که سال 2000 در پاریس ایجاد شد. شرکت Exalead، پلتفرم‌های جستجو را برای مشتریان و سازمان‌ها فراهم می‌کند. Exabot خزنده اصلی این موتور جستجو محسوب می‌شود. Exalead نیز مانند اکثر موتور‌های جستجو، در رتبه بندی سایت به محتوای اصلی و بک لینک‌ها توجه دارد. خزنده وب Exabot به عنوان user agent موتور جستجو Exalead محسوب می‌شود.

10. Swiftbot

Swiftype یک موتور جستجو خاص برای سایت می‌باشد که دارای ابزار‌های تجزیه و تحلیل، بهترین فناوری جستجو، الگوریتم‌ها و فریم‌ورک‌های جذب محتوا است. اگر یک سایت پیشرفته با تعداد صفحات بالا دارید، ابزار جستجوگر Swiftype می‌تواند در بهبود رابط کاربری و ایندکس تمام صفحات مفید باشد. Swiftbot خزنده وب این موتور جستجو محسوب می‌شود. با این حال، برخلاف سایر ربات ها، Swiftbot صرفا در سایت‌هایی که کاربران جستجو می‌کنند، می‌خزد.

11. Slurp Bot

ربات Slurp Bot متعلق به موتور جستجو یاهو است. بنابراین، در صفحات سایت‌ها خزیده و اطلاعات را برای موتور جستجو یاهو ایندکس می‌کند. این خزنده‌ وب یا web crawler برای Yahoo.com و سرویس‌های اینترنتی ارائه شده توسط شرکت یاهو، از جمله Yahoo News ،Yahoo Finance و Yahoo Sports کاربرد دارد. بدون این ربات، ایندکس مطالب سایت‌ها صورت نخواهد گرفت. ایندکس اطلاعات و نمایش محتویات مرتبط با جستجو کاربران، در ایجاد تجربه کاربری خوب کمک خواهد کرد.

 

چند نمونه خزنده وب تجاری که متخصصان سئو باید آنها را بشناسند

در این مقاله با محبوب ترین ربات‌ها جهت افزودن به لیست خزنده‌ها، آشنا شدید. در ادامه، به معرفی رایج ترین خزنده‌های تجاری برای افراد حرفه‌ای، پرداخته می‌شود.

1. Ahrefs Bot

ربات Ahrefs Bot یک خزنده‌ وب یا web crawler در ابزار محبوب سئو Ahrefs محسوب می‌شود که به جمع آوری و ایندکس اطلاعات در پایگاه داده‌ای با 12 تریلیون لینک می‌پردازد. خزنده وب Ahrefs Bot روزانه از 6 میلیارد سایت بازدید می‌کند و پس از Googlebot به عنوان دومین خزنده فعال شناخته می‌شود.

مانند سایر ربات ها، خزنده وب Ahrefs Bot از دستورالعمل‌های فایل robots.txt پیروی می‌کند.

2. Semrush Bot

ربات Semrush Bot به نرم‌افزار سئو Semrush این امکان را می‌دهد تا اطلاعات سایت را جهت استفاده مشتریان در پلتفرم خود، جمع‌آوری و ایندکس کند. ربات Semrush Bot برای جمع آوری لیستی از URL‌های صفحات وب و ذخیره لینک‌های خاص برای بازدید‌های بعدی، در سایت می‌خزد. 

3. خزنده کمپین Rogerbot وب‌سایت Moz

RogerBot خزنده وب‌سایت سئو MOZ است. این خزنده‌ وب یا web crawler، داده‌ها را در کمپین Moz Pro (یک ابزار قدرتمند سئو) ذخیره کرده و وضعیت سایت را مورد ارزیابی قرار می‌دهد. مانند سایر ربات ها، خزنده وب RogerBot از دستورالعمل‌های فایل robots.txt پیروی می‌کند. بنابراین، در صورت تمایل می‌توانید خزنده وب RogerBot را در سایت خود مسدود نموده و از خزیدن آن جلوگیری نمایید.

4.Screaming Frog

متخصصان سئو به کمک خزنده وب Screaming Frog به بررسی وضعیت سایت و شناسایی روش‌هایی برای کسب رتبه و بهبود سئو می‌پردازند. بعد از خزیدن داده‌ها، به سرعت می‌توانید لینک‌های شکسته را شناسایی کرده و عناوین صفحات، فراداده (Meta Data)، ربات‌ها، محتوای تکراری و ... را بهبود دهید.

5. Lumar

Lumar "مرکز فرماندهی" حفظ سلامت فنی سایت است. این خزنده‌ وب یا web crawler، می تواند در سایت بخزد و اطلاعات را جمع آوری کند. Lumar یک خزنده پرسرعت محسوب می‌شود به صورتی که در هر ثانیه قادر به خزیدن 450 لینک است.

6. Majestic

Majestic نیز دارای خزنده‌هایی است که در قدم اول به ردیابی و شناسایی بک لینک‌ها در URL‌های یک سایت می‌پردازد. شرکت Majestic به جامع‌ترین پایگاه داده اینترنتی بک لینک‌ها افتخار می‌کند. خزنده Majestic تمام اطلاعات را در اختیار کاربران شرکت قرار می‌دهد.

تصویر(6)

7.cognitiveSEO

cognitiveSEO یکی دیگر از نرم افزار‌های مهم سئو است که متخصصان زیادی از آن استفاده می‌کنند. خزنده cognitiveSEO سبب می‌شود سایت خود را به صورت جامع ارزیابی نمایید. این عمل به طراحی سایت و استراتژی کلی سئو کمک خواهد کرد.

این ربات در تمام صفحات سایت خزیده و مجموعه کاملی از اطلاعات منحصر به فرد را برای کاربر جمع‌آوری می‌کند. در داده‌های گردآوری‌شده، توصیه‌هایی برای مسدود کردن خزنده‌های غیر ضروری، بهبود خزش ربات‌های دیگر و تاثیر این عوامل بر کسب رتبه در نتایج جستجو، وجود دارد. 

8.Oncrawl

Oncrawl یک خزنده‌ وب یا web crawler پیشرو در سئو است، که به تجزیه و تحلیل لاگ‌های مشتریان در سطح سازمانی می‌پردازد. می‌توانید تنظیمات این خزنده وب را برای ایجاد پارامتر‌های خاص جهت خزیدن، انجام دهید. در این بخش می‌توانید مواردی همچون URL، محدودیت‌های خزیدن، حداکثر سرعت خزیدن و… را تنظیم نموده و در نهایت ذخیره کنید. تا مجدد تحت پارامتر‌های جدید، عمل خزش در سایت اجرا گردد. 

محافظت از سایت در برابر خزنده‌های مخرب وب 

همه خزنده‌های وب برای سایت خوب نیستند. زیرا برخی ممکن است بر سرعت لود صفحه وب‌سایت شما تاثیر منفی بگذارند. البته این امکان وجود دارد که گروه دیگری از این ربات‌ها، اهداف مخربی را دنبال کرده و تلاش نمایند تا سایت شما را هک کنند. به همین دلیل باید نحوه مسدود کردن این خزنده‌های وب را بدانید. با تهیه یک لیست جامع از تمامی خزنده‌های وب، می‌توانید متوجه شوید کدام خزنده‌ وب یا web crawler برای سایت شما کاربردی است.

نحوه مسدود کردن خزنده‌های مخرب در سایت 

با تهیه یک لیست جامع از تمامی خزنده‌های وب، می‌توانید تشخیص دهید کدام خزنده برای سایت شما کاربردی و کدام یک باید مسدود شود. در قدم اول برای انسداد، باید لیست تهیه شده خود را مرور کنید تا بتوانید user agent مرتبط با هر خزنده وب و آدرس IP خاص آن را در سایت خود تعریف نمایید. این موارد، عوامل کلیدی شناسایی هر ربات محسوب می‌شوند. نتایج به دست آمده از DNS lookup و IP سایت را، با user agent و آدرس IP خزنده وب مطابقت دهید. در صورت عدم مطابقت، ممکن است یک ربات مخرب داشته باشید که تلاش دارد به عنوان یک ربات واقعی ظاهر شود. با تنظیم سطح دسترسی و تنظیم دستورالعمل‌هایی در فایل robots.txt، می‌توانید خزنده وب مخرب را مسدود کنید.

جمع بندی

خزنده‌های وب در جمع آوری اطلاعات یک سایت برای موتور‌های جستجو کارساز هستند. بنابراین، بازاریابان باید درک درستی نسبت به این ربات‌ها داشته باشند. برای موفقیت در کسب و کار، باید از خزیدن ربات‌های مناسب در سایت خود مطمئن شوید. با در دست داشتن یک لیست جامع از تمامی خزنده‌ها و بررسی گزارش وضعیت سایت می‌توانید متوجه شوید کدام خزنده‌ وب یا web crawler برای سایت شما مفید است. با به کارگیری از خزنده‌های وب، کیفیت محتوا بهبود و سرعت بارگذاری سایت افزایش خواهد یافت. علاوه بر آن، ربات‌ها سبب فهرست بندی داده‌های یک سایت برای موتور‌های جستجو شده و مطلب را برای کاربران آسان خواهند کرد.