اتفاقات روزمره ، اخبار مهم و دیگر مطالب میهن وب هاست را می توانید در این قسمت مطالعه کنید

برای مشاهده یک سایت به عنوان Googlebot در مرورگر گوگل کروم، می‌توانید از روش های متعددی استفاده کنید. در این مقاله به موضوع مذکور پرداخته شده است. البته آنچه در مقاله پیش روی مطالعه می نمایید به شرح زیر است:

• دلیل مشاهده یک سایت به عنوان  Googlebot چیست؟
• دلیل استفاده مرورگر Google Chrome برای مشاهده یک سایت به عنوان  Googlebot چیست؟
• دلیل استفاده از یک مرورگر مجزا برای مشاهده وب سایت ها به عنوان Googlebot چیست؟ 
• راه اندازی یک مرورگر که به عنوان Googlebot عمل کند، چه تاثیری بر SEO سایت می گذارد؟ 
• نحوه راه اندازی یک مرورگر به عنوان Googlebot
• جمع بندی

دلیل مشاهده یک سایت به عنوان  Googlebot چیست؟

تصویر (1)

پس از گذشت سال ها، امروزه ارزیابی سایت توسط متخصصین SEO بسیار آسان شده است، زیرا از زبان های برنامه نویسی اصلی HTML و CSS برای طراحی سایت، و عموماً به منظور طراحی صفحات (مواردی از قبیل انیمیشن های کوچک) از JavaScript استفاده می شود. در هر صورت، طراحی سایت با استفاده از جاوا اسکریپت به صورت روز افزون در حال افزایش است.

در اصل، ربات های گوگل درخواست هایی را به سمت سرور ارسال می کنند و سرور با پروتکل HTML به درخواست ها پاسخ داده و محتویات صفحه را در سیستم کاربر نشان می دهد. در بحث SEO، روند ایندکس و خوانش صفحات JS برای ربات های گوگل دشوار است. روند خزش سایت توسط ربات های گوگل، برای فایل‌های جاوا اسکریپت به نسبت HTML و CSS هزینه بیشتری را به دنبال خواهد داشت. زیرا، خزنده های وب به منظور درک محتویات باید چندین صفحه را بخوانند بدین ترتیب، از منابع سرور (Google، Bing یا هر موتور جستجوگر) و قدرت پردازش دستگاه بیشتر استفاده می کنند.

روند خوانش صفحات JS توسط خزنده وب Googlebot نسبت به ایندکس URL اولیه، زمان بر تر بوده و بعضا ممکن است روز ها یا هفته ها طول بکشد. ممکن است در سرچ کنسول گوگل چندین URL پیغام خطای "discovered – currently not indexed" را نشان دهند. این پیام بدین معنا است که، در حال حاضر صفحات JS توسط ربات های گوگل ایندکس نشده اند.  برخی سایت ها برای رفع چالش های احتمالی SEO فایل های جاوا اسکریپت، از "Dynamic Rendering" (در سایت های Dynamic Rendering سرور بر حسب شرایط تصمیم میگیرد که چطور محتویات یک صفحه را نشان دهد)  استفاده می کنند. 

راه اندازی سایت های Dynamic Rendering از لحاظ اصول سئو تکنیکال، مشکلات بیشتری را نسبت به وبسایت هایی که سمت سرور اجرا می شوند(server-side) یا traditional HTML ایجاد می کنند. البته، راه اندازی سایت هایی که در سیستم کاربر اجرا شوند(client-side) در بحث SEO سایت می توانند بهتر باشند. به عبارت دیگر، سایت ها باید به گونه ایی طراحی می شوند که در سیستم اکثر مردم کار کنند. طراحی سایت ها با استفاده از زبان برنامه نویسی جاوا اسکریپت در بهبود تجربه کاربری افراد موثر هستند.  علاوه بر آن، شواهد موجود حاکی از آن است که، سایت های client-side، برای افرادی که به دستگاه های دسترسی به رایانه از جمله screen reader  (نرم افزاری مخصوص افراد نابینا است تا توسط آن به کامپیوتر دسترسی داشته باشند) متکی هستند، گزینه مناسبی نیست. 

در سئو تکنیکال روند ایندکس مطالب بر اساس کلمات کلیدی و خوانش صفحات توسط ربات های گوگل آسان خواهد شد. سئو صفحات JS بخشی از سئو تکنیکال است که به ربات های خزنده برای رندر صفحات مختلف سایت کمک می کند.  وقتی سایت جاوا اسکریپت است، درک خزنده وب Googlebot از صفحه با آنچه کاربر می بیند تفاوت دارد. اما، پیمایش در وب سایت و یافتن محتوایی که صفحه بر اساس آن رتبه بندی می شود باید یکسان باشند.  در این مقاله به بررسی رایج ترین موتور جستجو برای ممیزی SEO تکنیکال پرداخته می شود. گوگل محبوبترین موتور جستجو در اکثر کشور های انگلیس است. 

دلیل استفاده مرورگر برای مشاهده یک سایت به عنوان  Googlebot چیست؟

درک خزنده وب Googlebot از صفحه با آنچه کاربر می بیند تفاوت دارد. در واقع این خزنده وب  از headless (یک شبیه ساز مرورگر است که بدون نیاز به رابط گرافیکی کار میکند) برای خوانش و ایندکس صفحات وب سایت استفاده می کند. حتی با انجام راهکار های موجود در این مقاله،  Googlebot نمی تواند آنچه را که یک کاربر می بیند، به صورت کامل بخواند. 

در قدم اول از الگوریتم "mobile-first indexing" ( نسخه موبایلی سایت ها برای کسب رتبه در گوگل، از اولویت بالاتری نسبت به نسخه دسکتاپ برخوردار است) برای مشاهده سایت تحت  Googlebot  استفاده شد. هنگام ممیزی SEO و نحوه خوانش صفحات توسط Googlebot از نرم افزار "Screaming Frog SEO Spider" و ابزار های موجود در گوگل مانند؛ "URL Inspection"، و برای خوانش اسکرین شات ها و کد ها در تلفن همراه از "Mobile Friendly Test" استفاده می شود. حتی با استفاده از این ابزار ها که به صورت عموم در دسترس مردم هستند، درک خزنده وب Googlebot از صفحه با آنچه کاربر می بیند به صورت 100 درصد مشابه نخواهد بود. اما استفاده از نرم افزار "SEO Spider" و اعمال تنظیمات در مرورگر برای مشاهده سایت به عنوان Googlebot تا حدودی برای رفع مشکل کارساز خواهد بود. 

دلیل استفاده از یک مرورگر مجزا برای مشاهده وب سایت ها به عنوان Googlebot چیست؟ 

تصویر(2)

1. کار کردن با آن آسان است

استفاده از یک مرورگر مجزا باعث صرفه جویی در زمان خواهد شد زیرا، بدون اتکا به ابزار های دیگر می توانید یک سایت را به عنوان Googlebot ببینید. در حین ممیزی SEO که محتوا متفاوتی در مرورگر کاربر و  Googlebot نشان می دهد، ممکن است پاسخ های ارسال شده از سمت سرور نادرست باشد یا بین user-agent(سایت ها با استفاده از User-Agent محتوا خود را بنا به نرم افزار شما بهینه میکنند) و Googlebot جابجایی بیش از حد صورت گرفته باشد.  البته می توانید از افزونه هایی برای تغییر مرورگر استفاده کنید. علاوه بر آن، برخی از تنظیمات اعمال شده در کروم که مخصوص راه اندازی Googlebot است، بین تب های مرورگر یا  sessions (روشی برای ذخیره اطلاعات بر روی سرور می باشد) ذخیره یا منتقل  نمی شوند. 

2. کار کردن با یک مرورگر مجزا سبب بهبود دقت  می شود

استفاده از افزونه ها، بر ظاهر و عملکرد وب سایت شما تاثیر بسزایی خواهند گذاشت. از این رو، برای مشاهده یک سایت به عنوان  Googlebot  تعداد افزونه ها در مرورگر را به حداقل برسانید. 

3. اصلاح تنظیمات مرورگر را فراموش نکنید

گاهی اوقات ممکن است فراموش کنید Googlebot spoofing را خاموش کنید که این مورد منجر به عملکرد نامطلوب وب سایت می شود. 

راه اندازی یک مرورگر که به عنوان Googlebot عمل کند، چه تاثیری بر ممیزی SEO  سایت می گذارد؟ 

استفاده از Googlebot در ممیزی سئو سبب خوانش وب سایت های "client-side" یا "dynamic rendering" می شود. با این روش به آسانی خواهید توانست آنچه را که خزنده وب Googlebot از صفحه میبیند، با آنچه کاربر مشاهده می کند، مقایسه نمایید. در سایت های که "dynamic rendering" نیستند، هرگز نخواهید فهمید که با ساخت یک مرورگر به عنوان Googlebot به چه چیزی خواهید رسید. 

نحوه راه اندازی یک مرورگر به عنوان Googlebot

تصویر(3)

مرحله 1 : Google Chrome یا Chrome Canary را دانلود و نصب کنید

اگر گوگل کروم مرورگر پیش فرض شما نیست، توصیه می شود آن را دانلود و نصب نموده و از آن به عنوان مرورگری برای مشاهده یک سایت به عنوان  Googlebot، استفاده نمایید. اما اگر به صورت پیش فرض از مرورگر گوگل کروم استفاده می کنید، اقدام به نصب مرورگر Chrome Canary نمایید. در واقع، Chrome Canary نسخه آزمایشی گوگل کروم است. از آن جهت نسخه آزمایشی است که گوگل توابع جدید خود را در آن تست می کند. علاوه بر آن، امکان نصب و اجرا جداگانه این مرورگر روی نسخه پیش فرض کروم وجود دارد. آیکون Chrome Canary زرد رنگ می باشد و به راحتی در Taskbar قابل شناسایی است. 

تصویر(4)

مرحله 2: اقدام به نصب افزونه ها در مرورگر خود کنید

به منظور راه اندازی یک مرورگر به عنوان Googlebot، نیاز به نصب یک سری از افزونه ها و به کار بردن Bookmarklet (در بخش چپ نوار نشانی میتوانید روی علامت ستاره کلیک نموده و صفحه ای که اخیرا مشاهده کرده اید را ذخیره نمایید) در مرورگر مورد استفاده می باشد. در ادامه به بررسی یک لیست از افزونه های گوگل کروم، تنظیمات و دلیل استفاده از آنها پرداخته می شود تا مشاهده یک سایت به عنوان  Googlebot را عملیاتی سازید.  نیاز نیست درک خزنده وب Googlebot از صفحه با آنچه کاربر می بیند یکسان باشد، اما برای ممیزی SEO سایت های طراحی شده با جاوا اسکریپت می توانید از افزونه های زیر کمک گیرید:

• افزونه User-Agent Switcher
• افزونه Web Developer

دلیل استفاده از این افزونه ها به شرح زیر است:

افزونه User-Agent Switcher: این افزونه برای تغییر مرورگر کاربر کاربرد دارد. هر دو مرورگر Chrome و Canary در یک صفحه از سایت تنظیمات user-agent یکسان دارند. البته اگر آن صفحه بسته شود تنظیمات به حالت اولیه خود بر خواهند گشت. تنظیمات این افزونه را در آخرین نسخه گوگل کروم اعمال کنید. (دقت نمایید که حتما در نسخه کروم باشد و نصب در نسخه Chrome Canary صورت نگیرد.) برای یافتن User-Agent (سایت ها با استفاده از User-Agent محتوا خود را بنا به نوع نرم افزار شما بهینه میکنند) در بالای صفحه کیبورد خود کلید F12 را فشار دهید، البته می  توانید در صفحه مد نظر خود روی سه نقطه در بخش راست صفحه کلیک کرده و گزینه "More tools" و سپس "Developer tools" را انتخاب نمایید تا ابزار "Chrome DevTools" برایتان باز شود.

تصویر(5)

هم اکنون برای مشاهده یک سایت به عنوان  Googlebot طبق روال زیر انجام دهید:

• وارد تب شبکه "Network" شوید.
• در صفحه باز شده روی سه نقطه در بخش راست صفحه کلیک کرده و گزینه "More tools" سپس "Network conditions" را انتخاب نمایید.
• در پایین صفحه روی گزینه "Network conditions" کلیک نمایید
• تیک کنار "Use browser default" را بردارید 
• گزینه "Googlebot Smartphone" را انتخاب نمایید. هم اکنون در بخش پایین مطابق با تصویر"user-agent" را کپی، و در بخش لیست افزونه "User-Agent Switcher" قرار دهید. اگر مرورگر اصلی شما گوگل کروم است، پس از انجام این کار user-agent را به حالت پیش فرض خود تغییر دهید. 

در این مرحله، اگر برای مشاهده یک سایت از مرورگر گوگل کروم (نه Chrome Canary) استفاده می کنید، می توانید تیک "Disable cache" را بزنید در ادامه مقاله در این خصوص توضیح داده می شود.

تصویر(6)

به منظور دسترسی به لیست افزونه "User-Agent Switcher" مانند تصویر زیر در نوار ابزار مرورگر روی آیکون این افزونه راست کلیک کرده و گزینه "options" را انتخاب کنید. در بخش "Indicator Flag" مشخص می شود کدام user-agent انتخاب شده است. به عنوان مثال، در مورد مطرح شده GS به معنا "Googlebot Smartphone" انتخاب شده است.

تصویر(7)

چرا باید user agent خزنده وب Googlebot را جعل کنید؟

وب سرور ها با استفاده از User-Agent می توانند متوجه نسخه سیستم عامل و نوع مرورگر شما شوند. به عنوان نمونه در مورد زیر، نسخه سیستم عامل 10 و نوع مرورگر گوگل کروم نیز می باشد. 

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.115 Safari/537.36

افزونه Web Developer: یکی از افزونه های کاربردی است که برای SEO نیز مفید می باشد. کار این اکستنشن در مرورگر، فعال و غیر فعال سازی جاوا اسکریپت است تا متوجه شوید روند خوانش Googlebot در صفحات JS به چه صورت است. 

دلیل غیر فعال سازی جاوا اسکریپت چیست؟

به صورت خلاصه، گوگل بات هیچ جاوا اسکریپتی را در زمان اولین خزیدن در سایت اجرا نمی کند. در Googlebot، می توان سایت را قبل از اجرا شدن هرگونه فایل جاوا اسکریپت مشاهده نمود.

مرحله 3: تنظیمات مرورگر خود را برای مشاهده یک سایت به عنوان Googlebot پیکربندی کنید

در این بخش باید تنظیماتی در مرورگر خود انجام دهید، تا Googlebot امکان خزیدن در سایت را داشته باشد سپس قادر خواهید بود مشاهده یک سایت به عنوان  Googlebot را تجربه نمایید. 

پارت اول: اصلاح تنظیمات DevTools

به منظور مشاهده ابزار DevTools در مرورگر Chrome  یا Canary در بالای صفحه کیبورد خود کلید F12 را فشار دهید. البته، می توانید مطابق با تصویر زیر، روی بخش سه نقطه در قسمت راست صفحه کلیک کرده، و گزینه "More tools" و سپس "Developer tools" را انتخاب نمایید.

تصویر(8)

به طور معمول بخش "DevTools" در همان صفحه باز شده و کنار محتویات اصلی سایت مشاهده می شود. اما به جهت راحتی در کار شما می توانید آن را در یک صفحه مجزا باز کنید. برای این منظور مطابق با تصویر زیر، روی آیکون کوچک سه نقطه کلیک نموده، و بخش "Dock side" را تغییر دهید. 

تصویر(9)

غیر فعال سازی کش

برای غیر فعال سازی مطابق با تصویر زیر، در ابزار "DevTools" روی آیکون کوچک سه نقطه در سمت راست کلیک نموده و به بخش "More tools" سپس "Network conditions" مراجعه کنید در نهایت تیک "Disable cache" را بزنید.

تصویر(10)

مسدود کردن بخش service workers

برای انسداد بخش "service workers" به تب "Application" وارد شوید، و از بخش "Service Workers" تیک "Bypass for network" را بزنید.

تصویر(11)

پارت دوم: تنظیمات عمومی مرورگر 

در مرورگر خود به بخش "Settings" سپس "Privacy and security" مراجعه و گزینه "Block all cookies" را انتخاب کنید. البته به منظور دسترسی به این بخش می توانید به لینک زیر مراجعه نمایید:

chrome://settings/cookies

تصویر(12)

همچنین در بخش "Privacy and security" گزینه "Site settings" را انتخاب کنید تا بتوانید موقعیت مکانی، دوربین، میکروفون، نوتیفیکیشن ها و همگام سازی پس زمینه (یا هر گزینه دیگری که ممکن است در آینده به نسخه مرورگر گوگل کروم شما اضافه گردد) را به صورت مجزا مسدود نمایید. البته به منظور دسترسی به این بخش می توانید به لینک زیر مراجعه کنید:

chrome://settings/content

تصویر(13)

مرحله 4: شبیه سازی یک دستگاه تلفن همراه

باید در مرورگر خود یک دستگاه تلفن همراه را شبیه سازی کنید، تا Googlebot امکان خزیدن در محتویات را داشته باشد. به منظور شبیه سازی مطابق با تصویر زیر، در سمت چپ ابزار"DevTools" روی آیکون موبایل شکل کلیک کنید. (البته امکان انتخاب و افزودن دستگاه های دیگر از بخش "Dimensions" وجود دارد.)

تصویر(14)

امکان انتخاب هر کدام از این دستگاه ها وجود دارد، ممکن است Googlebot در یک صفحه از وب شروع به خزیدن نکند و در مقابل اگر به صورت موبایل با ارتفاع عمودی به نمایش در بیاید، این خزنده وب اقدام به خوانش و جمع آوری اطلاعات نماید.پیشنهاد می شود وضعیت سایت خود را در دسکتاپ چک کنید، اگر دسترسی داشتید در تلفن همراه نیز آزمایش نمایید. 

جمع بندی

با انجام راهکار های مطرح شده در این مقاله خواهید توانست، مشاهده یک سایت به عنوان  Googlebot را با مرورگر تجربه نمایید. این روش ساده به صورت رایگان در دسترس بوده و امکان مشاهده سریع صفحات وب را فراهم می کند. در صفحه دسکتاپ خود می توانید مرورگر  Chrome یا Canary را نصب نمایید. ممیزی SEO وب سایت های جاوا اسکریپت خصوصا اگر یک سایت به صورت Dynamic Rendering راه اندازی شده باشد سخت است، اما نگران نباشید زیرا با ساخت مرورگری که به عنوان Googlebot عمل کند، SEO صفحات JS آسان خواهد شد.