عملکرد موتورهای جستجو شامل خزیدن میلیاردها صفحه توسط web crawler ها یا خزندگان وب است و با عنوان "عنکبوت" یا "ربات" نیز شناخته می شوند. خزندگان در وب جستجو کرده و لینک ها را برای یافتن صفحات جدید دنبال می کنند. سپس این صفحات به فهرستی اضافه می شوند که موتورهای جستجو نتایج را از آن استخراج خواهند کرد. درک نحوه عملکرد موتورهای جستجو بسیار مهم است. از این گذشته، بهینه سازی برای آنچه که با نحوه کار آن آشنایی دارید، آسان تر خواهد بود.
بخش 1: اصول اولیه موتور جستجو
ابتدا به بررسی موتور جستجو و اینکه چرا وجود دارند و چگونه کسب درآمد می کنند، پرداخته می شود.
تصویر(1)
موتور جستجو چیست؟
موتورهای جستجو، در واقع همان دیتابیس های قابل جستجوی محتوای وب هستند. آنها از دو بخش اصلی تشکیل شده اند:
- فهرست جستجو در کتابخانه دیجیتال اطلاعات در مورد صفحات وب.
- الگوریتم(های) جستجو برنامه(های) رایانه ای که وظیفه تطبیق نتایج با فهرست جستجو را دارند.
هدف موتورهای جستجو چیست؟
هدف هر موتور جستجو ارائه بهترین و مرتبط ترین نتایج به کاربران است تا سهم بیشتری در بازار داشته باشند.
عملکرد موتورهای جستجو برای کسب درآمد چگونه است؟
موتورهای جستجو دو نوع نتایج ارائه می دهند:
- نتایج ارگانیک از فهرست جستجو. شما نمی توانید برای حضور در این بخش هزینه کنید.
- نتایج پولی تبلیغ کنندگان. جهت حضور در این قسمت می توانید هزینه پرداخت نمایید.
هر بار که شخصی روی یک نتیجه جستجوی پولی کلیک می کند، تبلیغ کننده به موتور جستجو پول می پردازد. این نوع نتایج به عنوان تبلیغات پرداخت به ازای کلیک (PPC) شناخته می شوند و به همین دلیل سهم عظیمی از بازار را به خود اختصاص می دهند. کاربران بیشتر، به معنای کلیک بیشتر روی تبلیغات و درآمد بیشتر است. از همین رو جذب کاربران بسیار مهم است.
بخش 2: عملکرد موتورهای جستجو در ایندکس صفحات چگونه است؟
هر موتور جستجو فرآیند خاص خود را برای ایجاد فهرست جستجو یا ایندکس دارد. در تصویر زیر، یک نسخه ساده شده از فرآیندی که Google استفاده میکند، آمده است.
تصویر(2)
در ادامه به تجزیه و تحلیل این مراحل پرداخته می شود.
URL ها
ابتدا کار با یک لیست از URL های شناسایی شده، شروع می شود. گوگل آنها را به روش های مختلف کشف می کند اما سه مورد از رایج ترین آنها عبارتند از:
- بک لینک ها. گوگل فهرستی از صدها میلیارد صفحه وب دارد. اگر شخصی از این صفحات شناخته شده، به صفحات جدید لینک دهد، Google به کمک آن، آدرس جدید را می یابد.
- نقشه های سایت. Sitemaps یا نقشههای سایت، به Google میگویند که کدام صفحات و فایلهای موجود در سایت، از نظر شما مهم هستند.
- URL های ارسالی. گوگل به صاحبان سایت اجازه می دهد تا برای URL های خاص در کنسول جستجوی گوگل، درخواست خزیدن ثبت کنند.
خزیدن
خزیدن عملیاتی است که یک ربات کامپیوتری به نام spider (عنکبوت) از URL های شناسایی شده بازدید کرده و آنها را دانلود می کند. نام خزنده گوگل، Googlebot است.
پردازش و لود محتوا
در بخش پردازش، Google سعی می کند تا اطلاعات کلیدی صفحات خزیده شده را درک و استخراج نماید. برای انجام این کار، باید صفحه را لود کند و با اجرای کدهای مربوطه، نحوه نمایش آن به کاربران را متوجه شود. هیچ شخص خارج از گوگل تمام جزئیات این فرآیند را نمی داند اما مهم نیست. تنها چیزی که نیاز است بدانید، استخراج لینک ها و ذخیره محتوا برای ایندکس کردن می باشد.
ایندکس (Indexing)
در این بخش، اطلاعات پردازش شده از صفحات، به فهرست جستجو اضافه می شوند. فهرست جستجو همان صفحه ای است که هنگام استفاده از موتور جستجو مشاهده می کنید. به همین دلیل، ایندکس شدن در موتورهای جستجوی اصلی مانند گوگل و بینگ، بسیار اهمیت دارد. اگر در فهرست جستجو قرار نداشته باشید، کاربران نمی توانند شما را بیابند.
قسمت 3: عملکرد موتورهای جستجو برای رتبه بندی صفحات
کشف، خزیدن و ایندکس محتوا، تنها بخش اول پازل را تشکیل می دهند. موتورهای جستجو برای رتبه بندی نتایج منطبق با جستجوی کاربر، به روشی خاص نیاز دارند. این کار توسط الگوریتم های جستجو انجام می شود.
الگوریتم جستجو چیست؟
الگوریتمهای جستجو، فرمولهایی هستند که نتایج مرتبط را براساس مطابقت آنها با عبارت وارد شده، رتبهبندی میکنند. گوگل از فاکتورهای زیادی در الگوریتم های خود استفاده می کند.
عوامل کلیدی رتبه بندی گوگل
هیچ شخصی از تمام فاکتورهای رتبه بندی گوگل اطلاعی ندارد زیرا این مورد تا به امروز فاش نشده است اما چند نکته کلیدی در عملکرد موتورهای جستجو وجود دارد که در ادامه به بررسی این موارد پرداخته می شود.
- بک لینک ها
Backlinks، لینک هایی از صفحات یک وب سایت به وب سایت دیگر هستند که از عوامل اصلی در رتبه بندی گوگل به شمار می روند. طی بررسی انجام شده در بیش از یک میلیارد صفحه، ارتباط قدرتمندی بین دامنه های ارجاع دهنده به سایت و ترافیک ارگانیک مشاهده شده است.
تصویر(3)
همه چیز به کمیت مربوط نمی شود. کیفیت نیز اهمیت دارد و صفحاتی که تعداد کمی بک لینک با کیفیت بالا دارند، اغلب از صفحاتی که بک لینک های با کیفیت پایین زیادی دارند، رتبه بالاتری خواهند داشت.
- ارتباط
منظور از ارتباط، میزان مفید بودن یک نتیجه مشخص، برای جستجوکننده است. گوگل روش های زیادی برای تعیین این موضوع دارد. در ابتدایی ترین سطح، به دنبال صفحاتی خواهد بود که حاوی کلمات کلیدی مشابهی هستند. همچنین دادههای تعاملی مربوط به سایر کاربران را بررسی می کند تا میزان مفید بودن صفحه برای سایرین را بسنجد.
- بروز بودن
بروز بودن یک عامل رتبه بندی وابسته به عبارت جستجو است و برای سرچ هایی که به نتایج جدید نیاز دارند، کاربرد بیشتری خواهد داشت.
- سرعت لود صفحه
سرعت لود صفحه، بر رتبه بندی دسکتاپ و موبایل تاثیرگذار است اما بیشتر از یک عامل مثبت، عاملی منفی در رتبه بندی خواهد بود زیرا به جای تأثیر مثبت بر صفحات پرسرعت، روی کندترین صفحات تأثیر منفی می گذارد.
- سازگاری با موبایل
از زمانی که گوگل در سال 2019 به mobile-first indexing روی آورد، سازگاری با موبایل یک عامل رتبه بندی در گوشی و دسکتاپ بوده و عملکرد موتورهای جستجو را تحت تاثیر قرار داده است. گوگل نتایج جستجو را برای هر کاربر به صورت جداگانه تنظیم می کند. برای انجام این کار از اطلاعاتی مانند موقعیت مکانی، زبان و تاریخچه جستجوی شما استفاده خواهد کرد. در ادامه این موارد دقیق تر بررسی می شوند.
تصویر(4)
- مکان
Google از موقعیت مکانی شما برای شخصی سازی نتایج جستجوی مرتبط استفاده می کند. به همین دلیل است که تمامی نتایج به دست آمده برای «رستوران ایتالیایی»، از رستورانهای محلی هستند.
- زبان
گوگل اطلاع دارد که نمایش نتایج انگلیسی به کاربران اسپانیایی فایده ای نخواهد داشت. به همین دلیل است که نسخه های بومی سازی شده محتوا (در صورت وجود) را برای کاربرانی که به زبان های مختلف صحبت می کنند رتبه بندی می کند.
تاریخچه جستجو
Google اقدامات و مکانهای جستجو شده قبلی شما را ذخیره میکند تا تجربه کاربری اختصاصی تری را به شما ارائه دهد. می توانید تاریخچه جستجو را غیرفعال کنید اما احتمالا اکثر افراد این کار را نمی کنند.
جمع بندی
عملکرد موتورهای جستجو این گونه است که باید میلیون ها صفحه وب را بررسی کنند تا مفیدترین اطلاعات را برای هر درخواست جستجو ارائه دهند. سپس باید تصمیم بگیرند که چگونه آن اطلاعات را سازماندهی کرده و به کاربر جستجوکننده ارائه کنند. گوگل و سایر موتورهای جستجو، ارائه تجربه کاربری مناسب در SERP را اولویت قرار می دهند. بنابراین، هدف آنها ارائه بهترین نتایج برای هر عبارت جستجو است.