عملکرد موتورهای جستجو شامل خزیدن میلیاردها صفحه توسط web crawler ها یا خزندگان وب است و با عنوان "عنکبوت" یا "ربات" نیز شناخته می شوند. خزندگان در وب جستجو کرده و لینک ها را برای یافتن صفحات جدید دنبال می کنند. سپس این صفحات به فهرستی اضافه می شوند که موتورهای جستجو نتایج را از آن استخراج خواهند کرد. درک نحوه عملکرد موتورهای جستجو بسیار مهم است. از این گذشته، بهینه سازی برای آنچه که با نحوه کار آن آشنایی دارید، آسان تر خواهد بود.
