اگر از ربات های خزنده که شبیه ساز ربات های موتور های جست و جو هستند، استفاده نمایید، می توانید اطلاعات خوبی درباره نحوه بررسی سایت خود توسط ربات های موتور های جست و جوگر بدست آورید اما این اطلاعات کامل نیستند و نمی توانند یک تصویر کامل از موضوع را به شما نمایش دهند.
تنها ابزاری که می تواند یک دید کلی از نحوه بررسی سایت شما توسط ربات ها ارائه دهد، بررسی فایل های log است. با این وجود، بسیاری از صاحبان سایت ها هنوز از crawl budget برای بررسی تعداد لینک های قابل خزش(crawl) از سوی ربات های گوگل، استفاده می کنند.
