امروزه بخش بزرگی از ترافیک اینترنت توسط "خزندگان وب" یا همان Web Crawlers تولید میشود. این ربات ها نرمافزارهای خودکاری هستند که بدون دخالت انسان، به وبسایتها درخواست ارسال میکنند. رفتار هر ربات با توجه به هدفی که دنبال میکند، میتواند تفاوتهای زیادی داشته باشد.
