ساخت فایل robots.txt ضروری است و این فایل مانند نگهبان وب سایت شما می باشد که به برخی از ربات ها و خزنده های وب اجازه ورود می دهد و از برخی دیگر این امکان را سلب می کند. اگر فایل robots.txt به درستی نوشته نشود، می تواند باعث ایجاد مشکلات دسترسی برای خزنده‌ها شده و میزان ترافیک را کاهش دهد.
