هدف کلیه موتورهای جستجو یافتن و سازماندهی داده های موجود در اینترنت است. قبل از توسعه موتورهای جستجو، اینترنت مجموعه ای از سایت های پروتکل انتقال فایل (FTP) بود که در آن کاربران برای یافتن فایلهای اشتراکی خاص، جستجو انجام می دادند. با افزایش لیست اصلی سرورهای وب که به اینترنت وصل می شدند World Wide Web به واسطی برای دسترسی به اینترنت تبدیل شد و نیاز به یافتن و سازماندهی کردن پرونده های توزیع شده بر روی سرورهای FTP وب افزایش یافت. به همین دلیل موتورهای جستجو شروع به هدایت آسان تر فایل ها، بر روی سرورها در اینترنت کردند.
