دلایل زیادی وجود دارد که ممکن است نیاز به پیدا کردن تمام URL های سایت داشته باشید اما هدف دقیق شما تعیین می‌کند که به دنبال چه چیزی هستید. در این مقاله، با برخی ابزارها آشنا خواهید شد تا لیست URL های خود را بسازید. قبل از حذف داده‌های تکراری، یک صفحه گسترده (spreadsheet) یا Jupyter Notebook را بسته به اندازه وب‌سایت خود استفاده نمایید.
