چگونه همه URL های موجود و آرشیو شده را در یک وب سایت پیدا کنیم

Archive.org یک ابزار ارزشمند برای وظایف سئو است که با کمک های مالی تامین می شود. اگر دامنه ای را جستجو کنید و گزینه “URLs” را انتخاب کنید، می توانید به 10000 URL لیست شده دسترسی داشته باشید.

با این حال، چند محدودیت وجود دارد:

  • محدودیت URL: شما فقط می توانید تا 10000 URL را بازیابی کنید که برای سایت های بزرگتر کافی نیست.
  • کیفیت: بسیاری از URL ها ممکن است بد شکل باشند یا فایل های منبع مرجع (مانند تصاویر یا اسکریپت ها) باشند.
  • بدون گزینه صادرات: راهی داخلی برای صادر کردن لیست وجود ندارد.

برای دور زدن عدم وجود دکمه صادرات، از یک افزونه خراش مرورگر مانند Dataminer.io استفاده کنید. با این حال، این محدودیت ها به این معنی است که Archive.org ممکن است راه حل کاملی برای سایت های بزرگتر ارائه نکند. همچنین، Archive.org نشان نمی‌دهد که آیا Google یک URL را ایندکس کرده است یا خیر، اما اگر Archive.org آن را پیدا کرد، احتمال زیادی وجود دارد که گوگل نیز این کار را کرده باشد.

Source link