در این آموزش، من به شما نشان خواهم داد که چگونه با استفاده از Apify نتایج جستجوی گوگل را خراش دهید.
Apify به شما این امکان را می دهد که گوگل را بدون موارد زیر خراش دهید:
- ترس از مسدود شدن IP شما و
- نیاز به نحوه کدنویسی و
- نیاز به رسیدگی به پروکسی ها
و یادگیری آن بسیار آسان و نسبتاً ارزان است.
5 دلار اعتبار رایگان در ماه دریافت کنید
در اینجا یک مثال است که در آن من 5 کلمه کلیدی را به قیمت 0.02 دلار خراش دادم
نمای کلی Apify Google Web Scraper
Apify یک عملکرد داخلی برای خراش دادن گوگل دارد. استفاده از آن بسیار آسان است و مواردی مانند:
- نتایج جستجوی برتر پولی و ارگانیک
- مردم همچنین می پرسند
- پرس و جوهای مرتبط
- کلمات کلیدی تاکید شده
- لینک های سایت
تنظیمات Google Scraping را سفارشی کنید
با استفاده از اسکراپر وب Google Apify، می‌توانید تنظیمات خراش‌دهی وب مانند کشور، زبان یا اینکه آیا می‌خواهید نتایج جستجوی دسکتاپ یا موبایل را خراش دهید، سفارشی کنید.
Apify VS SEM Rush در مقابل Ahrefs
در حالی که Apify ممکن است به اندازه SEM Rush یا Ahrefs کامل نباشد، اما جنبه مثبت آن را دارد که برای افرادی که به دنبال خراش دادن وب در مقیاس کوچک هستند، ارزان‌تر است.
Apify همچنین بسیاری از ابزارهای اسکرپینگ وب را ارائه می دهد که رقیبش از آن استفاده نمی کند مانند پروکسی ها، اسکریپرها برای سایت هایی غیر از گوگل (مانند آمازون، توییتر، تیک تاک و غیره).
نحوه خراش دادن گوگل با Apify
حدود 5 دقیقه طول می کشد تا حساب Apify خود را بسازید، وارد شوید، یاد بگیرید و اولین اسکراپر گوگل خود را اجرا کنید.
زمان مورد نیاز: 5 دقیقه
- برای Apify ثبت نام کنید
- به Apify وارد شوید
به طور خودکار، 5 دلار اعتبار رایگان دریافت می کنید و آماده خراش دادن Google هستید.
- فروشگاه Apify را باز کنید
در پنل سمت چپ، روی دکمه “store” کلیک کنید
- «Scraper نتایج جستجوی Google» را پیدا کنید
- کلمات کلیدی را که می خواهید نتایج جستجو را خراش دهید اضافه کنید
فهرستی از کلمات کلیدی که می خواهید خراش دهید تهیه کنید. 6 کلمه کلیدی حدود 0.02 دلار برای شما هزینه خواهد داشت
- تعداد نتایج را برای Scrape تنظیم کنید
“حداکثر صفحه در هر عبارت جستجو یا URL” و “نتایج در هر صفحه Google” به شما امکان می دهد پارامترهایی را برای اضافه کردن به URL Google تعریف کنید که نشان می دهد چند نتیجه جستجو نمایش داده می شود. اگر این را به ترتیب روی 1 و 100 تنظیم کنید، 100 نتیجه جستجوی برتر را در یک درخواست HTTP دریافت خواهید کرد.
- تصمیم بگیرید موبایل یا دسکتاپ را خراش دهید
می‌توانید دکمه «نتایج تلفن همراه» را تغییر دهید تا تصمیم بگیرید که آیا می‌خواهید تلفن همراه یا دسکتاپ Google را پاک کنید. من معمولا هر دو را انجام می دهم.
- مکان و زبان را از کجا خراش دهید، تعیین کنید
نتایج جستجوی گوگل در ایالات متحده آمریکا مانند ایتالیا نیست. می‌توانید Geo و زبان را در بخش «فیلترهای اضافی» تعریف کنید.
- نمونه ای از نتایج جستجو را ذخیره کنید
اگر می خواهید در آینده بازگردید و سئوی خود را اشکال زدایی کنید، احتمالاً می خواهید نسخه ای از HTML را ذخیره کنید تا بتوانید در آینده به آن نگاه کنید.
می‌توانید این کار را با رفتن به «گزینه‌های پیشرفته (برای توسعه‌دهندگان)» انجام دهید و «ذخیره HTML در مجموعه داده» و «ذخیره HTML در ذخیره‌سازی ارزش کلیدی» را تغییر دهید.
- بهبود تنظیمات Web Scraping (اختیاری)
- Google Web Scraper خود را اجرا کنید
پس از آماده شدن برای خراشیدن، می توانید روی “ذخیره و شروع” کلیک کنید.
داشبورد نتایج جستجوی Scraped Apify
پس از خراش دادن نتایج جستجوی Google، یک داشبورد خواهید داشت که داده های خراشیده شده از SERP را به شما نشان می دهد.
در برگه نمای کلی، جدولی با نتایج جستجو دریافت می کنید که در آن هر عبارت جستجو یک ردیف است و هر ستون به شما می گوید:
- تعداد کل نتایج
- پرس و جوهای مرتبط
- نتایج پرداخت شده
- محصولات پولی
- نتایج ارگانیک
- مردم همچنین می پرسند.
با کلیک بر روی “همه فیلدها” می توانید مقدار داده های موجود را افزایش دهید.
این عکس فوری HTML و URL عکس فوری و همچنین چند فیلد دیگر را به شما می دهد.
می‌توانید انتخاب کنید که داده‌ها به‌عنوان جدول یا JSON به پیوند خود داشته باشید.
با کلیک بر روی هر مقدار جدول، می توانید داده های خراشیده شده زیرین JSON را مشاهده کنید.
اگر به برگه ذخیره سازی بروید، عکس های فوری SERP خود را پیدا خواهید کرد
و همچنین گزینه‌هایی برای دانلود و صادر کردن داده‌های نتایج جستجوی Google خراشیده شده.
چگونه یک نسخه از Google SERP را با Apify ذخیره کنیم
می‌توانید Google را خراش دهید و نسخه‌ای از HTML را ذخیره کنید تا بتوانید در آینده با استفاده از Apify Google Scraper صفحه را در مرورگر خود مشاهده کنید و «Save HTML to Dataset» و «Save HTML to key-value store» را انتخاب کنید. بخش گزینه های پیشرفته (برای توسعه دهندگان)».
چگونه می توان نتایج جستجوی گوگل را با Apify زمان بندی کرد
بعد از اینکه یک Google scraper را با Apify اجرا کردید، می توانید اجرای آن را برنامه ریزی کنید تا بتوانید مقایسه تاریخی برای نتایج جستجو داشته باشید.
برای برنامه‌ریزی Google scraper با Apify، به Actors > Runs بروید و روی «Schedule your actor» کلیک کنید.
در پنجره پاپ آپ می توانید اسکراپر را طوری تنظیم کنید که تا دقیقه اجرا شود (بسته به بودجه شما).
ایده خوبی است که برای دسته های مختلف کلمات کلیدی یا بخش های سایت، اسکراپرهای مختلف ایجاد کنید. به این ترتیب می توانید تشخیص دهید که آیا بخش های خاص سایت در طول زمان بدتر می شوند یا خیر.
هنگام تنظیم این مورد، مراقب بودجه خود باشید.
سایر محصولات Google را می توانید با Apify خراش دهید
شما می توانید بسیاری از محصولات Google را با استفاده از Apify مانند:
- نقشه های گوگل
- Google Trends
- خرید گوگل
- نظرات گوگل پلی
نتیجه
این پایان مقدمه خراش دادن گوگل با استفاده از Apify است. همچنین می‌توانید نحوه خراش دادن گوگل با Screaming Frog را بخوانید.
استراتژیست سئو در Tripadvisor، Seek سابق (ملبورن، استرالیا). متخصص در سئو فنی. در تلاش برای سئوی برنامه‌ریزی شده برای سازمان‌های بزرگ از طریق استفاده از پایتون، R و یادگیری ماشین.