نحوه تراشیدن محصولات Bestbuy با Scrapezone SDK

عکس پروفایل نویسنده

@alon-ghelberآلون غلبر

Alon Ghelber یک مدیر اجرایی محصول از تل آویو و متخصص در VPN ، Proxies ، Scraping و CX است.

به روش جدید تراشیدن وب خوش آمدید. در راهنمای زیر ، ما صفحات محصول BestBuy را بدون نوشتن تجزیه و تحلیل ، با استفاده از یک کتابخانه ساده خراش می دهیم: Scrapezone SDK.

این SDK تمام کارهای سنگین را برای ما انجام می دهد ، بنابراین تمام کاری که ما باید انجام دهیم این است که آن را وارد کنیم و شروع به خراشیدن کنیم. این کتابخانه امکان تراشیدن اکثر سایت های تجارت الکترونیک پیشرو را دارد ، اما برای خاص نگه داشتن آن ما از آن برای تراشیدن Best Buy در اینجا استفاده خواهیم کرد. به طور خاص ، ما عنوان ، توضیحات ، قیمت و اطلاعات رتبه بندی را دریافت خواهیم کرد.

این داده ها می توانند در بسیاری از سناریوهای جالب مورد استفاده قرار گیرند ، و اگر در حال ساخت یک محصول نرم افزاری هستید که از داده های تجزیه شده از وب سایت های تجارت الکترونیکی استفاده می کند ، این می تواند هزاران دلار در شما صرفه جویی کند و ماه ها پیشرفت می کند. SDK از شناسایی ضد ربات برای شما جلوگیری می کند ، از آدرس های IP مختلف و اثر انگشت کاربر استفاده می کند ، و خراش شما را برای هزاران نفر از کارگران موازی ارسال می کند – بنابراین سرعت و مقدار داده ای که می توانید خراش دهید تقریبا بی پایان است.

چرا خراش دادن به عنوان یک مشاوره؟

حتماً درباره راه حل های SAAS چیزهای زیادی شنیده اید و شاید حتی خودتان هم یک راه حل درست کرده باشید. دنیای نرم افزار اینترنت در حال تبدیل شدن به دنیایی است که به شما اجازه می دهد بدون نیاز به پرداختن به نوشتن کدی که قبلاً به عنوان محصول در جایی پیاده سازی شده است ، فقط بر روی آنچه در حال ساخت هستید تمرکز کنید. درست مثل اینکه دیگر سرورهای خود یا سرویس پست الکترونیکی خود را پیاده سازی نمی کنید ، Scraping به عنوان یک سرویس در حال تبدیل وب اسکرپ به یک سرویس آسان و قابل استفاده است که فقط اطلاعات مورد نیاز شما را به شما می رساند.

قبل از شروع ، بیایید محیط کار را تنظیم کنیم

به منظور جزییات جزئیات محصول BestBuy ، ما از Scrapzone Node.JS SDK استفاده خواهیم کرد. Node به ما اجازه می دهد تا کتابخانه های خارجی را به صورت نسبی وارد کرده و از آنها استفاده کنیم.

اگر با Node.JS آشنایی ندارید ، آن را طبق راهنمای نصب بارگیری و نصب کنید. پس از نصب می توانید معتبر شوید که گره با استفاده از دستور زیر بر روی سیستم شما نصب شده است:

“”

node --version

“”

اگر نسخه چاپ شده را مشاهده کردید ، همه چیز آماده است. نسخه فعلی من v14.15.0 است ، اما هر نسخه گره بالاتر از 8.0 باید آن را انجام دهد.

اگر هنوز یک مورد ندارید ، برای یک حساب Scrapezone رایگان در اینجا ثبت نام کنید. این حساب با 1000 اعتبار خراش دهنده رایگان بارگیری می شود ، که باید برای شروع کار باشد. پس از تأیید آدرس ایمیل خود ، باید وارد Scrapezone Dashboard شوید تا نام کاربری و رمزعبور خود را بگیرید. جزئیات در صفحه اصلی -> اطلاعات API خواهد بود.

یک پوشه جدید به نام bestbuy scraper ایجاد کنید و یک پروژه گره جدید را در آن تنظیم کنید.

باز کردن ترمینال و تایپ کردن:

“”

mkdir bestbuy_scraper
cd bestbuy_scraper
npm init

“”

این یک پروژه استاندارد npm جدید با نام ‘bestbuy_scraper’ در این پوشه ایجاد می کند. همانطور که مشاهده می کنید ، پوشه اکنون حاوی یک فایل ‘package.json’ است.

اگر در Node.js تازه وارد هستید ، package.json فایلی است که وابستگی ها و اطلاعات پروژه را تعریف می کند.

اکنون برای نصب Scrapezone SDK خط را تایپ کنید:

“”

npm install scrapezone-node-sdk

“”

با این کار scrapezone-node-sdk به عنوان کتابخانه به پروژه اضافه می شود.

تراشیدن محصولات BestBuy: کد

یک فایل جدید ایجاد کنید و نام آن را “index.js” بگذارید. آن را در ویرایشگر مورد علاقه خود باز کنید و کد زیر را وارد کنید:

“”

const ScrapezoneClient = require('scrapezone-node-sdk');
const scrapezoneClient = new ScrapezoneClient("", "");
scrapezoneClient.scrape({
   scraper_name: amazon_product_display,
   query: [     'https://www.bestbuy.com/site/sony-wh-1000xm4-wireless-noise-cancelling-over-the-ear-headphones-black/6408356.p?skuId=6408356',    'https://www.bestbuy.com/site/sony-wi-1000xm2-wireless-noise-canceling-in-ear-headphones-black/6395364.p?skuId=6395364'
   ]}).then(results => console.log(results));

“”

نام کاربری و رمز عبور را از Scrapezone Dashboard جایگزین کنید ، ، و همه چیز آماده است.

کاری که این کد انجام می دهد ارسال درخواست API به Scrapezone و نظرسنجی نتایج است. برای دو صفحه محصول ، زمان تراش باید زیر 20 ثانیه و برای 1000 صفحه زیر 8 دقیقه باشد.

در این کد ، ما از یک دستگاه خراش BestBuy استفاده می کنیم ، اما شما می توانید از هر یک از خراشنده های رسمی Scrapezone که در اینجا مستند شده استفاده کنید.

کد بسیار ابتدایی است. SDK یک شی با 2 پارامتر scraper_name و query دریافت می کند. نام scraper مشخص می کند که کدام scraper استفاده خواهد شد ، و query لیستی از URL ها برای تراشیدن است.

برای اجرای کد ، ترمینال را در این پوشه باز کرده و تایپ کنید:

“”

node index.js

“”

پس از تراشیدن صفحات ، SDK پاسخ تجزیه شده JSON را برمی گرداند ، که ما آن را بر روی کنسول چاپ می کنیم.

SDK در یک درخواست به 1000 URL محدود می شود ، بنابراین در صورت نیاز به تراشیدن URL های بیشتر ، می توان درخواست را به چند بخش تقسیم کرده و به صورت موازی ارسال کرد.

امیدوارم این راهنما وقت بسیار گرانبهایی را در شما صرفه جویی کرده باشد و از نظر شما بسیار مفید باشد. موفق باشید و امیدوارم با استفاده از این فناوری جالب بتوانید محصولات شگفت انگیزی بسازید.

عکس پروفایل نویسنده

داستان های من را بخوانید

Alon Ghelber یک مدیر اجرایی محصول از تل آویو و متخصص در VPN ، Proxies ، Scraping و CX است.

برچسب ها

با هکر نون همراه باشید

حساب رایگان خود را ایجاد کنید تا قفل تجربه خواندن سفارشی خود را باز کنید.

سئو PBN | خبر های جدید سئو و هک و سرور