نحوه ویرایش Shopify Robots.txt (2022)

ربات دارای لوگو Shopify

اگر روی یک سایت تجارت الکترونیک کار می کنید، فایل robots.txt یکی از بزرگترین عناصر اساسی سئو سایت شما است. سایت‌های تجارت الکترونیک عموماً بسیار بزرگ‌تر از بسیاری از سایت‌های روی وب هستند و همچنین دارای ویژگی‌هایی مانند ناوبری وجهی هستند که می‌تواند به طور تصاعدی اندازه سایت را افزایش دهد. این بدان معناست که این سایت ها باید بتوانند به شدت کنترل کنند که گوگل چگونه سایت خود را می خزند. این به این سایت ها کمک می کند تا بودجه خزیدن را مدیریت کنند و از خزیدن صفحات با کیفیت پایین توسط Googlebot جلوگیری کنند.

با این حال، زمانی که صحبت از Shopify به میان می‌آید، robots.txt مدت‌هاست که مورد توجه جامعه SEO بوده است. برای سال‌ها، یکی از بزرگترین ناامیدی‌ها برای سئوی Shopify عدم کنترل robots.txt است. این کار با پلتفرم را در مقایسه با سایر پلتفرم‌ها مانند SEO برای Magento دشوارتر کرد، جایی که کاربران همیشه می‌توانستند robots.txt را به راحتی ویرایش کنند. در حالی که robots.txt پیش‌فرض کار بسیار خوبی برای مسدود کردن خزنده‌ها انجام می‌دهد، برخی از سایت‌ها به تنظیمات این فایل نیاز دارند. همانطور که سایت‌های بیشتری شروع به استفاده از پلتفرم می‌کنند، اکنون می‌بینیم که سایت‌هایی که از Shopify استفاده می‌کنند بزرگ‌تر و قوی‌تر می‌شوند و به مداخله خزیدن بیشتری با استفاده از robots.txt نیاز دارند.

خوشبختانه، Shopify در بهبود تجربه پلتفرم خود کار بسیار خوبی انجام داده است. از ژوئن 2021، Shopify اعلام کرد که اکنون می توانید فایل robots.txt را برای سایت خود سفارشی کنید:

این خبر بسیار خوبی برای سئوکاران و صاحبان فروشگاه Shopify است که سال‌ها برای تنظیم فایل التماس می‌کنند. همچنین نشان می‌دهد که Shopify به بازخوردهایی که سئوکاران به آنها می‌دهند گوش می‌دهد و اقداماتی را برای بهبود پلتفرم از نقطه نظر جستجو انجام می‌دهد.

بنابراین اکنون که می‌دانیم می‌توانید فایل را ویرایش کنید، بیایید در مورد نحوه انجام تنظیمات و موقعیت‌هایی که ممکن است به انجام آن فکر کنید صحبت کنیم.

Shopify Robots.txt چیست؟

Shopify robots.txt فایلی است که به موتورهای جستجو دستور می دهد که چه URL هایی را می توانند در سایت شما بخزند. معمولاً، فایل robots.txt می تواند موتورهای جستجو را از یافتن صفحات با کیفیت پایین که نباید خزیده شوند، مسدود کند. Shopify robots.txt با استفاده از فایلی به نام robots.txt.liquid تولید می شود.

Robots.txt پیش فرض Shopify چه چیزی را مسدود می کند؟

وقتی به سایت خارج از جعبه Shopify خود نگاه می کنید، ممکن است متوجه شوید که یک فایل robots.txt از قبل پیکربندی شده است. با رفتن به این فایل می توانید این فایل را پیدا کنید:

domain.com/robots.txt

در این فایل robots.txt، خواهید دید که تعداد خوبی از قوانین از پیش پیکربندی شده وجود دارد.

اکثریت قریب به اتفاق این قوانین برای جلوگیری از خزیدن موتورهای جستجو در صفحات غیر ضروری مفید هستند. در زیر برخی از مهمترین قوانین موجود در فایل پیش فرض Shopify robots.txt آمده است:

  • غیر مجاز: /جستجوجستجوی داخلی سایت را مسدود می کند
  • غیر مجاز: /cart – صفحه سبد خرید را مسدود می کند
  • غیر مجاز: / Checkout – صفحه پرداخت را مسدود می کند
  • غیر مجاز: /account – صفحه حساب کاربری را مسدود می کند
  • غیر مجاز: /collections/*+* – صفحات دسته بندی تکراری ایجاد شده توسط ناوبری وجهی را مسدود می کند
  • نقشه سایت: [Sitemap Links] – به لینک sitemap.xml ارجاع می دهد

به طور کلی، قوانین پیش فرض Shopify کار بسیار خوبی برای مسدود کردن خزیدن صفحات وب با کیفیت پایین برای اکثر سایت ها انجام می دهد. در واقع، این احتمال وجود دارد که اکثر صاحبان فروشگاه Shopify نیازی به انجام تنظیماتی در فایل robots.txt خود نداشته باشند. پیکربندی پیش فرض باید برای رسیدگی به اکثر موارد کافی باشد. اکثر سایت های Shopify معمولاً از نظر اندازه کوچکتر هستند و کنترل خزیدن برای بسیاری از آنها مشکل بزرگی نیست.

البته، همانطور که سایت های بیشتری از پلت فرم Shopify استفاده می کنند، این بدان معنی است که وب سایت ها بزرگتر و بزرگتر می شوند. همچنین، ما سایت‌های بیشتری را با پیکربندی‌های سفارشی می‌بینیم که قوانین پیش‌فرض robots.txt کافی نیستند.

در حالی که قوانین موجود Shopify کار حسابداری برای اکثر موارد را به خوبی انجام می دهد، گاهی اوقات صاحبان فروشگاه ممکن است نیاز به ایجاد قوانین اضافی برای تطبیق robots.txt برای سایت خود داشته باشند. این کار را می توان با ایجاد و ویرایش یک فایل robots.txt.liquid انجام داد.

GFD_DisplayCampaigns_GFDBlog_1200x628

چگونه Shopify Robots.txt.liquid را ایجاد می کنید؟

Robot Blocking SpiderCrawl

با انجام مراحل زیر در فروشگاه خود می توانید فایل Shopify robots.txt.liquid را ایجاد کنید:

  1. در نوار کناری سمت چپ صفحه مدیریت Shopify، به فروشگاه آنلاین > تم ها بروید
  2. اقدامات > ویرایش کد را انتخاب کنید
  3. در قسمت «الگوها»، روی پیوند «افزودن یک الگوی جدید» کلیک کنید
  4. روی منوی کشویی سمت چپ کلیک کنید و “robots.txt” را انتخاب کنید.
  5. “ایجاد الگو” را انتخاب کنید

سپس باید فایل Shopify robots.txt.liquid را در ویرایشگر باز کنید:

چگونه فایل Shopify Robots.txt را ویرایش می کنید؟

اضافه کردن یک قانون

اگر می‌خواهید یک قانون به Shopify robots.txt اضافه کنید، می‌توانید با اضافه کردن بلوک‌های کد اضافی به فایل robots.txt.liquid این کار را انجام دهید.

{%- if group.user_agent.value == ‘*’ -%}

{{ ‘عدم اجازه: [URLPath]‘ }}

{%- endif -%}

به عنوان مثال، اگر سایت Shopify شما از /search-results/ برای عملکرد جستجوی داخلی استفاده می کند و می خواهید آن را با robots.txt مسدود کنید، می توانید دستور زیر را اضافه کنید:

{%- if group.user_agent.value == ‘*’ -%}

{{ ‘عدم اجازه: /search-results/.*’ }}

{%- endif -%}

اگر می خواهید دایرکتوری های چندگانه (/search-results/ & /private/) را مسدود کنید، باید دو بلوک زیر را به فایل اضافه کنید:

{%- if group.user_agent.value == ‘*’ -%}

{{ ‘عدم اجازه: /search-results/.*’ }}

{%- endif -%}

{%- if group.user_agent.value == ‘*’ -%}

{{ ‘عدم اجازه: /private/.*’ }}

{%- endif -%}

این باید به این خطوط اجازه دهد تا در فایل Shopify robots.txt شما پر شوند:

موارد استفاده بالقوه

بنابراین با دانستن اینکه robots.txt استاندارد به طور کلی برای اکثر سایت ها کافی است، سایت شما در چه شرایطی از ویرایش فایل robots.txt.liquid Shopify سود می برد؟ در زیر برخی از رایج‌ترین موقعیت‌هایی که ممکن است بخواهید شرایط خود را تنظیم کنید، آورده شده است:

جستجوی داخلی سایت

بهترین روش کلی برای سئو این است که جستجوی داخلی سایت را از طریق robots.txt مسدود کنید. این به این دلیل است که تعداد بی نهایت پرس و جو وجود دارد که کاربران می توانند در نوار جستجو وارد کنند. اگر گوگل بتواند شروع به خزیدن در این صفحات کند، می تواند منجر به نمایش تعداد زیادی از صفحات نتایج جستجو با کیفیت پایین در فهرست شود.

خوشبختانه، robots.txt پیش فرض Shopify جستجوی داخلی استاندارد را با دستور زیر مسدود می کند:

غیر مجاز: /جستجو

با این حال، بسیاری از سایت های Shopify از جستجوی داخلی پیش فرض Shopify استفاده نمی کنند. ما متوجه شدیم که بسیاری از سایت های Shopify در نهایت از برنامه ها یا سایر فناوری های جستجوی داخلی استفاده می کنند. این امر اغلب URL جستجوی داخلی را تغییر می دهد. هنگامی که این اتفاق می افتد، سایت شما دیگر توسط قوانین پیش فرض Shopify محافظت نمی شود.

به عنوان مثال، در این سایت، نتایج جستجوی داخلی در URL هایی با /pages/search در مسیر ارائه می شود:

این به این معنی است که این URL های جستجوی داخلی توسط Google مجاز به خزیدن هستند:

این وب سایت ممکن است بخواهد قوانین robots.txt Shopify را ویرایش کند تا دستورات سفارشی را اضافه کند که Google را از خزیدن در فهرست /pages/search مسدود می کند.

ناوبری های وجهی

اگر سایت شما دارای ناوبری وجهی است، ممکن است بخواهید فایل Shopify robots.txt خود را تنظیم کنید. پیمایش وجهی گزینه های فیلتری هستند که می توانید در صفحات دسته بندی اعمال کنید. آنها معمولاً در سمت چپ صفحه یافت می شوند. به عنوان مثال، این سایت Shopify به کاربران اجازه می دهد محصولات را بر اساس رنگ، اندازه، نوع محصول و موارد دیگر فیلتر کنند:

وقتی فیلترهای رنگی “سیاه” و “زرد” را انتخاب می کنیم، می بینیم که یک URL با پارامتر “?color” بارگذاری شده است:

در حالی که robots.txt پیش‌فرض Shopify کار خوبی برای مسدود کردن مسیرهای صفحه‌ای که یک پیمایش وجهی ممکن است ایجاد کند انجام می‌دهد، متأسفانه نمی‌تواند برای هر موردی استفاده کند. در این مثال، “رنگ” مسدود نشده است که به Google اجازه می دهد صفحه را بخزد.

این ممکن است نمونه دیگری باشد، جایی که ممکن است بخواهیم صفحات را با robots.txt در Shopify مسدود کنیم. از آنجایی که تعداد زیادی از این URL های پیمایش وجهی می توانند خزیده شوند، ممکن است بخواهیم بسیاری از آنها را مسدود کنیم تا خزیدن صفحات با کیفیت پایین/مشابه را کاهش دهیم. این سایت می تواند تمام پارامترهای موجود در پیمایش وجهی را که می خواهد مسدود کند (اندازه، رنگ) تعیین کند و سپس قوانینی را در robots.txt ایجاد کند تا خزیدن آنها را مسدود کند.

مرتب سازی ناوبری

مشابه عملکردهای ناوبری وجهی، بسیاری از سایت‌های تجارت الکترونیک مرتب‌سازی را در صفحات دسته‌بندی خود انجام می‌دهند. این صفحات به کاربران این امکان را می دهند که محصولات ارائه شده در صفحات دسته بندی را با ترتیب متفاوتی ببینند (قیمت: کم تا زیاد، مرتبط ترین، بر اساس حروف الفبا و غیره).

مشکلی که ایجاد می کند این است که این صفحات حاوی محتوای تکراری/مشابه هستند، زیرا آنها به سادگی تغییراتی از صفحه دسته اصلی هستند اما محصولات با ترتیب متفاوتی هستند. در زیر می توانید ببینید که چگونه هنگام انتخاب “بر اساس حروف الفبا، AZ” یک URL پارامتری ایجاد می شود که محصولات را بر اساس حروف الفبا مرتب می کند. این URL از پارامتر “?q” اضافه شده به انتهای آن استفاده می کند:

البته این یک URL منحصربه‌فرد نیست که باید خزیده و فهرست‌بندی شود، زیرا صرفاً همان محصولاتی است که صفحه دسته اصلی به ترتیب متفاوتی مرتب شده‌اند. این سایت Shopify ممکن است بخواهد یک قانون robots.txt اضافه کند که خزیدن همه URL های “?q” را مسدود می کند.

نتیجه

فایل robots.txt.liquid Shopify به سئوکاران این امکان را می دهد که کنترل بسیار بیشتری بر خزیدن سایت خود نسبت به قبل داشته باشند. در حالی که برای اکثر سایت‌ها، robots.txt پیش‌فرض Shopify باید برای دور نگه داشتن موتورهای جستجو از مناطق نامطلوب کافی باشد، ممکن است بخواهید تنظیماتی را برای آن در نظر بگیرید اگر متوجه شدید که یک مورد لبه برای شما اعمال می‌شود. به طور کلی، هرچه فروشگاه شما بزرگتر باشد و سفارشی سازی بیشتری برای آن انجام داده باشید، احتمال بیشتری وجود دارد که بخواهید تنظیماتی را در فایل robots.txt انجام دهید. اگر در مورد خدمات آژانس SEO robots.txt یا Shopify سؤالی دارید، با خیال راحت تماس بگیرید!

سایر منابع SEO Shopify

اخبار را مستقیماً در صندوق ورودی خود جستجو کنید

*ضروری