preloader

فایل robots.txt چیست؟

فایل robots.txt یکی از مهم ترین ابزارهای سئو است که اکثر افراد آن را نادیده می گیرند. گوگل اهمیت زیادی به این فایل داده و بارها گفته است که ربات های موتور جست و جو قبل از اینکه به سایت شما سر بزنند اول وجود این فایل در سایت شما را بررسی می کنند. به همین دلیل در این مقاله تصمیم گرفتیم به طور کامل کاربرد و اهمیت این فایل را برایتان توضیح دهیم. تا آخر مقاله با ما همراه باشید تا یک بار برای همیشه تمامی نکات مربوط به فایل robots.txt را یاد بگیرید.

فایل robots.txt چیست؟

یک فایل robots.txt می تواند برای کاربردهای مختلفی مورد استفاده قرار گیرد که عبارتند از دادن اجازه به موتورهای جست و جو تا بدانند کجا نقشه سایت تان را قرار دهند، چه صفحاتی را کراول کنند و چه صفحاتی را کراول نکنند و همچنین ابزاری عالی برای مدیریت بودجه کراول (crawl budget) سایت های شما هستند.

در این جا ممکن است این سوال به ذهن شما خطور کند که مدیریت بودجه کراول چیست؟؟؟

با وجود این که گوگل بزرگ است، اما فقط تعداد محدودی از منابع برای کراول و ایندکس محتوای سایت شما دارد. هرچه سایت شما کوچک تر باشد، گوگل صفحات سایت شما را راحت تر و سریع تر کراول و ایندکس می کند زیرا تعداد لینک های کمتری در سایت تان وجود دارد. اما زمانی که سایت شما بزرگ باشد و هزاران صفحه با url های بسیار را دربرگیرد، ممکن است ربات های گوگل نتواند تمامی این صفحات را کراول کنند و درنتیجه شما میزان زیادی از ترافیک بالقوه خود را از دست خواهید دهید. این جاست که مدیریت بودجه کراول اهمیت پیدا می کند. در مدیریت بودجه کراول شما صفحات سایت تان را اولویت بندی می کنید و به ربات های گوگل می گویید که چه صفحاتی از سایت شما را کراول و ایندکس کنند که این کار باعث می شود ربات های گوگل کراول و ایندکس صفحات سایت شما را به خوبی انجام دهند.

فایل robots.txt چیست

گوگل بیان کرده است كه “داشتن URL های كم ارزش اضافه شده  به فایل robots.txt می تواند بر کراول و ایندکس سایت تأثیر منفی بگذارد.” شما می توانید از این فایل به منظور کمک به مدیریت بودجه کراول سایت هایتان استفاده کنید با اطمینان از اینکه موتورهای جست و جو به طور کارا و موثر زمان خود را بر روی سایت شما صرف می کنند و تنها صفحات مهم سایت شما را کراول می کنند و زمان خود را بر روی کراول صفحاتی مانند ثبت نام هدر نمی دهند.

آیا نیاز به فایل robots.txt دارید؟

فایل robots.txt به عنوان ابزاری قدرتمند در حوزه سئو شناخته شده است زیرا  یک روش عالی برای کنترل نحوه دسترسی خزنده ها / ربات های موتور جستجو به بخش های مختلف از سایت شما می باشد. قبل از این که ربات های موتور جست و جو یک وب سایت را کراول کنند در ابتدا چک می کنند که آیا فایل robots.txt وجود دارد و در صورت وجود، ربات ها دستورالعمل های داخل این فایل را بررسی می کنند. بنابراین، بخاطر داشته باشید که شما باید نحوه عملکرد صحیح این فایل را به طور کامل بدانید و ربات های موتور های جست و جو را از خزیدن در کل سایت تان بدون دلیل منطقی منع نکنید! زمانیکه به درک درستی از فایل robots.txt vsdndn  وقت آن رسیده که موارد زیر را چک و کنترل کنید:

1) مسدود کردن دسترسی به کل بخشهای سایت شما.

2) تعیین صفحاتی که باید توسط ربات های موتو جست و جو کراول، ایندکس یا در نتایج جست و جو نمایش داده شود.

3) تعیین موقعیت نقشه سایت یا نقشه های سایت خود.

4) بهینه سازی بودجه خزیدن با مسدود کردن دسترسی به صفحات کم ارزش ( صفحات ورود، سبد خرید و غیره ..)

5) جلوگیری از ایندکس شدن فایل های خاص در وب سایت شما (تصاویر ، PDF و غیره)

مثال هایی از فایل robots.txt

در ادامه چند نمونه از نحوه استفاده از فایل robots.txt در سایت ها آورده شده است.

اجازه دسترسی همه خزندگان وب / روبات ها به تمام محتوای سایت های شما:

User-agent: *
Disallow:

مسدود کردن دسترسی همه خزندگان وب / روبات ها از تمام محتوای سایت های شما:

User-agent: *
Disallow: /

مسدود کردن دسترسی یک خزنده وب / روبات خاص از یک فایل خاص:

User-agent: Googlebot
Disallow: /

مسدود کردن دسترسی یک خزنده وب / روبات خاص از یک صفحه خاص:

User-agent: 
Disallow: /thankyou.html

محروم کردن تمامی روبات ها از بخشی از سرور:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

همان طور که در مثال های بالا نیز روشن است اگر شما می خواهید ربات های موتور جست و جو صفحه ای از وب سایت شما را کراول نکنند باید از دستور disallow استفاده کنید. علاوه بر این باید به حجم این فایل در سایت خود توجه کنید که حداکثر سایز آن می تواند 500 کیلو بایت باشد.

بررسی وجود فایل robots.txt

اگر به تازگی با فایل robots.txt آشنا شده اید یا مطمئن نیستید که سایت شما این فایل را داشته باشد، می توانید با یک بررسی سریع متوجه این موضوع شوید. تمام آنچه شما باید انجام دهید این است که robots.txt/ را به انتهای URL سایت خود اضافه کنید. مثال: www.yoursite.com/robots.txt. اگر چیزی برای نمایش نبود، پس فایل robots.txt برای سایت خود ندارید.

توصیه های مهم:

1) اطمینان حاصل کنید که همه صفحات مهم قابل کراول هستند، و محتوایی که ارزش چندانی ندارد در صورت یافتن در جستجو مسدود می شود.

2) فایل های JavaScript و CSS سایت های خود را مسدود نکنید

3) همیشه بررسی سریع بر روی فایل robots.txt سایت تان انجام دهید تا مطمئن شوید چیزی به طور تصادفی تغییر نکرده است

4) فایل robots.txt را در ریشه وب سایت های خود قرار دهید تا بتوانید آن را پیدا کنید

5) پرونده robots.txt حساس به حروف کوچک و بزرگ است، این فایل باید با نام “robots.txt” ذخیره شود

6) از پرونده robots.txt برای مخفی کردن اطلاعات شخصی کاربر استفاده نکنید، زیرا قابل مشاهده خواهد بود

7) مکان نقشه های سایت خود را در فایل robots.txt خود قرار دهید.

8) اطمینان حاصل کنید که هیچ محتوایی یا بخشی از وب سایت مورد نظر خود را که انتظار کراول دارید مسدود نمی کنید.

9) اگر در سایت خود یک زیر دامنه یا زیر دامنه های متعدد دارید، پس باید برای هر زیر دامنه و همچنین دامنه اصلی، یک فایل robots.txt داشته باشید مثلا store.yoursite.com/robots.txt و yoursite.com/robots.txt.

نتیجه گیری

اگرچه ممکن است که قبلاً روی فایل robots.txt کار نکرده اید عصبی باشید، اما مطمئن باشید که استفاده و راه اندازی آن بسیار ساده است. بعد از اینکه به طور کامل با این فایل آشنا شدید، می توانید به ارتقای سئوی سایت خود و در نتیجه بهبود رتبه سایت تان کمک کنید. با راه اندازی فایل robots.txt خود به روش صحیح، به ربات های موتور جستجو کمک خواهید کرد تا بودجه کراول خود را عاقلانه خرج کنند و اطمینان حاصل کنند که وقت و منابع خود را بر روی صفحاتی که نیازی به کراول ندارند هدر نمی دهند. این فایل به آنها کمک می کند تا به بهترین شکل ممکن محتوای سایت شما را در نتایج موتور جست و جو نمایش دهند، که به نوبه خود به معنای بیشتر دیده شدن شما در نتایج خواهد بود.

نوشته‌های مرتبط

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *