فایل Robots.txt چیست؟

آموزش نحوه ساخت و ویرایش فایل Robots.txt

آموزش نحوه ساخت و ویرایش فایل Robots.txt یکی از مهم ترین مراحل برای مدیریت دسترسی ربات های موتور جستجو به صفحات مختلف سایت است. این فایل به موتورهای جستجو اعلام می کند که کدام صفحات سایت باید ایندکس شوند و کدام صفحات باید نادیده گرفته شوند. در ادامه به طور مفصل نحوه ساخت و ویرایش فایل Robots.txt را برای شما توضیح خواهیم داد تا بتوانید به طور مؤثرتر و دقیق تری کنترل کنید که ربات های جستجو چه صفحاتی را مشاهده و ایندکس کنند. در ادامه، تمامی جزئیات لازم برای ایجاد و تنظیمات درست این فایل را به شما آموزش خواهیم داد.

1. ساخت فایل robots.txt

برای ساخت فایل robots.txt کافی است یک فایل متنی جدید با نام robots.txt ایجاد کنید و آن را در ریشه دایرکتوری سایت خود قرار دهید. در این فایل میتوانید دستوراتی را وارد کنید که به ربات های موتور جستجو میگوید که کدام صفحات باید ایندکس شوند و کدام نباید. می توانید این فایل را با استفاده از ویرایشگر متنی ساده مانند Notepad یا TextEdit ایجاد کنید.

2. ساختار دستورها در فایل robots.txt

یک فایل robots.txt معمولاً دارای دستورات مختلفی است که به موتورهای جستجو راهنمایی میکند. این دستورات ممکن است شامل مواردی مانند User-agent، Disallow و Allow باشد. برای مثال:

User-agent: *

Disallow: /private/

Allow: /public/

این دستور به تمامی ربات ها میگوید که نمی توانند به پوشه /private/ دسترسی داشته باشند، اما می توانند به پوشه /public/ دسترسی پیدا کنند.

انواع دستورات در فایل Robots.txt

در فایل robots.txt چند دستور اصلی وجود دارد که به شما این امکان را می دهد که کنترل دقیقی روی رفتار ربات ها در سایت خود داشته باشید. این دستورات به شما کمک میکنند تا سایت خود را بهینهسازی کرده و از ایندکس شدن صفحات غیرضروری یا تکراری جلوگیری کنید.

1. User-agent

این دستور مشخص میکند که دستوراتی که بعد از آن قرار میگیرند برای کدام موتور جستجو یا ربات اعمال میشود. به عنوان مثال:

User-agent: Googlebot

Disallow: /private/

در این دستور، فقط ربات Googlebot از خزیدن در پوشهی /private/ منع شده است. اگر بخواهید دستورات برای تمامی ربات ها اعمال شود، از * به عنوان User-agent استفاده میکنید.

2. Disallow

دستور Disallow به موتور جستجو میگوید که نمیتواند به یک مسیر خاص دسترسی پیدا کند و آن را ایندکس کند. به عنوان مثال:

Disallow: /private/

Disallow: /temp/

این دستورات به ربات ها می گویند که به هیچ وجه نباید به صفحات درون پوشه های /private/ و /temp/ دسترسی داشته باشند.

3. Allow

دستور Allow به ربات ها اجازه میدهد که به صفحات خاصی که در حالت معمولی مسدود شده اند، دسترسی داشته باشند. این دستور به خصوص زمانی کاربرد دارد که بخواهید بخشی از یک پوشه مسدود را برای ربات ها قابل دسترسی کنید.

Disallow: /private/

Allow: /private/allowed-page.html

در این مثال، ربات ها از دسترسی به بیشتر صفحات در پوشه /private/ منع شدهاند، اما صفحه ی خاصی که در دستور Allow آمده است، مجاز به ایندکس شدن است.

4. Sitemap

این دستور به ربات ها اعلام میکند که فایل نقشه سایت شما در کجا قرار دارد. این دستور به موتور جستجو کمک میکند که سریعتر صفحات جدید سایت شما را پیدا کرده و ایندکس کند.

Sitemap: https://example.com/sitemap.xml

 فایل Robots.txt برای مسدود کردن صفحات خاص

نحوه استفاده از فایل Robots.txt برای مسدود کردن صفحات خاص یکی از روش های مؤثر برای کنترل دسترسی ربات های موتور جستجو به بخش های خاصی از سایت است. این کار می تواند برای مسدود کردن صفحات حساس، محتواهای تکراری، یا صفحاتی که نیازی به نمایش در نتایج جستجو ندارند، مفید باشد. در ادامه به طور مفصل نحوه استفاده از فایل Robots.txt برای مسدود کردن صفحات خاص را به شما آموزش خواهیم داد تا بتوانید به راحتی از این ابزار برای بهینه سازی دسترسی ربات ها بهره برداری کنید.

1. مسدود کردن صفحات خصوصی و حساس

یکی از رایج ترین کاربردهای فایل robots.txt، مسدود کردن دسترسی به صفحات حساس و خصوصی است که نباید توسط موتورهای جستجو ایندکس شوند. برای مثال، اگر یک صفحه ی مدیریت یا فرم ورود دارید که نمی خواهید توسط ربات ها ایندکس شود، دستور زیر را در فایل robots.txt قرار دهید:

User-agent: *

Disallow: /admin/

Disallow: /login/

این دستور به تمامی ربات ها میگوید که به صفحات /admin/ و /login/ دسترسی نداشته باشند.

2. جلوگیری از ایندکس صفحات تکراری

اگر سایت شما به طور خودکار صفحات تکراری تولید میکند (مثلاً صفحات فیلتر شده یا صفحات با پارامترهای URL مختلف)، میتوانید با استفاده از فایل robots.txt از ایندکس شدن این صفحات جلوگیری کنید. این کار به جلوگیری از مشکلات مرتبط با محتوای تکراری کمک میکند که میتواند به رتبه بندی سایت آسیب بزند.

User-agent: *

Disallow: /category/?sort=

Disallow: /search/?q=