ساخت فایل Robots.txt در طراحی سایت کار بسیار ساده ای است که به راحتی و بدون نیاز به هیچ نرم افزار خاصی انجام می شود. با اینکه وجود فایل Robots.txt در طراحی سایت اجباری نیست، دانستن چگونگی ساخت فایل Robots.txt در طراحی سایت می تواند گاها مورد استفاده قرار بگیرد.
ساخت فایل Robots.txt در طراحی سایت چگونه است ؟
برای ساخت فایل robots.txt در طراحی سایت از یک فایل ساده ی txt استفاده می شود. داخل این فایل از 3 دستور استفاده می شود :
- User-Agent : در این قسمت اسم روباتی که نیاز دارید قوانین نوشته شده بر روی آن اعمال شود نوشته می شود. به طور مثال googlebot برای روبات گوگل که وظیفه ی بررسی و ایندکس کردن صفحات را دارد و googlebot-image برای روبات گوگل که وظیفه بررسی تصاویر را دارد می باشد. همچنین برای اعمال قوانین بر روی تمامی روبات ها در ساخت فایل txt در طراحی سایت از * در این قسمت استفاده می کنیم.
- Allow : مقدار این قسمت بیانگر آدرسی است که قرار است اجازه دسترسی به آن داده شود. برای دادن دسترسی به تمامی صفحات توسط روبات از / استفاده می شود.
- Disallow: مقدار این قسمت بیانگر آدرس صفحه ای می باشد که قرار است از دید روبات ها پنهان بماند. برای جلوگیری از دسترسی به تمامی صفحات توسط روبات از / استفاده می شود.
دقت داشته باشید که برای Allow و Disallow آدرس ها بدون ذکر نام سایت قرار می گیرند. به طور مثال:
Disallow: /images
همچنین در ساخت فایل robots.txt در طراحی سایت میتوان دسترسی روبات ها را به یک نوع فرمت خاص از فایل در سایت مدیریت کرد. به طور مثال برای مسدود کردن دسترسی به فایل های گیف در ساخت فایل robots.txt در طراحی سایت به صورت زیر عمل می کنیم :
User-agent: Googlebot
Disallow: /*.gif$
دقت داشته باشید که در ساخت فایل robots.txt در طراحی سایت حتما به بزرگ و کوچک بودن نوشته ها دقت کنید.
متن قبل: فایل robots.txt در طراحی سایت
- ۹۶/۰۹/۱۸