فایل robots.txt در طراحی سایت برای موتورهای جستجوگر بسیار مهم است. در واقع فایل Sitemap باید در کنار فایل robots.txt در طراحی سایت قرار بگیرد تا سایت از لحاظ سئو برای موتورهای جستجوگر بهینه شود. در ادامه در مورد این موضوع توضیح بیشتری می دهیم.
فایل robots.txt در طراحی سایت چیست و چه کارایی دارد؟
وظیفه ی فایل robots.txt در طراحی سایت محدود کردن دسترسی روبات های خزنده ی گوگل و سایر موتورهای جستجو به محتوای سایت می باشد. روبات های موتورهای جستجو قبل از ورود به هر صفحه ای از وجود فایل robots.txt در طراحی سایت مطمئن می شوند و از عدم وجود آدرس آن صفحه در آن مطمئن می شوند. فایل robots.txt در طراحی سایت باعث می شود تا صفحات سایت تنها برای کاربران اینترنتی طراحی شود و درنهایت مشکل محتوای تکراری پیش نیاید.
حال اگر صاحب سایت نیاز به ایندکس شدن کل سایت داشته باشد می تواند با ساخت این فایل به صورت یک فایل خالی عمل کند. دقت داشته باشید که فایل robots.txt در طراحی سایت در قسمت روت داخل هاست شما قرار می گیرد و در غیر این صورت این فایل عمل نخواهد کرد.
برای آزمایش فایل robots.txt در طراحی سایت از ابزار وبمستر استفاده می شود. از آنجایی که ابزار های وبمستر مختلف هستند، انتخاب این ابزار بستگی به موتور جستجوگر مورد نظر شما می باشد. مثلا بینگ وب مستر یا گوگل وب مستر. گوگل درواقع بهترین و کامل ترین وب مستر را دارد. حال برای تست فایل robots.txt به صفحه ی مربوط به وبمستر گوگل مراجعه کنید. در بخش Blocked URL که در زیر قسمت Crawl قرار گرفته شده است محتویات فایل robots.txt را کپی کنید. در قسمت بعدی آن آدرس هایی را که قصد دارید میزان محدودیت های آن را بسنجید وارد کنید. در قسمت آخر می توانید روبات مورد نظر خود را انتخاب کرده و در نهایت روی کلید Test کلیک کنید. اکنون نتایج تست فایل Robots.txt شما به نمایش در می آید.
متن بعد: ساخت فایل Robots.txt در طراحی سایت
- ۹۶/۰۹/۱۸