فایل ربات تکست robots.txt فایلی متنی است و می توان آن را با ویرایشگرهای متن همانند نوت پد ایجاد کرد؛ فایل robots.txt در ریشه سایت قرار می‌گیرد و رفتار روبات‌ها را در پیمایش صفحات و ایندکس آنها مدیریت می‌کند.

موتورهای جستجو برای ایندکس کردن صفحات مختلف وب سایت ها از روبات های جستجو spider ،robot و یا crawler استفاده می کنند.

روبات ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به آن را بدست می آورند و به موتور جستجوی مربوطه ارسال می کنند.

با استفاده از فایل robot.txt در ایندکس هاستینگ سایت یا در پوشه ای خاص، برای موتورهای جستجو مشخص می شود که چه صفحاتی از سایت را پیمایش و ایندکس کنند و چه صفحاتی را مجاز به ایندکس نمی باشند.

وظیفه فایل robots.txt محدود کردن دسترسی روبات های موتورهای جستجو به محتویات سایت است.

این روبات‌ها کاملا اتوماتیک عمل می‌کنند و پیش از ورود به هر سایت یا صفحه‌ای از وجودفایل robots.txt بر روی آن و محدود نبودن دسترسی محتوا مطمئن می‌شوند.

استفاده از فایل robots.txt به شما کمک می‌کند که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کنید و نگران محتوای تکراری، وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نباشید.
برای قرار دادن یک فایل robots.txt شما باید به هاست دسترسی داشته و آن را در ریشه اصلی کپی کنید و یا با قرار دادن تگ های متا در هدر صفحه دسترسی روبات به آن را محدود کنید.

تگ جلوگیری از ورود تمامی روبات های اینترنتی به صفحه:

دسته‌بندی نشده

فایل Robots.txt چیست؟

لایسنس چیست؟

زبان سوئیفت چیست؟

گوگل وب مستر چیست؟

سایت مپ چیست؟

دیدگاهتان را بنویسید لغو پاسخ

دسترسی سریع

وردپرس نیاز

نماد ها

نوشته های مرتبط