Robots.txt ساخت فایل

از فایل robots.txt برای مواردی استفاده می شود که نمی خواهیم صفحاتی از سایتمان توسط موتورهای جستجو (ربات های خزنده) بررسی و ایندکس شود، یا ممکن است قبلا این کار صورت گرفته باشد و اکنون می خواهیم آن صفحات را به هر دلیل حذف کنیم،

Googlebot:
Google Image:
Google Mobile:
MSN Search:
MSG Pictures:
Yahoo! Web:
Yahoo! MM:
Yahoo! Blogs:
Ask / Teoma:
Scrub The Web:
Alexa / Wayback:

آدرس فایل و یا پوشه را وارد کنید







همه خانه ها را پر کرده اید ، لطفا چک کنید و دکمه ارسال را بزنید