Правильный robots.txt для Эгеи

Или куда не нужно лезть поисковым роботам

Поисковые роботы, как тараканы — лезут куда-попало, поэтому желательно ограничивать их перемещения по сайту и доступ к тем или иным файлам и директориям. Чем я и занялся перед открытием сайта для индексации.

Специально для тебя выкладываю готовый robots.txt для Эгеи, который я писал для своего блога, который я использую сейчас и в котором я постарался максимально ограничить поисковых краулеров:

User-agent: *

Allow: /favicon.ico

Disallow: /rss/
Disallow: /*rss/
Disallow: /new/
Disallow: /goto
Disallow: /*pin/
Disallow: /edit/
Disallow: /found/
Disallow: /*unpin/
Disallow: /*usual/
Disallow: /*reply/
Disallow: /*quiet/
Disallow: /drafts/
Disallow: /*remove/
Disallow: /sign-in/
Disallow: /*discuss/
Disallow: /settings/
Disallow: /*favourite/
Disallow: /*important/
Disallow: /*unfavourite/
Disallow: /*comments-rss/
Disallow: /*check-password/

Disallow: /system/

Allow: /system/*.js
Allow: /system/*.css
Allow: /system/*.png
Allow: /system/*.jpg
Allow: /system/*.gif
Allow: /system/*.svg

Disallow: /themes/

Allow: /themes/*.js
Allow: /themes/*.css
Allow: /themes/*.png
Allow: /themes/*.jpg
Allow: /themes/*.gif
Allow: /themes/*.svg
Allow: /themes/*.eot
Allow: /themes/*.ttf
Allow: /themes/*.woff
Allow: /themes/*.woff2

Disallow: /user/

Allow: /user/*.png
Allow: /user/*.gif
Allow: /user/*.jpg

Disallow: /index.php
Disallow: /go.php
Disallow: /*?go=
Disallow: /*?url=
Disallow: /@
Disallow: /*@

Host: https://okatiev.ru
Sitemap: https://okatiev.ru/sitemap.xml

Скачать актуальный robots.txt для Эгеи

Значение директив Host: и Sitemap: измени на свои.

Обрати внимание!

Обрати внимание на то, что в коде этого файла robots.txt используются значения и параметры, которые появляются в результате очень полезных доработок для Эгеи. Об этих разработках я писал ранее: Добавляем XML-карту сайта в Эгею и Улучшенные ссылки для Эгеи.

Рекомендую тебе ознакомиться с этими статьями прежде, чем ты заберёшь код файла robots.txt к себе на блог. Пользы для твоего сайта будет гораздо больше!

Также ограничивать роботов можно каноническими ссылками и мета-тегом meta-robots.

До связи!

Плюсануть
Поделиться
Отправить
Понравился этот пост? Поделись им в соцсети!
Популярное
Ваш комментарий
адрес не будет опубликован
HTML-код не интерпретируется

Ctrl + Enter