Школьник, будь бдителен!

День рождения демотиватора: 04-12-2009 | Зафигачил ПромоМедведь, опубликовав в рубрике "Мастерство".


robots.txt, disallow, закрыть от индексации

Впрочем, не только про robots.txt необходимо помнить, когда дело касается плохой индексации сайта. Подводных камней в этом деле хватает. Распространённой ошибкой начинающих оптимизаторов является неумелое использование файла robots.txt, в результате чего страдает и сайт клиента, и репутация сео-конторы. Помню, когда сам начинал разбираться с robots.txt, потратил на это ну очень много времени, да и сейчас порой приходится покуривать мануалы, чтобы не накосячить, закрывая что-нибудь необычное в плане движка от индексации.

Похожие материалы:


Сказануто веских словей: 2

как то у меня сайт не индексировался не индексировался (на юкозе он кстати запрещен к индексации на 1 месяц с момента создания), я уже все перепробовал и в Яндекс писал (те говорили, что все нормально, ответ 200 ОК) Потом написал Мастерхвосту:
masterhost support» :
Здравствуйте!

Код ответа 403 являлся следствием наличия IP-адреса 77.88.29.248 (робота яндекса) в списке заблокированных в файле .htaccess Вашего сайта. Сейчас я блокировку снял.
Рекомендуем Вам проверить файл .htaccess Вашего сайта на предмет блокировок
каких-либо других IP-адресов роботов.

FFUUCCK!

ПЫСЫ. Кстати — хороший способ ГАСИТЬ клиентов, которые не оплатили продвижение. Оптимизаторы доооолго будут разбираться.

«ПЫСЫ. Кстати – хороший способ ГАСИТЬ клиентов, которые не оплатили продвижение. Оптимизаторы доооолго будут разбираться.»

Школьники долго будут разбираться, нормальный оптимизатор обычно при оценке смотрит роботс сразу после захода на сайт.
А гасить клиентов есть гораздо более изощренные способы ;)

Сказать по теме: