Дело было в robots.txt

День рождения демотиватора: 19-07-2011 | Зафигачил ПромоМедведь, опубликовав в рубрике "Поисковики".


Текст смс-ок посылаемых через интернет стал доступен Тындексу…

«Яндекс индексирует только открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета. Это соответствует всем общепринятым нормам и правилам взаимодействия в интернете.

В разделе отправки SMS на сайте МегаФона (www.sendsms.megafon.ru) в момент индексации по какой-то причине отсутствовал файл robots.txt. Насколько нам известно, сейчас администраторы сайта МегаФона уже установили robots.txt и закрыли этот раздел для индексации. В максимально скором времени все страницы этого раздела будут недоступны в результатах поиска Яндекса«, — сообщил Очир Манджиков, пресс-секретарь компании.

Похожие материалы:


Сказать по теме: