Яндекс учел пожелания вебмастеров по настройке индексации
Александр Садовский на Хабрахабре доложил об учете пожеланий по индексации страниц, которые возникли у компании SmartWeb опосля того, как бот YandexSomething создал чрезмерную нагрузку на сервера её проектов UAProm.net и RUProm.net.
15 июня в блоге компании SmartWeb возникло сообщение о том, что бот YandexSomething откачивал по 12 страничек в секунду. Бот был опознан как бот Yandex.Новостей и запрещен в robots.txt, после этого сайт закончил индексироваться вообщем.
Николай Палиенко, сотрудник SmartWeb, собрал и опубликовал на Хабрахабре пожелания по индексированию страниц. Кроме более тривиального пожелания не выдавать поискового бота за новостного, в перечне есть просьбы к Yandex'у быть наиболее приклнным и предсказуемым к новым сайтам и закачивать странички умеренно.
23 июня Александр Садовский опубликовал ответную запись. "User-Agent отдавался "YandexSomething" и это наша вина. Это был не новостной, а один из поисковых роботов, у которого мы запамятовали поменять дефолтное представление. Ошибку поправили, спасибо, бота поставили в угол". Александр Садовский отметил, что методы Yandex'а определили UAProm.net и RUProm.net как хостинги (на базе текстов, размещенных на сайтах). Для хостинга сделанное роботом количество запросов не могло стать критичным. В качестве компенсации морального вреда оба сайта были безвозмездно приняты в "Yandex.Каталог".
Подготовлено по материалам .