Проводил эксперимент. Несколько десятков сатов под АГС. Запретил индексацию через robots.txt. Ушли из индекса — осталось только по 1 страница, да и то только url и title. Разрешил индексацию в robots.txt. И моментально — через несколько часов в индексе стало 2 страницы. Боты Яндекса так интенсивно проверяют АГС сайты? пост написан в рамках программы «спаси могз от обсуждения эфира путина»
Возможно вам будет это интересно
- 8 Фев 2011
- 966 просмотров
По сообщению авторитетного агентства LBTM, Яндекс больше не будет обновлять тИЦ. Именно поэтому его последнее обновление произошло 31.12.…
- 13 Окт 2010
- 971 просмотр
posted a new entry to ‘alexvolkov’ at LiveJournal.
- 23 Июл 2014
- 1,4K views
Посмотрел фильм Превосходство. Отличный фильм. Есть правда один вопрос к сцене, где они обсуждают как ботнет распространиться по…
- 5 Июл 2014
- 950 просмотров
Ежемесячный платеж по ипотеке стал на 32$ меньше. Мелочь, а приятно
- 7 Ноя 2011
- 1,2K views
В офисе тоже — 5 градусов. Бодрит и не дает уснуть. Хотя мне и так спать не хочется