Проводил эксперимент. Несколько десятков сатов под АГС. Запретил индексацию через robots.txt. Ушли из индекса — осталось только по 1 страница, да и то только url и title. Разрешил индексацию в robots.txt. И моментально — через несколько часов в индексе стало 2 страницы. Боты Яндекса так интенсивно проверяют АГС сайты? пост написан в рамках программы «спаси могз от обсуждения эфира путина»
Возможно вам будет это интересно
- 23 Мар 2012
- 861 просмотр
Ленту наполнили сообщения недельной (или около того) давности. У Цукенберга и лайкающих ностальжи?
- 17 Янв 2012
- 746 просмотров
Горячо любимое государство в виде комитета по образованию Москвы хочет отдать перевести ребенка в другую школу. В которую…
- 3 Ноя 2011
- 800 просмотров
Сегодня запустил очередную социальную сеть (не моя идея, по заказу). И зачем этому миру еще одна социальная сеть
- 19 Июн 2014
- 1,0K views
Написал отзыв на книгу
- 10 Июл 2012
- 881 просмотр
Простыть летом не только глупо, но и обидно