Проводил эксперимент. Несколько десятков сатов под АГС. Запретил индексацию через robots.txt. Ушли из индекса — осталось только по 1 страница, да и то только url и title. Разрешил индексацию в robots.txt. И моментально — через несколько часов в индексе стало 2 страницы. Боты Яндекса так интенсивно проверяют АГС сайты? пост написан в рамках программы «спаси могз от обсуждения эфира путина»
Возможно вам будет это интересно
Из новостей «Часть демонтированных палаток в Москве вернут на прежние места»
- 24 Ноя 2010
- 1,0K views
Ага. Чтобы потом снести опять. По четным — сносить. По нечетным — возвращать.
- 17 Май 2014
- 867 просмотров
На бирже фриланса повесил объявление о сборе данных по российским сайтам. Только что фрилансер прислал ссылку на киевский…
- 15 Ноя 2013
- 1,2K views
Я тут присмотрелся к видео Ленинграда внимательней. Александр Алавин, ты как всегда был прав. Блондинка круче чем Коган…
Мир без Лужкова….
- 28 Сен 2010
- 856 просмотров
В течении недели в Москве: исчезнут пробки пропадет коррупция появятся садики заработает нормальное такси стоимость коммунальных услуг будет…
- 29 Авг 2007
- 785 просмотров
Вот я не пью неделю. И желания напиться у меня совсем нет. А вот меня сейчас отвозит домой…