Проводил эксперимент. Несколько десятков сатов под АГС. Запретил индексацию через robots.txt. Ушли из индекса — осталось только по 1 страница, да и то только url и title. Разрешил индексацию в robots.txt. И моментально — через несколько часов в индексе стало 2 страницы. Боты Яндекса так интенсивно проверяют АГС сайты? пост написан в рамках программы «спаси могз от обсуждения эфира путина»
Возможно вам будет это интересно
- 14 Окт 2011
- 803 просмотра
Как-то раз обсуждали бессоницу. Мой друг не только по facebook сказал так: «Ты уже поспал, просто не помнишь…
- 12 Ноя 2013
- 888 просмотров
А хор МВД будут штрафовать за исполнение Get Lucky зарубежного ВИА Daft Punk без лицензионного соглашения с РАО?
- 6 Сен 2011
- 1,2K views
Сижу на бесплатной Yota на скорости 64kbs. Работаю над текстом манифеста, в котором я торжественно пообещаю пользователям адаптировать…
- 21 Авг 2007
- 751 просмотр
Все же, когда ты просыпаешься, а дома никого, ни тёщи, ни жены, ни ребёнка — это хорошо. Можно…
- 23 Ноя 2013
- 896 просмотров
Из рубрики #отличныйзаголовок «Деда Мороза, умершего на корпоративе в Якутске, могла задушить снегурочка»
- 12 Май 2012
- 824 просмотра
Однажды слон решил научиться летать. Все звери стали смеяться на ним. Но он упорно тренировался каждый день на…