Проводил эксперимент. Несколько десятков сатов под АГС. Запретил индексацию через robots.txt. Ушли из индекса — осталось только по 1 страница, да и то только url и title. Разрешил индексацию в robots.txt. И моментально — через несколько часов в индексе стало 2 страницы. Боты Яндекса так интенсивно проверяют АГС сайты? пост написан в рамках программы «спаси могз от обсуждения эфира путина»
