Проводил эксперимент. Несколько десятков сатов под АГС. Запретил индексацию через robots.txt. Ушли из индекса – осталось только по 1 страница, да и то только url и title. Разрешил индексацию в robots.txt. И моментально – через несколько часов в индексе стало 2 страницы. Боты Яндекса так интенсивно проверяют АГС сайты? пост написан в рамках программы “спаси могз от обсуждения эфира путина”
