Теперь при создании нового проекта по умолчанию в robots.txt пишутся такие строки User-agent: Yandex Disallow: / как-то так.
Возможно вам будет это интересно
Программист
Вчера подобрал себе программиста. Трепещите конкуренты. Скоро наш сайт будет открываться на 7.65% быстрее.
С 1 июля в России вступают совершенно цивилизованные правила ДД. Правда они совершенно не проливают свет на вопрос…
Увидительное рядом. С завтрашнего дня мы начинаем ходить в школе (пока подготовительный класс)
Для сокращения затрат на заполнение брифов, в брифе поле «Сроки» должно быть сразу содержать слово «Вчера» и быть…
Омар Хайям буквально вчера написал на злобу дня. «Ты выбрался из грязи в князи, но, быстро князем становясь,…
Если по версии следствия основная версия трагедии в метро — халатность стрелочника, то почему по всему метро стали…