И так как всё-таки нужно составлять robots.txt для своего сайта вы узнаете в данном видео уроке. В нём было рассказано для чего нужен файл robot.txt в корне каталога сайта, данный файл применяется для того, чтобы скрывать или показывать для поисковых роботов те файлы, которые по мнению сайто строителя должны быть в индексе или же не должны индексироваться поисковыми системами. «Правильный robots.txt» — это очень ценный системный документ, который обязан присутствовать в каждом сайте и правильное и чёткое составление файла robots.txt это одно из первостепенных составляющих seo оптимизации и продвижения сайта и вывода его десятку выдачи первой страницы. Автор данного урока досконально продемонстрировать вам о том как необходимо составить robots.txt для CMS wordpress , а также как закрыть дубли страниц в wordpress. Видео материал о правильном создании и анализа файла robots.txt вы можете увидеть прямо сейчас онлайн абсолютно бесплатно.