Как работать с robots.txt? Просто о сложном

Опубликовано: 9 сент. 2016 г.Еще больше полезной информации на https://seopult.ru и https://seopult.tv

Как и зачем необходимо создавать файл robots.txt? Любой сайт включает не только контент для пользователей, но и множество системных файлов. И когда робот поисковика начинает его сканировать, для него нет разницы – системный это файл или какой-то другой. Он проиндексирует все подряд. Чтобы этого не случилось, необходимо отредактировать файл robots.txt.

В видео мы расскажем о работе с основными директивами:
— «User-agent:»;
— «Disallow:»;
— «Allow:»;
— «Host:»;
— «Sitemap:».

___________________

Другие мастер-классы в плейлисте — https://www.youtube.com/playlist?list...
Не хватает знаний? ПОДПИШИСЬ НА КАНАЛ или зарегистрируйся на бесплатный семинар в https://cybermarketing.ru
Сайт нашего канала https://seopult.tv

-~-~~-~~~-~~-~-
Обязательно посмотрите: «Как правильно настроить и использовать UTM метки?»
https://www.youtube.comhttps://www.youtube.com/watch?v=xhyO9...
-~-~~-~~~-~~-~-