Робот тхт

https://developers.google.com/search/reference/robots_txt?hl=ru

http://seocompas.ru/Robimap.html

http://blog.contentmonster.ru/2014/06/seo-guide-8/