Проверка robots txt
После создания robots txt его можно проверить на правильность работы. Когда роботы (боты) поисковых машин заходят на любой сайт, то первым делом они ищут в корневой директории robots txt, который содержит указания боту какие разделы (папки) следует принимать во внимание, а какие нет.