Текстовый файл, размещаемый в корне сайта и составленный по общепринятым стандартам. Служит для сообщения поисковым роботам, какие разделы или отдельные страницы веб-сайта следует игнорировать и не забирать в индекс.
Информация для материалов взята из открытых источников.