Diese Textdatei definiert, welche URLs einer Webseite von Suchmaschinen in den Index aufgenommen werden sollen und welche nicht. Sie liegt auf dem Webserver und wird beim Crawling zuerst aufgerufen und von von der Suchmaschine interpretiert.