Crawler

Тип робота (обычно робота поисковой системы), исследующий каждую страницу на сайте, следуя по всем ссылкам на каждой странице.

Смотрите также