スパイダー

スパイダーとは、ウェブクローラーとも呼ばれ、検索エンジンがウェブサイトのコンテンツをインデックスするために使用する自動化されたプログラムのことです。

spider

A spider, also known as a web crawler, is an automated program that search engines use to index the content of websites.