ウェブ上の情報を自動的に収集するプログラムのことです。検索エンジンがウェブページを巡回し、リンクを辿ってデータを取得し、インデックスを作成します。検索エンジンのランキングやコンテンツの最新情報を反映するために重要な役割を果たします。
crawler
A program that automatically collects information on the web. Search engines crawl through web pages, follow links, retrieve data, and create indexes. It plays an important role in updating search engine rankings and content.