クローリング

ロボット型検索エンジンがスパイダーと呼ばれるプログラムを動かしてホームページを自動巡回すること。フレッシュ・クロールとメイン・クロールの2種類がある。