چگونه موتورهای جستجو تعداد اندکی از سایت‌ها و صفحات را از میان میلیاردها صفحه انتخاب و به ما نشان می‌دهند؟ خزنده‌های وب یا web crawlers پاسخ همهٔ این سؤال‌ها است،در این مقاله می خواهیم بدانیم crawler چیست و چگونه کار میکند.