Crawl budget چیست و چرا برای سئو سایت مهم است؟

بودجه خزش یا Crawl Budget چیست؟

Crawl Budget تعداد صفحاتی است که ربات گوگل در یک بازه زمانی مشخص کراول و ایندکس می کند.

چرا بودجه خزش برای سئو سایت مهم است؟

به طور خلاصه: اگر گوگل صفحه ای را ایندکس نکند، پس امکان رتبه بندی آن صفحه برای هیچ کلمه کلیدی وجود ندارد.

بنابراین اگر تعداد صفحات شما از Crawl Budget سایت شما بیشتر باشد، در سایت خود صفحاتی خواهید داشت که ایندکس نشده اند.

گفته می شود، اکثر سایت ها از مورد استثنا هستند و نیاز به نگرانی در این مورد نیست. گوگل واقعاً در پیدا کردن و ایندکس کردن صفحات تبحر دارد.

اما به چند مورد باید توجه داشته باشید:

شما یک سایت بزرگ دارید: اگر سایتی (مانند یک سایت فروشگاهی) با بیش از 10هزار صفحه داشته باشید، امکان دارد گوگل در پیدا کردن همه صفحات با مشکل مواجه شود.

دسته ای محتوا به سایت اضافه کرده اید: اگر اخیراً بخش جدیدی با صدها صفحه به سایت خود اضافه کرده اید، باید بدانید که بودجه خزش دارید تا همه آنها به سرعت ایندکس شوند.

ریدایرکت های زیاد: خیلی از redirect chainها و ریدایرکت ها  Crawl Budget شما را از بین می برند.

با توجه به این موارد، در اینجا چند روش ساده برای به حداکثر رساندن Crawl Budget سایت شما آورده شده است.

چگونه بودجه خزش سایت را افزایش دهیم؟

بهبود سرعت سایت

بهبود سرعت سایت می تواند منجر به افزایش کراول تعداد URLهای سایت شما توسط ربات گوگل می شود.

در حقیقت، گوگل می گوید:

"بهبود سرعت لود سایت باعث تجربه کاربری بهتر و در عین حال میزان کراول را نیز افزایش می دهد"

به عبارت دیگر:

سرعت لود آهسته سایت زمان ارزشمند Googlebot را می خورد.

اما اگر صفحات شما به سرعت لود می شود، ربات گوگل وقت دارد تا صفحات بیشتری را مشاهده و ایندکس کند.

استفاده از لینک سازی داخلی

ربات گوگل صفحاتی را که لینک خارجی و داخلی زیادی به آنها ارجاع داده می شود برای ایندکس در الویت قرار می دهد.

و در این مورد لینک داخلی ارزش کلیدی دارد.

لینک های داخلی شما Googlebot را به صفحات مختلف سایت شما که می خواهید ایندکس شوند ارسال می کند.

معماری سایت مسطح

به گفته گوگل:

"URL هایی که محبوبیت بیشتری در اینترنت دارند معمولاً  برای اینکه در نتایج باقی بمانند بیشتر کراول می کنیم."

پس در دنیای گوگل، محبوبیت = ایجاد بک لینک با اتوریتی بالا.

به همین دلیل شما باید سایتی با معماری مسطح برای خود ایجاد کنید.

یک معماری مسطح باعث می شود تا از این طریق آتوریتی به تمام صفحات سایت شما منتقل شود.

از "صفحات یتیم (Orphan Pages)" خودداری کنید

صفحات یتیم صفحاتی هستند که هیچ پیوند داخلی و خارجی به آنها ارجاع داده نمی شود.

گوگل در یافتن صفحات یتیم واقعاً مشکل دارد. بنابراین اگر می خواهید از Crawl Budget خود بیشترین بهره را ببرید، مطمئن شوید که حداقل یک لینک داخلی یا خارجی به هر صفحه در سایت شما وجود دارد.

محدود کردن محتوای تکراری

محتوای تکراری در سایت به دلایل زیادی باید کنترل شود.

داپلیکیت کانتنت به بودجه خزش سایت شما آسیب می زند.

این به این دلیل است که گوگل نمی خواهد با ایندکس کردن چندین صفحه با محتوای یکسان، منابع را هدر دهد.

بنابراین مطمئن شوید که 100٪ صفحات سایت شما از محتوای یونیک و با کیفیت تشکیل شده است.

این برای سایتی که دارای بیش از 10هزار صفحه است آسان نیست. اما اگر می خواهید از Crawl Budget خود بیشترین بهره را ببرید، این یک ضرورت است.