51,000

انتخاب نام دامنه

72,300

ویدئو آموزشی

8:2

هاست یا سرور

145,350

ویدئو آموزشی

16:9

وب سرور چیست با ذکر چند مثال

108,750

ویدئو آموزشی

12:5

چه زبان برنامه نویسی مناسب وب است؟

107,100

ویدئو آموزشی

11:54

URL SEF چیست؟

371,280

ویدئو آموزشی

29:28

کنونیکال چیست؟

100,200

ویدئو آموزشی

11:8

ریدایرکت چیست و چرا از آن استفاده می‌کنیم؟

19,650

ویدئو آموزشی

2:11

ریدایرکت بوسیله کلاد فلیر

85,995

ویدئو آموزشی

7:21

ریدایرکت بوسیله وب سرور

86,760

ویدئو آموزشی

8:2

ریدایرکت بوسیله برنامه نویسی Back end

48,510

ویدئو آموزشی

3:51

ریدایرکت بوسیله برنامه نویسی front-end

24,750

ویدئو آموزشی

2:45

ریدایرکت chain و ریدایرکت loop چیست؟

122,700

ویدئو آموزشی

13:38

لینک به صفحه‌ای که خود ریدایرکت می‌شود

42,660

ویدئو آموزشی

3:57

تفاوت ریدایرکت ۳۰۱ و ۳۰۲

45,450

ویدئو آموزشی

5:3

برای ریدایرکت کامل دامنه از کدام ریدایرکت استفاده کنیم؟

31,050

ویدئو آموزشی

3:27

ریدایرکت تعداد زیادی صفحه چگونه است

106,800

ویدئو آموزشی

11:52

ریدایرکت حجم بالا بوسیله فایل csv و htaccess

15,210

ویدئو آموزشی

2:18

صفحه کاستوم ۴۰۴ چیست؟

42,900

ویدئو آموزشی

4:46

آیا از کاراکترهای فارسی در URL استفاده بکنیم؟

80,100

ویدئو آموزشی

8:54

خطای soft 404

117,000

ویدئو آموزشی

12:59

کنیبال چیست چطور رفعش کنیم

123,150

ویدئو آموزشی

13:41

رفع کنیبالیزیشن به روش Promote و Demote

50,850

ویدئو آموزشی

5:39

مفهوم AJAX چیست و چطور کار می‌کند

73,350

ویدئو آموزشی

8:9

صفحه فرود یا لندینگ پیج چیست؟

34,500

ویدئو آموزشی

3:50

فایل htaccess چیست و چه می‌کند؟

108,600

ویدئو آموزشی

12:4

قابل کشف شدن صفحات

Googlebot یا کراولر گوگل به صورت خودکار و به‌صورت مداوم صفحات وب را کشف و اسکن می‌کند. روند کلی کشف و اسکن صفحات توسط Googlebot به شرح زیر است:

 

۱. **شروع از URL‌های شناخته‌شده:**

   Googlebot اغلب با شروع از چندین URL شناخته‌شده شروع به اسکن می‌کند. این URL‌ها معمولاً شامل صفحات معروف و پربازدید هستند یا به طور مستقیم به وب‌گاه ارجاع می‌دهند.

 

۲. **دنبال کردن لینک‌ها:**

   Googlebot از لینک‌های موجود در صفحات که قبلاً کشف شده‌اند، پیروی می‌کند. این لینک‌ها می‌توانند به صفحات دیگر و یا به بخش‌های دیگر از همان صفحه ارجاع دهند.

 

۳. **نقشه سایت XML:**

   اگر وب‌گاه شما یک نقشه سایت XML دارد، Googlebot از اطلاعات موجود در این نقشه سایت استفاده می‌کند تا ساختار و صفحات وب‌گاه را بهتر درک کند و به صورت موثر‌تر آن‌ها را اسکن کند.

 

۴. **فایل robots.txt:**

   فایل robots.txt مشخص می‌کند که کدام بخش‌های وب‌گاه باید یا نباید توسط کراولر گوگل اسکن شوند. Googlebot این فایل را مطالعه کرده و به توجه به دستورات آن، به یا از اسکن صفحات خاصی اجتناب می‌کند.

 

۵. **تاخیرها و فرکانس اسکن:**

   Googlebot تاخیرهای مختلف را برای هر وب‌گاه در نظر می‌گیرد. این تاخیرها می‌توانند بر اساس فرکانس به‌روزرسانی محتوا یا تاریخ آخرین تغییرات در وب‌گاه تعیین شوند.

 

۶. **وبمستر تولز:**

   با استفاده از Google Search Console (وبمستر تولز)، می‌توانید اطلاعات بیشتری در مورد کشف و اسکن صفحات توسط Googlebot دریافت کنید. این ابزار به وبمسترها اطلاعات مربوط به عملکرد وب‌گاه‌ها در نتایج جستجوی گوگل را ارائه می‌دهد.

 

به‌طور‌کلی، Googlebot با استفاده از این روش‌ها و با توجه به الگوریتم‌های خود به صورت مداوم و به‌روز شده، صفحات وب را کشف و اسکن می‌کند.