اسکریمینگ فراگ و نقش آن در سئو

اسکریمینگ فراگ یکی از ابزارهایی است که برای مدیریت فعالیت های سئو داخلی (on page) و سئو تکنیکال کمک بسیاری به متخصصان سئو می‌کند. برای بررسی وضعیت سایت ویژگی‌های بسیاری باید مورد بررسی قرار گیرد؛ این ویژگی‌ها تنها به کیفیت محتوا یا استفاده کاربردی از عناوین محدود نمی‌شود. در واقع هر جزء هر چند کوچک از سایت شما، می‌تواند قابلیت این را داشته باشد که سایتتان را به بالاترین جایگاه رسانده یا منجر به کاهش رتبه و جایگاه سایتتان شود.

خوشبختانه ابزارهایی وجود دارند که فرآیند سئوی سایت را به شکل مؤثر و سازمان‌یافته‌ای انجام می‌دهند. یکی از این ابزارها، نرم‌افزار اسکریمینگ فراگ است.

اسکریمینگ فراگ چیست؟

همانطور که گفتیم اسکریمینگ فراگ یک نرم‌افزار برای مدیریت خدمات سئو است که به بررسی سایت شما از دیدگاه موتورهای جستجو می‌پردازد. با استفاده از این نرم‌افزار که بر روی سیستم عامل ویندوز، مک و لینوکس قابل نصب است، هیچ نقطه‌ای از سایت شما از چشم کراولرهای وب دور نمی‌ماند.

شما با نصب این نرم افزار کاربردی؛ محتوای متنی، تصاویر، CSS، و هر صفحه و پستی را از منظر بهینه‌سازی موتورهای جستجو بررسی کرده و در صورت نیاز تغییر می‌دهید.

اطلاعاتی که اسکریمینگ فراگ در اختیار شما قرار می‌دهد، مشخص می‌کند که کراولرها، سایت شما را چگونه می‌بینند. این اطلاعات به میزان قابل‌توجهی در وقت و انرژی شما صرفه‌جویی کرده و کار سخت سئو را به یک فرآیند جذاب تبدیل می‌کند.

نحوه عملکرد اسکریمینگ فراگ

آنالیز سایت در زمانی کوتاه بزرگترین مزیت این نرم‌افزار است. البته مدت زمانی که این نرم‌افزار برای بررسی سایت شما نیاز دارد، بسته به اندازه سایت متفاوت است. نکته ی خوب در مورد این ابزار این است که طی یک فرایند کوتاه مدت، تمام اطلاعات مهم و کاربردی را آماده و برای آنالیز در اختیارتان می‌گذارد.

قدم اول برای اینکه از قابلیت‌های اسکریمینگ فراگ برای سئو استفاده کنید این است که ابتدا آن را دانلود کنید. اسکریمینگ فراگ برای ویندوز، مک و اوبونتو کاملا رایگان و در دسترس است. با تهیه نسخه پریمیوم قابلیت‌های بیشتری از این نرم افزار در اختیار شما خواهد بود؛ به عنوان مثال می‌توانید تعداد بیشتری URL را بررسی کنید.

کاربردهای اسکریمینگ فراگ

ابتدای کار باید URL را وارد قسمت Enter url to spider کنید سپس روی گزینه start کلیک کنید. اگر هم می‌خواهید subdomain های دیگری هم کراول کند (مثلا blog یا shop) تیکت گزینه Crawl All Subdomains را بزنید.

مزیت‌های این نرم‌افزار و کاربردی که در سئوی سایت دارد، عبارتند از:

۱. نمایش و برطرف کردن خطاها

در این نرم افزار می‌توانید وضعیت HTTP را بررسی کنید. مهمترین کدهای وضعیت HTTP عبارتند از 200، 301، 302، 404، 500 و 503 که در دوره آموزش اسکریمینگ فراگ به طور مفصل به بررسی آنها و همچنین ریدایرکت ها پرداخته‌ شده است.

خطای ۴۰۴، ریدایرکت دائمی ۳۰۱، ریدایرکت موقت ۳۰۲، خطای سرور ۵۰۰ و خطای غیرقابل دسترس ۵۰۰ از جمله خطاهایی هستند که توسط این نرم‌افزار شناسایی و برطرف می‌شوند.

۲. آنالیز تمام URLهای سایت

همان‌طور که می‌دانید ساختار URL مناسب اهمیت زیادی برای سئوی سایت دارد. یکی از قابلیت‌های منحصر به فرد اسکریمینگ فراگ، بررسی دقیق ساختار URL سایت است.

در این بخش شما می‌توانید فیلترهای کاراکترهای non ASCII،underscores، حروف بزرگ، تکراری و URLهای پویا را بررسی کنید. همه این عناصر می‌توانند مشکلاتی برای ایندکس کردن ایجاد کنند، بنابراین این قابلیت در بهینه‌سازی سایت به شما کمک شایانی می‌کند.

۳.اسکریمینگ فراگ چگونه عناوین را بررسی می‌کند؟

با کمک این نرم افزار عناوین از نظر سئو بررسی شده و از نظر وجود کلمات کلیدی بهینه‌سازی می‌شوند. چیزی که در مورد سئوی عناوین می‌دانیم این است که یک عنوان نباید بیش از ۶۰ کاراکتر باشد!

اگرچه این هنوز یک معیار کاربردی است، اما موتورهای جستجو عناوین را با معیار پیکسل می‌سنجند. در واقع گوگل عناوینی که طولانی‌تر از ۵۱۲ پیکسل هستند را کوتاه می‌کند.

از آنجایی‌ که حروف و اعداد خاص فضای بیشتری نسبت به سایرین اشغال می‌کنند، بنابراین تایتل‌هایی که کوتاه‌تر از ۶۰ کاراکتر باشند هم ممکن است به لحاظ تعداد پیکسل و در نتیجه از نظر گوگل بسیار طولانی باشد، به همین دلیل محاسبه کاراکتر برای تایتل خیلی نمی‌تواند معیار خوبی باشد ممکن است همان ۶۰ کاراکتر شما باز هم از نظر گوگل کوتاه‌تر شود!

خوشبختانه نرم‌افزار اسکریمینگ طول تایتل‌های شما را به جای کاراکترها با تعداد پیکسل اندازه‌گیری کرده و طولانی بودن آن را به شما هشدار می‌دهد.

۴. آنالیز متا دیسکریپشن در اسکریمینگ فراگ

یکی از کاربردهای اسکریمینگ فراگ، آنالیز متا دیسکریپشن است. توضیحات متا همان توضیحاتی است که در نتایج جستجوی گوگل، پایینتر از عنوان صفحه نمایش داده می‌شود. طول متا دیسکریپشن نباید بیشتر از ۱۶۰ کاراکتر باشد، چون در غیر این صورت موتورهای جستجو آن را را کامل نمایش نمی‌دهند و سبب می‌شود به محتوا لطمه وارد شود.

شما در دوره آموزش اسکریمینگ فراگ، ویژگی جدید و مفیدی وجود دارد که از آن می‌توانید برای شبیه سازی متا دیسکریپشن استفاده کنید. برای این کار، بر روی یک URL کلیک کنید و صفحه SERP snippet را در پایین صفحه خود انتخاب کنید، سپس عنوان و توضیحات متا را تغییر دهید. پس از این با کمک اسکریمینگ فراگ می‌توانید ببینید که تغییرات شما در رایانه، تلفن همراه یا تبلت چگونه به نظر می‌رسد.

۵. بهینه‌سازی تصاویر

اخیرا گوگل اعلام کرده است که سرعت از مهم‌ترین عوامل برای رتبه بندی سایت‌ها می‌باشد. یکی از عواملی که می‌تواند سرعت صفحه را کند کند، تصاویر است. به ویژه تصاویر با وضوح بالا می‌توانند پهنای باند زیادی را اشغال کنند.

اسکریمینگ فراگ تمام تصاویر موجود در صفحات سایت شما را بررسی کرده و اطلاعات کاملی در مورد وضوح و حجم اشغال شده توسط تصاویر در اختیارتان می‌گذارد.

این ابزار تصاویری با حجم بالای ۱۰۰ کیلوبایت را که از نظر گوگل مناسب نیستند شناسایی کرده و به شما در جهت تغییر آن هشدار می‌دهد. همچنین شما می‌توانید سرعت هر صفحه را در بخش Response Time مشاهده کنید. به علاوه می‌توانید از ابزاری مانند جی تی متریکس (GTmetrix) برای کسب اطلاعات بیشتر در مورد زمان بارگیری استفاده کنید.

صفحه آموزش جی تی متریکس جدید در این مسیر می‌تواند کمک شایانی به شما کند تا بتوانید متوجه شوید که مشکلات سرعت لود صفحه یا حجم تصاویر سایت شما از کجا ناشی می‌شود و چطور آنها را رفع کنید.

۶. مشاهده اطلاعات دایرکتیو

در تبی به نام Directive اطلاعات مربوط به تگ ربات‌های متا، لینک‌های Canonical و همچنین rel=next/prev annotation در اختیار شما قرار می‌گیرد. شما در این بخش می‌توانید یکی از فیلترهای مربوط به یک دایرکتیو خاص را به کار برده و کراولینگ فوری تمام صفحات را مشاهده کنید.

۷. ایجاد سایت مپ XML

8. شناسایی لینک‌های شکسته

به کمک این نرم‌افزار شناسایی broken links کار بسیار راحتی است. سپس شما می‌توانید این لینک‌ها را برای یک developer فرستاده و نسبت به تصحیح آن اقدام کنید. البته شما در نسخه غیر رایگان اسکریمینگ فراگ می‌توانید بیش از ۵۰۰ URL را کراول کنید و در قدم بعدی لینک‌های شکسته آنها را پیدا کنید و در دوره آموزش اسکریمینگ فراگ بحث شناسایی لینک‌های شکسته به طور مفصل پرداخته شده است.

۹. شناسایی تصاویر بدون alt text

متن جایگزین عکس در کدهای HTML سایت برای توصیف یک تصویر مورد استفاده قرار می‌گیرد. در نرم‌افزار اسکریمینگ فراگ، پیدا کردن عکس‌هایی که فاقد متن جایگزین تصاویر می‌باشد به راحتی امکان‌پذیر است. به این ترتیب می‌توانید alt text مناسبی برای تصاویر استفاده نمایید.

در فیلم آموزشی اسکریمینگ فراگ از مجموعه سئولب می‌توانید به صورت ویدیویی یاد بگیرید که چطور آلت تکست عکس را پیدا کنید و در صدد اصلاح آن باشید.

۱۰. کشف محتوای تکراری و مشابه

داشتن محتوای تکراری یا حتی مشابه می‌تواند به سادگی رتبه صفحه شما را پایین بیاورد و همینطور کشف این محتوای تکراری نشانه آن است که باید بهتر شود یا حتی در برخی موارد حذف شود. این قابلیت در اسکریمینگ فراگ، صفحاتی با محتوای مشابه و تکراری را به شما نشان داده و به این ترتیب سایت‌تان را به لحاظ محتوای بهینه بهبود می‌بخشد.

در آموزش اسکریمینگ فراگ یاد می‌گیرید که چطور محتوای تکراری سایت خود را کشف و آنها را بهبود دهید تا تاثیر خوبی روی رتبه سایت شما بگذارد.

۱۱. نحوه اجرای کدهای جاوا اسکریپت

کدهای جاوا اسکریپت توسط ربات‌های گوگل خوانده و اجرا می‌شوند. جاوا اسکریپت در استفاده از فریم ورک‌هایی مثل انگولار، ری اکت، به خصوص PWA و… رشد چشمگیری داشته است. گوگل به طور قابل توجهی تکامل پیدا کرده است و هم اکنون قادر به خواندن محتوای جاوا اسکریپت نیز می باشد؛ از آنجایی که خوندن کدهای JS برای موتور جست و جو هزینه بر و دشوار می باشد بهتر است این کد هارا با اسکریمینگ فراگ بررسی کرده و اگر خطایی دارد رفع کنید.

۱۲. بررسی سایت به لحاظ معماری

ارزیابی لینک‌های داخلی و ساختار URL و ارائه نموداری از عملکرد و سازوکار وبسایت، یکی دیگر از خدمات این نرم‌افزار است.

۱۳.تجزیه و تحلیل سرعت سایت

این نرم‌افزار با استفاده از API گوگل پیج اسپید اینسایت (Google pageSpeed insight) اطلاعات سرعت سایت و تجربه کاربری را به دست می‌‌آورد. البته پیش از آنکه به اسکریمینگ فراگ سر بزنید، بهتر است برای به دست آوردن اطلاعات دقیق از سرعت لود سایت و… به سایت جی تی متریکس مراجعه کنید.

مزایای استفاده از اسکریمینگ فراگ اسپایدر

قابلیت برنامه‌ریزی

شما می‌توانید قابلیتی را در این نرم‌افزار تنظیم کرده که بر اساس آن بررسی و کراول جزئیات مختلف سایت‌تان در فواصل مشخصی انجام بگیرد.

امکان اتصال و ادغام GSC & PSI با GA

امکان اتصال به Google Analytics، Search Console و PageSpeed ​​Insights API از طریق این نرم‌افزار وجود دارد.

امکان سرچ HTML

هر آنچه را که می‌خواهید می‌توانید در source code پیدا کنید. این کد می‌تواند Google Analytics code, specific text یا هر کد دیگری باشد.

استخراج داده‌ها با XPath

جمع‌آوری هرگونه داده از HTML یک صفحه وب با استفاده از CSS Path، XPath یا regex امکان‌پذیر است. این ممکن است شامل تگ‌های متا اجتماعی، عناوین اضافی، قیمت‌ها، SKU یا موارد دیگر باشد.

کلام آخر

Screaming Frog Spider یک نرم‌افزار سبک و در عین حال قدرتمند است، که ریز جزئیات سایت شما را بررسی کرده و اطلاعات لازم برای بهینه‌سازی موتورهای جستجو را در اختیارتان قرار می‌دهد.

همانطور که در این قسمت بیان شد، با استفاده از Screaming Frog می‌توانید چندین المان از جمله تایتل صفحه، توضیحات متا، ساختار URL، کدهای پاسخ، تصاویر و... را تجزیه و تحلیل کنید. کاری که اسکریمینگ فراگ می‌کند در راستای کمک به شما در بهینه سازی سایت و افزایش عملکرد آن در نتیجه جستجو است. علاوه بر اینکه این ابزار رایگان است، بنابراین می‌تواند یک ابزار کاربردی برای هر طراح وب باشد!

استفاده از این ابزار پرکاربرد، بسیار راحت است و تا حد ممکن پیچیدگی‌های سئو را برای شما تسهیل کرده است.

نکته آخر اینکه تمام این قابلیت‌ها به صورت کاملاً رایگان در اختیار شما قرار می‌گیرد‌. پس جای هیچ شکی باقی نمی‌ماند که هر متخصص سئو در دنیا باید نسخه‌ای از این نرم‌افزار را بر روی سیستم شخصی خود داشته‌ باشد.