بروزرسانی: گزارش Crawl errors فقط در سرچ کنسول قدیمی در دسترس بود و اطلاعات آن به گزارش Coverage در سرچ کنسول جدید منتقل شد.
در گزارش Crawl Errors ایرادهایی که گوگل بات در هنگام کراول صفحه با آن مواجه شده نمایش داده می شوند. گزارش Crawl Errors به دو گروه کلی Site Errors و URL Errors تقسیم می شوند که در ادامه در مورد آنها توضیح داده شده است.
گزارش Site Errors، ایرادهای احتمالی کلی سایت در 90 روز گذشته که شامل ایرادهای DNS و اتصال به سرور و فایل robots.txt است را نمایش می دهد.
همانطور که در تصویر زیر مشاهده می کنید، گزارش URL Errors، ایرادهایی که گوگل بات در هنگام کراول صفحه با آن مواجه شده است را به تفکیک برای user-agent دسکتاپ و تلفن هوشمند نمایش می دهد.
در گزارش ها می توانید آدرس صفحه ای که با Error مواجه بوده و همچنین Response Code و تاریخی که گوگل بات آن Error را شناسایی کرده مشاهده کنید. ضمنا با کلیک بر روی نام هر ستون می توانید گزارش URL Errors را بر اساس همان ستون مرتب کنید.
انواع Errorهای رایج در گزارش Crawl Error
- Server Error: همان طور که در فصل مفاهیم در مورد HTTP Response Code توضیح داده شد، Response Code خانواده 500 به معنای ارورهای سمت سرور هستند. بنابراین گزارش ارورهای 5XX در این قسمت قابل رویت هستند.
- 404 Errors: هنگامی که درخواست گوگل بات از سرور با پاسخ 404 سرور روبرو می شود.
- Soft 404: وقتی صفحه ای وجود ندارد، وب سرور باید ارور 404 را به درخواست کننده بدهد که هم موتور جستجو و هم مرورگرها متوجه شوند که صفحه و یا فایل مورد نظرشان وجود ندارد. ولی وقتی به جای ارور 404، درخواست کننده به صفحه دیگری مانند homepage ریدایرکت شود، گوگل بات آن را به عنوان Soft 404 در نظر می گیرد. این گونه ارورها باید زودتر برطرف شوند.
- Access Denied: اگر موتور جستجو به آدرس URL خاصی دسترسی نداشته باشد، آدرس آن را در این قسمت به شما نمایش می دهد. دلایلی مانند نیاز به لاگین شدن در سایت، بلاک کردن آدرس توسط txt از دلایل رایج عدم دسترسی موتور جستجو به URL ها است. اگر در این گزارش متوجه شدید که آدرسی به اشتباه بر روی موتور جستجو محدود شده است، به رفع محدودیت بپردازید و در غیر این صورت نیاز به انجام کاری نیست.
یکی از کارهایی که هر سئوکار باید انجام دهد، بررسی کردن جدیدترین ارورها در سرچ کنسول و در صورت امکان پذیر بودن برطرف کردن آنان است.
به عنوان نمونه اگر سایت شما دارای لینک های خارجی شکسته باشد که با ارور 404 مواجه شوند، ممکن است لیست آن آدرس هایی که با ارور 404 مواجه شده اند در گزارش 404 Errors نمایش داده شوند که در آن صورت نیازی به انجام کار خاصی در سرچ کنسول نیست ولی اگر امکانپذیر است با سایت یا سایت هایی که به شما لینک شکسته داده اند مذاکره کنید تا آن لینک ها را اصلاح یا حذف کنند. ضمنا شما می توانید از لینک های خارجی سایت در گزارش لینک های خارجی سرچ کنسول مطلع شوید.
نکته: وجود ارور 404 در سرچ کنسول الزاما به معنای ایراد در سایت و یا افت رنکینگ سایت نیست. در نمونه بالا شاهد بودید که ارورها منشا خارجی داشتند و ایرادی در سایت وجود نداشت، بنابراین این گونه ارورهای 404 تاثیری در محاسبه رنکینگ سایت ندارند.
گزارش Crawl Errors یکی از گزارشات کاربردی گوگل سرچ کنسول است که یک سئوکار باید همیشه ارورهای آن را بررسی کند و تصمیم مناسب را در ارتباط با آنها بگیرد. اگر بخواهید بدانید که گوگل بات در روز به چند صفحه از سایت شما را کراول کرده و چه حجمی از فایل را دانلود کرده است به گزارش Crawl Stats در سرچ کنسول مراجعه کنید.