گزارش Crawl Stats سرچ کنسول را چطور بخوانیم؟ راهنمای تشخیص خطاهای خزش

با گزارش Crawl Stats نشانه‌های خطای سرور، محدودیت دسترسی ربات و افت خزش را تشخیص دهید و نتیجه تغییرات را بررسی کنید.

۲۱ آبان ۱۴۰۵ · ۶ دقیقه مطالعه
گزارش Crawl Stats سرچ کنسول را چطور بخوانیم؟ راهنمای تشخیص خطاهای خزش

ابتدا گزارش Crawl Stats را در سرچ کنسول باز کنید و وضعیت دسترسی میزبان و روند خطاها را ببینید. اگر خطاهای سرور افزایش یافته‌اند یا گوگل به سایت دسترسی ندارد، پیش از هر تغییر در سئو، پایداری سایت و پاسخ سرور را بررسی کنید.

ممکن است صفحات تازه فروشگاه دیر در نتایج گوگل دیده شوند، در حالی که سایت برای شما باز می‌شود. گزارش خزش کمک می‌کند بفهمید گوگل هنگام درخواست صفحات با چه پاسخی روبه‌رو شده است. البته خزش با ایندکس شدن یکی نیست و موفقیت در خزش، نمایش صفحه در نتایج را تضمین نمی‌کند.

گزارش Crawl Stats را کجا پیدا کنیم؟

در Google Search Console، ابتدا ویژگی مربوط به سایت را انتخاب کنید. از بخش Settings وارد Crawl stats شوید و گزارش را باز کنید. اگر چند ویژگی برای سایت دارید، مطمئن شوید گزارشی را می‌بینید که دامنه یا نسخه موردنظر شما را پوشش می‌دهد.

در صفحه گزارش، نمودار درخواست‌های خزش، حجم دانلود و میانگین زمان پاسخ را می‌بینید. پایین صفحه نیز خلاصه‌ای از درخواست‌ها بر اساس پاسخ، نوع فایل، هدف خزش و نوع ربات آمده است. برای بعضی وضعیت‌ها می‌توانید نمونه‌هایی از نشانی‌های درخواست‌شده را باز کنید.

این نمونه‌ها لزوماً فهرست کامل همه درخواست‌ها نیستند. همچنین داده‌های گزارش تاریخی‌اند؛ بنابراین برای تشخیص وضعیت فعلی باید آزمایش زنده و گزارش سرور را هم بررسی کنید.

اول وضعیت دسترسی میزبان را بخوانید

بخش Host status نشان می‌دهد گوگل در دسترسی به میزبان با مشکلی روبه‌رو شده است یا نه. اگر ویژگی شما چند میزبان را پوشش دهد، وضعیت هر میزبان را جداگانه بررسی کنید. ممکن است مشکل فقط مربوط به یک زیردامنه باشد.

خطای DNS می‌تواند نشانه مشکل در تبدیل نام دامنه به نشانی سرور باشد. خطای اتصال به سرور می‌تواند به قطعی، محدودیت شبکه یا در دسترس نبودن سرور مربوط باشد. مشکل دریافت robots.txt نیز می‌تواند بررسی دسترسی ربات به مسیرهای سایت را مختل کند.

اگر این بخش خطا دارد، زمان رخداد را با قطعی‌های ثبت‌شده و گزارش شرکت میزبانی مقایسه کنید. نبود خطا در این بخش به معنی سالم بودن تک‌تک صفحات نیست؛ پاسخ صفحات را هم در بخش‌های بعدی بررسی کنید.

نمودارها چه چیزی درباره خزش می‌گویند؟

تعداد درخواست‌ها

نمودار Total crawl requests تعداد درخواست‌های ثبت‌شده گوگل را در طول زمان نشان می‌دهد. افت ناگهانی هم‌زمان با خطای سرور می‌تواند نشانه مشکل دسترسی باشد. در مقابل، تغییر تدریجی تعداد درخواست‌ها به‌تنهایی لزوماً خطا نیست و ممکن است به تغییر محتوای سایت یا نیاز گوگل به بازدید دوباره مربوط باشد.

افزایش درخواست‌ها را نیز در کنار نوع پاسخ‌ها بخوانید. اگر گوگل درخواست‌های بیشتری می‌فرستد اما بخش بزرگی از آن‌ها به صفحات حذف‌شده یا تغییرمسیرهای غیرضروری می‌رسد، مسیرهای داخلی و نقشه سایت را بررسی کنید.

حجم دانلود و زمان پاسخ

Total download size حجم داده دریافت‌شده هنگام خزش را نشان می‌دهد، نه تعداد بازدیدکنندگان یا میزان فروش. افزایش آن ممکن است به تغییر نوع فایل‌های درخواست‌شده یا بزرگ‌تر شدن پاسخ‌ها مربوط باشد؛ برای تشخیص علت، آن را کنار بخش نوع فایل و تغییرات اخیر سایت ببینید.

Average response time میانگین زمان پاسخ به درخواست‌های خزش است، نه زمان کامل نمایش صفحه برای کاربر. اگر این نمودار بالا رفته و هم‌زمان خطاهای سرور بیشتر شده‌اند، فشار سرور، پایگاه داده و تغییرات اخیر را با کمک میزبان بررسی کنید. بالا بودن میانگین به‌تنهایی محل دقیق مشکل را مشخص نمی‌کند.

اگر بررسی گزارش‌های سرور یا پیدا کردن عامل کندی برایتان دشوار است، می‌توانید از خدمات پشتیبانی وب‌دیتا ۲۴ کمک بگیرید.

پاسخ‌های خزش را چطور تفسیر کنیم؟

در بخش By response، روی دسته‌های خطادار بزنید و نمونه نشانی‌ها را ببینید. چند پاسخ رایج معنای متفاوتی دارند:

  • پاسخ 200 یعنی سرور برای آن درخواست پاسخ موفق داده است؛ با این حال، محتوای صفحه و امکان ایندکس شدن آن همچنان باید جداگانه بررسی شود.
  • پاسخ‌های تغییرمسیر مانند 301 ممکن است پس از جابه‌جایی صفحه طبیعی باشند. اگر تعدادشان زیاد شده، لینک‌های داخلی و مقصد نهایی را بررسی کنید تا زنجیره یا حلقه تغییرمسیر وجود نداشته باشد.
  • پاسخ 404 برای صفحه‌ای که واقعاً حذف شده می‌تواند درست باشد. اما اگر محصول موجود یا صفحه مهم چنین پاسخی می‌دهد، نشانی، وضعیت انتشار و لینک‌های داخلی آن را بررسی کنید.
  • پاسخ 403 می‌تواند از محدودیت دسترسی، تنظیمات امنیتی یا دیوار آتش باشد. ابتدا علت را در گزارش امنیتی پیدا کنید؛ همه محدودیت‌های امنیتی را برای آزمایش غیرفعال نکنید.
  • پاسخ 429 نشان می‌دهد درخواست محدود شده است. تنظیمات محدودسازی و گزارش سرور را بررسی کنید تا مشخص شود آیا درخواست‌های معتبر گوگل نیز تحت تأثیر قرار گرفته‌اند.
  • پاسخ‌های 500 و 503 معمولاً به خطای سرور یا در دسترس نبودن موقت سرویس مربوط‌اند. زمان رخداد را با گزارش خطا، تغییرات سایت و وضعیت منابع سرور تطبیق دهید.

برای مثال، اگر بیشتر خطاهای 404 مربوط به محصولاتی است که هنوز در فروشگاه عرضه می‌شوند، احتمال مشکل در نشانی محصول یا لینک داخلی مطرح است. اگر صفحات واقعاً حذف شده‌اند، لازم نیست همه آن‌ها را به صفحه اصلی بفرستید؛ تنها زمانی تغییرمسیر دهید که مقصد مرتبط و مناسبی وجود دارد.

نوع فایل، هدف خزش و ربات را بررسی کنید

بخش By file type نشان می‌دهد درخواست‌ها به چه نوع فایل‌هایی مربوط بوده‌اند. اگر بخش زیادی از خطاها به فایل‌های تصویری مربوط است، مسیر فایل‌ها و دسترسی به فضای ذخیره‌سازی را بررسی کنید؛ اگر خطاها مربوط به صفحات HTML هستند، ابتدا سراغ پاسخ صفحات و برنامه سایت بروید.

در بخش By purpose، درخواست‌های مربوط به کشف نشانی‌های جدید و بازبینی نشانی‌های شناخته‌شده از هم جدا می‌شوند. این دسته‌بندی کمک می‌کند بفهمید تغییر الگو بیشتر در کدام بخش دیده شده است، اما به‌تنهایی علت افت یا افزایش خزش را ثابت نمی‌کند.

بخش By Googlebot type نیز نوع ربات درخواست‌کننده را نشان می‌دهد. اگر نمونه خطاها فقط در یک دسته دیده می‌شوند، همان درخواست‌ها را در گزارش سرور دقیق‌تر بررسی کنید و تفاوت رفتار میزبان یا قواعد امنیتی را بسنجید.

مراحل عملی رفع مشکل

  1. زمان شروع تغییر را مشخص کنید و ببینید آیا با به‌روزرسانی سایت، جابه‌جایی هاست یا تغییر تنظیمات امنیتی هم‌زمان بوده است.
  2. از بخش پاسخ‌ها چند نشانی مهم را انتخاب کنید. هر نشانی را در مرورگر و ابزار URL Inspection بررسی کنید و در صورت نیاز آزمایش زنده را اجرا کنید. نتیجه آزمایش زنده وضعیت همان لحظه را نشان می‌دهد، نه تضمین خزش یا ایندکس آینده را.
  3. گزارش‌های سرور و خطای برنامه را برای همان زمان و نشانی‌ها بررسی کنید. برای تشخیص درخواست واقعی Googlebot، به نام ربات در گزارش اکتفا نکنید؛ تأیید را با روش بررسی DNS توصیه‌شده گوگل یا با کمک مدیر سرور انجام دهید.
  4. ابتدا بکاپ بگیرید. سپس متناسب با علت، تنظیم اشتباه، لینک داخلی، مسیر فایل یا مشکل سرور را اصلاح کنید. تغییرات را محدود و قابل بازگشت نگه دارید تا اثر هر اصلاح روشن باشد.
  5. پس از اصلاح، همان صفحه‌ها را دوباره آزمایش کنید و در روزهای بعد روند خطاها و زمان پاسخ را در گزارش ببینید. داده‌های تاریخی فوراً پاک نمی‌شوند؛ کاهش خطاهای تازه و پاسخ درست در آزمایش‌ها نشانه بهبود است.

اگر صفحات بدون خطای دسترسی همچنان در نتایج دیده نمی‌شوند، موضوع را جداگانه در راهنمای ایندکس نشدن صفحات سایت دنبال کنید. برای خطاهای تکرارشونده سرور، قطعی DNS یا محدودیت پیچیده امنیتی نیز می‌توانید از تیم پشتیبانی وب‌دیتا ۲۴ کمک بگیرید.

مقاله‌های مرتبط