چگونه خطاهای Crawl Errors گوگل وبمستر تولز را رفع کنیم؟

گوگل وبمستر تولز یا کنسول جستجوی گوگل (گوگل در سال 2015 نام این سرویس را از Google Webmaster Tools به Search Console تغییر داد) به شما کمک می‌کند نحوه عملکرد گوگل نسبت به سایت خود را بررسی کنید، وضعیت فعلی خود در جستجوها را ببینید و با رفع اشکالات سایت خود، رتبه بهتری را در گوگل بدست آورید. در این ابزار کارآمد، بخشی تحت عنوان Crawl Errors وجود دارد که در آن خطاهایی که خزنده‌های گوگل هنگام بررسی سایت شما با آن‌ها مواجه شده است را به نمایش می‌گذارد.

در این راهنما قصد دارم علل به وجود آمدن خطاهای گوگل وب مستر را همراه با آموزش کامل رفع هر کدام از آن‌ها بیان کنم. این مقاله با هدف ایجاد ذک مرجع کامل برای خطاهای گوگل وب مستر نوشته شده است. بنابراین پیشنهاد می‌کنم حتماً این مقاله را در مرورگر خود بوکمارک کنید (با استفاده از دکمه‌های Ctrl + D) تا هر موقع با مشکلی در وبمستر روبرو شدید، بتوانید به آن سری بزنید.

رفع خطاهای Crawl Errors

برای مشاهده خطاهای سایت خود پس از ورود به صفحه اصلی کنسول جستجوی گوگل به مسیر Crawl > Crawl Errors بروید. همان‌گونه که در این بخش می‌بینید خطاها در گوگل وبمستر به دو بخش خطاهای کلی سایت (Site Errors) و خطاهای آدرس‌ها (URL Errors) تقسیم می‌شوند. در ادامه با من همراه باشید تا به رفع این خطاها بپردازیم.

1. خطاهای سایت در گوگل وبمستر تولز (Site Errors)

site errors خطاهای کلی سایت شما را در 90 روز گذشته نشان می‌دهد. اگر سایت خود را به تازگی راه‌اندازی کرده‌اید وجود خطا در این قسمت عادی می‌باشد. اما اگر بیش از یک ماه از تولد سایت‌تان گذشته، بهتر است خطاهای این بخش گوگل وبمستر را جدی بگیرید و طبق این آموزش آن‌ها را بر طرف نمایید. اهمیت این موضوع آن‌چنان بالاست که اگر گوگل کوچک‌ترین ایرادی در این بخش احساس کند، برای شما یک پیغام در Site Messages ارسال خواهد کرد. بنابراین همواره سعی کنید به طور مستمر این بخش را چک کنید.

در صورتی که سایت شما خطایی نداشته باشد، تصویری مانند زیر در کنسول جستجوی گوگل شما (با سه تیک سبز رنگ) نمایش داده می‌شود که یعنی هیچ‌گونه خطایی در گوگل وبمسترتان وجود ندارد و بی نقص کار خود را انجام داده‌اید:

همانطور که مشاهده می‌کنید بخش site errors شامل سه قسمت Server connectivity ،DNS و Robots.txt fetch است که در ادامه خطاهای مربوط به هر یک را همراه با راه حل بیان خواهیم کرد.

1.1 خطای DNS

اگر به‌صورت متوالی خطای DNS در گوگل وبمستر برای‌تان گزارش می‌شود، بهتر است آن را جدی بگیرید. چرا که احتمال وجود مشکل در تنظیمات سرور سایت و یا ضعف سرور سایت‌تان وجود دارد. اما در صورتی که به تازگی هاست سایت خود را تغییر داده‌اید، معمولاً این خطا تا چند روز به دلیل تغییر DNS نمایش داده می‌شود و سپس به صورت خودکار رفع می‌گردد.

البته لازم به ذکر است که خطای DNS، مشکلی در سئوی سایت شما به وجود نخواهد آورد؛ به این دلیل که ربات‌های خزنده گوگل همواره می‌توانند ارتباط‌شان را با سایت‌تان حفظ کنند. اما بروز چنین خطاهایی به این معنی است که کاربران نمی‌توانند وارد سایت شوند، بنابراین بهتر است هرچه سریع‌تر اقدام به رفع این مشکل نمایید.

اصلا DNS چیست که خطایش چه باشد؟

در زمانی که اینترنت به شکل امروز گسترده نبود؛ اگر می‌خواستید به سایتی مراجعه کنید، باید آدرس وب‌سرور آن را می‌دانستید. آدرس وب‌سرور با IP مشخص می‌شود. بدین ترتیب که هر سایتی آی‌پی مختص به خود را دارد و شما می‌توانید آن را در نوار جستجوی مرورگر خود وارد کنید تا به سایت مربوطه بروید. اما از آن‌جایی که به خاطر سپردن آی‌پی کار دشواریست، پای دامنه‌ها به میان می‌آید. کاراکترهای قابل فهمی که حفظ کردنشان ساده‌تر است، البته برای انسان!

انتقال داده‌ها در کامپیوتر نه از طریق دامنه‌ها، بلکه به همان روش قدیمی آی‌پی‌ها صورت می‌گیرد. یعنی اگر شما در مرورگر دامنه سایتی را تایپ کنید(همان کاری که در حال حاضر انجام می‌دهید)، مرورگر به آدرس IP وب‌سایت متصل می‌گردد. این تبدیل توسط سرویسی به نام Domain Name System یا به اختصار DNS انجام می‌شود. به‌طور خلاصه می‌توان گفت تمام اطلاعات آدرس‌ آی‌پی‌ها و نام دامنه‌ها در ابرکامپیوترهایی به نام دی‌ان‌اس سرور ذخیره و ثبت شده‌اند که وظیفه اصلی آن‌ها تبدیل دامنه به آی‌پی‌های متناظر و بالعکس می‌باشد.

چه زمانی DNS Error  رخ می‌دهد؟

هنگامی که سایت شما نتواند با سرورهای دی‌ان‌اس ارتباط برقرار کنند، خطای DNS Error در صفحه گوگل وبمستر شما نمایش داده خواهد شد. این اتفاق عموماً به دو دلیل رخ می‌دهد:

• DNS Timeout: گوگل نمی‌تواند به سایت شما دسترسی پیدا کند زیرا دی‌ان‌اس سرور شما پاسخگو نمی‌باشد.
• DNS Lookup: گوگل نمی‌تواند به سایت شما دسترسی پیدا کند زیرا دی‌ان‌اس سرورتان با دامنه شما ارتباط برقرار نمی‌کند.

اولین پیشنهاد گوگل وبمستر در زمان مواجه شدن با این خطا استفاده از ابراز Fetch as Google است. این ابزار کارآمد نشان می‌دهد که آیا ربات‌های خزنده‌ گوگل می‌توانند صفحات شما را پردازش کنند یا خیر. همچنین می‌توانید با کمک سایت Web-Sniffer.net متوجه شوید که مشکل در برقراری با سرور سایت‌تان در کدام قسمت است.

سایت من دچار خطای DNS Error شده است، چگونه می‌توانم آن را رفع کنم؟

1.   ابتدا وارد صفحه اصلی گوگل وبمستر شوید و از منوی crawl بروی گزینه Fetch as Google کلیک نمایید. سپس در کادر جستجو URL صفحه مد نظر خود را وارد کنید و گزینه FETCH AND RENDER را بزنید. پس از مدت کوتاهی گوگل نتایج بررسی را برای‌تان نشان می‌دهد. در صورتی که مشکلی در این قسمت یافت شود در مقابل آدرس صفحه‌ای که وارد کردید، تیک قرمز خواهد خورد. همچنین توجه داشته باشید اگر گوگل توانست با صفحه نخست سایت‌تان بدون مشکل ارتباط برقرار کند، به این معنی است که هیچ گونه مشکلی در این وب‌سایت شما وجود ندارد.

1. مطمئن شوید صفحات سایت‌تان با خطای 500 یا 404 مواجه نشده باشد. گاهی ممکن است دلیل قطع ارتباط یکی از این خطاها باشد (بدین منظور می‌توانید در گوگل وبمستر خود به مسیر Crawl Errors > URL Errors بروید و وارد تب Not found شوید).
2. تنظیمات دی‌ان‌اس سرور خود را بررسی کنید. اگر مشکل خاصی متوجه نشدید آن را با شرکت ارائه دهنده هاست سایت خود در میان بگذارید.

1.2 خطاهای سرور (Server Errors)

همان‌گونه که از نام آن پیداست خطاهای سرور در گوگل وبمستر زمانی رخ می‌دهند که ربات‌های خزنده‌ گوگل نتوانسته باشند با سرورهای سایت شما ارتباط برقرار کنند. برای خطاهای سرور نیز باید فوراً اقدام کنید چرا که ممکن است آسیب بزرگی به سایت شما برساند.

چه زمانی خطای سرور رخ می‌دهد؟

هنگامی که ربات‌های خزنده‌ گوگل در صفحات سایت شما می‌خزند، مدت زمان خاصی را برای بارگذاری اختصاص می‌دهند. اگر در این مدت بنا به دلایلی که در ادامه بررسی خواهیم کرد، سرور سایت‌تان پاسخگو نباشد، علمیات خزش متوقف می‌شود و خطای سرور گزارش داده خواهد شد. اصلی‌ترین دلایل رخ دادن خطای سرور در گوگل وبمستر، جاری شدن سیل عظیم ترافیک می‌باشد. انواع خطاهایی که سرور اتفاق می‌افتد به شرح زیر است:

• Timeout: وقفه‌ای در ارتباط به وجود آمده و سرور شما در زمان مقرر به درخواست گوگل پاسخ نداده است.
• Truncated headers: گوگل می‌تواند به سرور شما متصل شود اما اتصال قبل از ارسال‌های headers قطع شد.
• Connection reset: سرور شما با موفقیت درخواست گوگل را پردازش کرد. اما هیچ محتوایی را باز نمی‌کند زیرا ارتباط با سرور ریست شده است.
• Truncated response: سرور شما قبل از اینکه گوگل بتواند اطلاعات را کامل دریافت کند، قطع شده است.
• Connection refused: گوگل نمی‌تواند به سرور سایت شما دسترسی پیدا کند زیرا هاست شما ممکن است Googlebot را مسدود کرده باشد و یا مشکلی با تنظیمات فایروال داشته باشد.
• Connect failed: گوگل قادر به اتصال به سرور سایت شما نمی‌باشد چون شبکه غیر قابل دسترس است.
• Connect timeout: گوگل نمی‌تواند با سرور سایت شما اتصال برقرار کند.
• No response: گوگل می‌تواند به سرور شما وصل گردد اما قبل از ارسال داده‌های مورد نیاز!

چگونه Server Errors را حل کنم؟

با استفاده از ابراز Fetch as Google مطمئن شوید ربات‌های خزنده‌ گوگل می‌توانند صفحات شما را پردازش کند. همانطور که گفته شد برای این کار از صفحه اصلی گوگل وبمستر به منوی crawl رفته و بروی گزینه Fetch as Google کلیک نمایید. سپس در کادر جستجو URL صفحه مد نظر خود را وارد کنید و گزینه FETCH ANA RENDER را بزنید.

1. اطمینان حاصل کنید که هاست سایت شما به درستی کار می‌کند یا پنهای باند آن به اتمام نرسیده است.
2. چک کنید که سهواً جلوی دسترسی گوگل را نگرفته باشید. گاهی این اتفاق ممکن است توسط سیستم مدیریت محتوا یا فایروال رخ داده باشد.
3. اگر به تازگی تغییری در خصوص نحوه ایندکس سایت خود در موتور جستجوی گوگل اعمال کرده‌اید، آن را به حالت قبلی بازگردانید.
4. مشکل را به ارائه دهنده هاست خود گزارش کنید.

1.3 خطای Robots failure

این خطا در گوگل وبمستر برای بازیابی فایل robots.txt می‌باشد؛ قبل از اینکه خزنده‌های گوگل سایت شما را مورد بررسی قرار دهند، حداقل یکبار فایل robots.txt را بازبینی می‌کنند تا از چگونگی خزیده شدن و ایندکس کردن صفحات وب‌سایت‌ شما اطلاع یابند. شما در فایل مذکور می‌توانید رفتار Crawlerهای موتور جستجو در قبال وب‌سایت خود را تعیین کنید و به آن‌ها بگویید کدام قسمت از صفحات وب‌سایت‌تان را نباید جستجو و ایندکس کنند. بنابراین شما همیشه به یک فایل روبوت نیاز دارید و گوگل نیز وجود آن را الزامی می‌داند، حتی اگر حاوی محتوایی نباشد.

در صورت رخ دادن خطای Robots failure چکار باید انجام دهیم؟

1. برای حل کردن خطای Robots failure قبل از هرچیزی بررسی کنید که فایل robots.txt به درستی در سایت‌تان پیکربندی شده است؛ مبادا نام یا آدرس آن دچار تغییری شده  و یا با خطای 404 مواجه شده باشد.
2. اطمینان حاصل کنید که گوگل به فایل ربوت دسترسی دارد. گاهی ممکن است یک خطا از سمت سرور و یا تنظیمات فایروال هاست، فایل Robots را مسدود کرده باشد.

همچنین می‌توانید برای اطمینان از صحت عملکرد از ابزار robots.txt Tester تعبیه شده در کنسول جستجوی گوگل استفاده کنید. برای دسترسی به این ابزار از صفحه گوگل وبمستر وارد منوی crawl شوید و بروی گزینه robots.txt Tester کلیک کنید. درصورت وجود مشکل به شما گزارش داده می‌شود.

2. خطاهای آدرس در گوگل وبمستر تولز (URL Errors)

خطاهای URL در گوگل وبمستر زمانی رخ می‌دهند که برخی از صفحات سایت‌تان دچار مشکل شده باشند و کل سایت را درگیر نمی‌کند. در واقع این خطا به صفحات داخلی سایت توجه داشته و عدم دسترسی ربات گوگل به آن‌ها را لیست می‌کند. در صورتی که تعداد خطاهای موجود در این بخش زیاد و مربوط به صفحات مهم سایت‌تان باشد، می‌تواند برروی سئوی شما تاثیر منفی داشته باشد.
اگر به تازگی تغییرات زیادی در سایت خود ایجاد کرده‌اید و آدرس صفحات را عوض کرده باشید، خطا در این بخش بسیار طبیعی می‌باشد. برخی از این خطاها نیز ممکن است مربوط به گذشته بوده و در حال حاضر حل شده باشند. برای عدم نمایش آن‌ها می‌توانید از گزینه Mark as fixed استفاده کنید که در ادامه روش انجام آن را آموزش خواهیم دید.
هنگامی که شما این کار را انجام می‌دهید گوگل وبمستر به صورت موقت آن‌ها را نادیده می‌گیرد اما اگر خطاها بر طرف نشده باشند، پس از مدتی مجدداً یادآوری خواهد کرد.
به طور کلی با آپدیت کردن مداوم نقشه سایت و هرس کردن آدرس‌های آن، و همچنین ریدایرکت صفحات حذف شده می‌توانید خطاهای این قسمت را کاهش دهید. اما اگر می‌خواهید دقیق خطاها را رفع نمایید، در ادامه مطلب با من همراه باشید.

حتما بخوانید: آموزش اتصال وب سایت به گوگل وبمستر تولز برای افراد مبتدی

2.1 خطای 404

این خطا زمانی رخ می‌دهد که سرور نمی‌تواند منبع درخواستی را پیدا کند. در خطای ۴۰۴ ارتباط با سرور به طور کامل برقرار شده، اما صفحه یا فایل درخواستی موجود نمی‌باشد؛ هنگامی که ربات‌های خزنده گوگل اقدام به خزیدن به صفحه‌ای از سایت شما می‌کند که حذف شده و یا آدرس آن تغییر کرده، به کاربر ارور ۴۰۴ می‌دهد و لینک‌های داده شده به صفحه را شکسته طلقی می‌کند.

در چه صورتی با خطای 404 مواجه می‌شویم؟

گاهی اوقات ممکن است خطای ۴۰۴ به صفحاتی داده شوند که هرگز وجود نداشته‌اند. این آدرس‌ها ممکن است به دنبال لینک‌های موجود در فایل‌های جاواسکریپت یا فلش یا حتی نقشه سایت و… بدست آمده باشند.

گاهی نیز این امکان وجود دارد سایت‌های دیگر عمداً یا سهواً به شما پیوند اشتباهی داده باشند برای مثال  آدرس صفحه شما www.example.com/redshoos است اما مدیر سایتی دیگر به اشتباه آن را به این صورت تایپ کرده است: www.example.com/redshoes. در این شرایط می‌بایست با مدیر سایت تماس گرفته و از او خواهش کنید تا مشکل به وجود آمده را اصلاح کند.

همچنین گاهی وجود محتوای جعلی یا ریدایریکت بیش از حد و بی‌جهت صفحات باعث می‌شود گوگل نتواند ساختار سایت شما را درک کند.

خطاهای 404 چگونه قابل رفع هستند؟

1. اطمینان حاصل کنید که صفحه شما منتشر شده باشد و در حالت پیش نویس یا خصوصی نباشد.
2. مطمئن شوید آدرس صفحه تغییر نکرده باشد.
3. بررسی کنید خطای ۴۰۴ در صفحه مد نظر با آدرس با www نشان می‌دهد یا بدونwww. همچنین HTTP در مقابل HTTPS.
4. نقشه سایت خود را مداوم به‌روز کنید و آدرس صفحاتی که پاک کرده‌اید را از روی آن حذف نمایید. بدین منظور می‌توانید راهنمای کامل ما را در خصوص خطاهای نقشه سایت در گوگل وبمستر بخوانید.
5. اگر نمی‌خواهید صفحه مورد نظر را احیا کنید با استفاده ریدایرکت ۳۰۱ آدرس صفحه را به صفحه جدید منتقل کنید.

البته لازم به ذکر است برای جلوگیری از نمایش خطاهای ۴۰۴ قدیمی پس از مدتی خوده گوگل وبمستر آنها را حذف می‌کند اما برای عدم گزارش آن‌ می‌توانید به روش زیر عمل کنید:

1. برای مشاهده صفحاتی که دچار خطای ۴۰۴ شده‌اند در گوگل وبمستر به مسیر Crawl Errors > URL Errors بروید و وارد تب Not found شوید.

2. سپس روی آدرس صفحه مورد نظر کلیک کنید، و در پنجره باز شده بروی Linked form کلیک نمایید.

3. حال باید تمام لینک‌هایی که به این صفحه داده شده‌اند را از صفحات سایت خود و حتی سایت‌های دیگر حذف کنید. این کار یک مقدار دشوار است. اگر کاربر وردپرس هستید میتوانید از افزونه Broken Link Checker استفاده نمایید.

2.2 خطای Soft 404

همانطور که می‌دانید اگر کاربر آدرس صفحه‌ای را که حذف شده و یا آدرس آن تغییر کرده باشد وارد کند، سرور به او خطای 404 نشان می‌دهد. این خطا از طرف مرورگر و موتورهای جستجو کاملا قابل تشخیص است درحالی که خطای 404 soft تنها برچسبی است که موتورهای جستجو و گوگل به برخی از صفحات شما می‌دهند؛ در واقع هنگامی که صفحه‌ای وجود نداشته باشد اما سرور به اشتباه صفحه دیگری(با محتوای کم و غیر قابل استفاده) را نمایش دهد، در گوگل وبمستر خطای 404 soft رخ می‌دهد.
اهمیت این خطا نسبت به خطای 404 بسیار بیشتر است زیرا باعث می‌شود موتورهای جستجو بیشتر وقت خود را صرف ایندکس صفحات و آدرس‌های غیر موجود در سایت شما کنند. بنابراین پیشنهاد می‌کنیم همیشه آن‌ها را جدی بگیرید.

چطور با خطای soft 404 مقابله کنیم؟

برای صفحاتی که وجود ندارند:

1. تنظیمات سایت خود را در خصوص صفحات حذف شده تغییر دهید و آن‌ها را با پیغام خطای 404(یافت نشد) یا خطای 410(صفحه پاک شده) نمایش دهید.
2. با استفاده از ریدایرکت 301 آدرس صفحات پاک شده را به صفحه جدید یا صفحه اصلی سایت خود منتقل کنید.
3. توجه داشته باشید در صورتی که صفحه دیگری با محتوای مشابه دارید، بهتر است صفحه قدیمی را به روی آن ریدایرکت کنید.

همچنین برای صفحاتی که قرار است نگهدارید قبل از هرچیزی مطمئن شوید محتوای مناسبی در صفحه وارد کرده‌اید. گاهی خطای 404 soft در گوگل وبمستر به علت کم بودن محتوا به‌وجود می‌آید؛ حداقل تعداد محتوای تولید شده مناسب 300 کلمه می‌باشد.

2.3 خطای Access denied

در حالت عادی خزنده‌های گوگل با دنبال کردن لینک‌ها از صفحه‌ای به صفحه دیگر سایت شما منتقل می‌شوند و محتوای آن‌ها را جمع‌آوری می‌کنند. اما در صورتی که به علت ممنوع بودن دسترسی به یک صفحه نتوانند آن را بارگذاری کنند، خطای Access denied در گوگل وبمستر نمایش داده می‌شود. این مشکل عموما به دلیل وجود صفحات لاگین به وجود می‌آید و مانع از نمایش قسمتی یا تمام محتوای صفحه می‌شود.

چطور خطای Access denied را رفع کنم؟

1. فایل robots.txt را چک کنید تا مطمئن شوید که از ایندکس صفحات لاگین جلوگیری شده است. اگر قبلا آن‌ها را اضافه نکرده‌اید حتما این کار را انجام دهید.
2. با استفاده از ابزار robots.txt tester هشدارها و خطاهای موجود در فایل robots.txt  را بررسی کنید.
3. با کمک ابزار Fetch as Google در گوگل وبمستر چک کنید که خزنده‌های گوگل چگونه صفحه مورد نظر شما را می‌بیند.
4. با استفاده از Screaming Frog درخواست‌های(requires) سایت خود بررسی کنید و مشکلات موجود را بر طرف نمایید.

2.4 خطای Not followed

خطای Not followed به این معنی است که گوگل نمی‌تواند برخی از URLهای شما را دنبال کند(با nofollow لینک‌ها اشتباه گرفته نشود). اغلب دلیل به وجود آمدن این خطا به دو علت می‌باشد:

• فایل‌های جاوا اسکریپت و فلش و ...

برخی از ویژگی‌ها مانند فایل‌های جاوا اسکریپت و فلش، کوکی‌ها و  session IDها و DHTML می‌توانند عملیات خزش خزنده‌های گوگل در سایت شما را سخت کنند. با کمک ابزار Fetch as Google در گوگل وبمستر یا یک مرورگر متن مانند lynx سایت خود را بررسی کنید؛ این ابزارها بسیار کارآمد هستند و کمک شایانی برای از بین بردن این خطا می‌کنند چرا که بسیاری از موتورهای جستجو سایت‌ها این‌گونه می‌ببینند.

• ریدایرکت‌ها

1. صفحات‌تان را با یک روش صحیح ریدایرکت کنید. اگر در این زمینه اطلاعات کافی ندارید، می‌توانید راهنمای ما در خصوص ریدایرکت را مطالعه بفرمایید.
2. در صورت امکان لینک‌های مطلق را جایگزین لینک‌های نسبی کنید؛ به‌عنوان مثال هنگام پیوند دادن به صفحه دیگری از سایت خود به شکل www.example.com/mypage.html لینک دهید، به جای mypage.html
3. مطئمن شوید ریدایرکت‌های خود را به صفحاتی با URLهای نامعتبر انجام نداده باشید!
4. لینک صفحه‌هایی را که ریدایرکت کرده‌اید در نقشه سایت وارد نکنید.

2.5 خطای Faulty redirect

برخی از سایت‌ها برای کاربران کامپیوتر و موبایل از URLهای متفاوتی استفاده می‌کنند؛ برای مثال اگر آدرس وب‌سایت example.com باشد، افرادی را که با گوشی به سایت مراجعه می‌کنند به m.example.com هدایت می‌شوند. خطای Faulty redirect در گوگل وبمستر زمانی اتفاق می‌افتد که یک صفحه دسکتاپ به اشتباه برروی آدرس صفحه اصلی مختص موبایل ریدایرکت شود. این خطا موجب می‌شود کاربران نتوانند در بین صفحات سایت شما گردش داشته باشند و نهایتاً از آن خارج گردند! برای متوجه شدن موضوع به تصویر زیر نگاهی بیندازید:

در صورت بروز گوگل برای شما یک پیغام ارسال خواهد کرد و همچنین در گوگل وبمستر به مسیر Crawl > Crawl Errors و در تب Smartphones  به نمایش گذاشته می‎شود.

حتما بخوانید: چطور مثل یک وبمستر حرفه‌ای از google webmaster tools استفاده کنیم؟

به منظور رفع خطای Faulty redirect قبل از هر چیزی تنظیمات مربوط به جداسازی URLهای موبایل و دسکتاپ را چک کنید و از درست بودن آن اطمینان حاصل نمایید. این کار عموماً از طریق فایل .htaccess انجام می‌پذیرد. اما پیشنهاد اصلی گوگل در این زمینه  این است که با استفاده از طراحی ریسپانسیو سایت را به یک شکل برای کاربران موبایل و دسکتاپ نمایش دهید.

2.6 خطای URLS blocked for smartphones

این خطا بدین معناست که  URL یک یا چند صفحه از سایت شما در دستگاه‌های تلفن همراه هوشمند برای ربات‌های خزنده گوگل از طریق فایل robots.txt مسدود شده است. خطای در گوگل وبمستر به مسیر Crawl> Crawl Errors و در بخش URL Errors نمایش داده می‌شوند. البته گوگل می‌گوید لزوماً این خطا تنها در موبایل اتفاق نمی‌افتد و ممکن است صفحات برروی دسکتاپ هم مسدود شوند. به هرحال اگر این خطا را در گوگل وبمستر خود دریافت می‌کنید باید نگاهی به فایل robots.txt سایت خود انداخته و بررسی کنید جلوی دسترسی ربات‌های خزنده را به صفحات مسدود شده، نگرفته باشید.

2.7 خطای Flash content

از آنجا که در نسخه‌های جدید سیستم عامل IOS و اندروید از فلش پشتیبانی نمی‌شود، الگوریتم‌های گوگل لیستی از URLهایی که مقادیر زیادی فلش می‌باشد را لیست می‌کند و در گوگل وبمستر به مسیر Crawl > Crawl Errors و در تب Smartphones به عنوان خطای flash content نمایش می‌دهد. گوگل توصیه می‌کند تجربه کاربری سایت خود را با بهره‌گیری از طراحی ریسپانسیو توسعه دهید.

همچنین دقت داشته باشید هر رویکردی که برای طراحی سایت دارید، باید اجازه دهید ربات‌های خزنده گوگل به فایل‌های جاوا اسکریپ، CSS و تصاویر دسترسی داشته باشد و آن‌ها را با robots.txt یا روش‌های دیگر مسدود نکنید. چرا که الگوریتم‌های گوگل به این فایل‌ها برای شناسایی پیکربندی طراحی سایت نیاز دارد.

2.8 خطای Article disproportionately short و خطای  Article too short

قسمت اصلی مقاله شما را که گوگل از محتوای HTML استخراج کرده است، بسیار کوتاه می‌باشد. این خطا در گوگل وبمستر اکثراً مربوط به صفحات خبرنامه یا صفحه‌هایی که حاوی محتوای چندرسانه‌ای هستند می‌باشد. برای رفع این مشکل پیشنهاد می‌کنم محتوای مرتبط به مقاله را به صفحه مربوطه اضافه کنید. همچنین می‌توانید برای آشنایی بیشتر با این موضوع مقاله‌ای تحت عنوان  یک پست وبلاگ باید چند کلمه داشته باشد را که قبل‌تر در نوین منتشر کرده بودیم، بخوانید.

2.9 خطای Article fragmented و خطای No sentences found

خطای Article fragmented در گوگل وبمستر زمانی رخ می‌دهد که محتوای شما شامل پاراگراف‌ها نباشد. هر پاراگراف موجود در متن مقاله باید حدوداً 6-7 جمله و حداکثر دارای 150 کلمه باشد؛ به این معنی که نه خیلی کوتاه و نه خیلی طولانی باشد.
در صورتی که نکات فوق را رعایت کرده‌اید و فکر می‌کنید متن محتوای‌تان مشکلی ندارد، کدهای HTML متن را نیز یکبار مورد بررسی قرار دهید و مطمئن شوید که از تگ‌های <br> و <p> به درستی استفاده کرده‌اید.

2.10 خطای Article too long

گوگل وبمستر می‌گوید محتوای این صفحه خیلی طولانی می‌باشد! از علل رخ دادن این خطا می‌تواند مربوط به قالب سایت شما باشد که حاوی متونی افزون بر مقاله اصلی شماست؛ که بهتر است آن‌ها را حذف نمایید. و یا ممکن است نظرات کاربران نیز در کنار مقاله توسط گوگل ایندکس شده باشد؛ برای رفع این مشکل می‌توانید بخش نظرات وب‌سایت را در iframe قرار دهید یا با استفاده از تکنولوژی AJAX آن‌ها در لحظه بارگذاری کنید.

2.11 خطای Date not found

نمایش این خطا در گوگل وبمستر بدین معناست که موتور جستجو نمی‌تواند تاریخ انتشار صفحاتی که لیست شده‌اند را پیدا کند.(احتمال بروز خطای Date not found در سیستم‌های مدیریت محتوا مانند وردپرس بسیار کم می‌باشد مگر در موارد خاص). اگر از متا تگ‌ها استفاده می‌کنید باید تگ date را در بخش <head> سایت خود به کار ببرید. نحوه استفاده از این متا تگ به شکل زیر می‌باشد:

<meta name="date" content="YYYY-MM-DD">

تاریخ را طبق استاندارد W3C تاریخ و زمان را وارد نمایید؛ یعنی به‌صورت YYYY-MM-DD یا با تاریخ کامل به همراه دقیقه و ثانیه و نیز منطقه زمانی YYYY-MM-DDThh:mm:ssTZD.

2.12 خطای Data too old

این خطا بیان‌گر قدیمی بودن تاریخ انتشار مقاله می‌باشد؛ گوگل نیوز تنها مقالات خبری را که تاریخ انتشارشان حداکثر برای 2 روز گذشته باشند، جمع‌آوری می‌کند.

2.13 خطای Empty article

گوگل نتوانسته محتوایی از مقاله شما استخراج کند. ابتدا مطمئن شوید متن مقالات شما در کد منبع(source code) موجود باشد. گاهی ممکن است محتوای نوشته شما در فایل جاوا اسکریپت یا iframe جاسازی شده باشد. در گام بعدی چک کنید با ویژگی‌های "display: none" یا "visibility: hidden" در CSS متن نوشته را پنهان نکرده باشید.

2.14 خطای Extraction failed

این خطا در وبمستر بیان می‌کند گوگل قادر نیست متن، عنوان و تاریخ انتشار محتوای مقاله شما را شناسایی کند و در Google News منتشر کند. ابتدا از صحت اطلاعات وارد شده مطمئن شوید و سپس آن را در نقشه سایت news ارسال نمایید.

2.15 خطای Off-site redirect

صفحه مقاله به یک آدرس دیگر ریدایرکت می‌شود. تمام صفحات و مقالات باید در دامنه سایت وارد شده به گوگل نیوز باشد. اگر به سایت‌های دیگر ریدایرکت نکرده‌اید، مطمئن شوید سایت‌تان توسط شخص دیگری دستکاری نشده باشد؛ بدین منظور می‌توانید آموزش گوگل را در خصوص سایت‌های هک شده بخوانید.

2.16 خطای Page too large

خطای Page too large همان‌طور از نام آن پیداست بیانگر طولانی و سنگین بودن طول مقاله یا صفحه است؛ منبع(source) صفحه HTML باید حداکثر 256 کیلوبایت حجم داشته باشد.

2.17 خطای Title not allowed

عنوانی که گوگل از مقاله شما استخراج می‌کند، معتبر نیست! اغلب می‌توان با استفاده از تگ <title> و استفاده از کلمات کلیدی، همچنین بکار بردن آن در تگ‌های H این مشکل را حل کرد.

حتما بخوانید: مطالعه موردی سئوی کلاه سفید: چگونه رتبه یک گوگل را به دست آوریم؟

2.18 خطای Title not found

این خطا بدین معناست که گوگل نتوانسته عنوان مقاله شما را پیدا کند؛ با استفاده از متا تگ <title> در بخش head سایت، این خطا را رفع کنید!

2.19 خطای Uncompression failed

ربات خزنده اخبار گوگل (Googlebot-News) متوجه شد که صفحه خود را فشرده کرده‌اید اما قادر به استفاده از آن نیست! این خطا می‌تواند به علت خطای سرور یا برنامه نویسی باشد.

جمع بندی

ابزار گوگل وبمستر به شما کمک می‌کند اطلاعات مفیدی را در مورد سایت خود و افرادی که از آن بازدید می کنند، بدست آورید. برخی از این اطلاعات مربوط به خطاها و مشکلات سایت شما می‌باشد. به جای اینکه منتظر باشید تا فردی وجود مشکل را به شما اطلاع دهد از کنسول جستجوی گوگل استفاده کنید و خطاهای Crawl Errors موجود را کشف نمایید. در مطلب فوق سعی کردیم به طور کامل نحوه رفع خطاهای گوگل وبمستر را آموزش دهیم. با این حال اگر نتوانستید مشکل خود را حل نمایید، با ما در میان بذارید کمک‌تان کنیم.