ابزارها و خدمات موتورهای جستجو

کارشناسان سئو در کار خود ابزارهای فراوانی به کار می‌برند که بعضی از این ابزارها توسط خودِ موتورهای جستجو تهیه شده‌اند. موتورهای جستجو دوست دارند وبمسترها محتوای خود را طوری تولید کنند که هم برای کاربران جذاب باشد و هم برای ربات‌های خزنده قابل فهم باشد. به همین خاطر ابزارها و فرصت‌های فراوانی از امکان تحلیل گرفته تا راهنمایی‌های مختلف در اختیار ما قرار می‌دهند. به علاوه، موتورهای جستجو برای تشخیص کیفیت سایت‌ها از فاکتورهای متعددی استفاده می‌کنند. در این مطلب تلاش می‌کنیم به بررسی ابزارها و خدماتی که مورد استفاده موتورهای جستجو هستند، بپردازیم.

 پروتکل‌های موتورهای جستجو

1. نقشه سایت

نقشه سایت یا سایت مپ، فایلی است که لیستی از آدرس‌های مهم‌ترین محتواهای موجود در سایت را در بر دارد تا خزنده‌های موتورهای جستجو بتوانند به راحتی سایت را ایندکس کنند. نقشه‌ سایت شما، کارش این است که به موتور جستجو کمک کند محتوایی که تا به حال در سایت شما پیدا نکرده، یافته و طبقه‌بندی کند. نقشه‌های سایت‌ها انواع گوناگون داشته و می‌توانند شکل‌های مختلفی از محتوا را از جمله ویدیوها، تصاویر و متن را به ربات‌های خزنده نمایش دهند.

برای کسب اطلاعات کامل‌تر درباره نقشه‌های سایت‌ها و نحوه ساخت آن، می‌توانید مقاله‌ای که قبلاً در وبلاگ نوین با عنوان سایت مپ یا نقشه سایت چیست؟ منتشر کردیم را مطالعه کنید. این نقشه‌ها سه نوع دسته‌بندی دارند:

XML

نقشه سایت با پسوند xml برای راهنمایی موتورهای جستجوگر می‌باشد. با استفاده از این نقشه سایت می‌توان ربات‌های موتورهای جستجوگر را از آخرین به روزرسانی ها مطلع کرد.

مزیت: XML معمول‌ترین و شناخته‌شده‌ترین فرمت برای تهیه نقشه سایت است. این فرمت برای موتورهای جستجو نیز به آسانی قابل تشخیص بوده و توسط بسیاری از ابزارهای تولید نقشه سایت هم می‌تواند ساخته شود.

عیب: فایل‌های XML معمولا حجیم هستند. از آنجا که XML در همه جای فایل نیاز به برچسب‌های باز و برچسب‌های بسته دارد، اندازه فایل ممکن است بسیار بالا رود.

RSS

آر اس اس برای نمایش تمام محتویات یک صفحه وب بدون هیچ دیزاین یا صفحه آرایی و تنها برای خواندن اطلاعات و محتویات یک صفحه استفاده می شود.

مزیت: نگهداری نقشه سایت RSS  آسان می‌باشد. کد نویسی نقشه‌های RSS (در صورت لزوم) از جمله در زمان اضافه شدن محتوای جدید، آسان است.

عیب: مدیریت RSS دشوارتر است. اگرچه RSS نوعی روایت متفاوت از XML است، اما مدیریت آن به علت به روز شدن‌های متعدد به مراتب از XML سخت‌تر است.

Txt

نقشه سایت txt برای سایت‌هایی که آدرس صفحاتشان تغییری نمی‌کند مناسب است.

مزیت: ساخت آن بسیار آسان است. نقشه سایت از نوع Txt  از یک URL در هر خط، با ظرفیت 50000 خط مختلف.

عیب: امکان اضافه کردن meta data به صفحات را ندارد.

2. فایل Robots.txt

فایل robots.txt فایل متنی با فرمت txt است که وب‌مسترها بوسیله‌ی آن می‌توانند چگونگی خزیده شدن و ایندکس شدن وب‌سایت‌شان توسط ربات‌های موتور جستجوگر را تعیین کنند.

در واقع وبمسترها با استفاده از فایل robots.txt می‌توانند به موتورهای جستجو بفهمانند که ربات‌ها مجاز هستند در کدام قسمت‌های سایت "بخزند" و کدام مناطق غیر مجاز محسوب می‌شوند. با این فایل می‌توان تعیین کرد که ‌فایل‌های نقشه سایت و پارامترهای crawl-delay کجا قرار گرفته‌اند.

حتما بخوانید: جستجوی معنایی یا Semantic Search چیست و چه اهمیتی در سئوی سایت دارد؟

البته همه ربات‌ها از robots.txt پیروی نمی‌کنند! گهگاه ربات‌هایی توسط هکرها ساخته می‌شوند که این پروتکل را به رسمیت نمی‌شناسند، و گاهی هم از این ربات‌ها برای دسترسی به داده‌های خصوصی یا حساس استفاده می‌شود. به همین علت، پیشنهاد می‌شود که موقعیت بخش‌های مدیریتی و دیگر بخش‌های خصوصی سایت‌هایی که به صورت عمومی در حال نمایش هستند، در فایل robots.txt نوشته نشود. به جای این کار، بهتر است این صفحات در برچسب meta robots به کار برده شده که موتورهای جستجو نیز نتوانند این داده‌های حساس را طبقه بندی کنند.  برای کسب جزئیات بیشتر، می‌توانید نگاهی به راهنمای ما درباره فایل Robots.txt بیندازید.

3. ربات‌های متا

متا تگ‌ها اسنیپت های متنی هستند که محتوای یک صفحه را توصیف می کنند. گفتنی است متا تگ‌ها بر روی صفحه وب سایت ظاهر نمی‌شوند، اما در کدهای HTML صفحه وجود دارند و بایستی در قسمت head فایل html نوشته شود. متا تگ‌ها در حقیقت، متا تگ‌ها توضیحات مختصری درباره محتوای صفحه به موتورهای جستجو ارائه می کنند.

در این مثال، عبارت‌های NOINDEX و NOFOLLOW به ربات‌ها می‌گویند که این صفحه نباید ایندکس شده و همچنین لینک‌های این صفحه نبایستی توسط این ربات‌ها دنبال شوند.

4. تگ Rel=Nofollow

نگامی که یک وب‌سایت از تگ nofollow استفاده می‌کند، در واقع به موتورهای جستجو اطلاع می‌دهد که این لینک نباید در محاسبه رتبه صفحه یا PageRank در نظر گرفته شود. همچنین، این لینک در محاسبه پیج رنک مقصد نیز بی تاثیر خواهد بود. این مثال را ببینید:

در صورتی که می‌خواهید در این باره اطلاعات بیشتری کسب کنید، می‌توانید مطلب ما درباره لینک نوفالو (nofollow) را مطالعه کنید.

5. تگ Rel=canonical

تگ Canonical راهی برای کمک به گوگل جهت تشخیص برترین مطلب، میان مطالبی است که از شباهت زیادی نسبت به یکدیگر دارند. به بیان ساده تر، زمانی که تگ Canonical یا تگ کنونیکال (همان کد معروف Rel=Canonical) در یک صفحه قرار می‌گیرد، گوگل به آدرسی که این تگ در آن وارد شده است، اهمیت بیشتری می‌دهد و مسلماً آن صفحه را در نتایج جستجو ایندکس می‌کند. برای مثال تصور کنید که موتورهای جستجو با این تعداد آدرس می‌توانند به صفحه اصلی وب‌سایت شما دسترسی داشته باشند:

• http://www.example.com
• http://www.example.com/default.asp
• http://example.com
• http://example.com/default.asp
• http://Example.com/Default.asp

برای شما به عنوان یک انسان، تمام این URL‌های یک صفحه با مفهومی یکسان را نشان می‌دهد، اما برای خزنده‌های موتورهای جستجو هر یک از این آدرس‌ها، یک صفحه‌ی یکتا و مجزا از سایرین هستند. در نتیجه، ما در این مثال ساده 5 صفحه تکراری از صفحه اصلی وب‌سایت داریم، اما در حقیقت این تنها بخشی از مشکلاتی است که امکان دارد با آنها روبرو شوید.

برچسب canonical راه حل اصلی این مشکل است. این برچسب به موتورهای جستجو می‌گوید که فلان آدرس از نوع کانونیکال است و در صورت دیده شدن در چندین آدرس، بایستی به عنوان یک صفحه دیده شود. این مثال را ببینید:

پیشنهاد می‌کنم برای درک بهتر این مفهوم، مقاله هر آنچه باید درباره تگ Rel=Canonical بدانید! را حتماً مطالعه کنید.

ابزارهای موتورهای جستجو

گوگل وبمستر یا کنسول جستجوی گوگل

کنسول جستجوی گوگل یک منبع ارزشمند برای بیشتر افراد همچون وبمسترها، متخصصان بازاریابی، سئوکاران، طراحان، صاحبان کسب وکارها و توسعه دهندگان اپلیکیشن‌ها است. در گوگل وبمستر می‌توانید به امکانات فراوانی دسترسی داشته باشید، از جمله موارد زیر:

حتما بخوانید: هک رشد و تاکتیک های فشاریِ جذب بازدیدکننده

هدفگیری جغرافیایی - اگر سایت شما به دنبال مخاطبانی در یک موقعیت یا کشور خاص است، برای شما این امکان وجود دارد که با توجه به اطلاعاتی که در اختیار گوگل می‌گذارید، تعیین کنید سایت شما در هر کشور چگونه نمایش داده شده و کاربران در مناطق مختلف در هنگام جستجو به چه چیزهایی دسترسی داشته باشند.

دامنه مورد علاقه  - در صورتی که چندین آدرس یا دامنه متفاوت به سایت شما هدایت می‌شوند، می‌توانید تعیین کنید که گوگل مستقیما کدامیک را به عنوان دامنه اصلی در نظر بگیرد. برای مثال اگر دامنه اصلی شما http://www.example.com باشد و گوگل لینکی به شکل http://example.com پیدا کند، با آن درست همانند http://www.example.com رفتار خواهد کرد.

نرخ خزش (Crawl Rate) - این نرخ روی سرعت (و البته نه تعداد) درخواست‌های ربات‌های گوگل در فرآیند "خزیدن" تاثیر می‌گذارد.

بدافزار (Malware) - گوگل در صورت یافتن هر گونه بدافزار که به تجربه کاربری و رتبه سایت شما صدمه می‌زند،  این موضوع را به شما اطلاع می‌دهد.

خطاها در خزش (Crawl Errors) - گوگل در صورت برخوردن به این نوع خطاها از جمله خطاهای 404، شما را مطلع می‌سازد. برای حل این خطاها می‌توانید راهنمای کامل رفع crawel Errors را مطالعه کنید.

پیشنهادهای HTML - گوگل به دنبال عناصر HTML ناسازگار با موتورهای جستجو مثل توصیفات متا و برچسب‌های عنوان گشته و شما را از وجود آنها مطلع می‌سازد.

سایت شما در محیط وب

آمارهای ارائه شده توسط موتورهای جستجو از جمله تاثیر کلیدواژه‌ها، تعداد کلیلک‌ها، صفحات برتر دیده شده در جستجو و آمار لینک‌ها، به کارشناسان سئو در رصد و بهبود وضعیت سایت کمک بزرگی می‌کنند.

تنظیمات سایت

این بخش مهم به شما امکان می‌دهد نقشه سایت خود را بسازید، ، فایل robots.txt را تست کنید، لینک‌ها را تنظیم کرده و درخواست‌های تغییر آدرس را در هنگام حرکت از یک دامنه به دامنه دیگر ثبت کنید. این بخش همچنین حاوی قسمت‌های تنظیمات و پارامترهای URL است که در بخش قبلی درباره آن صحبت شد.

معیارهای 1+

به اشتراک‌گذاری محتوای شما در گوگل پلاس معمولا روی نتایج جستجو تاثیرگذار است. در این بخش می‌توانید میزان تاثیر به اشتراک‌گذاشته شدن محتوایتان در گوگل پلاس را ببینید.

آزمایشگاه‌ها (Labs)

در این بخش از کنسول جستجوی گوگل، می‌توانید گزارش‌هایی را مشاهده کنید که از نظر گوگل هنوز در مرحله آزمایشی به سر می‌برند اما برای وبمسترها قطعا ارزشمند هستند. یکی از مهم‌ترین این گزارش‌ها، عملکرد سایت است، که می‌گوید سایت شما با چه سرعتی برای بازدیدکنندگان بارگذاری می‌شود.

ابزارهای وبمستری بینگ

بر اساس نظرسنجی های انجام شده توسط comScore در سال 2013، بینگ حدود 17.9% از بازار جستجوی ایالت متحده آمریکا را به خود اختصاص داده است. هنوز هم بیشتر افراد بر روی موتور جستجوی گوگل تمرکز دارند و دوست دارند بیشتر با این موتور جستجوگر کار کنند. تقریباً می توان گفت این افراد به موتورهای جستجوگر غیر از گوگل اهمیت نمی دهند یا تصور دارند که هر روشی که برای گوگل کار می کند باید برای موتورهای جستجوی دیگر نیز کار کند. می‌توانید برای آشنایی بیشتر با این ابزار مقاله سئو برای وبمستر بینگ را مطالعه کنید. برخی از ویژگی‌های این ابزار وبمستر عبارت‌اند از:

رصد سایت‌ها - این بخش خلاصه‌ای از عملکرد سایت‌های شما را در نتایج جستجوهای بینگ ارائه می‌کند. معیارهایی که در اینجا می‌توانید مشاهده کنید تعداد کلیک‌ها، میزان تاثیر، صفحات ایندکس شده و تعداد صفحاتی که توسط ربات‌های خزنده بررسی شده‌اند هستند.

آمارهای خزش (Crawl Stats) - در اینجا می‌توانید گزارش‌هایی در مورد عملکرد ربات‌های خزنده بینگ مشاهده کنید، از جمله اینکه چه صفحاتی در سایت شما بررسی شده‌اند و چه تعداد خطا پیش آمده است. درست همانند کنسول گوگل، اینجا هم می‌توانید نقشه سایت خود را برای بررسی بهتر بینگ ارائه کنید.

ایندکس (Index) - این بخش به وبمسترها امکان می‌دهد کنترل چگونگی ایندکس شدن سایت‌هایشان توسط بینگ را در دست بگیرند. در اینجا هم درست همانند گوگل امکان می‌توانید ببینید محتوای شما چگونه توسط بینگ دسته بندی می‌شود، می‌توانید آدرس‌های جدید به نتایح جستجو اضافه کرده، بعضی آدرس‌ها را حذف کنید یا تظیمات پارامتری را تغییر دهید.

ترافیک (Traffic) -  بخش ترافیک در ابزارهای وبمستری بینگ، داده‌های مربوط به نرخ کلیک‌ها، تعداد دیده‌شدن‌ها و ... از طریق موتورهای جستجوی بینگ و یاهو را در اختیار شما می‌گذارد. در صورتی که قصد تبلیغ در صفحات نتایج موتورهای جستجو را داشته باشید، این گزارش‌ها نتایج و هزینه‌های احتمالی این نوع تبلیغات را نیز به شما ارائه خواهند نمود.

خلاصه مطلب

موتورهای جستجو مدتی است که شروع به ارائه ابزارهایی برای بهبود نتایج جستجو کرده‌اند. این خود گامی بزرگ در سئو و بهبود روابط بین وبمسترها و موتورهای جستجو محسوب می‌شود. درست است که موتورهای جستجو نقشی مهم در کمک به کارشناسان سئو در بهبود جستجو دارند، اما در نهایت مسئولیت اصلی انجام صحیح سئو بر دوش بازاریاب‌ها و وبمسترها است. به همین علت است که یادگیری صحیح سئو از اهمیت فراوانی برخوردار است. در ادامه، به بحث درباره باورهای نادرست درباره موتورهای جستجو و رفع بعضی ابهامات خواهیم پرداخت.