موتورهای جستجو چگونه کار می‌کنند؟

ما امروز قصد داریم نحوه عملکرد موتورهای جستجو (How search engines work) را تشریح کنیم. موتورهای جستجو برای کشف، درک و سازماندهی محتوای اینترنت به منظور ارائه مرتبط‌ترین نتایج به سؤالاتی که کاربران می‌پرسند به وجود آمده‌اند. برای اینکه محتوای شما در نتایج جستجو نمایش داده شود، ابتدا باید برای موتورهای جستجو قابل مشاهده باشد. مسلماً این مهم‌ترین قطعه از پازل بزرگ بهینه سازی سایت (SEO) است. اگر سایت شما در موتور جستجو پیدا نشود، هیچ راهی وجود ندارد که در SERP (صفحات نتایج موتور جستجو) ظاهر شود.

نحوه عملکرد موتورهای جستجو

موتورهای جستجو سه عملکرد اصلی دارند:

1. خزیدن: اینترنت را برای یافتن محتوا جستجو می‌کنند.
2. نمایه‌سازی: محتوای یافت‌شده در طول فرآیند خزیدن را ذخیره و سازماندهی می‌کنند. هنگامی ‌که یک صفحه در فهرست آنها قرار می‌گیرد، به حالت اجرا می‌رود تا در نتایج جستجوهای مربوطه نمایش داده شود.
3. رتبه‌بندی: محتوایی را که به بهترین وجه به درخواست کاربر پاسخ می‌دهد نمایش می‌دهند، به این معنی که نتایج بر اساس مرتبط‌ترین تا نامرتبط‌‌ترین مرتب‌سازی می‌شوند.

خزیدن موتور جستجو چیست؟

خزیدن فرآیند کشفی است که در آن موتورهای جستجو تیمی ‌از ربات‌ها (معروف به خزنده یا عنکبوت) را برای یافتن محتوای جدید و به روز به درون شبکه اینترنت می‌فرستند. دقت کنید محتوا می‌تواند انواع متفاوتی داشته باشد. مثلا می‌تواند یک صفحه وب، یک تصویر، یک ویدیو، یک PDF و غیره باشد. در هر صورت توسط لینک کشف می‌شود.

Googlebot با کاوش چند صفحه وب شروع به کار می‌کند. سپس لینک‌های موجود در آن صفحات وب را برای یافتن URL‌های جدید دنبال می‌کند. با ورود به محتوای هر لینک، خزنده می‌تواند محتوای جدیدی را بیابد و آن‌ را به فهرست خود اضافه کند تا بعداً زمانی که کاربر به دنبال اطلاعاتی است که در محتوای آن URL‌ است، صفحه مربوطه بازیابی شود. فهرست خزنده تحت عنوان Caffeine (پایگاه داده عظیمی ‌از URL‌های کشف شده) شناخته می‌شود.

ایندکس موتور جستجو چیست؟

در ادامه نحوه عملکرد موتورهای جستجو به این صورت است که اطلاعاتی را که در یک فهرست پیدا می‌کنند، پردازش کرده و ذخیره می‌نمایند. در نهایت پایگاه داده عظیمی ‌از تمام محتواهایی که کشف کرده‌اند به کاربران ارائه می‌شود.

رتبه بندی موتورهای جستجو

هنگامی ‌که شخصی جستجویی را در یک موتور جستجو انجام می‌دهد، آن موتور فهرست خود را برای پیدا کردن مرتبط‌ترین محتواها بررسی می‌کند. سپس آن محتواها را به امید اینکه پاسخ سؤال کاربر باشند سفارش می‌دهد. ترتیب نتایج جستجو بر اساس مرتبط‌ترین محتواها به عنوان رتبه‌بندی شناخته می‌شود. به طور کلی، شما می‌توانید فرض کنید که هر چه یک وب سایت رتبه بالاتری داشته باشد، موتور جستجو معتقد است که محتوای آن ارتباط بیشتری با پاسخ کاربر دارد.

این امکان وجود دارد که تمام سایت یا قسمتی از آن را از دید خزنده‌های موتورهای جستجو مسدود کنید، یا به موتورهای جستجو دستور دهید که صفحات خاصی را در فهرست خود ذخیره نکنند. اما اگر می‌خواهید محتوای شما توسط کاربران پیدا شود، ابتدا باید مطمئن شوید که برای خزنده‌ها قابل دسترسی و قابل فهرست‌سازی است. در غیر این صورت، به همان اندازه در نتایج دیده نمی‌شود.

خزیدن: آیا موتورهای جستجو می‌توانند صفحات شما را پیدا کنند؟

اطمینان از اینکه سایت شما خزیده شده و ایندکس می‌شود، پیش‌نیاز نمایش در SERP است. اگر از قبل یک وب سایت دارید، می‌توانید با دیدن تعداد صفحات وب سایت خود در فهرست موتور جستجو شروع کنید. این اطلاعات بینش خوبی در مورد اینکه آیا گوگل در حال خزیدن و یافتن تمام صفحات شما است یا نه ایجاد می‌کند.

یکی از راه‌های بررسی صفحات ایندکس‌شده، استفاده از عبارت “site:yourdomain.com” است که یک اپراتور جستجوی پیشرفته است. پس وارد گوگل شوید و عبارت “site:yourdomain.com” را در قسمت جستجو تایپ کنید. در ادامه گوگل صفحاتی را که برای سایت مشخص‌شده در فهرست خود دارد، نشان می‌دهد.

 البته تعداد نتایجی که گوگل نمایش می‌دهد دقیق نیست، اما به شما یک ایده کامل از اینکه کدام صفحات در سایت شما ایندکس شده‌اند و چگونه در حال حاضر در نتایج جستجو نشان داده می‌شوند، خواهد داد.

برای به دست آوردن نتایج دقیق‌تر، گزارش Index Coverage را در Google Search Console نظارت کرده و از آن استفاده کنید. اگر در حال حاضر به این ابزار دسترسی ندارید، می‌توانید یک حساب کنسول جستجوی گوگل رایگان ایجاد کنید. با استفاده از این ابزار، می‌توانید نقشه سایت خود را مشاهده کنید و ببینید که چه تعداد از صفحات شما به فهرست گوگل اضافه شده‌اند. حال اگر در هیچ کجای نتایج جستجو نمایش داده نمی‌شوید، ممکن است چند دلیل وجود داشته باشد:

• وب سایت شما به دلیل جدید بودن فعلا مورد خزش قرار نگرفته باشد.
• سایت شما در هیچ وب سایت دیگری لینک داده نشده است.
• ناوبری سایت شما خزیدن بر آن را برای ربات‌ها سخت می‌کند.
• سایت شما حاوی کدهای اساسی به نام دستورالعمل‌های خزنده است که موتورهای جستجو را مسدود می‌کند.
• سایت شما توسط گوگل به دلیل تاکتیک‌های اسپم جریمه شده است.

به موتورهای جستجو بگویید که چگونه سایت شما را بخزند

در ادامه نحوه عملکرد موتورهای جستجو به یکی از مهم‌ترین اقدامات توسط آن‌ها یعنی خزیدن اشاره داریم. اگر از گوگل سرچ کنسول یا اپراتور جستجوی پیشرفته یعنی “site:domain.com” استفاده کردید و متوجه شدید که برخی از صفحات مهم شما فهرست نشده‌اند و یا برخی از صفحات بی‌اهمیت شما به اشتباه ایندکس شده‌اند، بهینه‌سازی‌هایی وجود دارد که می‌توانید برای هدایت بهتر ربات Google به روشی که می‌خواهید بر محتوای سایت شما بخزد، پیاده‌سازی کنید. اگر به موتورهای جستجو بگویید که چگونه بر سایت شما بخزند، کنترل بهتری بر آنچه در نتایج آن‌ها ظاهر می‌شود خواهید داشت.

اکثر مردم به دنبال این هستند که آیا گوگل می‌تواند صفحات مهم آنها را بیابد، اما فراموش می‌کنند که احتمالاً صفحاتی وجود دارند که بهتر است Googlebot آنها را پیدا نکند. این صفحات ممکن است شامل مواردی مانند URL‌های قدیمی، URL‌های تکراری (مانند پارامترهای مرتب‌سازی و فیلترهای تجارت الکترونیک)، صفحات کد تبلیغاتی ویژه، صفحات مرحله‌بندی یا آزمایشی و غیره باشد. برای اینکه Googlebot را از صفحات و بخش‌های خاصی از سایت خود دور کنید، از robots.txt استفاده نمایید.

استفاده از ابزار Robots.txt

فایل‌های Robots.txt در ریشه دایرکتوری وب‌سایت‌ها (مثلاً yourdomain.com/robots.txt) قرار دارند و نشان می‌دهند که موتورهای جستجوی باید بر کدام بخش‌ها سایت شما بخزد و بر کدام بخش‌ها نخزد. همچنین سرعت خزیدن در سایت شما را از طریق دستورالعمل‌های خاصی مشخص می‌کنند.

نحوه برخورد Googlebot با فایل‌های robots.txt

• اگر Googlebot یک فایل robots.txt برای یک سایت پیدا نکند، به خزیدن در سایت ادامه می‌دهد.
• اگر Googlebot یک فایل robots.txt برای یک سایت پیدا کند، معمولاً از پیشنهادات موجود در فایل پیروی می‌کند سپس به خزیدن در سایت ادامه می‌دهد.
• اگر Googlebot هنگام تلاش برای دسترسی به فایل robots.txt با خطا مواجه شود و نتواند تشخیص دهد که آیا این فایل وجود دارد یا نه، کلا بر سایت نمی‌خزد.

همه ربات‌های وب از robots.txt پیروی نمی‌کنند. افراد خرابکار ربات‌هایی می‌سازند که از این پروتکل پیروی نمی‌کنند. در واقع، برخی از بازیگران بد از فایل‌های robots.txt برای پیدا کردن جایی که محتوای خصوصی خود را قرار داده‌اید استفاده می‌کنند. اگرچه ممکن است منطقی به نظر برسد که دسترسی خزنده‌ها به صفحات خصوصی مانند صفحات ورود و مدیریت خود را مسدود کنید تا در فهرست آنها نشان داده نشوند، اما قرار دادن مکان آن URL‌ها در یک فایل robots.txt که در دسترس عموم قرار دارد موجب می‌شود افراد دارای اهداف مخرب بتوانند آن‌ها را راحت‌تر پیدا کنند. بهتر است این صفحات را Noindex کنید و آنها را در پشت فرم ورود قرار دهید تا اینکه در فایل robots.txt خود جای دهید.

تعریف پارامترهای URL در GSC

برخی از سایت‌ها (معمولا سایت‌های فعال در حوزه تجارت الکترونیک) با افزودن پارامترهای خاصی به URL‌های خود، محتوای یکسانی را در چندین URL مختلف در دسترس کاربران قرار می‌دهند. اگر تا به حال به صورت آنلاین خرید کرده‌اید، احتمالاً با نمونه‌هایی از این مورد مواجه شده‌اید.

https://www.example.com/products/women/dresses/green.htm

https://www.example.com/products/women?category=dresses&color=green

https://example.com/shopindex.phpproduct_id=32&highlight=green+dress&cat_id=1&sessionid=123$affid=43

برای درک نحوه عملکرد موتورهای جستجو بهتر است این مورد را به صورت عینی مشاهده کنید. برای مشاهده این مورد بعد از ورود به یک سایت فعال در حوزه تجارت الکترونیک، جستجوی خود را از طریق اعمال فیلترها محدود کنید. برای مثال، می‌توانید «کفش» را در آمازون سرچ کنید و سپس جستجوی خود را بر اساس اندازه، رنگ و سبک اصلاح کنید. هر بار که اصلاح انجام می‌دهید، URL کمی ‌تغییر می‌کند.

خب اکنون این سوال مطرح می‌شود که گوگل از کجا می‌داند که کدام نسخه از URL را به کاربران نمایش دهد؟ با قرار دادن URL پارامترها در robots.txt در واقع از ربات‌های گوگل می‌خواهید این آدرس‌ها را در نظر نگیرد و ایندکس نکند. اما اگر می‌خواهید این صفحات ایندکس شوند، گزینه ایده‌آلی نیست.

نحوه عملکرد موتورهای جستجو برای پیدا کردن صفحات مهم سایت خود را تعیین کنید

اکنون که چند تاکتیک برای اطمینان از دوری خزنده‌های موتور جستجو از محتوای بی‌اهمیت می‌دانید، بیایید با بهینه‌سازی‌هایی آشنا شویم، زیرا که می‌تواند به Googlebot در یافتن صفحات مهم کمک کنند. در برخی مواقع ممکن است موتور جستجو تنها بخشی از وب سایت شما را بعد از خزش بیابد و بخش‌های دیگری از آن را هرگز پیدا نکند. شما باید مطمئن شوید که آیا نحوه عملکرد موتورهای جستجو به این صورت است که تمام محتوایی را که می‌خواهید ایندکس شود کشف کنند یا خیر. این سوال را از خود بپرسید که آیا ربات گوگل می‌تواند در کل وب سایت شما بخزد؟

آیا محتوای شما در پشت فرم‌های ورود پنهان شده است؟

اگر از کاربران بخواهید قبل از دسترسی به محتوای خاصی وارد سیستم شوند، فرم‌ها را پر کنند یا به نظرسنجی‌ها پاسخ دهند، موتورهای جستجو آن صفحات محافظت‌شده را نمی‌بینند. در این صورت خزنده نمی‌تواند بر سایت شما بخزد چون نمی‌تواند وارد سیستم شود.

آیا سایت شما به فرم‌های جستجو متکی است؟

ربات‌ها نمی‌توانند از فرم‌های جستجو استفاده کنند. برخی از افراد بر این باورند که اگر یک باکس سرچ در سایت خود قرار دهند، موتورهای جستجو می‌توانند هر چیزی را که بازدیدکنندگان آنها سرچ می‌کنند، پیدا کنند. اما این صحت ندارد.

آیا متن پشت محتوای غیرمتنی پنهان شده است؟

دقت کنید نباید از رسانه‌های غیرمتنی مانند تصاویر یا فیلم برای نمایش متنی که می‌خواهید در موتورهای جستجو به عنوان ایندکس شناخته شود استفاده کنید. در حالی که موتورهای جستجو همواره در تشخیص تصاویر در حال بهبود هستند اما هیچ تضمینی وجود ندارد که آنها بتوانند آن را بخوانند و درک کنند. پس همیشه بهتر است متنی را در نشانه‌گذاری <HTML> صفحه وب خود اضافه کنید.

نحوه عملکرد موتورهای جستجو از لحاظ دنبال کردن ناوبری سایت خود را تعیین کنید

همان طور که یک خزنده باید سایت شما را از طریق لینک‌های موجود در سایت‌های دیگر کشف کند، به لینک‌هایی در سایت شما نیز نیاز دارد تا از یک صفحه به صفحه دیگر در سایت شما هدایت شود. اگر صفحه‌ای دارید که می‌خواهید موتورهای جستجو آن را پیدا کنند، باید از صفحه دیگری در سایت خود به آن صفحه لینک دهید.

یکی از مهم‌ترین مسائل در نحوه عملکرد موتورهای جستجو ناوبری است. بسیاری از سایت‌ها این اشتباه مهم را مرتکب می‌شوند که ناوبری خود را به روشی غیرقابل دسترس برای موتورهای جستجو تنطیم می‌کنند و مانع از فهرست شدن آنها در نتایج جستجو می‌شوند. به همین دلیل ضروری است که وب سایت شما دارای ناوبری واضح و ساختار پوشه URL مفید باشد.

اشتباهات رایج ناوبری که باعث می شود خزنده ها نتوانند همه سایت شما را ببینند:

• داشتن یک ناوبری تلفن همراه که نتایج متفاوتی نسبت به نسخه دسکتاپ شما نشان می‌دهد.
• هر نوع ناوبری که آیتم‌های آن در HTML قرار داده نشده است؛ مانند ناوبری دارای کدهای جاوا اسکریپت. گوگل در خزیدن و درک جاوا اسکریپت بسیار بهتر شده است، اما هنوز عالی نیست. راه مطمئن‌تر برای اطمینان از یافتن، درک و نمایه شدن هر چیزی توسط گوگل، قرار دادن آن در HTML است.
• شخصی‌سازی یا نشان دادن پیمایشی منحصربه‌فرد به نوع خاصی از بازدیدکنندگان در مقابل دیگران، ممکن است مورد خزش قرار نگیرد.
• لینک ندادن به صفحه اصلی وب سایت از طریق ناوبری. به یاد داشته باشید، لینک‌ها مسیرهایی هستند که خزنده‌ها برای رسیدن به صفحات جدید دنبال می‌کنند!

آیا سایت شما، معماری اطلاعات تمیزی دارد؟

معماری اطلاعات عبارت است از سازماندهی و برچسب‌گذاری محتوا در یک وب سایت برای بهبود کارایی و قابلیت یافتن کاربران. بهترین معماری اطلاعات شهودی است، به این معنی که کاربران باید بتوانند در سایت شما به راحتی حرکت کرده و هر آنچه را که می‌خواهند پیدا کنند (رابط کاربری ساده و کارآمد).

آیا از نقشه سایت استفاده می‌کنید؟

مساله مهم بعدی در شناخت نحوه عملکرد موتورهای جستجو نقشه سایت است. نقشه سایت دقیقاً همان چیزی است که از روی نام آن تصور می‌شود. نقشه سایت لیستی از URL‌ها در سایت است که خزنده‌ها می‌توانند از آنها برای کشف و فهرست‌بندی محتوای شما استفاده کنند. یکی از ساده‌ترین راه‌ها برای اطمینان از یافتن صفحه‌های با اولویت بالا، ایجاد فایلی است که مطابق با استانداردهای Google باشد. شما باید این فایل را از طریق گوگل سرچ کنسول ارسال کنید. در حالی که ارسال نقشه سایت، جایگزین ناوبری خوب سایت نمی‌شود، مطمئناً می‌تواند به خزنده‌ها کمک کند تا مسیری را برای همه صفحات مهم شما دنبال کنند.

اگر هیچ سایت خارجی به سایت شما لینک نداده است، ممکن است بتوانید با ارسال نقشه سایت XML خود در سرچ کنسول، آن را ایندکس کنید. البته هیچ تضمینی وجود ندارد که گوگل URL ارسالی را در فهرست خود قرار دهد، اما ارزش امتحان کردن را دارد.

آیا خزنده ها هنگام تلاش برای دسترسی به URL های شما با خطا مواجه می شوند؟

در فرآیند خزیدن بر URL‌های سایت شما، خزنده ممکن است با خطاهایی مواجه شود. می‌توانید به گزارش «Crawl Errors» گوگل سرچ کنسول بروید (Setting-OpenReport-CrowlState) تا نشانی‌های اینترنتی را که ممکن است این اتفاق برای آن‌ها بی‌افتد را شناسایی کنید. این ابزار، گزارشی از خطاهای سرور و گزارشی از خطاهای “یافت نشد” را به شما نشان می‌دهد. فایل‌های گزارش سرور همچنین می‌توانند گنجینه‌ای از اطلاعات دیگر مانند فرکانس خزیدن را به شما نشان دهند، البته دسترسی به فایل‌های گزارش سرور و کالبدشکافی آن تاکتیک پیشرفته‌تری است که نیاز به آموزش دارد. برای اینکه بتوانید عکس‌العمل مناسبی به گزارش خطاهای خزیدن انجام دهید، باید بتوانید خطاهای سرور و خطاهای “یافت نشد” را درک کنید.

کدهای ۴xx

یکی دیگر از مواردی که در شناخت نحوه عملکرد موتورهای جستجو اهمیت دارد کدهای خطاست. یکی از این کدها، خطاهای ۴xx (مثلا خطای۴۰۴) است. زمانی این دسته از خطاها رخ می‌دهد که خزنده‌های موتور جستجو به دلیل خطاهای مشتری نمی‌توانند به محتوای شما دسترسی پیدا کنند. در واقع خطاهای ۴xx خطاهای مشتری هستند، به این معنی که URL در دسترس نیست. یکی از رایج‌ترین خطاهای ۴xx، خطای “۴۰۴ – یافت نشد” است. این نوع خطا ممکن است به دلیل اشتباه تایپی URL، صفحه حذف‌شده یا تغییر مسیر صفحه رخ دهند. هنگامی ‌که موتورهای جستجو به خطای ۴۰۴ برخورد می‌کنند، نمی‌توانند به URL دسترسی پیدا کنند. وقتی کاربران به خطای ۴۰۴ برخورد می‌کنند ناامید شده و از سایت خارج می‌شوند.

کدهای ۵xx

این دسته از خطاها زمانی رخ می‌دهند که خزنده‌های موتور جستجو به دلیل خطای سرور نمی‌توانند به محتوای شما دسترسی پیدا کنند. خطاهای ۵xx خطاهای سرور هستند، به این معنی که سروری که صفحه وب روی آن قرار دارد نمی‌تواند درخواست کاربر یا موتور جستجو برای دسترسی به صفحه را برآورده کند. در گزارش «خطای خزیدن» موتور جستجوی گوگل، یک برگه به این خطاها اختصاص داده شده است. این‌ها معمولاً به این دلیل اتفاق می‌افتند که زمان درخواست URL به پایان رسیده است، بنابراین Googlebot درخواست را رها کرده است.

تغییر مسیر ۳۰۱ برای انتقال آدرس صفحه

یکی دیگر از مواردی که برای شناخت نحوه عملکرد موتورهای جستجو باید بدانید نحوه جابه‌جا کردن یک صفحه وب است. خوشبختانه، راهی وجود دارد که هم به کاربران و هم به موتورهای جستجو اطلاع دهید که صفحه شما جابجا شده است. این راه تحت عنوان تغییر مسیر ۳۰۱ شناخته می‌شود.

 فرض کنید صفحه‌ای را از آدرس example.com/young-dogs/ به آدرس example.com/puppies/ منتقل می‌کنید. موتورهای جستجو و کاربران به یک پل برای عبور از URL قدیمی ‌به آدرس جدید نیاز دارند. این پل یک تغییر مسیر ۳۰۱ است.

	وقتی ۳۰۱ را پیاده‌سازی می‌کنید:	وقتی ۳۰۱ را پیاده‌سازی نمی‌کنید:
ارزش لینک	ارزش لینک را از ‌صفحه قدیمی به URL جدید منتقل می‌کند.	ارزش URL قبلی به نسخه جدید منتقل نمی‌شود.
ایندکسینگ	به Google کمک می‌کند نسخه جدید صفحه را پیدا و فهرست کند.	وجود خطاهای ۴۰۴ در سایت شما به تنهایی به فرایند جستجو لطمه نمی‌زند، اما رتبه‌بندی صفحات ۴۰۴ می‌تواند منجر به خارج شدن صفحات شما از فهرست موتور جستجو شود.
تجربه کاربری	اطمینان حاصل می‌کند که کاربران صفحه مورد نظر خود را پیدا می‌کنند.	اجازه دادن به بازدیدکنندگان خود برای کلیک کردن روی لینک‌های مرده، آنها را به جای صفحه مورد نظر به صفحات خطا می‌برد که می‌تواند خسته‌کننده باشد.

کد ۳۰۱ به این معنی است که صفحه به طور دائم به مکان جدیدی منتقل شده است، بنابراین از هدایت کردن URL‌ها به صفحات نامرتبط جلوگیری می‌کند. منظور صفحاتی است که محتوای صفحات قدیمی در آنها وجود ندارد. اگر صفحه‌ای برای یک جستجو رتبه‌بندی شود و شما آن را به یک صفحه با محتوای متفاوت انتقال دهید، ممکن است رتبه‌بندی آن افت کند، زیرا محتوایی که آن را به یک جستجوی خاص مرتبط کرده است دیگر وجود ندارد.

گزینه دیگری برای انتقال صفحات وب با عنوان تغییر مسیر ۳۰۲ وجود دارد، اما باید برای جابجایی‌های موقت و در مواردی که انتقال ارزش لینک آنچنان نگران‌کننده نیست، استفاده می‌شود. ۳۰۲‌ها به نوعی مانند یک جاده انحرافی هستند. با این کد می‌توانید ترافیک را به طور موقت از طریق یک مسیر خاص کنترل کنید، اما این مورد همیشگی نخواهد بود.

ایندکسینگ: موتورهای جستجو چگونه صفحات شما را تفسیر و ذخیره می کنند؟

اکنون این سوال مطرح می‌شود که موتورهای جستجو چگونه صفحات شما را تفسیر و ذخیره می‌کنند؟ هنگامی‌ که مطمئن شدید که سایت شما خزیده شده است، کار بعدی این است که مطمئن شوید که موتور جستجو می‌تواند آن را ایندکس کند. فقط به این دلیل که سایت شما توسط یک موتور جستجو قابل کشف و خزیدن است، لزوماً به این معنی نیست که در فهرست آن ذخیره می‌شود. در بخش قبلی در مورد خزیدن، در مورد چگونگی کشف صفحات وب توسط موتورهای جستجو بحث کردیم. اکنون در مورد ایندکسینگ صحبت می‌کنیم.

ایندکس جایی است که صفحات کشف‌شده شما ذخیره می‌شوند. پس از اینکه خزنده یک صفحه را پیدا کرد، موتور جستجو آن را درست مانند یک مرورگر ارائه می‌کند. در فرآیند انجام این کار، موتور جستجو محتویات آن صفحه را تجزیه و تحلیل می‌کند. تمام این اطلاعات در فهرست موتور جستجو ذخیره می‌شود. برای آشنایی با نحوه عملکرد ایندکسینگ و اینکه چگونه می‌توانید مطمئن شوید سایت شما به این پایگاه داده بسیار مهم اضافه می‌شود یا نه، در ادامه این مطلب با ما همراه باشد.

آیا می توانم ببینم یک خزنده Googlebot چگونه صفحات من را می بیند؟

نحوه عملکرد موتورهای جستجو به این صورت است که نسخه ذخیره‌شده صفحه شما تصویری از آخرین باری که Googlebot بر آن خزیده است را منعکس می‌کند. گوگل بر صفحات وب در فرکانس‌های مختلف می‌خزند و آنها را در حافظه کش خود ذخیره می‌کند. در این میان سایت‌های شناخته‌شده‌تر، بیشتر از دیگر وب‌سایت‌ها جستجو می‌شوند.

می‌توانید با کلیک کردن روی ۳ نقطه کنار URL در صفحه جستجو و انتخاب «Cached» مشاهده کنید که نسخه ذخیره‌شده یک صفحه چگونه است. همچنین می‌توانید نسخه متنی سایت خود را مشاهده کنید تا ببینید که آیا محتوای مهم شما به طور موثر خزیده شده و ذخیره می‌شود.

آیا تا به حال صفحات از فهرست حذف شده اند؟

بله، امکان حذف صفحه از فهرست گوگل وجود دارد. برخی از دلایل اصلی حذف URL عبارتند از:

• اگر URL مربوط به خطای “یافت نشد” (۴xx) یا خطای سرور (۵xx) باشد. این اتفاق ممکن است تصادفی باشد (مثلا صفحه به یک آدرس جدید منتقل شده و تغییر مسیر ۳۰۱ تنظیم نشده است). از طرفی ممکن است عمدی باشد (مثلا صفحه حذف شده و خطای ۴۰۴ می‌دهد).
• URL دارای یک تگ متای noindex اضافه‌شده است. این تگ می‌تواند توسط صاحبان سایت اضافه شده باشد تا به موتور جستجو دستور دهد صفحه را از فهرست خود حذف کند.
• URL به دلیل نقض دستورالعمل‌های وبمستر موتور جستجو جریمه شده و باید از فهرست حذف شود.
• URL با اضافه کردن رمز عبور قبل از دسترسی بازدیدکنندگان به صفحه، از لحاظ خزیدن مسدود شده است.

نحوه عملکرد موتورهای جستجو به این صورت است که اگر صفحه‌ای از وب‌سایت شما قبلاً در فهرست Google بوده اما دیگر نشان داده نمی‌شود، می‌توانید از ابزار بازرسی URL برای اطلاع از وضعیت صفحه استفاده کنید. یا از Fetch as Google که دارای ویژگی «درخواست ایندکس» است استفاده نمایید. شما می‌توانید URL‌ها را به فهرست ارسال کنید. (ابزار واکشیGSC همچنین دارای گزینه “رندر” است که به شما امکان را می‌دهد ببینید آیا در نحوه تفسیر صفحه شما توسط گوگل مشکلی وجود دارد یا خیر).

نحوه عملکرد موتورهای جستجو برای ایندکس سایت خود را مشخص کنید

دستورالعمل های متا روبات ها (Robots meta directives)

متا تگ‌ها دستورالعمل‌هایی هستند که می‌توانید از طریق آنها نحوه برخورد موتورهای جستجو با صفحات وب خود را مشخص کنید.می‌توانید به خزنده‌های موتور جستجو مواردی مانند «این صفحه را در نتایج جستجو فهرست نکنید» بگویید.

متا تگ روبات ها

این دستورالعمل‌ها از طریق Robots Meta Tags در تگ head صفحات HTML شما (که بیشتر استفاده می‌شود) یا از طریق X-Robots-Tag در هدر HTTP اجرا می‌شوند.با استفاده از متا تگ می‌توان صفحه مورد نظر را از دید همه یا برخی از موتورهای جستجو حذف کرد. در زیر رایج‌ترین دستورات متا به همراه شرایطی که ممکن است آنها را اعمال کنید، آمده است.

index/noindex به موتورهای جستجو می‌گوید که آیا صفحه باید خزیده شود و برای بازیابی در فهرست موتورهای جستجو نگهداری شود یا خیر. اگر از «noindex» استفاده کنید، به خزنده‌ها اطلاع می‌دهید که می‌خواهید صفحه از نتایج جستجو حذف شود. به طور پیش‌فرض، موتورهای جستجو فرض می‌کنند که می‌توانند همه صفحات را فهرست‌بندی کنند، بنابراین استفاده از مقدار «index» غیرضروری است. اگر بخواهید برخی از صفحات وب سایت خود را از فهرست گوگل حذف کنید در حالی که همچنان برای بازدیدکنندگان قابل دسترسی باشد می‌توانید آن را به‌عنوان «noindex» علامت‌گذاری کنید. نحوه عملکرد موتورهای جستجو این اجازه را به شما می‌دهد.

follow/nofollow به موتورهای جستجو می‌گوید که آیا لینک‌های موجود در صفحه باید دنبال شوند یا دنبال نشوند. نتیجه «follow» باعث می‌شود ربات‌ها لینک‌های موجود در صفحه شما را دنبال کنند و ارزش لینک را به آن URLها ارسال نمایند. حال اگر «nofollow» را انتخاب کنید، موتورهای جستجو هیچ لینکی را دنبال نمی‌کنند یا از طریق آن ارزش لینک‌های موجود در صفحه را ارسال نمی‌کنند. به‌طور پیش‌فرض، فرض می‌شود که همه صفحات دارای ویژگی «follow» هستند. پس اگر بخواهید از دنبال کردن لینک‌های موجود در یک صفحه توسط خزنده جلوگیری کنید، باید از «nofollow» استفاده نمایید.

noarchive برای محدود کردن موتورهای جستجو از لحاظ ذخیره یک نسخه کش‌شده از صفحه استفاده می‌شود. به‌طور پیش‌فرض، موتورها کپی‌های قابل مشاهده از تمام صفحاتی را که فهرست‌بندی کرده‌اند، در حافظه کش خود ذخیره می‌کنند، که برای کاربران از طریق لینک ذخیره‌شده در نتایج جستجو قابل دسترسی است. حال اگر یک سایت تجارت الکترونیکی دارید و قیمت‌های شما به طور منظم تغییر می‌کند، ممکن است برچسب noarchive را برای جلوگیری از مشاهده قیمت‌های قدیمی ‌توسط کاربران در نظر بگیرید.

در زیر یک نمونه از متا ربات noindex و nofollow آورده شده است:

<meta name=”robots” content=”noindex, nofollow” />

این مثال تمام موتورهای جستجو را از فهرست کردن صفحه و دنبال کردن لینک‌های داخل صفحه محروم می‌کند. لازم به ذکر است اگر می‌خواهید خزنده‌های متعدد، مانند googlebot و bing را حذف کنید، اشکالی ندارد که از چندین برچسب حذف ربات استفاده نمایید.

X-Robots-Tag

مورد مهم دیگری که برای شناخت نحوه عملکرد موتورهای جستجو باید مورد توجه قرار دهید تگ x-robots است.. این تگ در هدرHTTP  آدرس اینترنتی شما استفاده می‌شود و انعطاف‌پذیری و عملکرد بیشتری نسبت به متا تگ‌ها دارد. پس اگر می‌خواهید موتورهای جستجو را مسدود کنید، فایل‌هایی غیر از HTML را مسدود کنید و برچسب‌های noindex در سراسر سایت را اعمال نمایید و همچنین می‌توانید از تگ x-robots بهره ببرید.

درک روش‌های مختلفی که می‌تواند بر خزیدن و نمایه‌سازی تأثیر بگذارد، به شما کمک می‌کند از بروز مشکلات رایجی که می‌توانند از یافتن صفحات مهم شما جلوگیری کنند، اجتناب کنید.

رتبه بندی: موتورهای جستجو چگونه URL ها را رتبه بندی می کنند؟

اکنون این سوال مطرح می‌شود که موتورهای جستجو چگونه اطمینان حاصل می‌کنند که وقتی شخصی یک درخواست را در نوار سرچ تایپ می‌کند، در ازای آن نتایج مرتبط را دریافت می‌کند؟ این فرآیند به عنوان رتبه‌بندی یا مرتب‌سازی نتایج جستجو بر اساس مرتبط‌ترین تا کم‌ارتباط‌ترین نتیجه شناخته می‌شود.

برای تعیین ارتباط، موتورهای جستجو از الگوریتم‌ها، فرآیند یا فرمولی استفاده می‌کنند که توسط آن اطلاعات ذخیره‌شده به روش‌های معنی‌داری بازیابی و مرتب می‌شوند. این الگوریتم‌ها در طول سالیان متمادی تغییرات زیادی را به منظور بهبود کیفیت نتایج جستجو تجربه کرده‌اند.

به عنوان مثال، گوگل هر روز تنظیمات الگوریتم را انجام می‌دهد. برخی از این به روزرسانی‌ها جزئی هستند، در حالی که برخی دیگر به روزرسانی‌های اصلی و گسترده به شمار می‌روند که برای مقابله با یک مشکل خاص مانند مقابله با هرزنامه‌ها استفاده می‌شوند.

در این قسمت یک سوال در مورد نحوه عملکرد موتورهای جستجو مطرح می‌شود. اینکه چرا الگوریتم موتورهای جستجو اغلب تغییر می‌کند؟ آیا گوگل فقط سعی می‌کند ما را سرپا نگه دارد؟ در حالی که گوگل معمولا جزئیات کاری که انجام می‌دهد را فاش نمی‌کند، ما می‌دانیم که هدف گوگل از انجام تنظیمات الگوریتم بهبود کیفیت جستجو است. به همین دلیل است که در پاسخ به سؤالات به‌روزرسانی الگوریتم، Google در این زمینه پاسخ می‌دهد: «ما همیشه به‌روزرسانی‌های با کیفیت انجام می‌دهیم». این نشان می‌دهد که اگر سایت شما پس از تنظیم الگوریتم دچار مشکل شد، آن را با دستورالعمل‌های کیفیت Google یا دستورالعمل‌های ارزیابی کیفیت جستجو مطابقت دهید.

موتورهای جستجو به دنبال چه هستند؟

موتورهای جستجو همواره خواهان یک چیز هستند؛ ارائه پاسخ‌های مفید به سؤالات کاربر در مفیدترین قالب‌ها. اگر این طور است، پس چرا به نظر می‌رسد که امروزه سئو با سال‌های گذشته متفاوت است؟ به این فکر کنید که کسی یک زبان جدید یاد می‌گیرد.

در ابتدا، درک گوگل از زبان بسیار ابتدایی است. با گذشت زمان، درک آن شروع به عمیق‌تر شدن می‌کند و معناشناسی را یاد می‌گیرند.  منظور معنای پشت زبان و رابطه بین کلمات و عبارات است. در نهایت، با تمرین کافی، آنقدر زبان را خوب می‌آموزد که حتی تفاوت‌های ظریف بین برخی عبارات را درک می‌کند و می‌تواند حتی به سؤالات مبهم یا ناقص پاسخ دهد.

هنگامی‌ که موتورهای جستجو تازه شروع به یادگیری زبان ما کرده بودند، به بازی گرفتن آنها با استفاده از ترفندها و تاکتیک‌هایی که در واقع خلاف دستورالعمل‌های کیفیت هستند، بسیار آسان‌تر بود. برای مثال پر کردن محتوا با کلمات کلیدی را در نظر بگیرید. فرض کنید قصد دارید برای یک کلمه کلیدی خاص مانند «خنده‌دارترین لطیفه‌ها» از لحاظ موتورهای جستجو رتبه بالایی به دست آورید. در این صورت می‌توانید این کلمه را به تعداد زیاد در محتوای خود بگنجانید. و امیدوار باشید که رتبه خود را برای این عبارت در گوگل افزایش می‌دهید. چون چنین تصور می‌کنید که نحوه عملکرد موتورهای جستجو به این صورت است که به تعداد تکرار کلمه کلیدی امتیاز می‌دهد. مثلا ممکن است در محتوای خود از متن زیر استفاده کنید.

به جوک‌های خنده‌دار خوش آمدید! خنده‌دارترین جوک‌های دنیا را می‌گوییم. جوک‌های خنده‌دار سرگرم‌کننده و دیوانه‌کننده هستند. بنشینید و جوک‌های خنده‌دار ما را بخوانید. زیرا جوک‌های خنده‌دار می‌توانند شما را شادتر و خندان‌تر کنند.

این تاکتیک تجربیات بسیار ناخوشایندی برای کاربران ایجاد کرده و موجب می‌شود به جای خندیدن محبور به مطالعه متن‌های یک محتوای کسل‌کننده شوند. هر چند ممکن است در گذشته کار کرده باشد، اما این چیزی نیست که موتورهای جستجو می‌خواستند.

 نقش لینک‌ها در سئو

وقتی در مورد لینک‌ها صحبت می‌کنیم، می‌توانیم به دو چیز اشاره کنیم. بک لینک‌ها یا “لینک‌های ورودی” لینک‌هایی از سایر وب سایت‌ها هستند که به وب سایت شما اشاره می‌کنند، در حالی که لینک‌های داخلی لینک‌هایی در سایت شما هستند که به صفحات دیگر شما (در همان سایت) اشاره می‌کنند.

لینک‌ها در طول تاریخ نقش زیادی در سئو داشته‌اند. در اوایل، موتورهای جستجو به کمک نیاز داشتند تا بفهمند کدام URLها نسبت به دیگر آدرس‌ها قابل اعتمادتر هستند و به آنها در تعیین رتبه‌بندی نتایج جستجو کمک می‌کنند. موتورهای جستجو با محاسبه تعداد لینک به هر وب سایت می‌توانند رتبه آن را تعیین کنند.

نحوه عملکرد موتورهای جستجو به این صورت است که به بک لینک‌ها مشابه واقعی نگاه می‌کنند. بیایید یک کافی شاپ فرضی با نام Jenny’s Coffee را در نظر بگیریم. یک تعریف از طرف دیگران، نشانه خوبی از اقتدار این کافی‌شاپ است. مثلا بسیاری از افراد مختلف به شما گفته‌اند که Jenny’s Coffee بهترین کافی شاپ در شهر است. خب قطعا شما گفته آنها را می‌پذیرید. در مقابل تعریف از خود از جانب خود کافی شاپ هیچ نشانه خوبی از اقتدار نیست. مثلا اگر مدیر کافی شاپ ادعا کند که Jenny’s Coffee بهترین گزینه در شهر است. شما توجه زیادی به گفته وی ندارید.

در این میان بک لینک از منابع نامربوط یا با کیفیت پایین نیز نشانه خوبی از اعتبار نیست و حتی می‌تواند شما را به عنوان هرزنامه برچسب‌گذاری کند. مثلا فرض کنید کافی شاپ جنی به افرادی که هرگز از کافی شاپ او بازدید نکرده‌اند پولی پرداخت کرده تا به دیگران بگویند که این مکان چقدر خوب است.

مورد آخر عدم بک لینک است که برابر با مرجع نامشخص است. مثلا Jenny’s Coffee ممکن است واقعا خوب باشد، اما از آنجا که کسی به آن ارجاع نمی‌دهد مشتریان جدید نمی‌توانند در مورد خوب بودنش مطمئن باشند.

به همین دلیل چیزی به نام PageRank یا رتبه صفحه ایجاد شد. PageRank  یک الگوریتم برای تجزیه و تحلیل لینک است. PageRank اهمیت یک صفحه وب را با اندازه‌گیری کیفیت و کمیت لینک‌هایی که به آن اشاره می‌کنند تخمین می‌زند. به صورت پیشفرض چنین تصور می‌شود که هر چه یک صفحه وب مرتبط‌تر باشد، تعداد لینک‌های بیشتری به آن داده می‌شود. هرچه بک لینک‌های طبیعی بیشتری از وب سایت‌های معتبر داشته باشید، شانس شما برای رسیدن به رتبه بالاتر در نتایج جستجو بیشتر است.

نقش محتوا در سئو

نحوه عملکرد موتورهای جستجو به این صورت است که اگر لینک‌ها کاربران را به چیزی هدایت نکنند، هیچ فایده‌ای ندارند. محتوا چیزی بیش از کلمات است. در واقع هر چیزی است که قرار است توسط کاربران دریافت شود. محتوا ممکن است ویدیویی، تصویری و البته متن باشد. اگر موتورهای جستجو، ماشین‌های پاسخ‌گو هستند، محتوا همان چیزی است که موتورها آن را به عنوان پاسخ‌ ارائه می‌کنند.

هر زمان که کاربر جستجویی انجام می‌دهد، هزاران نتیجه ممکن وجود داشته باشد، بنابراین موتورهای جستجو چگونه تصمیم می‌گیرند که کاربر کدام صفحات را مد نظر دارد؟ بخش بزرگی از تعیین رتبه صفحه شما برای یک جستجوی داده شده این است که چقدر محتوای صفحه شما با هدف جستجو مطابقت دارد. به عبارت دیگر، آیا این صفحه با کلمات جستجو شده مطابقت دارد و به رفع نیاز کاربر کمک می‌کند؟

به دلیل تمرکز بر رضایت کاربر و انجام وظایف، هیچ معیار دقیقی در مورد اینکه محتوای شما چقدر باید باشد، چند بار باید حاوی یک کلمه کلیدی باشد یا چه چیزی در تگ‌های هدر خود باید داشته باشید وجود ندارد. همه اینها می‌توانند در عملکرد یک صفحه در جستجو نقش داشته باشند، اما تمرکز باید روی کاربرانی باشد که محتوا را می‌خوانند.

امروزه، با صدها یا حتی هزاران سیگنال رتبه‌بندی جدیدی که به وجود آمده، سه مورد برتر نسبتاً ثابت مانده‌اند: لینک‌ها به وب‌سایت شما (که به عنوان سیگنال‌های اعتبار شخص ثالث عمل می‌کنند)، محتوای روی صفحه (محتوای باکیفیتی که هدف کاربر را برآورده می‌کند) و RankBrain.

الگوریتم RankBrain – رتبه بندی با هوش مصنوعی

RankBrain یک جزء از الگوریتم یادگیری ماشین گوگل است که مورد مهمی در شناخت نحوه عملکرد موتورهای جستجو به شمار می‌رود. الگوریتم یادگیری ماشین گوگل یک برنامه کامپیوتری است که به بهبود پیش‌بینی‌های خود در طول زمان از طریق مشاهدات جدید و داده‌های آموزشی ادامه می‌دهد. به عبارت دیگر، همیشه در حال تغییر است. پس نتایج جستجو باید دائما در حال بهبود باشد.

به عنوان مثال، اگر RankBrain متوجه یک URL با رتبه پایین‌‌تر شود که نسبت به URL‌های با رتبه بالاتر نتیجه بهتری را به کاربران ارائه می‌دهد، RankBrain نتیجه مرتبط‌تر را بالاتر می‌برد و رتبه صفحات کم‌مرتبط‌تر را به عنوان محصول جانبی کاهش می‌دهد. مانند بسیاری از دیگر موارد در موتور جستجو، ما دقیقاً نمی‌دانیم RankBrain شامل چیست، البته حتی افرادی که در Google کار می‌کنند نیز نمی‌دانند.

از آنجایی که Google به استفاده از RankBrain برای نمایش مرتبط‌ترین و مفیدترین محتوا ادامه خواهد داد، ما باید بیش از هر زمان دیگری بر تحقق هدف کاربر تمرکز کنیم. پس اگر بهترین اطلاعات و تجربه ممکن را به کاربران ارائه دهید، اولین قدم برای عملکرد خوب در دنیای RankBrain را برداشته‌اید.

معیارهای تعامل کدام است؟ همبستگی، علیت یا هر دو؟!

بخشی از معیارهای تعامل به احتمال زیاد مربوط به همبستگی و بخشی مربوط به علت و معلول هستند. منظور از معیارهای تعامل، داده‌هایی است که نحوه تعامل کاربران با وب سایت شما را نشان می‌دهد. این داده‌ها ممکن است شامل تعداد دفعات بازدید از سایت شما باشد. مهم‌ترین معیارهای تعامل در زیر لیست شده است:

• تعداد کلیک‌ها (بازدید از نتایج جستجو)
• زمان ماندن در صفحه (میزان زمانی که بازدیدکننده قبل از ترک آن صفحه در آن صرف می‌کند)
• نرخ پرش (تعداد دفعاتی که کاربران فقط یک صفحه از سایت را مشاهده کرده‌اند)
• Pogo-sticking (کلیک کردن روی یک نتیجه ارگانیک و سپس بازگشت سریع به SERP برای انتخاب یک نتیجه دیگر)

بسیاری از آزمایش‌ها، از جمله بررسی عوامل رتبه‌بندی، نشان داده‌اند که معیارهای تعامل با رتبه‌بندی بالاتر همبستگی دارند، اما علیت نیز به شدت مورد بحث قرار دارد. آیا معیارهای تعامل خوب فقط نشان‌دهنده سایت‌های دارای رتبه بالا هستند؟ یا سایت‌ها به دلیل داشتن معیارهای تعامل خوب رتبه بالایی دارند؟ در اینجاست که نحوه عملکرد موتورهای جستجو توسط مدیر سابق کیفیت جستجوی گوگل، اودی منبر مشخص می‌شود:

“خود رتبه‌بندی تحت تأثیر داده‌های کلیک قرار می‌گیرد. اگر متوجه شویم که برای یک پرس و جو خاص، ۸۰٪ از مردم روی نتیجه دوم و تنها ۱۰٪ روی نتیجه اول کلیک می‌کنند، پس از مدتی متوجه می‌شویم که احتمالا نتیجه دوم همان چیزی است که مردم می‌خواهند، بنابراین رتبه این دو را تغییر می‌دهیم.”

نظر دیگری از مهندس سابق گوگل ادموند لاو این را تایید می‌کند:

“کاملاً واضح است که هر موتور جستجوی معقولی از موارد کلیک شده روی نتایج خود برای بازخورد استفاده کرده تا از این نتایج برای ارتقا کیفیت نتایج بهره ببرد و برای بهبود کیفیت نتایج جستجو استفاده می‌کند. مکانیزم واقعی نحوه استفاده از داده‌های کلیکی، اغلب اختصاصی است، اما گوگل آشکار می‌سازد که از داده‌های کلیک در سیستم‌هایی مانند آیتم‌های محتوای تنظیم‌شده با رتبه استفاده می‌کند.”

از آنجایی که گوگل نیاز به حفظ و بهبود کیفیت جستجو دارد، به نظر می‌رسد که معیارهای تعامل، بیشتر همبستگی باشند، اما به نظر می‌رسد که گوگل نمی‌تواند معیارهای تعامل را «سیگنال رتبه‌بندی» بنامد. زیرا این معیارها برای بهبود کیفیت جستجو استفاده می‌شوند. رتبه URL‌های فردی فقط یک محصول جانبی از آن است.

انجام آزمایشات مختلف توسط گوگل برای تغییر رتبه نتایج جستجو

آزمایش‌های مختلفی تأیید کرده‌اند که Google ترتیب SERP را در پاسخ به تعامل کاربران تنظیم می‌کند. آزمایش رند فیشکین در سال ۲۰۱۴ منجر به این شد که پس از اینکه حدود ۲۰۰ نفر روی یک URL از SERP کلیک کردند، به رتبه ۱ رسید. جالب اینجاست که به نظر می‌رسد بهبود رتبه‌بندی با توجه به مکان افرادی که از صفحه بازدید کرده‌اند انجام شد. این رتبه در ایالات متحده، جایی که بسیاری از شرکت کنندگان در آن قرار داشتند، افزایش یافت، در حالی که در گوگل کانادا، گوگل استرالیا و غیره در قسمت پایین‌تر باقی ماند.

لری کیم صفحات برتر و میانگین زمان ماندگاری بر آنها قبل و بعد از RankBrain را با هم مقایسه می‌کند. مقایسات او نشان می‌دهد که RankBrain رتبه صفحاتی را که مردم زمان زیادی را صرف آنها نمی‌کنند، کاهش می‌دهد. آزمایش دارن شاو نیز تأثیر رفتار کاربر بر نتایج جستجوی محلی را نشان داده و نحوه عملکرد موتورهای جستجو را تا حدی تشریح می‌کند.

از آنجایی که معیارهای تعامل کاربر برای تنظیم SERP‌ها از نظر کیفیت و تغییرات رتبه‌بندی به عنوان یک محصول جانبی استفاده می‌شود، می‌توان گفت که SEO‌ صفحات باید برای تعامل بیشتر با کاربر بهینه شوند. تعامل کیفیت هدف صفحه وب شما را تغییر نمی‌دهد، بلکه ارزش شما را برای کاربران نسبت به نتایج دیگر برای آن جستجو تغییر خواهد داد. به همین دلیل است که پس از هیچ تغییری در صفحه شما یا بک‌لینک‌های آن، اگر رفتار کاربران نشان دهد که صفحات دیگر را بیشتر دوست دارند، ممکن است رتبه شما کاهش یابد.

از نظر رتبه‌بندی صفحات وب، معیارهای تعامل مانند یک حقیقت‌سنجی عمل می‌کنند. عوامل عینی مانند لینک‌ها و محتوا ابتدا صفحه را رتبه‌بندی می‌کنند، سپس معیارهای تعامل به Google کمک می‌کنند در صورتی که آن را به درستی انجام نداده، تغییرات لازم را اعمال کند.

نحوه عملکرد موتورهای جستجو: تکامل نتایج جستجو

زمانی که موتورهای جستجو فاقد پیچیدگی‌های امروزی بودند، اصطلاح «۱۰ لینک آبی» برای توصیف ساختار مسطح SERP ابداع شد. هر زمان که جستجو انجام می‌شد، گوگل صفحه‌ای را با ۱۰ نتیجه ارگانیک، هر کدام در قالب یکسان، نمایش می‌داد.

در این چشم‌انداز جستجو، نگه داشتن جایگاه شماره ۱ جام مقدس سئو بود. اما بعد اتفاقاتی افتاد. گوگل شروع به اضافه کردن نتایج در قالب‌های جدید در صفحات نتایج جستجوی خود کرد که ویژگی‌های SERP نامیده می‌شوند. برخی از این ویژگی‌های SERP عبارتند از:

• تبلیغات پولی
• قطعه‌های ویژه
• بسته محلی (نقشه).
• پنل دانش
• لینک‌های سایت

گوگل همیشه موارد جدید را اضافه می‌کند. آنها حتی با “SERPs با نتیجه صفر” آزمایش کردند، پدیده‌ای که در آن تنها یک نتیجه از نمودار دانش در SERP نمایش داده شد و هیچ نتیجه‌ای در زیر آن به جز گزینه‌ای برای “مشاهده نتایج بیشتر” مشاهده نشد. بدین ترتیب می‌توان نحوه عملکرد موتورهای جستجو را درک کرد.

اضافه شدن این ویژگی‌ها به دو دلیل باعث ایجاد وحشت اولیه شد. به عنوان مثال، بسیاری از این ویژگی‌ها باعث شدند که نتایج ارگانیک بیشتر در SERP کاهش یابد. علاوه بر این کاربران کمتری روی نتایج ارگانیک کلیک می‌کنند. زیرا به درخواست‌های بیشتری در خود SERP پاسخ داده می‌شود.

پس چرا گوگل این کار را می‌کند؟ همه چیز به تجربه جستجو برمی‌گردد. رفتار کاربر نشان می‌دهد که برخی از پرس و جوها با فرمت‌های مختلف محتوا بهتر ارضا می‌شوند. توجه داشته باشید که چگونه انواع مختلف ویژگی‌های SERP با انواع مختلف اهداف جستجوها مطابقت دارند.

هدف پرس و جو	ویژگی احتمالی SERP فعال شد
اطلاعاتی	قطعه ویژه
اطلاعاتی با یک پاسخ	نمودار دانش / پاسخ فوری
محلی	بسته نقشه
معامله‌ای	مرکر خرید

مهم است که بدانید پاسخ‌ها را می‌توان در قالب‌های مختلفی (متن، عکس، ویدئو، پادکست، نمودار و…) به کاربران تحویل داد و اینکه ساختاردهی محتوای شما می‌تواند بر قالب آن در جستجو تأثیر بگذارد.

نحوه عملکرد موتورهای جستجو: جستجوی محلی

موتور جستجویی مانند گوگل می‌تواند نتایج جستجوی محلی ایجاد کند. اگر کار سئوی محلی را برای کسب ‌وکاری انجام می‌دهید که دارای موقعیت فیزیکی است که مشتریان می‌توانند از آن بازدید کنند (مثلاً یک دندانپزشکی) یا برای کسب ‌وکاری که برای در معرض دید قرار گرفتن (مثلاً لوله‌کش) راه‌اندازی شده است، می‌توانید از فهرست رایگان Google برای کسب و کار خود استفاده کنید. وقتی صحبت از نتایج جستجوی محلی می‌شود، گوگل از سه عامل اصلی شامل ارتباط و فاصله و برجستگی برای تعیین رتبه استفاده می‌کند.

ارتباط به این معنی است که چگونه یک کسب و کار محلی با آنچه کاربر به دنبال آن است مطابقت دارد. برای اطمینان از اینکه کسب و کار تمام تلاش خود را برای مرتبط بودن با کاربران انجام ‌دهد، مطمئن شوید که اطلاعات کسب و کار به طور کامل و دقیق پر شده است. بدین ترتیب نحوه عملکرد موتورهای جستجو قابل درک می‌شود.

Google از موقعیت جغرافیایی شما برای ارائه بهتر نتایج محلی به شما استفاده می‌کند. نتایج جستجوی محلی نسبت به فاصله بسیار حساس هستند. این فاصله با توجه به مکان کاربر ویا مکان مشخص‌شده در سرچ کاربر اشاره دارد.

منظور از برجستگی نیز این است که گوگل به دنبال پاداش دادن به مشاغلی است که در دنیای واقعی شناخته شده هستند. علاوه بر برجستگی آفلاین یک کسب و کار، Google همچنین به برخی عوامل آنلاین برای تعیین رتبه محلی نگاه می‌کند. برخی از این عوامل در زیر آمده است:

بررسی‌ها: تعداد نظرات Google که یک کسب‌وکار محلی دریافت می‌کند و احساسات موجود در آن نظرات، تأثیر قابل‌توجهی بر توانایی گوگل برای رتبه‌بندی در نتایج محلی دارد.

استناد: «استناد تجاری» یا «فهرست کسب‌وکار» یک مرجع مبتنی بر وب شامل نام، آدرس، شماره تلفن و… در یک پلت‌فرم محلی است. رتبه‌بندی‌های محلی تحت تأثیر تعداد و ثبات استنادهای کسب‌وکار محلی است. گوگل داده‌ها را از منابع بسیار متنوعی برای ایجاد فهرست کسب و کار محلی خود استخراج می‌کند. وقتی Google چندین ارجاع ثابت به نام، مکان و شماره تلفن یک کسب و کار پیدا می‌کند، برای آن داده‌ها اعتبار بیشتری قائل می‌شود. این امر موجب می‌شود که گوگل بتواند کسب و کار را با درجه اعتماد بالاتری نشان دهد. گوگل همچنین از اطلاعات منابع دیگر در وب مانند لینک‌ها و مقالات استفاده می‌کند.

رتبه‌بندی ارگانیک: بهترین روش‌های سئو بر سئوی محلی نیز اعمال می‌شود، زیرا گوگل موقعیت وب‌ سایت را در نتایج جستجوی ارگانیک هنگام تعیین رتبه محلی در نظر می‌گیرد.

تعامل محلی: تعامل محلی اگرچه توسط گوگل به عنوان یک فاکتور رتبه‌بندی محلی فهرست نشده است، اما نقش تعامل با گذشت زمان افزایش می‌یابد. Google به غنی‌سازی نتایج محلی با ترکیب داده‌های دنیای واقعی مانند زمان‌های بازدید و میانگین طول بازدیدها ادامه می‌دهد. بدون شک اکنون بیش از هر زمان دیگری، نتایج محلی تحت تأثیر داده‌های دنیای واقعی قرار گرفته‌اند. این تعامل، نحوه تعامل کاربران با کسب ‌وکارهای محلی و پاسخ به آنها است، نه اطلاعات صرفاً ثابت مانند: لینک‌ها و نقل‌قول‌ها. از آنجایی که Google می‌خواهد بهترین و مرتبط‌ترین کسب‌ وکارهای محلی را به کاربران ارائه دهد، استفاده از معیارهای تعامل زمان واقعی، برای تعیین کیفیت و ارتباط برای آنها کاملا منطقی است.

لازم نیست نکات و جزئیات الگوریتم گوگل را بدانید (چون این یک راز است)، اما باید دانش پایه‌ای عالی از نحوه یافتن، تفسیر، ذخیره، رتبه‌ بندی محتوا و در کل نحوه عملکرد موتورهای جستجو (Search Engine) داشته باشید.