همه وب‌مسترهایی که با ایجاد سایت، به دنبال دیده شدن و افزایش مخاطبان و فروش خود هستند، می‌دانند ایندکس شدن چیست و با اهمیت آن آشنا هستند. اما در بسیاری از مواقع سایت یا صفحاتی از سایت شما ایندکس نمی‌شود. علت این موضوع چیست؟ در این مقاله با روش‌های ایندکس شدن صفحات و بررسی علت ایندکس نشدن برخی صفحات آشنا می‌شویم. پس تا انتهای این مقاله با ما همراه باشید.

ایندکس کردن صفحات چیست؟

ایندکس شدن، فرآیند ذخیره کردن صفحات وبسایت‌ها، در دیتابیس موتورهای جست و جو است. گوگل با خزیدن در اینترنت، صفحات جدید را پیدا می‌کند که این کار با استفاده از ربات‌های خزنده عنکبوتی به نام گوگل بات انجام می‌شود. در صورتی که صفحات وبسایت شما توسط خزنده‌های گوگل ایندکس نشوند، توسط گوگل ثبت نمی‌شوند و در نتیجه در صفحه نمایش نتایج جست و جو نیز نمایش داده نمی‌شوند.

اهمیت ایندکس شدن

ایندکس شدن سایت شما توسط گوگل، باعث می‌شود که دیده شوید و در نهایت ورودی بیشتری را به سمت سایت خود جذب نمایید. در ادامه به صورت مختصر و موردی به اهمیت ایندکس شدن صفحات وبسایت‌ها خواهیم پرداخت.

• صفحاتی که توسط خزشگر گوگل ایندکس می‌شوند، در صفحه نمایش نتایج جست و جو قرار میگیرند و سپس رتبه بندی می‌شوند. به عبارتی برای اینکه صفحات شما رتبه بندی شوند و در بین رقبا رتبه خوبی کسب نمایند، ابتدا باید ایندکس شوند.
• خزنده‌های گوگل به طور مرتب مطالب جدید را ایندکس می‌کنند تا مطمئن شوند که کاربران بهترین و مرتبط‌ترین نتایج را در صفحه جست و جو مشاهده می‌کنند. اگر مطالب جدید در سایت شما ایندکس نشوند، به مخاطبان نیز نشان داده نمی‌شوند که این کار باعث اتلاف وقت و هزینه می‌شود.

• ربات‌های خزنده گوگل مطابق با الگوریتم‌های خود گوگل، صفحات را بر اساس فاکتورهای گوناگونی از جمله کلمه کلیدی، تم و … ایندکس می‌کنند. این کار کمک می‌کند هنگامی که کاربران عبارتی را سرچ می‌کنند، مرتبط‌ترین نتایج را بر اساس سرچ‌شان مشاهده نمایند.

علت ایندکس نشدن صفحات

ایندکس شدن صفحات سایت‌ها اندکی زمان‌ بر است. ممکن است سایت شما ایندکس شده باشد، اما پایین بودن رتبه آن، باعث شود که آن را در صفحه جست و جو پیدا نکنید. بنابراین ابتدا مطمئن شوید که سایت شما ایندکس نشده است و سپس علت ایندکس نشدن سایت‌تان را با روش‌هایی که در ادامه گفته می‌شود بررسی کنید.

• مسدود شدن سایت در robots.txt

در صورتی که در فایل robots.txt آدرس سایت شما قرار نداده شده باشد و یا قابل اجرا نباشد، در این صورت توسط خزنده‌های گوگل ایندکس نمی‌شود. برای بررسی علت ایندکس نشدن سایت یا صفحاتی از سایت خود، فایل robots.txt را بررسی و تغییرات لازم را ایجاد کنید.

• استفاده از متاتگ noindex

استفاده از متاتگ noindex به خزنده‌های گوگل اعلام می‌کند که صفحه مورد نظر را ایندکس نکنند.

• تعریف نکردن نقشه سایت

گوگل از نقشه XML سایت برای دریافت و درک محتوای سایت شما استفاده می‌کند. در صورتی که صفحه مد نظر شما خزش نمی‌شود، ممکن است آدرس آن صفحه، در نقشه سایت قرار نگرفته باشد.

• ایجاد سایت جدید

ایندکس شدن صفحاتی که به تازگی ساخته شده‌اند اندکی زمان‌بر است. در صورتی که به تازگی وبسایت خود را ایجاد کرده‌اید، بهتر است کمی صبور باشید.

• استفاده از محتوای بی‌کیفیت

گوگل محتوای دارای کیفیت کم یا تکراری را ایندکس نمی‌کند. در صورتی که سایت شما محتوای بی‌کیفیت زیادی داشته باشد، گوگل کمتر محتوای شما را خزش می‌کند. بنابراین محتوای بی‌کیفیت یا دارای کیفیت کم را حذف کنید و به جای آن‌ها محتوای با‌کیفیت مناسب و مرتبط قرار دهید.

بررسی ایندکس شدن صفحات

روش‌های مختلفی وجود دارد که با انجام آن‌ها می‌توانید اطمینان حاصل کنید که آیا صفحات وبسایت شما توسط خزنده‌های گوگل ایندکس شده‌اند یا نه.

• استفاده از نوار جست و جوی گوگل

آدرس سایت مورد نظر را با عبارت :site تایپ کنید. اگر هیچ نتیجه‌ای در صفحه مشاهده نکردید، یعنی سایت شما ایندکس نشده است. در صورتی که صفحاتی از سایت شما ایندکس شده باشد، تعداد آن‌ها در بالای صفحه نمایش داده می‌شود.

• استفاده از ابزار گوگل سرچ کنسول

در کنسول جست و جوی گوگل، باکس قرمز نشان دهنده صفحات ایندکس نشده است. باکس زرد صفحاتی را نشان می‌دهد که ایندکس شده‌اند، اما دارای مشکل هستند. صفحات قرار گرفته در باکس سبز به درستی ایندکس شده‌اند. در باکس خاکستری صفحاتی نشان داده می‌شوند که علت ایندکس نشدن آن‌ها ممکن است بسته شدن دسترسی خزنده‌های گوگل باشد.

• گزارش URL inspection

در صورتی که می‌خواهید ایندکس شدن صفحه‌ای خاص را بررسی کنید، آدرس صفحه مورد نظر را در قسمت inspection tool  وارد کنید. عبارت URL is on google یعنی صفحه مورد نظر شما ایندکس شده است. در غیر این صورت، مشاهده عبارت URL is not on goole یعنی صفحه مورد نظر شما ایندکس نشده است.

نحوه ایندکس شدن سایت در گوگل

روش‌های مختلفی برای ایندکس شدن سایت در گوگل وجود دارد که انجام آن‌ها باعث افزایش سرعت ایندکس صفحات سایت شما می‌شود در ادامه بیان می‌شود.

1. پیشخوان وردپرس

در سایت وردپرسی خود، در قسمت پیشخوان بررسی کنید که آیا این وبسایت توسط موتورهای جست و جو نمایش داده می‌شود یا تنظیمات سایت به گونه‌ای است که مطالب قابل بررسی توسط گوگل نیست. در صورتی که تیک بررسی مشاهده توسط موتورهای جست و جو را فعال نکرده‌اید، آن را فعال کنید.

2. ثبت سایت در کنسول جست و جوی گوگل

وارد کنسول جست و جوی گوگل شوید. سپس به بخش URL inspection بروید و لینکی که قصد دارید توسط خزش‌گر گوگل ایندکس شود را وارد کنید.

3. استفاده از Site Map

نقشه XML سایت خود را ایجاد کنید. با ایجاد این نقشه، خزش‌گر گوگل به همه‌ی محتوای سایت شما در فرمتی که توسط ماشین قابل خواندن باشد، دسترسی پیدا می‌کند. همچنین متوجه می‌شود که کدام یک از محتوای سایت شما از اهمیت بیشتری برخوردار است و شما با چه فاصله زمانی محتوای خود را آپدیت می‌کنید. همچنین، مطالب و صفحات جدیدی که در سایت خود قرار می‌دهید را در نقشه سایت قرار دهید. گوگل با استفاده از نقشه سایت، محتوای سایت شما را راحت‌تر درک میکند.

4. فایل robots.txt را بررسی کنید

با استفاده از فایل robots.txt می‌توانید دسترسی ربات‌های گوگل را به برخی صفحات سایت خود ببندید تا آن را ایندکس نکنند. اگر می‌خواهید صفحه‌ای از سایت شما سریع‌تر ایندکس شود، لینک آن را در این فایل قرار دهید.

5. وجود متاتگ Noindex در صفحه

تگ‌های زائد Noindex را حذف کنید. در صورتی که تعدادی از صفحات سایت شما ایندکس نمی‌شود ممکن است دلیل آن وجود تگ Noindex باشد. آسان‌ترین راه بررسی وجود این تگ، استفاده از کنسول جست و جوی گوگل است.

    6. حذف تگ‌های زائد کنونیکال

با استفاده از تگ کنونیکال به گوگل اعلام می‌کنید که در صورتی که در سایت خود صفحات دارای محتوای یکسان دارید، کدام یک را برای نمایش ترجیح می‌دهید. اما استفاده از چند تگ کنونیکال در یک صفحه باعث می‌شود که هیچ یک از صفحات ایندکس نشوند. به قسمت URL inspection مراجعه کنید. در صورت مشاهده پیغام alternate page with canonical tag، تگ کنونیکال را حذف کنید تا صفحه شما ایندکس شود. برای اطلاعات بیشتر در مورد این نوع تگ، اینجا کلیک نمایید.

7. اصلاح لینک‌های Nofollow

لینک‌های Nofollow را حذف کنید. وجود این لینک باعث می‌شود رتبه صفحه به URL مقصد انتقال پیدا نکند. برای حل این مشکل، در کد HTML سایت، تگ “rel=nofollow” را حذف کنید.

8. ایجاد لینک‌دهی داخلی

می‌توانید در صفحات پربازدید سایت‌تان، لینک داخلی صفحاتی که می‌خواهید ایندکس شوند را قرار دهید. زمانی که صفحات قوی و پربازدید سایت شما مجدد توسط گوگل خزش می‌شود، لینک‌های جدید قرار داده شده نیز بررسی می‌شوند.

9. استفاده از بک لینک‌ها

بک لینک‌های باکیفیت در سایت خود ایجاد کنید. همه صفحاتی که توسط گوگل خزش می‌شوند دارای بک لینک نیستند. اما گوگل به صفحاتی که دارای بک لینک هستند، اهمیت بیشتری می‌دهد و احتمال خزش مجدد در این صفحات بیشتر است.

سخن پایانی

یک نمونه از انواع سایت‌هایی که ایندکس شدن برای آن‌ها اهمیت بیشتری دارد، سایت‌های فروشگاهی هستند. چرا که در صورتی که این سایت‌ها بررسی نشوند و در صفحه نتایج گوگل قرار نگیرند، مخاطبی نیز نخواهند داشت. استفاده از تکنیک‌های گفته شده در این مقاله در بیشتر مواقع یاری دهنده شما در ایندکس صفحه‌های سایت‌تان هستند.