بررسی خطای Crawled – Currently Not Indexed در سرچ کنسول گوگل
گوگل 100% صفحاتی را که ارسال می کنید ایندکس نمی کند و دلایل مختلفی وجود دارد که یک صفحه از ایندکس شدن حذف می شود. اگر قبلاً وب سایت خود را با کنسول جستجوی Google تأیید کرده اید، می توانید این صفحات حذف شده را با رفتن به بخش Pages > Not Indexed در داخل کنسول جستجوی خود شناسایی کنید. این بخش شامل دلایل مختلفی برای حذف صفحات است، و یکی از آنها، “Crawled – currently not indexed” می باشد. در این مقاله، ما متوجه خواهیم شد که این وضعیت به چه معناست و چگونه می توانید شانس خود را برای ایندکس کردن صفحات خود افزایش دهید و این خطا رو رفع کنید؟ خطای “Crawled – currently not indexed” نشان می دهد که Google قبلاً این URL ها را خزیده است اما هنوز آنها را ایندکس نکرده است. برای اکثر وب سایت ها، این وضعیت URL طبیعی است و پس از پردازش URL توسط Google و افزودن آنها به فهرست، به طور خودکار برطرف می شود. در حالت کلی، این وضعیت به این معنی است که گوگل صفحه شما را خزیده است اما هنوز آن را ایندکس نکرده است. همانطور که می دانیم، گوگل همه URL هایی را که ارسال می کنیم ایندکس نمی کند و یافتن تعداد مشخصی URL در این وضعیت کاملا طبیعی است و برای روشن شدن این موضوع، این یک خطا نیست، بلکه بیشتر دلیلی است که گوگل صفحه(های) را از فهرست خود حذف کرده است. با این حال نگران نباشید! در این مقاله، معنای این پیام را توضیح خواهیم داد و نکاتی را در مورد نحوه رفع خطای “Crawled – currently not indexed” به شما ارائه خواهیم داد. پس با ما همراه باشید.
در تصویر زیر، می توانید روند این خطا را بررسی کنید. اینها مراحلی است که URL ها در فرآیند نمایه سازی گوگل قرار دارند:
این خطا در دسته خطای “Google systems” از بخش قرار میگیرد و در گزارش پوشش نمایه کنسول جستجوی Google به این صورت است:
صرف نظر از نحوه گزارش کنسول جستجو، متوجه شدیم که این وضعیت هشدار دهنده به نظر می رسد، زیرا ایندکس شدن صفحه قبل از رتبه بندی کلمات کلیدی و هدایت ترافیک ارگانیک به وب سایت شما مهم است. بنابراین، بیایید درک کنیم که چرا صفحات شما تحت این وضعیت گروه بندی می شوند.
چگونه خطای “Crawled – currently not indexed” را رفع کنیم؟
1. گزارش Difference
وقتی متوجه می شوید که یک URL با “Crawled – currently not indexed” علامتگذاری شده است، برای رفع آن ابتدا باید صفحه را با ابزار URL Inspection در سرچ کنسول بررسی کنید.
اگر ابزار URL Inspection در سرچ کنسول صفحه را ایندکس شده نمایش دهد، نشان دهنده اختلاف بین گزارش ها در کنسول جستجوی Google است.
گوگل در این باره توضیح داده است که داده های گزارش Pages با نرخ متفاوتی (معمولاً با سرعت کمتر) در مقایسه با ابزار URL Inspection به روز می شوند. بنابراین قابل درک است که چند روز طول می کشد تا گزارش Pages وضعیت واقعی هر صفحه را منعکس کند. ابزار URL Inspection داده های جدیدتر را منعکس می کند و باید برای بررسی وضعیت صفحه در نظر گرفته شود.
علیرغم این واقعیت که یک شکاف گزارش دهی در کنسول جستجوی گوگل وجود دارد، مدیران وب سایت ها گزارش داده اند که صفحاتی از مدت ها قبل ایندکس شده اند اما همچنان با خطای “Crawled – currently not indexed” مشخص می شوند. اگر شما هم متوجه همین موضوع شدید، احتمالاً مشکل دیگری در گزارش Google وجود دارد.
2. مشکل کیفیت در سطح سایت
همانطور که گفتیم، برای بررسی وضعیت واقعی صفحه موردنظر باید ابزار URL Inspection را در نظر بگیرید. اما، اگر ابزار URL Inspection نیز وضعیت را بهعنوان “Crawled – currently not indexed” نشان می دهد، مطمئناً این یک مشکل از سمت گزارش گوگل نیست. بنابراین، برای عمیق تر کردن این موضوع، به شما توصیه می کنیم به نوع URLهایی که تحت این وضعیت ایندکس نمی شوند، توجه کنید.
اگر متوجه شدید اکثر صفحات با ساختار پیوند داخلی ضعیف، صفحاتی با کیفیت پایین محتوا یا صفحاتی با محتوای تکراری و یا محتوای بسیار کم حجم هستند، پس قابل درک است که صفحه هیچ ارزشی را برای کاربران ارائه نمی دهد تا در نتایج جستجو نمایش داده شود. اگر اینطور است، دلیلی برای ایندکس شدن گوگل وجوپ ندارد اما اگر می بینید که هر صفحه مهمی که دارای اطلاعات ارزشمند و مفید است و در سرچ کنسول در این بخش فهرست شده است، احتمالاً یک مشکل کلی کیفیت در کل سایت است که بر ایندکس شدن صفحات مهم شما تأثیر گذاشته است. بنابراین، بهبود ساختار و کیفیت کلی وب سایت توصیه می شود.
چگونه می توان کیفیت کلی سایت را بهبود بخشید؟
به عبارت ساده، برای ایندکس شدن یک صفحه یا صفحات باید کیفیت سایت خود را بررسی کنید. از آنجایی که هنوز دلایل مورد توجه گوگل برای ایندکس کردن صفحات شما مشخص نیست، بنابراین باید وب سایت خود را با توجه به عوامل کیفیت به طور کامل بررسی کنید که عبارت است از:
2.1 ریکوئست دهید.
اگر فقط چند صفحه با مشکل “Crawled – currently not indexed” می بینید، از طریق کنسول جستجوی Google (GSC) درخواست ایندکس شدن دهید. برای انجام این کار، روی “URL inspection” در منو سرچ کنسول کلیک کنید و URL صفحه را وارد کنید. اگر در حال حاضر ایندکس نشده است، دکمه “Request indexing” را فشار دهید.
اگر همه چیز خوب پیش رود، باید پیامی مبنی بر اضافه شدن URL به صف خزیدن اولویتی گوگل مشاهده کنید. باید توجه کنید که محدودیتی برای تعداد URL هایی که می توانید ارسال کنید در روز وجود دارد. در حالی که این مورد در اسناد تعریف نشده است، معمولاً می توانید روزانه 10 تا 15 URL ریکوئست دهید.
2.2 ساختار پیوند داخلی
اگر میخواهید یک صفحه مهم را ایندکس شود، مطمئن شوید که این صفحات، پیوندهای داخلی از صفحات مربوطه در وب سایت شما دارند. برای ایجاد پیوندهای داخلی، میتوانید صفحات مهم خود را به عنوان محتوای ستونی تنظیم کنید. از پلاگین Rank Math نیز می توانید استفاده کنید تا پیوندهای داخلی مرتبط با محتوای شما را پیشنهاد دهد. بنابراین افزایش تعداد لینک های داخلی باعث می شود که گوگل به دفعات بیشتر صفحه را میخزد و دوم اینکه گوگل به این صفحه اهمیت بیشتری می دهد. اگر محتوایی در وب سایت خود دارید، به شدت توصیه میکنم که چند پیوند داخلی به صفحاتی که Google در آن خزیده است اما هنوز ایندکس نشده است، اضافه کنید.
2.3 محتوای تکراری
بررسی کنید که آیا صفحاتی که می خواهید ایندکس شود، دارای محتوای تکراری هستند یا خیر. در صورت یافتن هر کدام، یک برچسب متعارف از این صفحات تکراری اضافه کنید و به محتوای اصلی که میخواهید فهرست کنید اشاره کنید. بهبود محتوای یک صفحه وب تنها به معنای افزودن کلمات بیشتر به تعداد نیست، بلکه به معنای افزودن محتوایی است که برای کاربران هنگام ورود به وب سایت شما مفید باشد. باید به این فکر کنید که چگونه یک صفحه خاص ، باعث افزایش رنک وب سایت شما در گوگل خواهد شد.
2.4 حسابرسی محتوا
در هر مقطع زمانی، به مرور مقالات یک وی سایت قدیمی خواهند شد. حسابرسی محتوا فرآیند تجزیه، تحلیل و ارزیابی تمام محتواهای موجود در سایت شماست. هدف نهایی آن است که نقاط قوت و ضعف استراتژی محتوایی را پیدا کنید و برنامه ی محتوایی خود را با اهداف بازاریابی فعلی خود تطبیق دهید تا بتوانید نظر مخاطبان را جلب کنید.
حسابرسی محتوا همچنین به شما کمک می کند تا چنین صفحاتی را که ارزشی ندارند شناسایی کنید و می توانید صفحه را بهبود ببخشید. در مواردی که اضافه کردن محتوای بیشتر به صفحه نامناسب است، می توانید گزینه های دیگری را نیز مانند موارد زیر امتحان کنید:
-
- حذف کامل صفحه
- تغییر مسیر (Dublicate) به یک صفحه مرتبط تر
- اضافه کردن متا تگ noindex
هنگامی که یک متا تگ noindex اضافه می کنید، محتوا همچنان برای مخاطبان شما در وب سایت شما باقی می ماند اما شما با اضافه کردت تگ noindex به موتورهای جستجو گفته اید که منحصرا این صفحه را برای ایندکس کردن در نظر نگیرد. همانطور که توسط جان مولر گوگل تایید شده است، کیفیت سایت، فقط برای صفحاتی که قرار است ایندکس شوند در نظر گرفته می شود.
می توانید با حذف سیستماتیک صفحات بی کیفیت از فهرست، کیفیت کلی سایت را بهبود ببخشید. با این حال، کیفیت سایت چیزی نیست که یک شبه بشود آن را تغییر داد. مدتی طول می کشد تا گوگل سیگنال ها را دریافت کند، دوباره پردازش کند و کیفیت کلی سایت شما را دوباره ارزیابی کند. اما مطمئن باشید، هر گونه بهبود در کیفیت سایت با افزایش دید در نتایج جستجو پاداش خواهد گرفت.
2.5 کیفیت پایین محتوا
این صفحات ممکن است توسط گوگل در پشت سوزن قرار گرفته باشند، زیرا فکر می کنند کیفیت محتوا کم است. دوبار بررسی کنید که آیا محتوای شما احتمالاً هدف کاربر را برآورده میکند و ارزش بیشتری نسبت به محتوای رقیب در سایتهای دیگر می افزاید. بهبود محتوای یک صفحه وب تنها به معنای افزودن کلمات بیشتر به تعداد نیست، بلکه به معنای افزودن محتوایی است که برای کاربران هنگام ورود به وب سایت شما مفید است. باید به این فکر کنید که چگونه یک صفحه خاص در سفر کاربر در وب سایت شما نقش دارد.
2.6 کاهش عمق کلیک (Click-Depth)
عمق کلیک (Click Depth)، تعداد کلیک هایی است که برای رفتن از یک صفحه اصلی به صفحه دیگری در وب سایت انجام می شود. ما می توانیم مقادیر عددی را به صفحات مختلف یک سایت، بر اساس فاصله آن ها از صفحه اصلی اختصاص دهیم.
صفحه اصلی را می توان به عدد 0 اختصاص داد. هر صفحه ای که در صفحه اصلی لینک شده باشد دارای عمق 1 است. هر لینکی که در آن صفحات وجود داشته باشد، دارای مقدار 2 خواهد بود و به همین ترتیب صفحات شماره بندی می شوند. ادعا این است که صفحات با ارزش عمق کلیک پایین تر در نتایج جستجو رتبه بهتری دارند.
بنابراین، عمق کلیک تعداد کلیک هایی است که کاربر برای فرود در یک صفحه خاص باید انجام دهد. اگر کاربر قبل از اینکه بتواند به صفحه مورد نظر برسد، باید چندین بار کلیک کند، برای تجربه کاربری بد است و میتواند صفحه را از نظر گوگل بی اهمیت تلقی کند. یک عدد خوب می تواند صفحات مهم را به 1 تا 2 کلیک محدود کند. من از 4 کلیک فراتر نمی روم زیرا در حال حاضر خیلی عمیق است.
تفاوت بین “Crawled – currently not indexed” و “Discovered Currently not Indexed” چیست؟
“Crawled – currently not indexed” و “Discovered – Currently Not Indexed” دو وضعیت متفاوتی هستند که می تواند برای برخی کاملاً گیج کننده باشد. تفاوت اصلی بین این دو وضعیت در “Crawled – Currently Not Indexed” است، گوگل قبلاً این صفحه را کشف کرده و قبلاً آن را خزیده است ولی تصمیم گرفته که هنوز آن را ایندکس نکند.
برای “Discovered – Currently Not Indexed”، گوگل توانست صفحه را از طریق خزیدن در زیر صفحات کشف کند، اما تصمیم گرفت که آن را خزیده نکند، بنابراین هنوز آن را ایندکس نکرده است.
این بدان معناست که صفحات “Discovered – Currently Not Indexed” در مقایسه با صفحات “Crawled – Currently Not Indexed” اهمیت کمتری برای Google دارند. شما می توانی برای کسب اطلاعات بیشتر در مورد این خطا، به مقاله “بررسی خطای Discovered – Currently not Indexed در سرچ کنسول گوگل“ از وبلاگ آوین آویسا مراجعه فرمایید.
نوع وضعیت “Crawled – currently not indexed” در کنسول جستجوی Google ممکن است اطلاعات زیادی در مورد وضعیت وب سایت ارائه ندهد اما برای شناسایی قسمتهایی از وب سایتهای ما که به نظر میرسد Google نادیده گرفته میشود، واقعاً مفید است. بنابراین به سئوکاران فرصت های بیشتری برای بهینه سازی می دهد. همچنین توجه داشته باشید که این وضعیت نیازی به اقدام فوری ندارد مگر اینکه صفحات مهم شما به این وضعیت دچار باشند. به یاد داشته باشید که مطمئن شوید دفعه بعد که گوگل صفحه را می خزد، به گوگل دلیلی برای فهرست بندی صفحه و رتبه بندی آن در نتایج جستجو می دهید.
منبع:
https://rankmath.com/kb/crawled-currently-not-indexed/
https://seo-hacker.com/crawled-not-indexed/#Key_Takeaway