اتصل بنا
واتساب

أرشفة آلاف المنتجات: حل مشكلة الفهرسة الجماعية

متجر قطع غيار فيه ٦٠ ألف منتج. فريق السيو لاحظ إن الزيارات من جوجل ثابتة رغم إن المتجر بيضيف منتجات كل أسبوع. فتحوا Search Console ولقوا إن ٣٥٪ بس من المنتجات مؤرشفة. أول رد فعل كان «طلب فهرسة» يدوي لصفحات المنتجات واحدة واحدة، وبعد أسبوعين لقوا إنهم طلبوا عشرات الصفحات بس من ٦٠ ألف، والرقم ما اتحركش. لما اتعمل تشخيص، الصورة كانت مختلفة: جوجل كان بيزحف آلاف الروابط في اليوم، بس أغلبها روابط فلاتر وترتيب ونتايج بحث داخلي. وصفحات المنتجات اللي اتزحف لها فعلاً كان كتير منها شبه بعضه: نفس الوصف، والفرق رقم القطعة بس. المشكلة ما كانتش في طلب الفهرسة. المشكلة كانت في المتجر اللي بيصرف وقت جوجل في المكان الغلط، وبيقدّمله صفحات مش شايفها تستاهل.

أرشفة آلاف المنتجات ما بتتحلش بطلب فهرسة صفحة صفحة، بتتحل على مستوى النظام. جوجل نفسه بيقول إنه مش بيضمن أرشفة كل صفحة. والمتجر الكبير اللي بيأرشف أغلب منتجاته بيعمل ٥ حاجات: بيقرا تقرير الفهرسة عشان يعرف المشكلة في الزحف ولا في الجودة، وبيوقف هدر الزحف على الفلاتر والصفحات المكررة والمحذوفة، وبيبني خرائط موقع مقسّمة فيها الصفحات اللي عايزها تتأرشف بس وبتاريخ تعديل دقيق، وبيرفع قيمة صفحات المنتجات على مستوى القالب مش صفحة صفحة، وبيراقب الأرشفة بعينات منظمة. والشغل ده بيتقاس بنسبة الأرشفة لكل نوع صفحة، مش بعدد طلبات الفهرسة.

لماذا لا يؤرشف جوجل كل منتجات متجرك؟

جوجل ما بيأرشفش كل صفحة بيلاقيها. الأرشفة بتمر بـ٣ مراحل، وكل مرحلة ممكن الصفحة تقف عندها:

  1. الاكتشاف: جوجل يعرف إن الرابط موجود، من خريطة الموقع أو من رابط داخلي أو خارجي.
  2. الزحف: جوجل يطلب الصفحة ويقرا محتواها.
  3. الأرشفة: جوجل يقرر الصفحة تستاهل تدخل الفهرس ولا لأ.

وفي المرحلة التانية بيظهر مفهوم ميزانية الزحف (Crawl Budget). جوجل بيعرّفها بإنها مجموعة الروابط اللي جوجل يقدر ويحب يزحف لها، وبتعتمد على عاملين:

  • حد قدرة الزحف: الحمل اللي السيرفر يستحمله من غير ما يبطّأ.
  • الطلب على الزحف: جوجل عايز يزحف للموقع ده بالكم ده ليه، حسب أهمية الصفحات وتحديثها.

وده أهم سطر في توثيق جوجل: الدليل ده موجه للمواقع الكبيرة جداً، زي المواقع اللي فيها أكتر من مليون صفحة بتتغير أسبوعياً، أو أكتر من ١٠ آلاف صفحة بتتغير يومياً، أو المواقع اللي فيها عدد كبير من الصفحات في حالة «تم الاكتشاف، ولم تتم فهرستها حالياً». جوجل بيقول إن الأرقام دي تقديرية.

يعني متجر فيه ٣ آلاف منتج نادراً ما تكون مشكلته ميزانية زحف. مشكلته غالباً جودة أو تكرار. ومتجر فيه ٦٠ ألف منتج بتتغير أسعارها وتوفرها يومياً ممكن تكون مشكلته الاتنين.

كيف تقرأ تقرير فهرسة الصفحات في Search Console؟

تقرير «فهرسة الصفحات» بيقسّم الصفحات غير المؤرشفة حسب السبب. وكل سبب ليه معنى وحل مختلف:

الحالة في التقريرمعناها غالباًالإجراء
تم الاكتشاف، ولم تتم فهرستها حالياًجوجل عارف الرابط ولسه ما زحفلوشقلّل هدر الزحف، وقوّي الروابط الداخلية للصفحة
تم الزحف إليها، ولم تتم فهرستها حالياًجوجل قرا الصفحة ومش شايفها تستاهل الأرشفةارفع قيمة المحتوى على مستوى القالب
صفحة مكررة بدون صفحة أساسية يحددها المستخدمجوجل شايف الصفحة نسخة من صفحة تانيةحدد canonical أو ادمج الصفحات
صفحة بديلة تتضمن علامة أساسية مناسبةالنسخة دي بتشاور على صفحة أساسيةغالباً سليم، راجع إن الأساسية مؤرشفة
مستبعدة بواسطة العلامة noindexالصفحة فيها noindexاتأكد إن ده مقصود
تم حظرها بواسطة ملف robots.txtممنوعة من الزحفاتأكد إن الحظر مقصود ومش على منتجات
خطأ 404 مخفي (Soft 404)الصفحة بترجع ٢٠٠ بس شكلها صفحة فاضية أو خطأرجّع 404 حقيقي أو حط محتوى
لم يتم العثور عليها (404)الصفحة محذوفةسليم لو مقصود، وشيلها من خريطة الموقع

وقبل ما تتصرف، اعرف الحجم:

  • كام صفحة في كل حالة؟ ركّز على الحالات اللي فيها أكبر عدد من صفحات المنتجات.
  • أنهي نوع صفحات؟ صدّر أمثلة من كل حالة وشوف: منتجات؟ فلاتر؟ صفحات بحث؟ متغيرات؟
  • الاتجاه: العدد بيزيد ولا بيقل من شهر للتاني؟

هل مشكلتك ميزانية زحف أم جودة صفحات؟

الفرق ده بيحدد الحل، والغلط فيه بيضيّع شهور:

علامات إن المشكلة في الزحف:

  • عدد كبير في «تم الاكتشاف، ولم تتم فهرستها حالياً» وبيزيد.
  • تقرير «إحصاءات الزحف» في إعدادات Search Console بيوري طلبات كتير لروابط مش مهمة، أو وقت استجابة عالي للسيرفر.
  • صفحات جديدة بتاخد أسابيع عشان جوجل يزحفلها.

علامات إن المشكلة في الجودة:

  • عدد كبير في «تم الزحف إليها، ولم تتم فهرستها حالياً». جوجل وصل للصفحة وقراها ومش شايفها تضيف حاجة.
  • صفحات منتجات متشابهة جداً: نفس الوصف، والفرق لون أو رقم موديل.
  • أوصاف منسوخة من المورد موجودة في متاجر تانية.
  • صفحات فيها محتوى قليل جداً: صورة واسم وسعر.

سجلات السيرفر (Server Logs):

لو المتجر كبير، سجلات السيرفر بتوريك جوجل بيزحف لأنهي روابط بالظبط وبأنهي معدل. تقرير إحصاءات الزحف في Search Console بيدّي صورة عامة، بس السجلات بتوريك النسبة الحقيقية بين روابط المنتجات وروابط الفلاتر والبحث الداخلي. ولو المتجر على منصة جاهزة زي سلة أو زد ومفيش وصول للسجلات، اعتمد على تقرير إحصاءات الزحف وعلى أمثلة الروابط في تقرير الفهرسة.

كيف توقف هدر الزحف على الصفحات غير المهمة؟

توثيق جوجل لميزانية الزحف بيقول إن الروابط المكررة والصفحات اللي مش عايزها تتزحف بتاخد وقت كان ممكن يروح للمحتوى المهم. ودي الحلول حسب نوع الهدر:

روابط الفلاتر والترتيب والبحث الداخلي:

  • امنعها بملف robots.txt لو مش محتاجها في البحث. جوجل نشر في ديسمبر ٢٠٢٤ إرشادات تفصيلية عن روابط الفلاتر.
  • robots.txt مش noindex: جوجل بيوضّح إن علامة noindex محتاجة إن جوجل يطلب الصفحة الأول عشان يشوفها، وده نفسه بيستهلك وقت زحف. الحظر بـrobots.txt بيمنع الطلب من الأساس.
  • ما تستخدمش robots.txt بشكل مؤقت عشان تفضّي ميزانية لصفحات تانية. جوجل بيقول صراحة إن ده مش طريقة لإعادة توزيع الزحف.

الصفحات المحذوفة:

  • رجّع 404 أو 410 للمنتجات المحذوفة نهائياً من غير بديل. جوجل بيعتبر 404 إشارة قوية إنه ما يرجعش يزحف للرابط.
  • لو فيه بديل واضح، حوّل بـ301 للبديل.

سلاسل التحويل:

  • تحويل لتحويل لتحويل بيضيّع زحف. خلّي كل تحويل يروح للصفحة النهائية مباشرة، وحدّث الروابط الداخلية للرابط النهائي.

الروابط بمعلمات التتبع:

  • روابط فيها معلمات حملات أو جلسات بتطلّع نسخ من نفس الصفحة. ما تستخدمهاش في الروابط الداخلية، وخلّي canonical الصفحة يشاور على الرابط النضيف.

سرعة السيرفر:

  • حد قدرة الزحف بيعتمد على قدرة السيرفر. لو السيرفر بطيء أو بيرجّع أخطاء 5xx، جوجل بيقلل الزحف. تقرير إحصاءات الزحف بيوري متوسط وقت الاستجابة.

كيف تبني خرائط موقع لآلاف المنتجات؟

خريطة الموقع في المتجر الكبير مش ملف واحد، هي نظام:

الحدود:

  • كل ملف خريطة موقع ليه حد أقصى ٥٠ ألف رابط و٥٠ ميجابايت قبل الضغط، حسب دليل Search Engine Journal المبني على توثيق جوجل.
  • لو عندك أكتر، قسّمهم على كذا ملف، واجمعهم في ملف فهرس خرائط الموقع (Sitemap Index).

التقسيم:

  • قسّم حسب نوع الصفحة: ملف للتصنيفات، وملفات للمنتجات، وملف للمقالات.
  • وقسّم المنتجات حسب التصنيف الرئيسي لو العدد كبير. الفايدة إنك في Search Console تشوف نسبة الأرشفة لكل ملف لوحده، فتعرف المشكلة في أنهي قسم.

المحتوى:

  • الروابط اللي عايزها تتأرشف بس: صفحات بترجع ٢٠٠، ومش فيها noindex، ومش ممنوعة في robots.txt، والرابط فيها هو نفسه الـcanonical.
  • من غير روابط فلاتر، أو تحويلات، أو صفحات محذوفة، أو متغيرات بتشاور على صفحة أساسية تانية.

تاريخ التعديل (lastmod):

  • جوجل بيستخدمه بس لو كان دقيق باستمرار وممكن يتأكد منه.
  • حدّثه لما يتغير المحتوى الأساسي، أو البيانات المنظمة، أو الروابط. ما تحدّثوش كل يوم لكل الصفحات من غير تغيير حقيقي، لأن ده بيخلّي جوجل يتجاهله.
  • علامتي priority وchangefreq جوجل بيتجاهلهم، فمفيش داعي تعتمد عليهم.

المتابعة:

  • في تقرير «ملفات Sitemap» في Search Console، قارن عدد الروابط المرسلة بعدد الروابط المؤرشفة لكل ملف.

كيف ترفع قيمة صفحات المنتجات التي زحف لها جوجل ولم يؤرشفها؟

«تم الزحف إليها، ولم تتم فهرستها حالياً» معناها إن جوجل شاف الصفحة وقرر إنها مش مضيفة كفاية. ومع آلاف المنتجات، الحل لازم يكون على مستوى القالب، مش صفحة صفحة:

  • قالب وصف بخانات مخصصة: بدل وصف المورد، اعمل قالب لكل تصنيف بالخانات اللي العميل محتاجها: المواصفات بالأرقام، والتوافق، والاستخدام، والضمان. والخانات بتتملي من بيانات المنتج، فكل صفحة بتطلع مختلفة بمعلومة حقيقية.
  • بيانات التوافق: في قطع الغيار والإكسسوارات، جدول «متوافق مع» بالموديلات والسنين بيفرّق بين المنتجات المتشابهة وبيجاوب سؤال العميل الأساسي.
  • أسئلة وتقييمات: الأسئلة والتقييمات الحقيقية بتضيف محتوى أصلي لكل صفحة.
  • روابط داخلية من التصنيفات: صفحة المنتج اللي مفيش روابط بتوصلها غير من خريطة الموقع، جوجل بيعتبرها أقل أهمية. اتأكد إن صفحات التصنيفات بتعرض المنتجات بروابط HTML قابلة للزحف وبترقيم صفحات يتزحف له، واختبر ده بأداة فحص عنوان URL.
  • منتجات مرتبطة: قسم «منتجات مشابهة» أو «بيتشترى معاه» بيعمل شبكة روابط بين المنتجات.
  • دمج المتشابه: منتجات بتختلف في اللون أو المقاس بس، اجمعها في صفحة واحدة بمتغيرات.
  • الأولوية: ابدأ بالتصنيفات اللي فيها أعلى مبيعات وأعلى ظهور، وطبّق القالب على تصنيف كامل مرة واحدة، وقِس الفرق.

مثال توضيحي: كيف تحسب أثر هدر الزحف على أرشفة متجر كبير؟

ده مثال توضيحي بأرقام افتراضية، والحساب معمول بكود.

متجر فيه ٦٠٬٠٠٠ منتج. تقرير الفهرسة طلّع:

الحالةعدد صفحات المنتجاتالنسبة
مؤرشفة٢١٬٠٠٠٣٥٪
تم الاكتشاف، ولم تتم فهرستها حالياً٢٧٬٠٠٠٤٥٪
تم الزحف إليها، ولم تتم فهرستها حالياً٩٬٠٠٠١٥٪
صفحة مكررة٣٬٠٠٠٥٪

الزحف: جوجل بيزحف حوالي ٨٬٠٠٠ رابط في اليوم، وسجلات السيرفر بتوري إن ٧٠٪ منهم روابط فلاتر وترتيب وبحث داخلي. يعني:

  • الزحف المفيد: ٨٬٠٠٠ × ٣٠٪ = ٢٬٤٠٠ رابط منتج أو تصنيف في اليوم.
  • دورة زحف كاملة للمنتجات: ٦٠٬٠٠٠ ÷ ٢٬٤٠٠ = ٢٥ يوم، على افتراض إن جوجل بيوزّع الزحف المفيد على المنتجات بالتساوي.

بعد منع الفلاتر والبحث الداخلي: لو نفس معدل الزحف فضل ثابت ونسبة الروابط المفيدة بقت ٩٠٪:

  • الزحف المفيد: ٨٬٠٠٠ × ٩٠٪ = ٧٬٢٠٠ رابط في اليوم.
  • دورة الزحف: حوالي ٨٫٣ يوم.

وخرائط الموقع: ٦٠ ألف منتج محتاجين ملفين على الأقل، لأن الملف الواحد حده ٥٠ ألف رابط. والتقسيم حسب التصنيف هو اللي بيوريك نسبة الأرشفة لكل قسم، مش بس عشان الحد.

وده بيحل جزء من المشكلة بس: منع الهدر بيخلّي جوجل يزحف للمنتجات أكتر، يعني بيعالج الـ٤٥٪ اللي «تم الاكتشاف». بس الـ١٥٪ اللي «تم الزحف إليها» محتاجين تحسين القالب والمحتوى، والـ٥٪ المكررة محتاجين canonical أو دمج. والأرقام دي حساب لاتجاه الأثر، مش وعد بنتيجة، لأن معدل الزحف نفسه بيتغير حسب السيرفر والطلب.

كيف تراقب أرشفة آلاف المنتجات؟

أدوات Search Console:

  • تقرير فهرسة الصفحات: الصورة العامة والأسباب، وتصفيته حسب ملف خريطة الموقع.
  • تقرير ملفات Sitemap: المرسل قصاد المؤرشف لكل ملف.
  • تقرير إحصاءات الزحف: عدد الطلبات، ووقت الاستجابة، والأخطاء.
  • أداة فحص عنوان URL: لصفحة واحدة، وفيها «طلب فهرسة». الطلب اليدوي ليه حد يومي، ومفيد للصفحات المهمة الجديدة، مش لآلاف المنتجات.

واجهة برمجة فحص الروابط (URL Inspection API):

  • بتسمح بفحص حالة الروابط بشكل آلي. الحد، حسب Search Engine Roundtable عند الإطلاق في يناير ٢٠٢٢، ٢٬٠٠٠ استعلام في اليوم و٦٠٠ في الدقيقة.
  • يعني فحص ٦٠ ألف منتج كلهم هياخد ٣٠ يوم. عشان كده اشتغل بعينات: عدد ثابت من كل تصنيف كل أسبوع، والمنتجات الجديدة، والمنتجات الأعلى مبيعاً.

Indexing API:

  • توثيق جوجل بيحدد استخدامها لصفحات الوظائف والبث المباشر بس، فما تستخدمهاش لصفحات المنتجات.

المؤشرات اللي تتابعها شهرياً:

  • نسبة أرشفة المنتجات الإجمالية ولكل تصنيف.
  • عدد الصفحات في «تم الاكتشاف» و«تم الزحف» واتجاههم.
  • نسبة الزحف المفيد من إحصاءات الزحف أو السجلات.
  • الوقت من نشر المنتج لحد أرشفته، من عينة المنتجات الجديدة.

ولو المتجر على سلة أو زد، سيو متاجر سلة وزد بيشرح إعدادات robots.txt وخريطة الموقع على كل منصة.

كيف تحل مشكلة الأرشفة الجماعية خطوة بخطوة؟

  1. صدّر تقرير فهرسة الصفحات، وقسّم الصفحات غير المؤرشفة حسب الحالة ونوع الصفحة.
  2. حدد نوع المشكلة: زحف («تم الاكتشاف») ولا جودة («تم الزحف») ولا تكرار.
  3. راجع إحصاءات الزحف أو سجلات السيرفر، واعرف نسبة الزحف المفيد.
  4. امنع الفلاتر والترتيب والبحث الداخلي بـrobots.txt، من غير ما تلمس المنتجات والتصنيفات.
  5. ظبّط المحذوف والمحوّل: 404 أو 410 للمحذوف من غير بديل، و301 مباشر للي ليه بديل، ومن غير سلاسل.
  6. ابني خرائط الموقع من جديد: مقسّمة حسب النوع والتصنيف، وفيها الروابط القابلة للأرشفة بس، وبتاريخ تعديل دقيق.
  7. حسّن قالب صفحة المنتج لأكبر تصنيف فيه «تم الزحف»: مواصفات، وتوافق، وأسئلة.
  8. ادمج المتشابه في صفحات بمتغيرات، وحدد canonical للنسخ.
  9. قوّي الروابط الداخلية: التصنيفات بروابط HTML وترقيم صفحات يتزحف له، ومنتجات مرتبطة.
  10. راقب بعينات أسبوعية وتقارير شهرية، وقارن نسبة الأرشفة لكل ملف خريطة موقع.

قائمة التحقق

☐ تقرير فهرسة الصفحات متصدّر ومقسّم حسب الحالة ونوع الصفحة.

☐ عارف المشكلة الأساسية: زحف ولا جودة ولا تكرار.

☐ نسبة الزحف المفيد معروفة من إحصاءات الزحف أو السجلات.

☐ روابط الفلاتر والترتيب والبحث الداخلي ممنوعة بـrobots.txt.

☐ مفيش اعتماد على noindex لتوفير الزحف.

☐ المنتجات المحذوفة بترجع 404 أو 410، والمحوّلة بـ301 مباشر.

☐ مفيش سلاسل تحويل، والروابط الداخلية بتشاور على الرابط النهائي.

☐ خرائط الموقع مقسّمة، وكل ملف أقل من ٥٠ ألف رابط.

☐ خرائط الموقع فيها روابط قابلة للأرشفة بس.

☐ تاريخ التعديل في خريطة الموقع دقيق وبيتغير مع التغيير الحقيقي بس.

☐ قالب صفحة المنتج فيه مواصفات وتوافق وأسئلة، مش وصف المورد.

☐ المنتجات المتشابهة مدموجة أو ليها canonical.

☐ صفحات التصنيفات بتعرض المنتجات بروابط HTML يتزحف لها.

☐ الأرشفة بتتراقب بعينات أسبوعية وتقرير شهري.

الخطوة اللي بعد حل مشكلة الأرشفة

لما المنتجات تتأرشف، الخطوة الجاية إنها تتصدّر. دليل سيو المتاجر الإلكترونية بيشرح محتوى التصنيفات والمنتجات وProduct Schema. ولو متجرك على سلة أو زد، شوف سيو متاجر سلة وزد. ولو منتجاتك موسمية، شوف سيو متاجر الدفايات كمثال على أرشفة المنتجات اللي بتخلص وبترجع.

وعشان تشخّص الأرشفة بالأرقام، جهّزنا لك هدية فيا المجانية — مشخّص أرشفة المنتجات: ملف إكسل بيحلل حالات تقرير الفهرسة ويحدد المشكلة الأساسية، وبيحسب الزحف المفيد ودورة الزحف قبل وبعد منع الهدر، وبيخطط تقسيم خرائط الموقع، وبيتابع عينات الأرشفة أسبوعياً. [حمّل الأداة مجاناً من هنا].

لو عايز تعرف ليه منتجاتك مش مؤرشفة وإيه أول حاجة تتصلح، احجز تحليلك الذكي المجاني.

أسئلة شائعة

  • ليه جوجل مش بيأرشف كل منتجات متجري؟

لأن جوجل مش بيضمن أرشفة كل صفحة. الأسباب الشائعة إن جوجل بيصرف وقت الزحف على روابط الفلاتر والبحث الداخلي، أو إن صفحات المنتجات متشابهة أو أوصافها منسوخة، أو إن فيه صفحات مكررة. تقرير «فهرسة الصفحات» في Search Console بيوريك السبب لكل مجموعة صفحات.

  • إيه الفرق بين «تم الاكتشاف» و«تم الزحف» في تقرير الفهرسة؟

«تم الاكتشاف، ولم تتم فهرستها حالياً» معناها إن جوجل عارف الرابط ولسه ما زحفلوش، وده غالباً مرتبط بالزحف والروابط الداخلية. «تم الزحف إليها، ولم تتم فهرستها حالياً» معناها إن جوجل قرا الصفحة ومش شايفها تستاهل الأرشفة، وده غالباً مرتبط بجودة المحتوى أو التكرار.

  • إيه هي ميزانية الزحف crawl budget؟

هي مجموعة الروابط اللي جوجل يقدر ويحب يزحف لها في موقعك، وبتعتمد على قدرة السيرفر وعلى طلب جوجل على الزحف. جوجل بيقول إنها بتهم أكتر للمواقع الكبيرة جداً، زي المواقع اللي فيها أكتر من مليون صفحة بتتغير أسبوعياً أو أكتر من ١٠ آلاف صفحة بتتغير يومياً.

  • أقسّم خريطة الموقع إزاي لمتجر فيه آلاف المنتجات؟

كل ملف حده الأقصى ٥٠ ألف رابط و٥٠ ميجابايت قبل الضغط. قسّم حسب نوع الصفحة وحسب التصنيف، واجمع الملفات في ملف فهرس، وخلّي فيها الروابط القابلة للأرشفة بس، وحدّث تاريخ التعديل مع التغيير الحقيقي بس.

  • أطلب فهرسة لكل منتج من Search Console؟

لأ. طلب الفهرسة اليدوي ليه حد يومي، ومفيد لصفحات مهمة جديدة بس. ولآلاف المنتجات، الحل في منع هدر الزحف، وخرائط موقع دقيقة، وروابط داخلية قوية، وتحسين قالب الصفحة. وIndexing API مخصصة لصفحات الوظائف والبث المباشر، مش للمنتجات.