مع تحرك الصناعة التحويلية نحو الذكاء الكامل، أصبحت البيانات أحد عوامل الإنتاج الأساسية للمؤسسات.
واصلت شركات تصنيع المنازل الذكية الرائدة المذكورة أعلاه بناء نظام قائم على البيانات يغطي السلسلة الكاملة للبحث والتطوير والإنتاج والتسويق والخدمات في السنوات الأخيرة، ومنصة البيانات الضخمة هي المحور الأساسي في هذا النظام المسؤول عن تخزين البيانات الضخمة وحسابها وتحليلها وإرسالها.
مع التوسع السريع في نطاق أعمال المؤسسة واستمرار زيادة تعقيد الأعمال، كشفت نسخة 2015 من مجموعة CDH التي استخدمتها المؤسسة لسنوات عديدة عن عيوب تدريجية مثل الأداء الفني غير الكافي، ونقص القدرات الأمنية، ومساحة التوسع المحدودة.
لقد أصبح عنق الزجاجة الأساسي الذي يقيد إصدار إنتاجية البيانات. ترقيات النظام الأساسي وشيكة.
يواجه مشروع ترقية منصة البيانات الضخمة ثلاثة اختبارات أساسية: أولاً، متطلبات استمرارية الأعمال مرتفعة للغاية. تحمل المنصة عددًا كبيرًا من المهام الأساسية مثل جدولة الإنتاج وإعداد التقارير في الوقت الفعلي وتحليل سلسلة التوريد. أثناء عملية الترقية، يجب التأكد من عدم انقطاع العمل، وعدم فقدان البيانات، وعدم انقطاع العمليات؛ ثانيًا، حجم البيانات ضخم، والهجرة عالية التعقيد. البيانات التاريخية على مستوى PB متناثرة في وحدات أعمال مختلفة. تعتمد فرق العمل المتعددة على النظام الأساسي للعمل في نفس الوقت. إنهم بحاجة إلى إكمال ترحيل البيانات بالكامل خلال فترة زمنية محدودة والتأكد من أن نتائج معالجة البيانات للأنظمة الأساسية القديمة والجديدة متسقة تمامًا. ثالثًا، نطاق الإصدار كبير، ومن الصعب إعادة بناء التوافق والأمن. من ترقية CDH القديمة من 5.x إلى أحدث CDP (Cloudera Data Platform) لا تتضمن فقط استبدالًا شاملاً للمحرك الأساسي من MapReduce إلى Tez/Spark، ولكنها تتطلب أيضًا تقديمًا متزامنًا لقدرات الأمان مثل مصادقة Kerberos، والتحكم الدقيق في أذونات Ranger، وإزالة حساسية البيانات، مما يضع متطلبات عالية للغاية على تحويل الوظائف وتكييف التطبيقات.
استجابة للصعوبات المذكورة أعلاه، قدم فريق خدمة المشروع مجموعة من حلول الترحيل المنتظمة: إنشاء مجموعة CDP جديدة في مركز البيانات الجديد، وترحيل البيانات وأحمال العمل تدريجيًا من المجموعة القديمة إلى المجموعة الجديدة وفقًا لسيناريوهات العمل، والتحقق من اتساق البيانات واستقرار التشغيل لجولات متعددة قبل إيقاف تشغيل المعدات القديمة. وفي الوقت نفسه، يتم إعادة استخدام موارد الخادم القديمة الخاملة لتوسيع المجموعة الجديدة لتقليل تكاليف الاستثمار في المشروع.
من أجل التأكد من أن عملية الترحيل مضمونة، أجرى فريق المشروع جولات متعددة من اختبارات التحمل والتحقق من المحاكاة على مسار الترحيل، والتوافق الوظيفي، واتساق البيانات قبل التبديل الرسمي. لقد قدموا في الوقت نفسه خطط التكيف والتحول الوظيفي لكل فريق عمل، وأنشأوا آلية صارمة للتحقق من اتساق معالجة البيانات، وأخيرًا قاموا بصياغة خطة كاملة لتحويل حركة المرور لتحقيق بدء سلس دون أي تصور للأعمال.
بعد الانتهاء من هذه الترقية، حققت منصة البيانات الضخمة للمؤسسة قفزة متعددة الأبعاد في القدرات: أولاً، تم تحسين الأداء بشكل كبير. بعد ترحيل جميع المهام غير المتصلة بالإنترنت من MapReduce إلى Tez/Spark، زاد إنتاجية البيانات الإجمالية للنظام الأساسي بأكثر من 30%، وتم تقصير وقت معالجة المهام الأساسية في المناطق الأساسية بنسبة تصل إلى 48%. وقد أدى ذلك إلى تحسين توقيت إخراج البيانات بشكل كبير ويمكن أن يدعم بشكل أفضل الاحتياجات في الوقت الفعلي مثل جدولة الإنتاج وتحليل المستخدم. ثانيًا، تم تخفيض تكاليف التخزين بشكل كبير باستخدام Hadoop. تعمل خوارزمية الضغط RS-3-2-1024k في تقنية EC (رمز تصحيح الأخطاء) على تقليل استخدام مساحة التخزين بنسبة 40% دون تقليل موثوقية البيانات، والتحكم بشكل فعال في ضغط التكلفة الناجم عن التوسع المستمر في نطاق البيانات؛ ثالثًا، حققت القدرات الأمنية قفزة نوعية، وتم اعتماد أمان Kerberos بالكامل، وتحقق المصادقة الثقة المتبادلة بين مختلف مكونات البيانات الضخمة. لا يمكن للأجهزة غير المصرح بها الوصول إلى المجموعات والمكونات. من خلال إدارة أذونات Ranger الدقيقة، فإنه يدعم تصفية الأعمدة الديناميكية وإزالة حساسية البيانات وسياسات الوصول المخصصة. تم توحيد جميع مكونات Hadoop في نظام إدارة الأمان والتحكم، مما يلبي متطلبات الامتثال للبيانات على مستوى المؤسسة بشكل كامل.
أشار المطلعون على الصناعة إلى أن مشروع ترقية منصة البيانات الضخمة هذا يعد بمثابة حالة مرجعية لتكرار البنية التحتية للبيانات الأساسية في مجال التصنيع.
تتمتع تجربة الترحيل الخاصة بها المتمثلة في “خدمة الأعمال بدون توقف وعدم وجود خطأ في البيانات” بقيمة مرجعية عالية بالنسبة لغالبية شركات التصنيع التي تعمل على تعزيز التحول الرقمي. كما أنه يوفر مسارًا لبناء قاعدة طاقة حاسوبية قابلة للتكرار لصناعة التصنيع المحلية للترقية من “التصنيع” إلى “التصنيع الذكي”.
