উৎপাদন উদ্যোগটোৱে সম্পূৰ্ণ বুদ্ধিমত্তাৰ দিশে আগবাঢ়ি যোৱাৰ লগে লগে তথ্য উদ্যোগসমূহৰ বাবে অন্যতম মূল উৎপাদন কাৰক হৈ পৰিছে।
ওপৰত উল্লেখ কৰা আগশাৰীৰ স্মাৰ্ট হোম নিৰ্মাণ কোম্পানীসমূহে শেহতীয়া বছৰবোৰত অনুসন্ধান আৰু বিকাশ, উৎপাদন, বিপণন, আৰু সেৱাৰ সমগ্ৰ শৃংখলটোক সামৰি লোৱা এটা ডাটা-চালিত ব্যৱস্থা নিৰ্মাণ কৰি আহিছে আৰু বিগ ডাটা প্লেটফৰ্মটোৱেই হৈছে এই ব্যৱস্থাৰ মূল কেন্দ্ৰ যিয়ে বৃহৎ পৰিমাণৰ তথ্য সংৰক্ষণ, গণনা, বিশ্লেষণ, আৰু প্ৰেৰণৰ বাবে দায়বদ্ধ।
উদ্যোগটোৰ ব্যৱসায়িক পৰিসৰ দ্ৰুতগতিত সম্প্ৰসাৰিত হোৱাৰ লগে লগে আৰু ব্যৱসায়িক জটিলতা বৃদ্ধি পোৱাৰ লগে লগে উদ্যোগটোৱে বহু বছৰ ধৰি ব্যৱহাৰ কৰি অহা চিডিএইচ ক্লাষ্টাৰৰ ২০১৫ সংস্কৰণটোৱে ক্ৰমান্বয়ে অপৰ্যাপ্ত কাৰিকৰী পৰিৱেশন, সুৰক্ষা ক্ষমতাৰ অভাৱ, আৰু সীমিত সম্প্ৰসাৰণ স্থানৰ দৰে অভাৱসমূহ উন্মোচন কৰিছে।
ই তথ্যৰ উৎপাদনশীলতা মুক্তিক বাধা দিয়া এটা মূল বটলনেকত পৰিণত হৈছে। প্লেটফৰ্ম উন্নীতকৰণ অচিৰেই ঘটিছে।
এই বিগ ডাটা প্লেটফৰ্ম উন্নয়ন প্ৰকল্পই তিনিটা মূল পৰীক্ষাৰ সন্মুখীন হৈছে: প্ৰথম, ব্যৱসায়িক ধাৰাবাহিকতাৰ প্ৰয়োজনীয়তা অতি উচ্চ। প্লেটফৰ্মে বৃহৎ সংখ্যক মূল কাম যেনে উৎপাদন সময়সূচী, বাস্তৱ সময়ৰ প্ৰতিবেদন, আৰু যোগান শৃংখল বিশ্লেষণ বহন কৰে। উন্নয়ন প্ৰক্ৰিয়াৰ সময়ত, ই নিশ্চিত কৰিব লাগিব যে ব্যৱসায় নিৰৱচ্ছিন্ন, তথ্য হেৰাই যোৱা নাই, আৰু কাৰ্য্যসমূহ বাধাপ্ৰাপ্ত নহয়; দ্বিতীয়তে, তথ্যৰ আয়তন বিশাল, আৰু প্ৰব্ৰজন জটিলতা অধিক। পিবি-স্তৰৰ ঐতিহাসিক তথ্য বিভিন্ন ব্যৱসায়িক মডিউলত সিঁচৰতি হৈ থাকে। একে সময়তে চলিবলৈ একাধিক ব্যৱসায়িক দলে প্লেটফৰ্মৰ ওপৰত নিৰ্ভৰ কৰে। তেওঁলোকে এটা সীমিত সময়ৰ উইণ্ড’ৰ ভিতৰত সম্পূৰ্ণ ডাটা প্ৰব্ৰজন সম্পূৰ্ণ কৰিব লাগিব আৰু পুৰণি আৰু নতুন প্লেটফৰ্মসমূহৰ ডাটা প্ৰচেছিং ফলাফল সম্পূৰ্ণৰূপে সামঞ্জস্যপূৰ্ণ হোৱাটো নিশ্চিত কৰিব লাগিব। তৃতীয়তে, সংস্কৰণৰ স্পেন ডাঙৰ, আৰু সুসংগততা আৰু সুৰক্ষা পুনৰ্গঠন কঠিন। পুৰণি CDH ৰ পৰা 5.x ৰ পৰা শেহতীয়া CDP (Cloudera ডাটা প্লেটফৰ্ম) লৈ উন্নয়ন কৰাত কেৱল MapReduce ৰ পৰা Tez/Spark লৈ অন্তৰ্নিহিত ইঞ্জিনৰ এটা বিস্তৃত প্ৰতিস্থাপন জড়িত নহয়, কিন্তু সুৰক্ষা ক্ষমতাসমূহ যেনে Kerberos প্ৰমাণীকৰণ, ৰেঞ্জাৰ ফাইন-গ্ৰেইনড অনুমতি নিয়ন্ত্ৰণ, আৰু ডাটা ডিচেন্সিটাইজেচনৰ একেলগে প্ৰৱৰ্তনৰ প্ৰয়োজন, যিয়ে অতি উচ্চ প্ৰয়োজনীয়তা ৰাখে চাকৰিৰ ৰূপান্তৰ আৰু আবেদন অভিযোজন।
ওপৰৰ অসুবিধাসমূহৰ প্ৰতি সঁহাৰি জনাই, প্ৰকল্প সেৱা দলে পদ্ধতিগত ৰোলিং প্ৰব্ৰজন সমাধানসমূহৰ এটা গোট প্ৰদান কৰিছিল: নতুন ডাটা কেন্দ্ৰত এটা নতুন CDP থুপ সৃষ্টি কৰক, ব্যৱসায়িক পৰিস্থিতি অনুসৰি পুৰণি ক্লাষ্টাৰৰ পৰা নতুন ক্লাষ্টাৰলৈ তথ্য আৰু কাৰ্য্যভাৰসমূহ ক্ৰমান্বয়ে প্ৰব্ৰজন কৰক, আৰু পুৰণি সঁজুলিসমূহ অফলাইন লোৱাৰ আগতে একাধিক ৰাউণ্ডৰ বাবে তথ্যৰ সামঞ্জস্যতা আৰু কাৰ্য্যকৰী স্থিৰতা পৰীক্ষা কৰক।
একে সময়তে, প্ৰকল্প বিনিয়োগ খৰচ কম কৰিবলে নতুন থুপ সম্প্ৰসাৰণ কৰিবলে অচল পুৰণি চাৰ্ভাৰ সম্পদসমূহ পুনৰ ব্যৱহাৰ কৰা হয়। প্ৰব্ৰজন প্ৰক্ৰিয়াটো ফুলপ্ৰুফ হোৱাটো নিশ্চিত কৰিবলৈ, প্ৰকল্পৰ দলটোৱে অফিচিয়েল চুইচৰ পূৰ্বে প্ৰব্ৰজন পথ, চাকৰিৰ সামঞ্জস্যতা, আৰু তথ্যৰ সামঞ্জস্যতাৰ ওপৰত একাধিক ৰাউণ্ডৰ চাপ পৰীক্ষণ আৰু চিমুলেচন পৰীক্ষণ চলাইছিল।
তেওঁলোকে একেলগে প্ৰতিটো ব্যৱসায়িক দলক চাকৰিৰ অভিযোজন আৰু ৰূপান্তৰ পৰিকল্পনা প্ৰদান কৰিছিল, কঠোৰ ডাটা প্ৰচেছিং সামঞ্জস্য পৰীক্ষণ ব্যৱস্থা স্থাপন কৰিছিল আৰু অৱশেষত ব্যৱসায়ৰ কোনো ধাৰণা নোহোৱাকৈ মসৃণ ৰোলআউট লাভ কৰিবলৈ সম্পূৰ্ণ ট্ৰেফিক চুইচিং পৰিকল্পনা প্ৰস্তুত কৰিছিল।
এই উন্নয়ন সম্পূৰ্ণ হোৱাৰ পিছত, এণ্টাৰপ্ৰাইজৰ বিগ ডাটা প্লেটফৰ্মে ক্ষমতাসমূহত বহু-মাত্ৰিক জাঁপ লাভ কৰিছে: প্ৰথমতে, পৰিৱেশন বহু পৰিমাণে উন্নত কৰা হৈছে। সকলো অফলাইন কাৰ্য্য MapReduce ৰ পৰা Tez/Spark লৈ প্ৰব্ৰজন কৰাৰ পিছত, প্লেটফৰ্মৰ সামগ্ৰিক ডাটা থ্ৰুপুট 30% তকৈ অধিক বৃদ্ধি পাইছে, আৰু মূল অঞ্চলসমূহত ভিত্তি ৰেখা কাৰ্য্যসমূহৰ প্ৰচেছিং সময় 48% লৈকে কম কৰা হৈছে। ই তথ্য উৎপাদনৰ সময়োপযোগীতা যথেষ্ট উন্নত কৰিছে আৰু বাস্তৱ সময়ৰ প্ৰয়োজনীয়তা যেনে উৎপাদন সময়সূচী আৰু ব্যৱহাৰকাৰী বিশ্লেষণক ভালদৰে সমৰ্থন কৰিব পাৰে। দ্বিতীয়তে, হাডুপ ব্যৱহাৰ কৰি সংৰক্ষণৰ খৰচ বহু পৰিমাণে হ্ৰাস কৰা হৈছে। ইচি (ত্ৰুটি সংশোধন ক’ড) প্ৰযুক্তিৰ RS-3-2-1024k কম্প্ৰেছন এলগৰিদমে তথ্যৰ নিৰ্ভৰযোগ্যতা হ্ৰাস নকৰাকৈ সংৰক্ষণ স্থানৰ ব্যৱহাৰ ৪০% হ্ৰাস কৰে, তথ্যৰ স্কেলৰ অবিৰত সম্প্ৰসাৰণৰ ফলত হোৱা খৰচৰ চাপ ফলপ্ৰসূভাৱে নিয়ন্ত্ৰণ কৰে; তৃতীয়তে, সুৰক্ষা ক্ষমতাসমূহে এটা গুণগত জাঁপ লাভ কৰিছে, আৰু Kerberos সুৰক্ষা সম্পূৰ্ণৰূপে গ্ৰহণ কৰা হৈছে প্ৰমাণীকৰণে বিগ ডাটাৰ বিভিন্ন উপাদানসমূহৰ পাৰস্পৰিক বিশ্বাস প্ৰমাণীকৰণ উপলব্ধি কৰে। অকৰ্তৃত্বশীল মেচিনে থুপ আৰু উপাদানসমূহ অভিগম কৰিব নোৱাৰে। ৰেঞ্জাৰ ফাইন-গ্ৰেইনড অনুমতি ব্যৱস্থাপনাৰ সৈতে, ই গতিশীল স্তম্ভ ফিল্টাৰিং, তথ্য অসংবেদনশীলতা, আৰু স্বনিৰ্বাচিত অভিগম নীতিসমূহ সমৰ্থন কৰে। সকলো Hadoop উপাদানসমূহ সুৰক্ষা ব্যৱস্থাপনা আৰু নিয়ন্ত্ৰণ ব্যৱস্থাপ্ৰণালীত একত্ৰিত কৰা হৈছে, সম্পূৰ্ণৰূপে এণ্টাৰপ্ৰাইজ-স্তৰৰ তথ্য সম্মতি প্ৰয়োজনীয়তাসমূহ পূৰণ কৰে।
উদ্যোগৰ অন্তৰ্দৃষ্টিসম্পন্নসকলে আঙুলিয়াই দিছে যে এই বিগ ডাটা প্লেটফৰ্ম উন্নীতকৰণ প্ৰকল্পই উৎপাদন ক্ষেত্ৰত মূল ডাটা আন্তঃগাঁথনিৰ পুনৰাবৃত্তিৰ বাবে এটা বেঞ্চমাৰ্ক কেছ হিচাপে কাম কৰে। ইয়াৰ “নন-ষ্টপ ব্যৱসায়িক সেৱা আৰু শূন্য ডাটা ভুল”ৰ প্ৰব্ৰজন অভিজ্ঞতাৰ ডিজিটেল ৰূপান্তৰক প্ৰসাৰিত কৰা গৰিষ্ঠসংখ্যক উৎপাদন কোম্পানীৰে বাবে উচ্চ ৰেফাৰেন্স মূল্য আছে। ইয়াৰ উপৰিও ই ঘৰুৱা উৎপাদন উদ্যোগৰ বাবে “উৎপাদন”ৰ পৰা “বুদ্ধিমান উৎপাদন”লৈ উন্নীত কৰিবলৈ এটা প্ৰতিলিপিযোগ্য কম্পিউটিং শক্তি ভিত্তি নিৰ্মাণ পথ প্ৰদান কৰে।
