डेटा लेकहाउस का एक महत्वपूर्ण उद्देश्य मशीन लर्निंग इंजीनियरों (एमएलई) के लिए विभिन्न प्रकार के कृत्रिम बुद्धिमत्ता (एआई) वर्कलोड के लिए समान बड़े डेटा सेट का उपयोग करना आसान बनाना है।
डेटा लेकहाउस वास्तुकला में पाँच परतें होती हैं:
- अंतर्ग्रहण परत - विभिन्न स्रोतों से संरचित और असंरचित डेटा खींचती है।
- भंडारण परत - वास्तुकला की एक परत में भंडारण वस्तुओं के रूप में डेटा को संग्रहीत करता है।
- मेटाडेटा परत - विशिष्ट भंडारण वस्तुओं का पता लगाने और पढ़ने पर स्कीमा निर्दिष्ट करने के लिए उपयोग किया जाता है।
- एप्लिकेशन प्रोग्रामिंग इंटीग्रेशन (एपीआई) परत - एप्लिकेशन को यह समझने में मदद करती है कि किसी विशेष कार्य को पूरा करने के लिए कौन से डेटा आइटम की आवश्यकता है और उन्हें कैसे पुनर्प्राप्त किया जाए।
- उपभोग परत - विश्लेषण और रिपोर्टिंग के लिए सहायता प्रदान करती है।
एक डेटा लेकहाउस एक ही एकीकृत भंडारण परत को कई उद्देश्यों के लिए उपयोग करने की अनुमति देता है - जिसमें पूर्वानुमानित विश्लेषण, निर्देशात्मक विश्लेषण, गहन शिक्षण और रिपोर्टिंग शामिल है।
यह उभरता हुआ आर्किटेक्चर डेटा वेयरहाउस के लाभों के साथ डेटा लेक के लचीलेपन को संयोजित करने के लिए मेटाडेटा का उपयोग करता है। लोकप्रिय डेटा लेकहाउस विक्रेताओं में शामिल हैं:
- क्लौडेरा - यह खुला स्रोत, खुला मानक-आधारित डेटा लेकहाउस अपाचे आइसबर्ग के ओपन टेबल प्रारूप पर बनाया गया है।
- डेटाब्रिक्स - डेटाब्रिक्स लेकहाउस प्लेटफ़ॉर्म को AWS, Microsoft Azure और Google क्लाउड पर एक सेवा के रूप में वितरित और प्रबंधित किया जा सकता है।
- ड्रेमियो - ग्राहकों को कम टीसीओ के साथ लेकहाउस आर्किटेक्चर का उपयोग करने में मदद करने के लिए डिज़ाइन की गई पूरी तरह से प्रबंधित सेवाएं प्रदान करता है।
- स्नोफ्लेक - विषय-विशिष्ट डेटा मार्ट, डेटा वेयरहाउस और डेटा लेक को सत्य के एकल स्रोत (एसएसओटी) में एकीकृत करता है जिसका उपयोग विभिन्न प्रकार के कार्यभार को शक्ति प्रदान करने के लिए किया जा सकता है।
0 Comments