टोकन वर्णों का एक अनुक्रम है जो अर्थ की एक इकाई का प्रतिनिधित्व करता है।
बड़े भाषा मॉडल (एलएलएम) के संदर्भ में, पाठ अनुक्रम में व्यक्तिगत शब्दों या उपशब्दों का प्रतिनिधित्व करने के लिए टोकन का उपयोग किया जाता है। टेक्स्ट को अलग-अलग टोकन में तोड़ने की प्रक्रिया को टोकनाइजेशन कहा जाता है।
प्राकृतिक भाषा पीढ़ी (एनएलजी) में, मशीन लर्निंग मॉडल के लिए पाठ अनुक्रम में तत्वों के बीच मौजूद सभी संबंधों के बारे में सीखना आसान बनाने के लिए टोकन का उपयोग इनपुट के रूप में किया जाता है। यह दृष्टिकोण मॉडल को पाठ को इस तरह से संसाधित करने की अनुमति देता है जो इसकी संरचना और अर्थ दोनों को पकड़ लेता है।
नेटवर्किंग में टोकन शब्द का एक अलग अर्थ होता है। यह एक विशेष फ्रेम है जिसे रिंग नेटवर्क के चारों ओर एक नोड से दूसरे नोड तक भेजा जाता है। जब यह एक नोड तक पहुंचता है जिसे डेटा संचारित करने की आवश्यकता होती है, तो नोड टोकन को डेटा फ्रेम में बदल देता है और इसे प्राप्तकर्ता तक पहुंचाता है।
टोकन रिंग नेटवर्क की आंतरिक कार्यप्रणाली के लिए टोकन आवश्यक हैं। एक टोकन को एक समय में केवल एक ही नोड द्वारा नियंत्रित किया जा सकता है। टोकन का वाहक ही नेटवर्क के भीतर प्राप्तकर्ता नोड को नेटवर्क के आसपास डेटा भेजने की अनुमति देता है। टोकन का वाहक प्राप्तकर्ता का पता और भेजे जाने वाले डेटा को लिखता है, और फिर इसे श्रृंखला में अगले नोड पर भेजता है।
जब प्रेषक नोड अगले नोड को टोकन भेजता है, तो वह नोड पता पढ़ता है। यदि वह नोड इच्छित प्राप्तकर्ता नहीं है, तो यह डेटा को अगले नोड पर भेजता है इत्यादि। अंत में, जब प्राप्तकर्ता नोड डेटा पढ़ता है और जानता है कि यह प्राप्तकर्ता है, तो यह डेटा लेता है और एक संदेश के साथ प्रेषक के पते पर टोकन वापस भेजता है जो दर्शाता है कि डेटा प्राप्त हुआ था। टोकन को फिर से रिंग के चारों ओर भेजा जाता है जब तक कि यह टोकन के प्रेषक/वाहक तक नहीं पहुंच जाता। टोकन का उपयोग करने के बाद, एक नोड इसे वापस नेटवर्क में जारी करता है ताकि अन्य नोड इसका उपयोग कर सकें।
हालाँकि टोकन रिंग ट्रांसमिशन एक धीमी प्रक्रिया प्रतीत होती है, उपयोगकर्ता शायद ही कभी इस पर ध्यान देते हैं क्योंकि डेटा संचार तेजी से होता है।
0 Comments