Vídeo em Hindi, publicado pelo canal CoreEd.
इस सामग्री के बारे में: नीचे दिया गया सारांश, मुख्य बिंदु और विषय वीडियो की ट्रांसक्रिप्ट से स्वचालित रूप से तैयार किए गए हैं। वे वीडियो में प्रस्तुत सामग्री, राय, दावों और भविष्यवाणियों को दर्शाते हैं और IA Dots की ओर से किसी समर्थन, सत्यापन या तथ्य-जांच का प्रतिनिधित्व नहीं करते हैं।
वीडियो सारांश
वीडियो में आरएजी (RAG) पाइपलाइन के दस्तावेज़ प्रसंस्करण चरण पर चर्चा की गई है, विशेष रूप से पीडीएफ से सादे पाठ और छवियों में पाठ निकालने के लिए पायथन पैકેज और ओसीआर का उपयोग करने पर। वक्ता ने 10 पृष्ठों की एक पुस्तक के उदाहरण का उपयोग करते हुए समझाया है कि पाठ निष्कर्षण के बाद डेटा को सामान्यीकृत (normalize) करने के लिए एलएलएम (LLM) का उपयोग कैसे किया जा सकता है।
मुख्य बिंदु
- दस्तावेज़ प्रसंस्करण में पीडीएफ से पाठ और छवियों में मौजूद पाठ दोनों को निकालना शामिल है।
- सादे पाठ को निकालने के लिए 'पाई पीडीएफ' (PyPDF) या 'पाई एमयू पीडीएफ' (PyMuPDF) पैकेज का उपयोग किया जा सकता है।
- छवियों से पाठ निकालने के लिए 'पाई टेसेरेक्ट' (PyTesseract) ओसीआर का उपयोग किया जाता है।
- प्रक्रिया में पहले पाठ निकालना, यह जांचना कि क्या पृष्ठ पर कोई छवि है, और यदि हाँ, तो छवि से पाठ निकालना शामिल है।
- निष्कर्षण के बाद, डेटा की अनावश्यक प्रतियों को हटाने और उसे सामान्यीकृत करने के लिए एलएलएम का उपयोग करने की संभावना पर विचार किया जाता है।
विषय
डेटा निष्कर्षणपीडीएफ प्रसंस्करणओसीआरपायथनआरएजी पाइपलाइनएलएलएम
आप क्या सीखेंगे
- पीडीएफ दस्तावेज़ों से सादे पाठ को निकालने के लिए PyPDF और PyMuPDF पैकेजों का उपयोग किया जा सकता है।
- छवियों के भीतर छिपे पाठ को निकालने के लिए PyTesseract ओसीआर का उपयोग किया जाता है।
- दस्तावेज़ प्रसंस्करण कार्यप्रवाह में यह जाँच करना शामिल है कि क्या पृष्ठ पर कोई छवि मौजूद है।
- निष्कर्षण के बाद, एलएलएम की मदद से डेटा को डुप्लिकेट मुक्त और सामान्यीकृत किया जा सकता है।
प्रश्न और उत्तर
सादे पाठ को निकालने के लिए कौन से पैकेजों का उल्लेख किया गया है?
सादे पाठ को निकालने के लिए 'पाई पीडीएफ' (PyPDF) और 'पाई एमयू पीडीएफ' (PyMuPDF) पैकेजों का उल्लेख किया गया है।
छवियों से पाठ निकालने के लिए किस उपकरण का उपयोग किया जाता है?
छवियों से पाठ निकालने के लिए 'पाई टेसेरेक्ट' (PyTesseract) ओसीआर का उपयोग किया जाता है।
डेटा निष्कर्षण के बाद एलएलएम का उपयोग क्यों किया जा सकता है?
डेटा निष्कर्षण के बाद डुप्लीकेशन को हटाने और डेटा को सामान्यीकृत करने में मदद के लिए एलएलएम का उपयोग किया जा सकता है।
वीडियो का ट्रांसक्रिप्ट
उपलब्ध कैप्शन का पाठ; इसमें त्रुटियाँ हो सकती हैं।
अच्छा देखें हमने ना रैक के पाइपलाइन में जो है कल ये चीजें की थीं कि डॉक्यूमेंट हमारा होगा डॉक्यूमेंट के बाद वेक्टर डेटाबेस में जाते हैं और एलएलएम से हम बातें करते हैं। तो इस डॉक्यूमेंट वाले पार्ट को ना जरा जो है देखते हैं। तो डॉक्यूमेंट जो है इसको हमने देखा था के अभी फिलहाल मैं फॉर्मेट के लिए ना सिर्फ पीडीएफ ले रहा हूं। अच्छा अब जो ये पीडीएफ है मतलब डॉक्यूमेंट इस डॉक्यूमेंट का यूं समझें के टेक्स्ट हमें चाहिए। तो एक ऐसा पीडीएफ है जिसके अंदर टेक्स्ट भी लिखा हुआ है और टेक्स्ट इन इमेज भी है। तो अब हमने ये चीज सीखी थी के हम इसके अंदर एक चीज यूज कर सकते हैं जो के लाइब्रेरी है और टेक्स्ट एंड इमेज के लिए ओसीआर भी यूज कर सकते हैं। तो अगर मैं टेक्स्ट के लिए यूज कर लेता हूं कोई लाइब्रेरी और मैं टेक्स्ट एंड इमेज के लिए यूज कर लेता हूं अगेन कोई लाइब्रेरी तो होगा ये के मुझे टेक्स्ट निकल कर मेरे सामने आ जाएगा। तो मैं एक बुक की एग्जांपल लेता हूं। एक बुक है उस बुक में कुछ पेजेस हैं जैसे के ये पेज नंबर वन है। इस बुक का जो है ये पेज नंबर वन है। तो पेज नंबर वन है इस तरह टू है इस तरह थ्री है। तो इसमें जो टोटल पेजेस हैं वो हैं आपके 10 पेजेस हैं। अब ये जो 10 पेजेस हैं इन 10 पेजेस को 10 पेजेस की पीडीएफ है। इसको हमें ये करना है कि डाटा को एक्सट्रैक्ट करना है। एक बुक है उस बुक के अंदर 10 पेजेस हैं अभी हमने तीन पेजेस यहां पर निकाले हैं बाहर। तो जो हमारा पेज है पेज नंबर वन की अगर हम बात करें तो पेज नंबर वन हमारे डॉक्यूमेंट के अंदर आया। मतलब यही डॉक्यूमेंट है। हमें इस डॉक्यूमेंट से हमने पेज नंबर वन को निकाला। उसके पेज नंबर वन के ऊपर पेज नंबर वन के ऊपर जो है टेक्स्ट भी है और टेक्स्ट एंड इमेज भी है। तो अब हमें ये डिसाइड करना है के इस पेज नंबर वन पर तो टेक्स्ट भी है और टेक्स्ट एंड इमेज भी है। और अगर आप इसकी बात करें तो इसके अंदर एक इमेज है मैं आपको इसी पेज को एक्सटेंड करके यहां पर दिखाता हूं कि ये जो पेज है इसके अंदर टेक्स्ट लिखा हुआ है पाइथन इस प्रोग्रामिंग लैंग्वेज ठीक है। अब ये जो पाइथन इस प्रोग्रामिंग लैंग्वेज है इसको हम यहां पर करते हैं सर्च इमेजेस उठाते हैं और यहां पर आ जाते हैं इस इमेज के ऊपर अब ये वाली जो इमेज है ना इसको हम लेकर आ जाते हैं यहां पर क्या है पाइथन प्रोग्रामिंग लैंग्वेज और ये जो है ये टेक्स्ट है एक सेकंड मैं इसको थोड़ा सा एडजस्ट करूं इसी पीडीएफ के अंदर आपके पास टेक्स्ट भी है और आपके पास टेक्स्ट एंड इमेज भी है दोबारा समझिएगा ये जो है आपका एक पीडीएफ डॉक्यूमेंट है इसके 10 पेजेस हैं हमने अभी तीन पेजेस जो हैं वो अपने सामने रखे हैं पेज नंबर वन को रखा है सामने टू को रखा है थ्री को रखा है तो जो पेज नंबर वन है इस पेज नंबर वन को मैंने आपको नीचे बताया है कि ये टेक्स्ट भी है और टेक्स्ट इन इमेज भी है इसके अंदर और अगर आप देखना चाहें तो ये पेज नंबर वन कुछ इस तरह है पाइथन इस प्रोग्रामिंग लैंग्वेज और नीचे जो आपके तस्वीर है उसमें भी कुछ टेक्स्ट है पाइथन प्रोग्रामिंग लिखा हुआ है ये टेक्स्ट एंड इमेज है और ये सिंपल सा टेक्स्ट है पेज नंबर वन है ये यहां पर मैं मेंशन कर देता हूं ठीक है तो अब अगर मैं इस पेज नंबर वन को एक्सट्रैक्ट करूंगा तो मेरे पास इस टेक्स्ट को एक्सट्रैक्ट करने के लिए एक पैकेज है। अ हमें दो पैकेजेस मिले थे जब हमने हाई लेवल डायग्राम बनाया। एक तो है आपका पाई पीडीएफ। पाई पीडीएफ एक ये आपका पैकेज है। एक पैकेज और भी है जो के है पाई एमयू पीडीएफ। तो ये दो पैकेज हैं। इन दोनों पैकेज में से कोई भी आप यूज कर सकते हैं टेक्स्ट के लिए। और फिर आपको पाई टेसेरेक्ट भी मिला था। तो पाई टेसेरेक्ट जो है ये ओसीआर वाला है। तो अब हमारे पास दो पैकेजेस भी हैं। इनमें से कोई भी यूज कर सकते हैं। ये वाला यूज कर सकते हैं या ये वाला यूज कर सकते हैं। ठीक है? और पाई टेसेरेक्ट प्लस ओसीआर टेक्स्ट एंड इमेज के लिए है। तो अब हमें करना ये है के पेज नंबर वन को देखना है। पेज नंबर वन का फ्लो अगर आप समझें तो पेज नंबर वन जो है इसके अंदर टेक्स्ट है और ये ये आया आपके पास यहां पर। पैकेज भी है। या तो ये यूज कर लेंगे या ये यूज कर लेंगे टेक्स्ट के लिए या ये यूज कर लेंगे टेक्स्ट एंड इमेज के लिए। तो अब मुझे बताएं कि इसके ऊपर पेज नंबर वन के ऊपर कौन सा प्रोसेस चलेगा? टेक्स्ट वाला चलेगा या टेक्स्ट इन इमेज चलेगा? पहले मुझे ये समझें। अब देखें अब हमें ये बात समझ आ गई के पेज नंबर वन के ऊपर जो है वो टेक्स्ट का डाटा भी है और इमेज भी है। तो हमारे पास जो है वो टेक्स्ट भी चलेगा और टेक्स्ट एंड इमेज भी चलेगा। तो इसकी कंडीशन अगर हम सोचें तो शायद इस तरह होगी के नंबर वन पर हम चेक करेंगे के सबसे पहले हम पाई पीडीएफ की बात करते हैं। या हम लिखते हैं कि एक्सट्रैक्ट करेंगे हम टेक्स्ट को। एक्सट्रैक्ट करेंगे हम टेक्स्ट को नंबर वन पर। नंबर टू पर हम एक्सट्रैक्ट करेंगे टेक्स्ट एंड इमेज को या नंबर टू में यह भी लिख सकता हूं के हम नंबर टू पर यह चेक करेंगे के इज इमेज इज इमेज के मतलब मैं यह देख रहा हूं कि इस पेज में कोई इमेज है कि नहीं है ठीक है। नंबर थ्री पर अगर इमेज है अगर इमेज है इज इमेज इज इक्वल टू ट्रू तो फिर हम क्या करेंगे? तो फिर हम इसको एक्सट्रैक्ट करेंगे एक्सट्रैक्ट टेक्स्ट इन इमेज। तो यहां पर हमने टेक्स्ट को एक्सट्रैक्ट किया इस पेज से। फिर हमने देखा कि इस पेज पर इमेज है कि नहीं अगर इमेज है तो हमने इमेज के टेक्स्ट को भी एक्सट्रैक्ट कर लिया। तो एक्सट्रैक्ट करने के बाद एक्सट्रैक्शन के बाद मेरे पास जो चीज आई है वो क्या आई है वो देखते हैं। आफ्टर एक्सट्रैक्शन मेरे पास एक ये टेक्स्ट आया है। ठीक है और मेरे पास आया है टेक्स्ट एंड इमेज जो के है पाइथन प्रोग्रामिंग। तो ये आया है मेरे पास डाटा। अगर आप यहां पर देख पा रहे हैं तो आप यहां पर देख पा रहे हैं कि मेरे पास दोनों डाटा एक्सट्रैक्शन के बाद जो मुझे मिला है वो यहां पर है। यहां तक आपको ये बात समझ आई? अच्छा तो अब डाटा एक्सट्रैक्शन क्योंकि हम कर चुके हैं लेकिन ये जो डाटा निकल कर आया है ना तो ये डाटा इसके अंदर मुझे देख कर ऐसा लग रहा है के जो टेक्स्ट है और जो टेक्स्ट एंड इमेज था ये दोनों के दोनों ही ये दोनों के दोनों ही एक ही बात कर रहे हैं। तो अगर मैं यहां पर एक एलएलएम लगा दूं और एलएलएम से मैं ये कहूं के दिस इज माय एक्सट्रैक्टेड डाटा बिफोर मेकिंग एम्बेडिंग यहां पे ये इससे कह दूं मैं के नो डुप्लीकेशन। और इसको मैं कह दूंगा के हेल्प मी टू नॉर्मलाइज दिस एक्सट्रैक्टेड डाटा। ठीक है। फिर मैं नीचे आता हूं। यहां पर इस प्रॉम्प्ट में इसको कहता हूं के ये जो वेरिएबल है टेक्स्ट का इसके अंदर तुम्हें मिल जाएगा ये टेक्स्ट। बल्कि इस तरह नहीं लिखते। इस तरह लिखते हैं के पाइथन इस प्रोग्रामिंग लैंग्वेज। ये बल्कि हां हमने ऊपर वेरिएबल को बनाया तो यहां इस तरह लिख देते हैं के ये वेरिएबल ले लो ऊपर से। और एक वेरिएबल है टेक्स्ट इन इमेज। इसको आप कर दें डाटा वन। इसको आप कर दें डाटा जीरो टू। आपको क्या लगता है कि इससे कोई फायदा होगा? अगर मैं एलएलएम को यह दे दूं डेटा टू जो है वह आपका यह है। डेटा वन जो है वह आपका यह है। आपको बात समझ में आ रही है मैं क्या कहना चाह रहा हूं?
Assistir ao vídeo original no YouTube
Assuntos: Agentes de IA. Publicado no YouTube em 2026-11-05.
Seleção automática por assunto e idioma. O vídeo pertence ao canal de origem.
Comentários
Postar um comentário