Bag of Words TF-IDF
📘 টেক্সটকে সংখ্যায় রূপান্তর।
🌐 Turn text into numbers.
💬
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
টেক্সটকে সংখ্যায় রূপান্তর।
টেক্সটকে সংখ্যায় রূপান্তর।
🌐 English:
Turn text into numbers.
Turn text into numbers.
🗂 কোথায় পড়ে
৪. ডিপ লার্নিং ও এআই → ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং → Bag of Words TF-IDF
🎯 এই শাখার লক্ষ্য
Preprocess text, embeddings, transformers
🧰 টুলস
NLTK, spaCy, Hugging Face
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
সহজ, দ্রুত ও ব্যাখ্যাযোগ্য টেক্সট ফিচার—শক্তিশালী বেসলাইন।
- ধাপ 1Bag of Words: শব্দভান্ডার বানিয়ে প্রতিটি নথিতে শব্দ গণনা (CountVectorizer)
- ধাপ 2TF = নথিতে শব্দের ঘনত্ব; IDF = log(মোট নথি / শব্দযুক্ত নথি)
- ধাপ 3TF-IDF: বিরল কিন্তু নথিতে ঘন শব্দে বেশি ওজন
- ধাপ 4n-gram (১–২) দিয়ে "ভালো না" ধরনের বাক্যাংশ; max_features দিয়ে আকার সীমিত
🧪 বাস্তব উদাহরণ
TfidfVectorizer(ngram_range=(1,2), max_features=20000) + LogisticRegression = সংবাদ শ্রেণিবিন্যাসের বেসলাইন।
⚠️ সাধারণ ভুল
টেস্ট ডেটায় আবার fit_transform—ভিন্ন শব্দভান্ডার।
🔑 মূল শব্দ (Key terms)
bag of wordsTF-IDFn-gramvocabularysparse matrix
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক2.1 Bag of Words2.1.1 শব্দ গণনা
2.2 TF-IDF2.2.1 গুরুত্বভিত্তিক ওজন
2.3 n-gram2.3.1 শব্দজোড়া
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (NLP)
এডিট করে Run চাপুন · Ctrl+Enterfrom sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression texts=["খুব ভালো পণ্য","অসাধারণ সার্ভিস","একদম বাজে","খারাপ অভিজ্ঞতা","ভালো লেগেছে","বাজে সার্ভিস"]; y=[1,1,0,0,1,0] v=TfidfVectorizer(analyzer="char_wb",ngram_range=(2,4)); X=v.fit_transform(texts) m=LogisticRegression().fit(X,y) for s in ["সার্ভিস ভালো","বাজে পণ্য"]: print(s,"->","positive" if m.predict(v.transform([s]))[0] else "negative")
❓
সেল্ফ-চেক · Self check
1. “শব্দ গণনা” — এটি কোন সাব-টপিকের বর্ণনা?
2. “গুরুত্বভিত্তিক ওজন” — এটি কোন সাব-টপিকের বর্ণনা?
3. “শব্দজোড়া” — এটি কোন সাব-টপিকের বর্ণনা?
🔗