Information Theory Entropy
📘 এনট্রপি, ক্রস-এনট্রপি ও KL divergence।
🌐 Entropy, cross-entropy and KL divergence.
📐
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
এনট্রপি, ক্রস-এনট্রপি ও KL divergence।
এনট্রপি, ক্রস-এনট্রপি ও KL divergence।
🌐 English:
Entropy, cross-entropy and KL divergence.
Entropy, cross-entropy and KL divergence.
🗂 কোথায় পড়ে
১. ভিত্তি → গণিত → Information Theory Entropy
🎯 এই শাখার লক্ষ্য
Manipulate matrices, compute gradients, reason with probability
🧰 টুলস
NumPy, Desmos, GeoGebra
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
ক্লাসিফিকেশনের লস (cross-entropy), ডিসিশন ট্রির বিভাজন, LLM-এর প্রশিক্ষণ—সবই ইনফরমেশন থিওরি।
- ধাপ 1এনট্রপি H = −Σ p log p: অনিশ্চয়তা যত বেশি, H তত বেশি
- ধাপ 2ন্যায্য মুদ্রা H=1 বিট; সবসময় হেড হলে H=0
- ধাপ 3ক্রস-এনট্রপি: সত্য বিতরণ p-কে মডেলের q দিয়ে বর্ণনার খরচ
- ধাপ 4KL divergence = ক্রস-এনট্রপি − এনট্রপি: দুই বিতরণের দূরত্ব
🧪 বাস্তব উদাহরণ
আসল লেবেল "বিড়াল", মডেল বলে ০.৯ → লস −log(0.9)=0.105; ০.১ বললে লস 2.3—ভুল আত্মবিশ্বাসে বড় শাস্তি।
⚠️ সাধারণ ভুল
KL divergence প্রতিসম ভাবা—KL(p‖q) ≠ KL(q‖p)।
🔑 মূল শব্দ (Key terms)
entropycross-entropyKL divergenceinformation gain
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক12.1 এনট্রপি12.1.1 H = −Σp log p12.1.2 অনিশ্চয়তা
12.2 ক্রস-এনট্রপি12.2.1 ক্লাসিফিকেশন লস
12.3 KL Divergence12.3.1 দুই বিতরণের দূরত্ব
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (Mathematics for AI)
এডিট করে Run চাপুন · Ctrl+Enterimport numpy as np, matplotlib.pyplot as plt
# Gradient descent on f(x)=(x-3)^2
x=10.0; lr=0.1; path=[x]
for _ in range(30): x-=lr*2*(x-3); path.append(x)
print("Minimum found at x =", round(x,4))
A=np.array([[2,1],[1,3]]); w,v=np.linalg.eig(A); print("Eigenvalues:",w.round(3))
plt.plot(path,'o-'); plt.title('Gradient descent converging to 3'); plt.xlabel('step'); plt.show()❓
সেল্ফ-চেক · Self check
1. “H = −Σp log p, অনিশ্চয়তা” — এটি কোন সাব-টপিকের বর্ণনা?
2. “ক্লাসিফিকেশন লস” — এটি কোন সাব-টপিকের বর্ণনা?
3. “দুই বিতরণের দূরত্ব” — এটি কোন সাব-টপিকের বর্ণনা?
🔗
সংযুক্ত কনসেপ্ট · Connected concepts
এই শাখার অন্যান্য অংশ
1. Linear Algebra Basics2. Calculus for ML3. Probability4. Bayes Theorem5. Vectors & Vector Spaces6. Matrix Operations7. Eigenvalues & Eigenvectors8. Singular Value Decomposition9. Partial Derivatives & Gradient10. Chain Rule11. Optimization & Convexity12. Information Theory Entropy13. Discrete Mathematics & Graphs