Optimization & Convexity
📘 সর্বনিম্ন খোঁজা ও কনভেক্স সমস্যা।
🌐 Finding minima; convex problems.
📐
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
সর্বনিম্ন খোঁজা ও কনভেক্স সমস্যা।
সর্বনিম্ন খোঁজা ও কনভেক্স সমস্যা।
🌐 English:
Finding minima; convex problems.
Finding minima; convex problems.
🗂 কোথায় পড়ে
১. ভিত্তি → গণিত → Optimization & Convexity
🎯 এই শাখার লক্ষ্য
Manipulate matrices, compute gradients, reason with probability
🧰 টুলস
NumPy, Desmos, GeoGebra
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
মডেল প্রশিক্ষণ মানেই একটি অপ্টিমাইজেশন সমস্যা সমাধান।
- ধাপ 1লক্ষ্য ফাংশন (loss) নির্ধারণ: রিগ্রেশনে MSE, ক্লাসিফিকেশনে cross-entropy
- ধাপ 2কনভেক্স ফাংশনে একটিই সর্বনিম্ন—যেকোনো জায়গা থেকে শুরু করলেও পৌঁছানো যায়
- ধাপ 3নন-কনভেক্সে (নিউরাল নেট) লোকাল মিনিমাম ও স্যাডল পয়েন্ট থাকে
- ধাপ 4লার্নিং রেট, মোমেন্টাম ও রেগুলারাইজেশন দিয়ে অপ্টিমাইজেশন নিয়ন্ত্রণ
🧪 বাস্তব উদাহরণ
লিনিয়ার রিগ্রেশনের MSE কনভেক্স—তাই গ্রেডিয়েন্ট ডিসেন্ট সবসময় একই সেরা উত্তর দেয়।
⚠️ সাধারণ ভুল
ট্রেনিং লস কম হলেই মডেল ভালো ভাবা—ভ্যালিডেশন লস দেখুন।
🔑 মূল শব্দ (Key terms)
loss functionconvexlocal minimumsaddle point
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক11.1 লস ফাংশন মিনিমাইজেশন11.1.1 MSE11.1.2 Cross-Entropy
11.2 কনভেক্স ফাংশন11.2.1 একটি মাত্র গ্লোবাল মিনিমাম
11.3 লার্নিং রেট11.3.1 খুব বড় = ডাইভার্জ11.3.2 খুব ছোট = ধীর
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (Mathematics for AI)
এডিট করে Run চাপুন · Ctrl+Enterimport numpy as np, matplotlib.pyplot as plt
# Gradient descent on f(x)=(x-3)^2
x=10.0; lr=0.1; path=[x]
for _ in range(30): x-=lr*2*(x-3); path.append(x)
print("Minimum found at x =", round(x,4))
A=np.array([[2,1],[1,3]]); w,v=np.linalg.eig(A); print("Eigenvalues:",w.round(3))
plt.plot(path,'o-'); plt.title('Gradient descent converging to 3'); plt.xlabel('step'); plt.show()❓
সেল্ফ-চেক · Self check
1. “MSE, Cross-Entropy” — এটি কোন সাব-টপিকের বর্ণনা?
2. “একটি মাত্র গ্লোবাল মিনিমাম” — এটি কোন সাব-টপিকের বর্ণনা?
3. “খুব বড় = ডাইভার্জ, খুব ছোট = ধীর” — এটি কোন সাব-টপিকের বর্ণনা?
🔗
সংযুক্ত কনসেপ্ট · Connected concepts
এই শাখার অন্যান্য অংশ
1. Linear Algebra Basics2. Calculus for ML3. Probability4. Bayes Theorem5. Vectors & Vector Spaces6. Matrix Operations7. Eigenvalues & Eigenvectors8. Singular Value Decomposition9. Partial Derivatives & Gradient10. Chain Rule11. Optimization & Convexity12. Information Theory Entropy13. Discrete Mathematics & Graphs