Activation Functions
📘 ReLU, Sigmoid, Softmax।
🌐 ReLU, sigmoid, softmax.
🧠
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
ReLU, Sigmoid, Softmax।
ReLU, Sigmoid, Softmax।
🌐 English:
ReLU, sigmoid, softmax.
ReLU, sigmoid, softmax.
🗂 কোথায় পড়ে
৪. ডিপ লার্নিং ও এআই → ডিপ লার্নিং → Activation Functions
🎯 এই শাখার লক্ষ্য
Build, train and regularise neural networks
🧰 টুলস
PyTorch, TensorFlow/Keras
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
অ্যাক্টিভেশন ছাড়া যত লেয়ারই হোক, নেটওয়ার্ক শুধু রৈখিক—অরৈখিকতাই শক্তি।
- ধাপ 1ReLU = max(0,x): হিডেন লেয়ারের ডিফল্ট, দ্রুত
- ধাপ 2Sigmoid (০–১) ও Tanh (−১–১): গভীর নেটে গ্রেডিয়েন্ট মিলিয়ে যায়
- ধাপ 3Softmax: বহু-শ্রেণি আউটপুটে সম্ভাবনা (যোগ = ১)
- ধাপ 4বিকল্প: LeakyReLU, GELU (ট্রান্সফর্মারে)
🧪 বাস্তব উদাহরণ
বাইনারি আউটপুটে sigmoid + binary cross-entropy; ১০ ক্লাসে softmax + categorical cross-entropy।
⚠️ সাধারণ ভুল
আউটপুট লেয়ারে ReLU দিয়ে সম্ভাবনা আশা করা।
🔑 মূল শব্দ (Key terms)
activationReLUsigmoidtanhsoftmaxGELU
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক2.1 ReLU2.1.1 max(02.1.2 x)2.1.3 সবচেয়ে প্রচলিত
2.2 Sigmoid/Tanh2.2.1 ভ্যানিশিং গ্রেডিয়েন্ট
2.3 Softmax2.3.1 বহু-শ্রেণি সম্ভাবনা
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (Deep Learning)
এডিট করে Run চাপুন · Ctrl+Enterimport numpy as np
# 2-layer neural net from scratch learning XOR
rng=np.random.default_rng(0); X=np.array([[0,0],[0,1],[1,0],[1,1]]); y=np.array([[0],[1],[1],[0]])
W1,b1=rng.normal(size=(2,8)),np.zeros(8); W2,b2=rng.normal(size=(8,1)),np.zeros(1); sig=lambda z:1/(1+np.exp(-z))
for ep in range(5000):
h=np.tanh(X@W1+b1); o=sig(h@W2+b2); d2=o-y; d1=(d2@W2.T)*(1-h**2)
W2-=0.1*h.T@d2; b2-=0.1*d2.sum(0); W1-=0.1*X.T@d1; b1-=0.1*d1.sum(0)
if ep%1000==0: print("epoch",ep,"loss",round(float(((o-y)**2).mean()),4))
print("XOR predictions:",o.round(2).ravel())❓
সেল্ফ-চেক · Self check
1. “max(0,x), সবচেয়ে প্রচলিত” — এটি কোন সাব-টপিকের বর্ণনা?
2. “ভ্যানিশিং গ্রেডিয়েন্ট” — এটি কোন সাব-টপিকের বর্ণনা?
3. “বহু-শ্রেণি সম্ভাবনা” — এটি কোন সাব-টপিকের বর্ণনা?
🔗
সংযুক্ত কনসেপ্ট · Connected concepts
এই শাখার অন্যান্য অংশ
1. Neural Network Basics2. Activation Functions3. Backpropagation4. Gradient Descent Optimizers5. TensorFlow Keras6. PyTorch7. Dropout Batch Normalization8. Transfer Learning