Home › Lectures › Deep Learning & AI

🧠 ডিপ লার্নিং · Deep Learning

নিউরাল নেটওয়ার্ক দিয়ে জটিল প্যাটার্ন শেখা।

Learning complex patterns with neural networks.

📅 ৪. ডিপ লার্নিং ও এআই⏳ ~5 সপ্তাহ📘 8 টপিক🧩 24 সাব-টপিক🎬 0 ভিডিও💻 রানযোগ্য কোড

🎯 যা শিখবেন / Outcomes

Build, train and regularise neural networks

🧰 টুলস / Tools

PyTorch, TensorFlow/Keras

🏁 প্রজেক্ট / Capstone

MNIST from scratch, then with PyTorch

📌 পূর্বশর্ত / Prerequisites

🎯 Supervised Learning 📏 Model Evaluation 📐 Mathematics for AI

📅

সাপ্তাহিক পরিকল্পনা · Weekly plan

~২ ঘণ্টা/দিন ধরে
1

Neural Network Basics

Neurons, layers and weights.
Beginner
📘 বাংলা: নিউরন, লেয়ার ও ওজন।
🌐 English: Neurons, layers and weights.

💡 ছবি, ভাষা, শব্দ—জটিল ডেটা থেকে নিজে ফিচার শেখার মডেল।

  1. 1
    নিউরন: ইনপুট × ওজন + বায়াস → অ্যাক্টিভেশন
  2. 2
    লেয়ার: ইনপুট → এক বা একাধিক হিডেন → আউটপুট
  3. 3
    ফরোয়ার্ড পাস: লেয়ারে লেয়ারে ম্যাট্রিক্স গুণ ও অ্যাক্টিভেশন
  4. 4
    আউটপুট লেয়ার: রিগ্রেশনে ১ নিউরন (লিনিয়ার), ক্লাসিফিকেশনে ক্লাস সংখ্যা (softmax)
পারসেপ্ট্রনw·x + b
লেয়ারইনপুট, হিডেন, আউটপুট
Universal approximation ধারণা
2

Activation Functions

ReLU, sigmoid, softmax.
Beginner
📘 বাংলা: ReLU, Sigmoid, Softmax।
🌐 English: ReLU, sigmoid, softmax.

💡 অ্যাক্টিভেশন ছাড়া যত লেয়ারই হোক, নেটওয়ার্ক শুধু রৈখিক—অরৈখিকতাই শক্তি।

  1. 1
    ReLU = max(0,x): হিডেন লেয়ারের ডিফল্ট, দ্রুত
  2. 2
    Sigmoid (০–১) ও Tanh (−১–১): গভীর নেটে গ্রেডিয়েন্ট মিলিয়ে যায়
  3. 3
    Softmax: বহু-শ্রেণি আউটপুটে সম্ভাবনা (যোগ = ১)
  4. 4
    বিকল্প: LeakyReLU, GELU (ট্রান্সফর্মারে)
ReLUmax(0,x), সবচেয়ে প্রচলিত
Sigmoid/Tanhভ্যানিশিং গ্রেডিয়েন্ট
Softmaxবহু-শ্রেণি সম্ভাবনা
3

Backpropagation

Propagating error to update weights.
Beginner
📘 বাংলা: ভুল পেছনে পাঠিয়ে শেখা।
🌐 English: Propagating error to update weights.

💡 লক্ষ লক্ষ ওজন কীভাবে একসাথে শেখে—ডিপ লার্নিংয়ের ইঞ্জিন।

  1. 1
    ফরোয়ার্ড পাস: পূর্বাভাস ও লস হিসাব
  2. 2
    আউটপুট থেকে পেছনে চেইন রুল দিয়ে প্রতিটি ওজনের গ্রেডিয়েন্ট
  3. 3
    অপ্টিমাইজার দিয়ে ওজন আপডেট: w ← w − lr·∂L/∂w
  4. 4
    সব ব্যাচে পুনরাবৃত্তি = এক এপক; অনেক এপক পর্যন্ত
ফরোয়ার্ড পাসপূর্বাভাস
লস গণনা
ব্যাকওয়ার্ড পাসচেইন রুলে গ্রেডিয়েন্ট
4

Gradient Descent Optimizers

SGD, Adam and friends.
Intermediate
📘 বাংলা: SGD, Adam ইত্যাদি।
🌐 English: SGD, Adam and friends.

💡 কোন অপ্টিমাইজার ও লার্নিং রেট—প্রশিক্ষণের গতি ও সাফল্য নির্ধারণ করে।

  1. 1
    Batch GD (পুরো ডেটা), SGD (একটি নমুনা), Mini-batch (৩২–২৫৬)—সাধারণ পছন্দ মিনি-ব্যাচ
  2. 2
    Momentum: আগের দিক মনে রেখে দ্রুত ও মসৃণ
  3. 3
    Adam: প্রতিটি প্যারামিটারের অভিযোজিত লার্নিং রেট—ডিফল্ট পছন্দ (lr=1e-3)
  4. 4
    লার্নিং রেট শিডিউলার: ধীরে ধীরে কমানো (cosine, step)
SGD ও মিনি-ব্যাচ
Momentum
Adamঅভিযোজিত লার্নিং রেট
5

TensorFlow Keras

Popular DL framework.
Intermediate
📘 বাংলা: জনপ্রিয় DL ফ্রেমওয়ার্ক।
🌐 English: Popular DL framework.

💡 দ্রুত প্রোটোটাইপ ও প্রোডাকশনের জনপ্রিয় উচ্চস্তরের API।

  1. 1
    model = keras.Sequential([layers.Dense(64, activation="relu"), layers.Dense(1, activation="sigmoid")])
  2. 2
    model.compile(optimizer="adam", loss="binary_crossentropy", metrics=["accuracy"])
  3. 3
    model.fit(X, y, epochs=50, validation_split=0.2, callbacks=[EarlyStopping(patience=5)])
  4. 4
    model.evaluate, model.predict, model.save("model.keras")
Sequential API
compile, fit, evaluate
CallbacksEarlyStopping
6

PyTorch

Research-favourite DL framework.
Intermediate
📘 বাংলা: গবেষণায় জনপ্রিয় ফ্রেমওয়ার্ক।
🌐 English: Research-favourite DL framework.

💡 গবেষণা ও আধুনিক মডেলের (LLM, ভিশন) প্রধান ফ্রেমওয়ার্ক।

  1. 1
    Tensor: GPU-তে চলা NumPy-এর মতো অ্যারে; .to("cuda")
  2. 2
    nn.Module সাবক্লাস করে __init__-এ লেয়ার, forward-এ গণনা
  3. 3
    DataLoader দিয়ে ব্যাচ
  4. 4
    ট্রেনিং লুপ: zero_grad → forward → loss → backward → step; model.eval() ও torch.no_grad() দিয়ে মূল্যায়ন
Tensor ও autograd
nn.Module দিয়ে মডেল
ট্রেনিং লুপzero_grad, backward, step
7

Dropout Batch Normalization

Stabilise training and generalise better.
Advanced
📘 বাংলা: প্রশিক্ষণ স্থিতিশীল ও সাধারণীকরণ।
🌐 English: Stabilise training and generalise better.

💡 বড় নেটওয়ার্ক সহজে ওভারফিট করে ও অস্থিরভাবে শেখে—এগুলো সমাধান।

  1. 1
    Dropout(0.2–0.5): প্রশিক্ষণে এলোমেলো নিউরন বন্ধ—একক নিউরনে নির্ভরতা কমে
  2. 2
    Batch Normalization: প্রতিটি ব্যাচে ইনপুট স্বাভাবিক—দ্রুত ও স্থিতিশীল
  3. 3
    Weight decay (L2) ও ডেটা অগমেন্টেশন
  4. 4
    Early stopping: ভ্যালিডেশন লস বাড়তে শুরু করলে থামুন
Dropoutএলোমেলো নিউরন বন্ধ
Batch Normস্থিতিশীল প্রশিক্ষণ
Weight decay ও Early stopping
8

Transfer Learning

Reuse pre-trained models.
Advanced
📘 বাংলা: আগে শেখা মডেল পুনঃব্যবহার।
🌐 English: Reuse pre-trained models.

💡 অল্প ডেটা ও কম কম্পিউটেও শক্তিশালী মডেল—আগে শেখা জ্ঞান পুনঃব্যবহার।

  1. 1
    ImageNet/বড় টেক্সটে প্রশিক্ষিত মডেল লোড করুন (ResNet, EfficientNet, BERT)
  2. 2
    শেষ লেয়ার নিজের ক্লাস সংখ্যায় বদলান
  3. 3
    প্রথমে বাকি লেয়ার ফ্রিজ করে শুধু নতুন লেয়ার ট্রেন (feature extraction)
  4. 4
    তারপর ছোট লার্নিং রেটে কিছু লেয়ার আনফ্রিজ করে fine-tune
প্রি-ট্রেইনড মডেলResNet, BERT
Feature extractionলেয়ার ফ্রিজ
Fine-tuningশেষ লেয়ার আবার শেখানো
💻

হাতে-কলমে কোড · Hands-on code

Run চাপুন — পাইথন আপনার ব্রাউজারেই চলবে (Ctrl+Enter)
import numpy as np
# 2-layer neural net from scratch learning XOR
rng=np.random.default_rng(0); X=np.array([[0,0],[0,1],[1,0],[1,1]]); y=np.array([[0],[1],[1],[0]])
W1,b1=rng.normal(size=(2,8)),np.zeros(8); W2,b2=rng.normal(size=(8,1)),np.zeros(1); sig=lambda z:1/(1+np.exp(-z))
for ep in range(5000):
    h=np.tanh(X@W1+b1); o=sig(h@W2+b2); d2=o-y; d1=(d2@W2.T)*(1-h**2)
    W2-=0.1*h.T@d2; b2-=0.1*d2.sum(0); W1-=0.1*X.T@d1; b1-=0.1*d1.sum(0)
    if ep%1000==0: print("epoch",ep,"loss",round(float(((o-y)**2).mean()),4))
print("XOR predictions:",o.round(2).ravel())
📝

অনুশীলন · Practice tasks

  1. NumPy দিয়ে নিউরাল নেট লিখে XOR শেখান
  2. Keras-এ MNIST ক্লাসিফায়ার (Colab-এ)
  3. Dropout যোগ করে ভ্যালিডেশন লস তুলনা
  4. ক্যাপস্টোন: MNIST from scratch, then with PyTorch
❓

কুইজ · Quick quiz

1. ভ্যানিশিং গ্রেডিয়েন্টে কম ভোগে?

2. Adam কী?

🎬

ভিডিও লাইব্রেরি · Videos

সাইটের ভেতরে ফ্লোটিং প্লেয়ারে চলবে
এই শাখার ভিডিও এখনো সংরক্ষিত হয়নি। যেকোনো টপিক পেজ খুললে ভিডিও স্বয়ংক্রিয়ভাবে খুঁজে MySQL-এ সংরক্ষিত হবে (API key থাকলে)।

📺 Reference channels

🔗

সংযুক্ত বিষয় · Connected

← আগের শাখা⏱️ Time Seriesপরের শাখা →👁️ Computer Vision
🎬 Video