Home › Roadmap › Supervised Learning › Part 10

Gradient Boosting XGBoost

📘 ভুল থেকে ধাপে ধাপে শেখা শক্তিশালী মডেল।

🌐 Trees that correct previous errors.

🎯 সুপারভাইজড লার্নিং🎚 Advanced📍 Part 10 / 11🧩 3 সাব-টপিক
🎯
1

ধারণা · Concept

কী এবং কেন
📘 বাংলা ব্যাখ্যা:
ভুল থেকে ধাপে ধাপে শেখা শক্তিশালী মডেল।
🌐 English:
Trees that correct previous errors.

🗂 কোথায় পড়ে

৩. মেশিন লার্নিং → সুপারভাইজড লার্নিং → Gradient Boosting XGBoost

🎯 এই শাখার লক্ষ্য

Train, compare and choose regression/classification models

🧰 টুলস

scikit-learn, XGBoost

🪜

ধাপে ধাপে শিখুন · Step-by-step

কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল
💡 কেন গুরুত্বপূর্ণ?

Kaggle ও বাস্তব ট্যাবুলার সমস্যায় সবচেয়ে সফল অ্যালগরিদম পরিবার।

  1. ধাপ 1
    প্রথমে একটি সরল গাছ; তারপর প্রতিটি নতুন গাছ আগের ভুল (রেসিডুয়াল) শোধরায়
  2. ধাপ 2
    learning_rate ছোট (০.০৫) + বেশি গাছ = ভালো সাধারণীকরণ
  3. ধাপ 3
    max_depth ৩–৮, subsample, colsample দিয়ে নিয়ন্ত্রণ
  4. ধাপ 4
    early_stopping_rounds দিয়ে ভ্যালিডেশন লস বাড়লে থামুন

🧪 বাস্তব উদাহরণ

XGBClassifier(n_estimators=1000, learning_rate=0.05, early_stopping_rounds=50)।

⚠️ সাধারণ ভুল

learning_rate বড় ও গাছ অনেক—দ্রুত ওভারফিট।

🔑 মূল শব্দ (Key terms)

boostinggradient boostingXGBoostlearning rateearly stopping

3

সাব-টপিক ও বিস্তারিত · Sub-topics

টপিক → সাব-টপিক → সাব-সাব টপিক
10.1 বুস্টিং10.1.1 ধারাবাহিক দুর্বল মডেল
10.2 লার্নিং রেট ও n_estimators
10.3 XGBoost10.3.1 রেগুলারাইজড10.3.2 দ্রুত
🎬

ভিডিও · Videos (বাংলা ও English)

ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত

📺 আরও খুঁজুন

💻

হাতে-কলমে · Try it (Supervised Learning)

এডিট করে Run চাপুন · Ctrl+Enter
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X,y=load_breast_cancer(return_X_y=True); Xtr,Xte,ytr,yte=train_test_split(X,y,random_state=1)
for n,m in {"LogReg":make_pipeline(StandardScaler(),LogisticRegression(max_iter=500)),"KNN":make_pipeline(StandardScaler(),KNeighborsClassifier()),
 "RandomForest":RandomForestClassifier(random_state=0),"GradBoost":GradientBoostingClassifier()}.items():
    print(f"{n:13s} accuracy = {m.fit(Xtr,ytr).score(Xte,yte):.3f}")
❓

সেল্ফ-চেক · Self check

1. “ধারাবাহিক দুর্বল মডেল” — এটি কোন সাব-টপিকের বর্ণনা?

2. “রেগুলারাইজড, দ্রুত” — এটি কোন সাব-টপিকের বর্ণনা?

🔗

সংযুক্ত কনসেপ্ট · Connected concepts

← আগের টপিকSVMপরের টপিক →LightGBM CatBoost
🎬 Video