Data Profiling
📘 ডেটার মান যাচাইয়ের রিপোর্ট।
🌐 Automated data-quality reports.
🧹
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
ডেটার মান যাচাইয়ের রিপোর্ট।
ডেটার মান যাচাইয়ের রিপোর্ট।
🌐 English:
Automated data-quality reports.
Automated data-quality reports.
🗂 কোথায় পড়ে
২. ডেটা বিশ্লেষণ → ডেটা ক্লিনিং ও EDA → Data Profiling
🎯 এই শাখার লক্ষ্য
Detect outliers, fix missing values, profile data
🧰 টুলস
pandas, ydata-profiling
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
বড় বা নতুন ডেটাসেটের মান দ্রুত ও স্বয়ংক্রিয়ভাবে যাচাই।
- ধাপ 1pip install ydata-profiling; ProfileReport(df).to_file("report.html")
- ধাপ 2রিপোর্টে দেখুন: মিসিং, ডুপ্লিকেট, উচ্চ কোরিলেশন, ধ্রুবক কলাম
- ধাপ 3ডেটা মানের মাত্রা: সম্পূর্ণতা, সঠিকতা, সামঞ্জস্য, সময়োপযোগিতা, অনন্যতা
- ধাপ 4পাইপলাইনে নিয়ম যুক্ত করুন (Great Expectations/pandera): "বয়স ০–১২০"
🧪 বাস্তব উদাহরণ
প্রতিদিনের ডেটা ফিডে নিয়ম ভাঙলে (নেগেটিভ রোগী সংখ্যা) স্বয়ংক্রিয় সতর্কবার্তা।
⚠️ সাধারণ ভুল
বিশাল ডেটায় পুরো প্রোফাইল চালানো—minimal=True বা স্যাম্পল ব্যবহার করুন।
🔑 মূল শব্দ (Key terms)
data profilingdata qualityvalidation rulesGreat Expectations
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক6.1 ydata-profiling6.1.1 এক লাইনে রিপোর্ট
6.2 ডেটা কোয়ালিটি মাত্রা6.2.1 সম্পূর্ণতা6.2.2 সঠিকতা6.2.3 সামঞ্জস্য
6.3 Great Expectations6.3.1 স্বয়ংক্রিয় যাচাই
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (Data Cleaning & EDA)
এডিট করে Run চাপুন · Ctrl+Enterimport pandas as pd, numpy as np
df=pd.DataFrame({"age":[25,27,np.nan,29,200,26,27],"city":["Dhaka","dhaka ","Sylhet","Sylhet","Dhaka",None,"dhaka "]})
df["city"]=df.city.str.strip().str.title()
q1,q3=df.age.quantile([.25,.75]); iqr=q3-q1
out=(df.age<q1-1.5*iqr)|(df.age>q3+1.5*iqr); print("Outliers:\n",df[out])
df.loc[out,"age"]=np.nan; df["age"]=df.age.fillna(df.age.median())
print(df.drop_duplicates()); print("Missing:\n",df.isna().sum())❓
সেল্ফ-চেক · Self check
1. “এক লাইনে রিপোর্ট” — এটি কোন সাব-টপিকের বর্ণনা?
2. “সম্পূর্ণতা, সঠিকতা, সামঞ্জস্য” — এটি কোন সাব-টপিকের বর্ণনা?
3. “স্বয়ংক্রিয় যাচাই” — এটি কোন সাব-টপিকের বর্ণনা?
🔗
সংযুক্ত কনসেপ্ট · Connected concepts
এই শাখার অন্যান্য অংশ
1. Data Cleaning Process2. Outlier Detection3. Duplicate Handling4. Exploratory Data Analysis5. Univariate Bivariate Analysis6. Data Profiling
অন্য শাখার সম্পর্কিত টপিক
💻 Data Structures & Algorithms🐍 Variables & Data Types🐼 Series & DataFrame🐼 Filtering Data📈 Data Storytelling🗄️ Relational Database Concepts🧹 Data Cleaning Process🧹 Exploratory Data Analysis🛠️ Imbalanced Data SMOTE✨ Vector Databases