বিশাল ডেটা সংগ্রহ, সংরক্ষণ ও প্রসেসিং।
Collecting, storing and processing data at scale.
Build ETL pipelines, use Spark and warehouses
Spark, Airflow, BigQuery
Automated daily data pipeline
💡 বিভিন্ন উৎসের ডেটা নিয়মিত পরিষ্কার করে এক জায়গায় আনা—সব বিশ্লেষণের ভিত্তি।
💡 এক কম্পিউটারে না আঁটা ডেটা অনেক মেশিনে সমান্তরালে প্রসেস।
💡 শত শত নির্ভরশীল কাজ সঠিক ক্রমে, সঠিক সময়ে, ব্যর্থ হলে পুনরায়।
💡 বিশ্লেষণের জন্য অপ্টিমাইজড কেন্দ্রীয় ডেটা ভান্ডার।
💡 নমনীয় কাঠামোর ডেটা (JSON, লগ, IoT) দ্রুত সংরক্ষণ।
💡 API নেই এমন ওয়েবসাইট থেকে ডেটা সংগ্রহ।
💡 আধুনিক ডেটার বড় অংশ API দিয়ে আসে—আবহাওয়া, স্যাটেলাইট, সরকারি ডেটা।
import pandas as pd, sqlite3, io
# Mini ETL: extract CSV -> transform -> load into a warehouse table
raw=io.StringIO("date,district,cases\n2026-01-01,Dhaka,12\n2026-01-01,Sylhet,x\n2026-01-02,Dhaka,15\n")
df=pd.read_csv(raw) # Extract
df["cases"]=pd.to_numeric(df.cases,errors="coerce").fillna(0).astype(int); df["date"]=pd.to_datetime(df.date) # Transform
con=sqlite3.connect(":memory:"); df.to_sql("fact_cases",con,index=False) # Load
print(pd.read_sql("SELECT district, SUM(cases) total FROM fact_cases GROUP BY district",con))1. Airflow-এ ওয়ার্কফ্লোকে বলে?
2. OLAP কীসের জন্য?