دوره‌ی مدیریت و زمان‌بندی جریان‌های داده با Airflow
Orchestrating Data Pipelines with Airflow
آموزش مدیریت و زمان‌بندی جریان‌های داده با Apache Airflow؛ شامل DAG، Operator، Sensor، Hook، آزمون و پایش، همراه با پروژه‌ای که Airflow، PySpark و Kubernetes را یکپارچه می‌کند. این دوره به زبان فارسی و به‌صورت حضوری یا آنلاین برای تیم‌های سازمانی برگزار می‌شود.
- سطح
- متوسط
- مدت پیشنهادی
- ۲ روز (۱۶ ساعت)
- درس در ۸ بخش
- ۳۶
- شیوه‌ی برگزاری
- حضوری یا آنلاین
آنچه شرکت‌کنندگان می‌آموزند
- طراحی و نوشتن DAG در Airflow با TaskFlow API و Operatorهای کلاسیک
- انتظار برای سامانه‌های بیرونی و اتصال به آن‌ها با Sensor، Hook و Connection
- آزمون، ثبت رویداد، پایش و هشدار در صورت شکست DAG
- اجرای یک پردازش PySpark روی Kubernetes از درون DAG در Airflow
کار عملی: یک DAG واقعی در Airflow که پردازش PySpark شرکت CityFlow را روی Kubernetes اجرا می‌کند
سرفصل دوره
سرفصل شامل ۸ بخش و ۳۶ درس است. برنامه‌ی پیشنهادی ۲ روز آموزشی (۱۶ ساعت) است؛ مدت نهایی، تمرین‌ها و شیوه‌ی ارزیابی بر اساس سطح و نیاز تیم پیش از برگزاری تعیین می‌شوند.
- ۱
جریان داده (Data Pipeline) چیست؟
۵ درس- جریان داده چیست؟
- ساخت دستی یک جریان داده
- چرا Cron کافی نیست
- آشنایی مفهومی با Airflow
- پروژه‌ی راهنمادار: طراحی DAG روی کاغذ
- ۲
آشنایی با Airflow
۵ درس- معماری Airflow
- نصب و اجرای محلی Airflow با Docker
- اولین DAG
- آشنایی با رابط کاربری Airflow
- پروژه‌ی راهنمادار: گزارش روزانه‌ی CityFlow به‌صورت یک DAG واقعی
- ۳
نوشتن DAG
۵ درس- TaskFlow API
- Operatorها
- وابستگی‌ها
- تلاش مجدد، Catchup و Backfill
- پروژه‌ی راهنمادار: انشعاب و تلاش مجدد در کنار هم
- ۴
Sensor، Hook و Connection
۵ درس- Sensorها
- Hookها
- Connectionها و Variableها
- ترکیب Sensor و Hook
- پروژه‌ی راهنمادار: انتظار و سپس بارگذاری
- ۵
مدیریت جریان ETL
۵ درس- طراحی DAG
- وظیفه‌ی دریافت داده
- وظایف اعتبارسنجی و تبدیل
- وظیفه‌ی بارگذاری
- پروژه‌ی راهنمادار: جریان ETL واقعی CityFlow
- ۶
آزمون، ثبت رویداد و پایش DAG
۵ درس- آزمون واحد برای وظایف
- خواندن گزارش‌ها
- پایش DAG
- هشدار هنگام شکست
- پروژه‌ی راهنمادار: ابزارگذاری DAG ETL شرکت CityFlow
- ۷
Airflow، Spark و Kubernetes
۵ درس- معماری کلی
- ارسال Pod از درون DAG
- اتصال یک پردازش PySpark
- پایش اجرای پردازش
- پروژه‌ی راهنمادار: Airflow، Spark و Kubernetes به‌صورت کامل
- ۸
پروژه‌ی پایانی
۱ درس- پروژه‌ی پایانی: جریانی که خودش را به‌طور کامل اجرا می‌کند
شیوه‌های برگزاری
حضوری در محل سازمان
برگزاری در محل سازمان، همراه با تمرین روی ابزارها و نمونه‌های مرتبط با کار تیم. زمان و مکان با هماهنگی تعیین می‌شود.
آنلاین و زنده
کلاس تعاملی آنلاین همراه با پرسش و پاسخ، تمرین گروهی و بازخورد مستقیم؛ مناسب تیم‌های دورکار یا پراکنده در چند شهر.
کارگاه کوتاه یا دوره‌ی جامع
از کارگاه یک‌روزه برای یک موضوع مشخص تا برنامه‌ی چندماهه برای آماده‌سازی تیم در یک مسیر تخصصی.
دوره‌های مرتبط
همه‌ی دورههابرگزاری دوره‌ی مدیریت و زمان‌بندی جریان‌های داده با Airflow برای تیم سازمان
تعداد و سطح شرکت‌کنندگان و زمان‌بندی مدنظر را ارسال کنید تا برنامه‌ی دوره بر همان اساس تنظیم شود.