دوره‌ی پایتون مقیاس‌پذیر برای مهندسی داده

• اندازه‌گیری هزینه‌ی واقعی داده در حافظه و کاهش آن با انتخاب نوع داده‌ی مناسب
• بارگذاری فقط داده‌ی موردنیاز و پردازش تکه‌تکه‌ی داده‌های بزرگ‌تر از حافظه
• استفاده از NumPy و pandas در مقیاسی که کد ساده دیگر جواب نمی‌دهد
• موازی‌سازی پردازش روی چند هسته‌ی پردازنده
• انتخاب ساختمان‌های داده‌ای که جریان‌های واقعی بر پایه‌ی آن‌ها ساخته می‌شوند

کار عملی: یک جریان پردازش برای داده‌های بزرگ‌تر از حافظه روی داده‌های تاکسی نیویورک