دوره‌ی ترنسفورمرها از پایه
Transformers from Scratch
آموزش ساخت ترنسفورمر با NumPy؛ از توجه نقطه‌ای و چندسر و رمزگذاری موقعیت تا بلوک ترنسفورمر و یک GPT کوچک، با پیاده‌سازی دستی ضرب‌های ماتریسی و گرادیان‌ها. این دوره به زبان فارسی و به‌صورت حضوری یا آنلاین برای تیم‌های سازمانی برگزار می‌شود.
- سطح
- پیشرفته
- مدت پیشنهادی
- ۳ روز (۲۴ ساعت)
- درس در ۹ بخش
- ۴۱
- شیوه‌ی برگزاری
- حضوری یا آنلاین
آنچه شرکت‌کنندگان می‌آموزند
- پیاده‌سازی توجه نقطه‌ای مقیاس‌شده و توجه چندسر در NumPy
- افزودن رمزگذاری موقعیت و بردارهای توکن و ساخت یک بلوک کامل ترنسفورمر
- به‌کارگیری ماسک علّی برای تبدیل معماری به یک GPT
- آموزش یک GPT کوچک در سطح کاراکتر با پس‌انتشار دست‌نویس
- تولید متن و کنترل آن با راهبردهای نمونه‌گیری
کار عملی: یک مدل GPT کوچک و کارا، ساخته‌شده از پایه با NumPy
سرفصل دوره
سرفصل شامل ۹ بخش و ۴۱ درس است. برنامه‌ی پیشنهادی ۳ روز آموزشی (۲۴ ساعت) است؛ مدت نهایی، تمرین‌ها و شیوه‌ی ارزیابی بر اساس سطح و نیاز تیم پیش از برگزاری تعیین می‌شوند.
- ۱
از دنباله‌ها تا سازوکار توجه
۵ درس- محدودیت‌های شبکه‌های بازگشتی
- ایده‌ی توجه: جست‌وجوی وزن‌دار
- شباهت، امتیاز و وزن‌های Softmax
- از جست‌وجو تا توجه یادگرفته‌شده
- پروژه‌ی راهنمادار: یک لایه‌ی توجه از نوع بازیابی
- ۲
خودتوجهی از پایه
۵ درس- Q، K و V: سه تصویرسازی
- توجه نقطه‌ای مقیاس‌شده
- ماتریس توجه: چه کسی به چه کسی توجه می‌کند
- پس‌انتشار در لایه‌ی توجه
- پروژه‌ی راهنمادار: کلاس لایه‌ی خودتوجهی
- ۳
توجه چندسر
۵ درس- چرا یک سر کافی نیست
- تقسیم به چند سر
- توجه موازی و الحاق نتایج
- پس‌انتشار در توجه چندسر
- پروژه‌ی راهنمادار: لایه‌ی توجه چندسر
- ۴
رمزگذاری موقعیت و بردارهای توکن
۵ درس- چرا توجه به اطلاعات موقعیت نیاز دارد
- بردارهای توکن (Token Embedding)
- رمزگذاری موقعیت سینوسی
- بردارهای موقعیت یادگرفته‌شده
- پروژه‌ی راهنمادار: لایه‌ی Embedding همراه با موقعیت
- ۵
بلوک ترنسفورمر
۵ درس- اتصال‌های باقیمانده
- نرمال‌سازی لایه
- شبکه‌ی پیش‌خور
- سرهم‌کردن بلوک
- پروژه‌ی راهنمادار: کلاس بلوک ترنسفورمر
- ۶
ماسک علّی و GPT
۵ درس- ایده‌ی خودرگرسیو
- ماسک علّی
- پشته‌ی فقط‌رمزگشا
- سر مدل زبانی و تابع زیان
- پروژه‌ی راهنمادار: سرهم‌کردن یک GPT کامل
- ۷
آموزش یک GPT کوچک
۵ درس- دسته‌بندی و بارگذاری داده
- بهینه‌ساز Adam
- حلقه‌ی آموزش
- پایش آموزش و بیش‌برازش
- پروژه‌ی راهنمادار: آموزش GPT کوچک
- ۸
تولید متن و نمونه‌گیری
۵ درس- رمزگشایی حریصانه و محدودیت‌های آن
- نمونه‌گیری با دما
- نمونه‌گیری Top-k
- نمونه‌گیری Top-p (هسته‌ای)
- پروژه‌ی راهنمادار: یک تولیدکننده‌ی متن
- ۹
پروژه‌ی پایانی
۱ درس- پروژه‌ی راهنمادار: ساخت و آموزش GPT کوچک خودتان
شیوه‌های برگزاری
حضوری در محل سازمان
برگزاری در محل سازمان، همراه با تمرین روی ابزارها و نمونه‌های مرتبط با کار تیم. زمان و مکان با هماهنگی تعیین می‌شود.
آنلاین و زنده
کلاس تعاملی آنلاین همراه با پرسش و پاسخ، تمرین گروهی و بازخورد مستقیم؛ مناسب تیم‌های دورکار یا پراکنده در چند شهر.
کارگاه کوتاه یا دوره‌ی جامع
از کارگاه یک‌روزه برای یک موضوع مشخص تا برنامه‌ی چندماهه برای آماده‌سازی تیم در یک مسیر تخصصی.
دوره‌های مرتبط
همه‌ی دورههابرگزاری دوره‌ی ترنسفورمرها از پایه برای تیم سازمان
تعداد و سطح شرکت‌کنندگان و زمان‌بندی مدنظر را ارسال کنید تا برنامه‌ی دوره بر همان اساس تنظیم شود.