دوره‌ی ارزیابی و پایش مدل‌های زبانی
LLM Evaluation & Observability
طراحی روند ارزیابی و پایش کاربردهای مبتنی بر مدل‌های زبانی؛ شامل مجموعه‌داده و معیارهای ارزیابی، داوری با مدل زبانی، ارزیابی RAG و ایجنت‌ها، ردگیری و پایش عملیاتی. این دوره به زبان فارسی و به‌صورت حضوری یا آنلاین برای تیم‌های سازمانی برگزار می‌شود.
- سطح
- متوسط
- مدت پیشنهادی
- ۳ روز (۲۴ ساعت)
- درس در ۹ بخش
- ۴۱
- شیوه‌ی برگزاری
- حضوری یا آنلاین
آنچه شرکت‌کنندگان می‌آموزند
- توضیح اینکه چرا «ظاهراً درست کار می‌کند» دلیلی بر کارکرد درست یک قابلیت هوش مصنوعی نیست
- ساخت مجموعه‌داده‌ی مرجع که بازتاب استفاده‌ی واقعی باشد
- انتخاب میان معیارهای قطعی، مبتنی بر پاسخ مرجع و داوری با مدل زبانی
- ارزیابی تخصصی جریان‌های RAG و ایجنت‌های ابزارمحور
- ردگیری، پایش و محافظت از اپلیکیشن مبتنی بر مدل زبانی در محیط عملیاتی
کار عملی: سامانه‌ی ارزیابی و پایش برای یک اپلیکیشن مبتنی بر مدل زبانی
سرفصل دوره
سرفصل شامل ۹ بخش و ۴۱ درس است. برنامه‌ی پیشنهادی ۳ روز آموزشی (۲۴ ساعت) است؛ مدت نهایی، تمرین‌ها و شیوه‌ی ارزیابی بر اساس سطح و نیاز تیم پیش از برگزاری تعیین می‌شوند.
- ۱
چرا ارزیابی اهمیت دارد
۵ درس- دام «ظاهراً درست است»
- ارزیابی آفلاین در برابر آنلاین
- نگرش ارزیابی‌محور
- چه چیزی را بسنجیم: ابعاد کیفیت
- پروژه‌ی راهنمادار: اولین سامانه‌ی ارزیابی
- ۲
ساخت مجموعه‌داده‌ی ارزیابی
۵ درس- مجموعه‌ی مرجع: ویژگی‌های یک مجموعه‌داده‌ی ارزیابی خوب
- نوشتن دستی موارد آزمون
- از گزارش‌های عملیاتی تا مجموعه‌ی آزمون
- پوشش، تفکیک و پاکیزگی مجموعه‌داده
- پروژه‌ی راهنمادار: ساخت مجموعه‌ی مرجع برای Docent
- ۳
معیارهای قطعی و مبتنی بر پاسخ مرجع
۵ درس- تطابق دقیق و یکسان‌سازی
- F1 در سطح توکن و معیارهای هم‌پوشانی
- معیارهای ROUGE، BLEU و N-gram
- بررسی خروجی ساختاریافته و Schema
- پروژه‌ی راهنمادار: کارنامه‌ی معیارهای مرجع
- ۴
داوری با مدل زبانی (LLM-as-Judge)
۵ درس- چرا و چه زمانی از مدل زبانی به‌عنوان داور استفاده کنیم
- امتیازدهی مستقیم با سنجه‌نامه
- مقایسه‌ی دوبه‌دو و ترجیح
- واسنجی داور و اعتماد به آن
- پروژه‌ی راهنمادار: داور واسنجی‌شده برای Docent
- ۵
ارزیابی RAG
۵ درس- مسئله‌ی ارزیابی RAG: دو سامانه در یک سامانه
- معیارهای بازیابی: Precision، Recall، MRR و NDCG
- وفاداری به منبع و مستندبودن پاسخ
- مرتبط‌بودن پاسخ و کیفیت زمینه
- پروژه‌ی راهنمادار: ارزیابی کامل یک RAG
- ۶
ارزیابی ایجنت‌ها و به‌کارگیری ابزار
۵ درس- چرا ارزیابی ایجنت‌ها دشوارتر است
- معیارهای موفقیت در انجام وظیفه و نتیجه
- درستی فراخوانی ابزار
- ارزیابی مسیر حرکت ایجنت
- پروژه‌ی راهنمادار: ارزیابی نسخه‌ی ایجنتیک Docent
- ۷
پایش‌پذیری و ردگیری
۵ درس- از ارزیابی تا پایش‌پذیری
- ثبت ساختاریافته‌ی فراخوانی‌های مدل
- Trace و Span: دنبال‌کردن یک درخواست
- حسابرسی هزینه، تأخیر و توکن
- پروژه‌ی راهنمادار: ابزارگذاری Docent برای پایش
- ۸
پایش در محیط عملیاتی و سازوکارهای محافظتی
۵ درس- پایش در محیط عملیاتی: داشبورد و هشدار
- تشخیص رانش و افت عملکرد
- آزمون پسرفت پرامپت و مدل در CI
- سازوکارهای محافظتی و بازخورد انسانی
- پروژه‌ی راهنمادار: سامانه‌ی پایش و محافظت
- ۹
پروژه‌ی پایانی
۱ درس- پروژه‌ی راهنمادار: سامانه‌ی کامل ارزیابی و پایش
شیوه‌های برگزاری
حضوری در محل سازمان
برگزاری در محل سازمان، همراه با تمرین روی ابزارها و نمونه‌های مرتبط با کار تیم. زمان و مکان با هماهنگی تعیین می‌شود.
آنلاین و زنده
کلاس تعاملی آنلاین همراه با پرسش و پاسخ، تمرین گروهی و بازخورد مستقیم؛ مناسب تیم‌های دورکار یا پراکنده در چند شهر.
کارگاه کوتاه یا دوره‌ی جامع
از کارگاه یک‌روزه برای یک موضوع مشخص تا برنامه‌ی چندماهه برای آماده‌سازی تیم در یک مسیر تخصصی.
دوره‌های مرتبط
همه‌ی دورههابرگزاری دوره‌ی ارزیابی و پایش مدل‌های زبانی برای تیم سازمان
تعداد و سطح شرکت‌کنندگان و زمان‌بندی مدنظر را ارسال کنید تا برنامه‌ی دوره بر همان اساس تنظیم شود.