آموزش مهندسی داده بر پایه تجربه واقعی محیط عملیاتی
از SQL تا طراحی، ساخت و بهرهبرداری از Data Platformهای واقعی
در ۲۰ هفته، یاد میگیری چطور یک پلتفرم دادهٔ واقعی را از طراحی معماری تا پیادهسازی خط پردازش داده، پردازش جریانی، پایش، خطایابی و استقرار در محیط عملیاتی بسازی.
از دادهٔ خام تا سامانهٔ قابل اتکا
دورههای منتشرشده
شاهراه داده
دوره اصلی DeepDive Academy
بوتکمپ ۲۰ هفتهای مهندسی داده برای طراحی، ساخت و بهرهبرداری از سکوی داده واقعی با Kafka، CDC، پردازش جریانی، پایش و Kubernetes.
قیمت: ۳۰٬۰۰۰٬۰۰۰ تومان
ظرفیت باقیمانده: ۹۷
مسیر اصلی: ۱۵ بخش پیوسته
انتشار محتوا: هفتهبههفته
مدل یادگیری: Build، Fail، Recover
مهلت ثبتنام: ۱۴۰۵/۶/۱
Positioning
بیشتر دورهها ابزار آموزش میدهند؛ شاهراه داده به تو یاد میدهد چطور سیستم داده طراحی کنی، بسازی و در محیط عملیاتی نگه داری.
یاد میگیری برای هر مسئله، معماری مناسب، trade-offها، storage، messaging و پردازش داده را انتخاب کنی.
خط پردازش داده، CDC، پردازش جریانی، ذخیرهسازی تحلیلی، کش، هماهنگسازی و APIهای داده را پیادهسازی میکنی.
پایش، هشدار، مدیریت رخداد، عیبیابی کارایی و قابلیت اطمینان را در سناریوهای واقعی تمرین میکنی.
طراحی سیستم
در این دوره فقط یاد نمیگیری Kafka یا Flink چیست؛ یاد میگیری کِی، چرا و چطور باید از آنها در معماری واقعی استفاده کنی.
دانشجو یاد میگیرد این مسیر را طراحی کند، trade-offها را بفهمد و برای سناریوهای واقعی تصمیم بگیرد: داده عملیاتی کجا source of truth است، event کجا مشتق میشود، consistency چقدر لازم است و observability چطور جلوی حدسزدن را میگیرد.
خروجی دوره
خروجی دوره فقط چند ویدئو نیست. در پایان، یک Data Platform قابل ارائه در رزومه میسازی.
مسیر تجربه
قرار نیست فهرستی از ۳۱۸ درس را حفظ کنی. دوره مثل ساخت یک سیستم واقعی جلو میرود: هر مرحله یک مسئله را حل میکند و یک خروجی قابل دفاع به پروژهٔ نهایی اضافه میکند.
از منبع حقیقت، قرارداد داده و جریان یک سفارش شروع میکنی؛ همان جایی که تصمیمهای اشتباه بعداً تبدیل به اختلاف گزارش و رخداد میشوند.
خروجی: مدل دامنه و نقشهٔ جریان داده
دریافت دستهای و CDC، معماری رویدادمحور، Kafka و الگوهای پردازش بدون تکرار را در یک خط پردازش داده قابل بازپخش کنار هم میگذاری.
خروجی: خط پردازش داده با بازپخش و تطبیق
مرز batch و stream، event time، state، watermark، backpressure و انتخاب موتور پردازش را با workload واقعی میسنجی.
خروجی: پردازش جریانی با معیار صحت
ذخیرهسازی تحلیلی، cache، container، orchestration، امنیت و governance را به یک سرویس قابل بهرهبرداری تبدیل میکنی.
خروجی: پلتفرم مستند و قابل استقرار
با هشدار، هدف سطح خدمت، ردیابی، ظرفیت، مدیریت رخداد، پشتیبانگیری و تمرین بازیابی یاد میگیری سیستم را زیر فشار واقعی نگه داری.
خروجی: داشبورد، دستورالعمل اجرایی و برنامه بازیابی
در پروژه عملی نهایی همهچیز را از ارزش کسبوکار تا چیدمان، موازنه، هزینه، امنیت و بازیابی به هم متصل و از آن دفاع میکنی.
خروجی: سکوی داده قابل ارائه
جزئیات کامل داخل پنل دانشجوست. اینجا تصویر مسیر را میبینی؛ داخل دوره هر هفته درس، تمرین عملی، معیارهای ارزیابی و بازخورد همان مرحله منتشر میشود.
مشاهده اطلاعات دورهتمرین عملی
در این دوره فقط مفهوم یاد نمیگیری؛ سناریوهای واقعی را پیادهسازی و خطایابی میکنی.
آزمایشگاه ۱
ساخت محیط آموزشی یکپارچه برای اجرای خط پردازش داده و مشاهدهپذیری.
ابزارها: PostgreSQL, Kafka, Redis, ClickHouse, Grafana
آزمایشگاه ۲
انتقال تغییرات پایگاه داده عملیاتی به Kafka و ذخیرهسازی تحلیلی با کنترل صحت عملکرد.
ابزارها: PostgreSQL, CDC, Kafka, ClickHouse
آزمایشگاه ۳
مدیریت ordering، replay، consumer lag، retry و dead-letter.
ابزارها: Kafka, Consumer Group
آزمایشگاه ۴
پردازش eventها، windowing، late event و fault tolerance.
ابزارها: Flink, Spark Streaming
آزمایشگاه ۵
cache invalidation، TTL، consistency، failover و رفتار application.
ابزارها: Redis Sentinel, Redis Cluster
آزمایشگاه ۶
داشبورد latency، throughput، lag، error rate و availability.
ابزارها: Grafana, Metrics, Logs
آزمایشگاه ۷
خط پردازش داده کند شده، رویداد تکراری شده، تأخیر مصرفکننده بالا رفته یا پرسوجو کند شده است.
ابزارها: Kafka, ClickHouse, Redis, Grafana
آزمایشگاه ۸
طراحی و پیادهسازی سکوی داده کامل همراه مستندات و دستورالعمل اجرایی.
ابزارها: Docker, Kafka, CDC, ClickHouse، دستورالعمل اجرایی
محیط عملیاتی
Technology map
تکنولوژیها ویترین لوگو نیستند. ابزارهای هسته را اجرا و عیبیابی میکنی؛ ابزارهای تخصصیتر را در پروندههای تصمیم معماری، پیکربندی، امنیت، مقیاس و بازیابی میشناسی.
ساخت و عیبیابی عملی
انتخاب بر اساس workload
مقایسهٔ معماری و عملیات
آمادگی محیط عملیاتی
پروندهٔ تصمیم تخصصی
علاوه بر این نقشهٔ فشرده، دوره برای ۳۵ ابزار از PostgreSQL و MySQL تا Flink، Iceberg، Superset، Milvus و Qdrant پروندهٔ آمادگی محیط عملیاتی مستقل دارد؛ به معنی تسلط یکسان روی همه نیست، بلکه یعنی میدانی کِی انتخابشان کنی، کِی انتخابشان نکنی و چه هزینهٔ عملیاتی دارند.
Audience
اگر با دیتابیس، performance، queue، event و API درگیر هستی و میخواهی وارد معماری داده شوی.
اگر میخواهی از مصرفکننده گزارش به سازنده خط پردازش داده و مدلهای داده تبدیل شوی.
اگر میخواهی سیستمهای data-intensive را بهتر طراحی کنی.
اگر میخواهی نگهداری Kafka، Redis، ClickHouse، خطهای پردازش داده و پایش را بهتر بفهمی.
اگر باید درباره معماری داده، انتخاب ابزار و trade-offها تصمیم بگیری.
Fit
Instructor
رهبر پلتفرم داده
سجاد حمره، رهبر پلتفرم داده، با تجربه طراحی، توسعه و بهرهبرداری از سیستمهای داده در مقیاس سازمانی. تمرکز این دوره انتقال تجربه واقعی محیط عملیاتی است؛ از پایگاه داده و Kafka و NiFi تا Redis، ClickHouse، Kubernetes، مشاهدهپذیری و مدیریت رخداد.
Registration
شهریه دوره
مدت دوره: ۲۰ هفته
ظرفیت: ۱۰۰ نفر
ظرفیت باقیمانده: ۹۷
دسترسی ویدئویی: اسپات پلیر
پشتیبانی: گروه تلگرام
پروژه نهایی: پروژه عملی سکوی داده
ثبتنام: با شماره موبایل
وضعیت: بررسی و تأیید بر اساس سفارش و پرداخت
ثبتنام با موبایل
اگر پرداخت آنلاین برای گروه آموزشی جاری فعال باشد، مسیر پرداخت شما را تا ثبت سفارش و پرداخت هدایت میکند. در غیر این صورت، درخواست اولیه ثبت میشود و تأیید نهایی توسط تیم DeepDive انجام خواهد شد.
FAQ
خیر. مسیر از مفاهیم پایهٔ برنامهنویسی، SQL، پایگاه داده، خط فرمان و شبکه آغاز میشود و قدمبهقدم تا طراحی و بهرهبرداری از سکوی داده پیش میرود.
بخشهای پایه، تمرین هدایتشده، واژهنامه، نمونهکد و بازخورد مرحلهای کمک میکنند بدون پیشزمینه مسیر را بسازید؛ استمرار و انجام تمرینها ضروری است.
برای نتیجه جدی، معمولاً ۶ تا ۱۰ ساعت در هفته برای ویدئو، مطالعه، تمرین عملی و مرور بازخورد نیاز دارید.
بله، مسیر ۲۰ هفتهای برای افراد شاغل طراحی شده، اما عقبافتادن از Labها نیاز به برنامه جبرانی دارد.
بله، دسترسی ویدئویی از طریق اسپات پلیر مدیریت میشود.
مدت دسترسی در زمان ثبتنام و داخل پنل دانشجو اعلام میشود و با وضعیت ثبتنام و اسپات پلیر هماهنگ است.
داشبورد دانشجو اقدام بعدی، مهلت تحویل و وضعیت تمرین را نشان میدهد تا مسیر جبران مشخص باشد.
بله، تمرینهای عملی با تحویل، معیارهای ارزیابی، بازخورد معیاربهمعیار و سناریوهای خطا طراحی شدهاند.
هدف پروژه عملی نهایی همین است: یک سکوی داده همراه معماری، خط پردازش داده، پایش و دستورالعمل اجرایی قابل توضیح.
خیر. ابزارها در خدمت تصمیم معماری، موازنهها، صحت عملکرد، قابلیت اطمینان و عملیات در محیط واقعی وارد میشوند.
اینجا Kafka و Spark جزئی از یک سیستم دادهاند؛ یاد میگیری چه زمانی، چرا و چطور از آنها کنار پایگاه داده، ثبت تغییرات داده، ذخیرهسازی و پایش استفاده کنی.
زیرساخت ثبت سفارش و پرداخت در پروژه وجود دارد؛ وضعیت فعال بودن پرداخت برای گروه آموزشی جاری در مسیر ثبتنام و پنل دانشجو مشخص میشود.
ثبتنام با شماره موبایل و حساب دانشجو شروع میشود و وضعیت سفارش، پرداخت و تأیید در داشبورد دانشجو پیگیری میشود.
پشتیبانی اصلی در طول مسیر گروه آموزشی فعال است. جزئیات ادامه دسترسی در اطلاعیه همان گروه آموزشی اعلام میشود.
برای کسی که پایه فنی دارد و میخواهد وارد مهندسی داده و طراحی سیستمهای داده شود، مسیر رزومهساز و جدی است.
شاهراه داده برای کسانی ساخته شده که میخواهند پلتفرم داده را مثل یک سیستم واقعی بفهمند، بسازند و در محیط عملیاتی نگه دارند.