دوره مقدماتی داده کاوی - مفاهیم داده کاوی

تعداد دیدگاه‌ها

بهزاد رضایی

فارغ التحصیل رشته‌ی مهندسی کامیپوتر، گرایش نرم افزار (کارشناسی) در سال ۹۲ و گرایش هوش‌مصنوعی (کارشناسی ارشد) در سال ۱۳۹۴ هستم. موضوع پایان‌نامه‌ی بنده "تشخیص افراد تاثیرگذار در یک شبکه‌ی اجتماعی" بوده است. در حال‌حاضر برنامه نویس بک‌اند هستم در پلتفرم دات‌نت (کارگزاری مفید). در زمینه طراحی، تحلیل و پیاده سازی سامانه‌های نرم افزاری تجاری فعالیت می‌کنم. مدتی نیز بعنوان پژوهش‌گر در پروژه‌ی جمع‌آوری و تحلیل اخبار در مرکز محاسبات دانشگاه صنعتی شریف مشغول به کار بوده‌ام.

شما در دوره مقدماتی داده کاوی با مفاهیم و اصول داده کاوی در SQL آشنا می شوید و متوجه می شوید که برای ساخت یک داشبورد در هر نرم افزاری نیاز به چه مراحل و اصول و پایه هایی دارید همچنین با سیستم های هوش تجاری بزرگ آشنا شده و خود را برای تحلیل طراحی و پیاده سازی یک سامانه هوش تجاری آماده می کنید همچنین به صورت تئوری مفاهیم و مبانی ساخت انباره داده را فرا می گیرید و دو نمونه را پیاده سازی و استفاده می کنید.

آشنایی مختصر با داده کاوی

تجزیه و تحلیل داده کاوی (Data Mining) ها فرایندی برای بازرسی ، پاکسازی ، تبدیل و مدل سازی داده ها با هدف کشف اطلاعات مفید ، اطلاع رسانی در مورد نتیجه گیری و حمایت از تصمیم گیری است. تجزیه و تحلیل داده ها دارای چندین جنبه و رویکرد است که تکنیک های متنوعی را تحت نام های مختلفی شامل می کند و در حوزه های مختلف تجاری ، علمی و علوم اجتماعی مورد استفاده قرار می گیرد. در دنیای تجارت امروز ، تجزیه و تحلیل داده ها در تصمیم گیری علمی تر و کمک به مشاغل موثرتر عمل می کند. داده کاوی (Data Mining) یک تکنیک تجزیه و تحلیل داده خاص است که در مدل سازی آماری و کشف دانش برای اهداف پیش بینی و نه صرفاً توصیفی تمرکز دارد ، در حالی که هوش تجاری تجزیه و تحلیل داده ها را که به شدت به تجمیع متکی است ، متمرکز می کند و عمدتا بر اطلاعات تجاری متمرکز است. در برنامه های آماری ، تجزیه و تحلیل داده ها را می توان به آمار توصیفی ، تجزیه و تحلیل داده های اکتشافی (EDA) و تجزیه و تحلیل داده های تأییدی (CDA) تقسیم کرد. EDA در کشف ویژگی های جدید در داده ها متمرکز است در حالی که CDA بر تأیید یا جعل فرضیه های موجود تمرکز دارد. تجزیه و تحلیل پیش بینی تمرکز بر استفاده از مدل های آماری برای پیش بینی پیش بینی یا طبقه بندی ، در حالی که تجزیه و تحلیل متن از تکنیک های آماری ، زبانی و ساختاری برای استخراج و طبقه بندی اطلاعات از منابع متنی ، گونه ای از داده های غیرساختار استفاده می کند. همه موارد فوق انواع مختلفی از تجزیه و تحلیل داده ها است.

جلسه مقدماتی آموزش مقدماتی داده کاوی

هدف از داده کاوی

ویدئو خصوصی

ابزارهای کار با داده کاوی

مراحل کلی هر پروژه داده کاوی

داده یا دیتا چیست؟

انواع داده

آماده سازی داده ها

پیش پردازش یا پاکسازی داده چیست؟

نویز و مقادیر Missing

یکپارچه سازی داده ها

کاهش ابعاد داده ها

تغییر شکل داده ها

گسسته سازی داده ها

مدل سازی داده ها

آموزش مدل

تست مدل

کراس ولیدیشن

ارزیابی مدل

ماتریس در هم ریختگی

بهینه سازی مدل

سری های زمانی

طبقه بندی

خوشه بندی

قوانین انجمنی

جلسه اول آموزش مقدماتی داده کاوی

چرا داده‌کاوی مهم است؟

ویدئو خصوصی

مراحل استخراج دانش

ویژگی‌های داده‌های باکیفیت

پیش‌پردازش داده‌ها شامل چه مراحلی است؟

جلسه دوم آموزش مقدماتی داده کاوی

رگرسیون چیست؟

ویدئو خصوصی

رگرسیون خطی ساده (simple linear regression)

رگرسیون خطی چندگانه (multiple linear regression)

رگرسیون چندجمله‌ای (polynomial regression)

جلسه سوم آموزش مقدماتی داده کاوی

کلاسه‌بندی (classification) چیست؟

ویدئو خصوصی

الگوریتم نزدیک‌ترین همسایه (k-nearest neighbor)

الگوریتم درخت تصمیم (decision tree)

جلسه چهارم آموزش مقدماتی داده کاوی

الگوریتم ماشین بردار پشتیبان (Support Vector Machine)

ویدئو خصوصی

الگوریتم Kernel SVM

الگوریتم بیز ساده (Naïve Bayes)

جلسه پنجم آموزش مقدماتی داده کاوی

شبکه‌های عصبی مصنوعی (Artificial Neural Networks)

ویدئو خصوصی

کلاسه‌بندیِ چندکلاسه (Multiclass Classification)

کلاس‌بندی نیمه‌نظارتی (Semi-Supervised Classification)

بیش‌برازش و کم‌برازش (Overfitting & Underfitting)

k-fold Cross Validation

ماتریس درهم‌ریختگی (Confusion Matrix)

جلسه ششم آموزش مقدماتی داده کاوی

تعریف خوشه‌بندی (Clustering)

ویدئو خصوصی

کاربردهای خوشه‌بندی

خوشه‌بندی خوب چه ویژگی‌هایی دارد؟

ملاحظات خوشه‌بندی

چالش‌ها و نیازمندی‌های خوشه‌بندی

انواع روش‌های خوشه‌بندی

K-means

نکاتی در مورد الگوریتم K-means

خوشه‌بندی سلسله‌مراتبی (Hierarchical Clustering)

خوشه‌بندی سلسله‌مراتبی – AGNES vs. DIANA

روش‌های تعیین فاصله بین خوشه‌ها

مثال از خوشه‌بندی سلسله‌مراتبی

جلسه هفتم آموزش مقدماتی داده کاوی

ارزیابی خوشه‌بندی در داده کاوی

ویدئو خصوصی

گرایش به خوشه‌بندی

تعداد خوشه‌ها

Elbow Method

Cross Validation

کیفیت خوشه‌بندی

کیفیت خوشه‌بندی – روش extrinsic

کیفیت خوشه‌بندی – BCubed

کیفیت خوشه‌بندی – روش intrinsic

کیفیت خوشه‌بندی – مثال روش سیلوئت

خوشه‌بندی گراف‌ها بر اساس معیار betweenness

جلسه هشتم آموزش مقدماتی داده کاوی

کاوش الگوهای متناوب (Frequent Pattern Mining) چیست؟

ویدئو خصوصی

مفاهیم اولیه

الگوهای نزدیک (closed) و الگوهای بیشینه (max)

الگوهای نزدیک و الگوهای بیشینه - مثال

ویژگی Downward Closure

الگوریتم Apriori

تولید قوانین انجمنی از مجموعه آیتم‌های پرتکرار

معیار Lift

جلسه نهم آموزش مقدماتی داده کاوی

داده‌های پرت (Outlier) و تحلیل آن‌ها

ویدئو خصوصی

انواع داده‌های پرت

روش‌های تشخیص داده‌های پرت

روش‌های تشخیص داده‌های پرت – نوع اول (بدون‌نظارت)

روش‌های تشخیص داده‌های پرت – نوع اول (نیمه‌بانظارت)

روش‌های تشخیص داده‌های پرت – نوع دوم (آماری)

روش‌های تشخیص داده‌های پرت – نوع دوم (مبتنی بر مجاورت)

روش‌های تشخیص داده‌های پرت – نوع دوم (مبتنی بر خوشه)

روش‌های آماری

تشخیص داده‌های پرت تک‌متغیره بر اساس توزیع نرمال (parametric)

روش non-parametric با استفاده از هیستوگرام

روش‌های مبتنی بر مجاورت (proximity-based)

روش مبتنی بر فاصله

روش‌های مبتنی بر خوشه‌بندی

جلسه دهم آموزش مقدماتی داده کاوی

متن‌کاوی (Text Mining) چیست؟

ویدئو خصوصی

چرا متن‌کاوی دشوار است؟

کابردهای متن‌کاوی

پیش‌پردازش در متن‌کاوی

Tokenization

نرمال‌سازی

حذف noise

استخراج کلمات کلیدی

الگوریتم RAKE

تشخیص موجودیت‌های اسمی (Named Entity Recognition)

نمونه ابزار

ساخت مدل در Stanford Named Entity Recognizer

دیدگاه‌ها (0)

نقد و بررسی‌ها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین کسی باشید که دیدگاهی می نویسد “آموزش کامل دوره مقدماتی داده کاوی”