نوشته‌ها
پیش پردازش داده چیست؟
پیش پردازش داده، جزئی از آماده سازی داده ها ، هر نوع پردازشی را توصیف می کند که بر روی داده های خام انجام می شود تا آن را برای فرآیند پردازش داده دیگری آماده کند. این به طور سنتی یک مرحله مقدماتی مهم برای فرآیند داده کاوی بوده است . اخیراً، تکنیک‌های پیش‌پردازش داده‌ها برای آموزش مدل‌های یادگیری ماشین و مدل‌های هوش […]
محدثه مقیمی
راهنمای Hitchhiker برای MapReduce با MRJob در پایتون
۱٫ MapReduce چیست؟ MapReduce یک الگوی برنامه‌نویسی برای پردازش کلان داده است که در آن داده‌ها به تکه‌های توزیع شده تقسیم می‌شوند و توسط یک سری تبدیل پردازش می‌شوند. پارادایم برنامه نویسی MapReduce داده ها را در ۲ عملیات پردازش می کند: map() و سپس reduce(). map() یک تابع تعریف شده توسط کاربر است که هر […]
محدثه مقیمی
چرا مرجوب؟
mrjob ساده ترین راه برای نوشتن برنامه های پایتون است که روی Hadoop اجرا می شوند. اگر از mrjob استفاده می‌کنید، می‌توانید کد خود را به صورت محلی بدون نصب Hadoop آزمایش کنید یا آن را روی خوشه مورد نظر خود اجرا کنید. علاوه بر این، mrjob دارای ادغام گسترده با Amazon Elastic MapReduce است. […]
محدثه مقیمی
صفر تا صد داده کاوی
داده کاوی چیست؟ داده کاوی ترجمه عبارت Data Mining و به معنی کاویدن معادن داده است. داده کاوی یعنی استخراج اطلاعات گرانبها از حجم عظیم معادن داده. می‌توانید داده کاوی (Data Mining) را نوعی روش حل مساله در نظر بگیرید که با تحلیل حجم زیادی از داده‌ها، الگوهای تکرار شونده را از آن‌ها استخراج می‌کند. […]
محدثه مقیمی
تکنیک های داده کاوی (Data Mining Techniques)
در تحقیقات بازاریابی که در چند سال اخیر بیشتر مورد توجه قرار گرفته است، داده کاوی نقش مهمی دارد. یک سری مطالعات در فروشگاه‌های آمریکا صورت گرفته و نتیجه به این شکل بود که مردم در این کشور وقتی برای خرید شیر وارد یک مغازه می‌شوند، ناخودآگاه اقدام به خرید نان هم می‌کنند. این روال […]
محدثه مقیمی
انواع دیتاست
مجموعه داده (Dataset) مجموعه ای از داده ها است. در مورد داده های جدولی ، یک مجموعه داده مربوط به یک یا چند جدول پایگاه داده است ، که در آن هر ستون یک جدول متغیر خاصی را نشان می دهد و هر سطر مربوط به یک رکورد(یعنی یک اطلاعات به خصوص ثبت شده ) […]
محدثه مقیمی
ایجاد دیتاست
به داده‌هایی گفته میشود که با موضوع، خواص مشص و یکسان جهت انجام تحقیقات و پروژه‌های مربوط به Data Science (علم داده) جهت کسب دانش از داده‌ها استفاده میشود. گاهی مجموعه داده‌ها به این شکل به وجود می‌آیند که پژوهشگران در یک حوزه‌ای از پژوهش شروع به جمع آوری داده می‌کنند تا در آن حوزه […]
محدثه مقیمی
دیتاست چیست؟
دیتاست همانگونه از نامش مشخص است به عنوان مجموعه‌ای از داده‌ها تعریف میشود. ساده‌ترین و رایج‌ترین قالب برای دیتاست‌هایی که به صورت آنلاین پیدا خواهید کرد، یک صفحه گسترده یا قالب CSV است که به صورت جدول با ردیف‌ها و ستون‌های سازمان یافته است. اما برخی از مجموعه‌های داده در قالب‌های دیگری ذخیره می‌شوند و […]
محدثه مقیمی
خلاصه شروع سرد
وجود مشکل شروع سرد در سیستمهای توصیهگر تجاری میتواند منجر به ارائه توصیههای نامناسب شود که این امر ضمن سلب اعتماد کاربر، باعث رنجش و انصراف کاربر از ادامه انجام فرایند خرید میشود.مشکل شروع سرد زمانی رخ میدهد که کاربر یا اقلام جدیدی در سیستم وارد شود. در این حالت سیستم توصیهگر بدلیل در دسترس […]
محدثه مقیمی
ابزار وب معنایی متن باز OWLGrEd
چکیده : OWL به تدریج به پرکاربردترین زبان نمایش دانش تبدیل می شود که با موفقیت در تعدادی از برنامه ها به کار گرفته شده است. به دلیل معناشناسی رسمی و در دسترس بودن دلایلی برای کاربا OWL، در جامعه مهندسی نرم‌افزار نیز محبوبیت پیدا می‌کند که تاکنون عمدتاً تحت سلطه UML بوده است. بسیاری […]
محدثه مقیمی
