در طول سال ها ، بسیاری از کلمات کلیدی در بسیاری از صنایع باب می شوند. تعداد کمی از آنها وجود دارد که بسیار مشهور و تا مدت ها به عنوان داده های بزرگ تبدیل شده اند. اما دقیقاً داده های بزرگ یا بیگ دیتا چیست؟

بیگ دیتا به اقیانوس مجازی از اطلاعات از منابع گوناگون اطلاق می شوند ، به گونه ای که به منظور دستیابی به نتایج معنی دار و عملی ، تجزیه و تحلیل و فیلتر شوند.

روند تبدیل “داده های بزرگ” به نتایج معنی دار می تواند پیچیده و دشوار به نظر برسد. با این حال ، وقتی فهمیدید که داده های بزرگ چیست و چگونه کار می کنند ، درک اینکه چگونه آن را معنی دار کنید ، چندان پیچیده به نظر نمی رسد.

Big Data یا داده بزرگ چیست؟

وقتی می شنوید که مردم درباره “بیگ دیتا یا داده های بزرگ” صحبت می کنند ، معمولاً با دستان خود و کلمات حرف می زنند. اما “بیگ دیتا” در واقع به معنی داده خیلی زیاد که در فایل جمع آوری شده است.

برای درک این موضوع ، یک مثال می تواند کمک کند. بیایید بگوییم که شما یک شرکت تولید چتر اداره می کنید. بخش بازاریابی شما به دنبال راهی برای پیش بینی بهترین زمان تقاضای بازار برای خرید چتر است.

ابتدا بازاریابان روند بازار را مطالعه می کردند ، نظرسنجی های مشتری را ارسال می کردند و بسیاری از فعالیت های دیگر. آنها تمام داده ها را جمع آوری کرده و آن را در پایگاه داده های داخلی شرکت خود ذخیره می کنند. حتی ممکن است شخصی مسئول به روز کردن داده های تحقیقات بازاریابی به صورت سالانه یا شش ماهه باشد.

با این حال ، ظهور داده های بزرگ توانایی انجام این نوع تحقیقات را گسترش می دهد. به طور خاص ، داده های بزرگ به ویژه در شناسایی روندها یا رویدادهای مهم در زمان واقعی نزدیک موثر هستند.

داده های ورودی برای این نوع تجزیه و تحلیل “داده های بزرگ” ممکن است شامل تعداد داده های زیاد در زمان واقعی با نوشتن کدی باشد که به رابط برنامه نویسی برنامه (API چیست؟) بسیاری از شرکت های مختلف که این داده ها را عمومی کرده اند ، وصل می شود:

• توییتر و فیس بوک: مشخص کنید که مردم و چه موقع در مورد خرید چتر بحث می کنند.
• آب و هوا: شناسایی شرایط آب و هوایی یا پیش بینی هایی که می تواند به فروش چتر بیشتر تبدیل شود.
• بورس اوراق بهادار: تغییرات فصلی در هزینه مواد اولیه برای تولید چتر.
• استفاده از وب مشتری: استفاده از اطلاعات کوکی های سیستم افرادی که برای خرید از فروشگاه شرکت بازدید می کنند.
• تاریخچه خرید مشتری: پیگیری جغرافیا و فصول نقطه روند فروش از خرده فروشان.

برای استفاده از داده های بزرگ ، تیم بازاریابی این شرکت در برخی موارد نیاز به نصب فناوری های جدید دارد.

بیگ دیتا و اینترنت

این ممکن است شامل فناوری اینترنت اشیاء (IoT) در خرده فروشان باشد که گزارشات مربوط به رفتارهای مصرف کننده را دنبال می کند. یا ممکن است داشتن یک برنامه نویس نوشتن کد مورد نیاز برای رابط با API توییتر را برای فیلتر کردن توییت هایی که “چتر” یا نام شرکت نام دارد ، فیلتر کند.

اکنون هر یک از این فناوری ها به لطف اینترنت در دسترس است. اینترنت به هر کس اجازه می دهد تا به جریان داده های سراسر جهان بپردازد.

در اینجا چگونگی عملکرد در مثال خودمان در این مورد ارائه شده است.

این عکس نشان می دهد که چگونه داده ها از منابع مختلف به [ دریاچه داده یا data lake ] شرکت وارد می شوند. داده های دریافتی ممکن است متفاوت ساخته شوند ، اما نکته مهم جمع آوری هرچه بیشتر داده ها از همه منابع است.

Data Lake چیست؟

بر خلاف بانک اطلاعاتی ، که شامل داده های ساختاری سازمان یافته در ستون ها و ردیف های خاص است ، یک دریاچه داده یک مخزن گسترده برای بسیاری از اشکال مختلف داده ها است.

داده های ذخیره شده می توانند ساختار یافته یا بدون ساختار باشند. به این معنی که ممکن است ردیف ها و ستون های ساختار یافته ای داشته باشد یا نباشد. داده ها می توانند رشته هایی باشند که از قالب بندی خاص برای جدا کردن داده ها استفاده می کنند. هر منبع داده می تواند داده ها را به هر شکلی که دوست دارد به دریاچه داده ارسال کند.

دریاچه داده را مانند یک کتابخانه عظیم که شامل بسیاری از رسانه ها است ، مانند کتاب ها و فیلم بر روی دی وی دی ها تصویر کنید.

مهندس اطلاعات دیجیتال و تجزیه و تحلیل داده ها را به عنوان پشتیبان آن کتابخانه تصور کنید. این مراجعان می توانند به صورت دیجیتالی داده ها را از کتاب و دی وی دی بیرون بیاورند و راه هایی برای آمیختن و ترکیب آن داده ها پیدا کنند و چیزهایی را از نحوه ارتباط داده ها بیاموزند.

از میان این یادگیریها هوش واقعی و عمل پذیر حاصل می شود. برخی از اینها از مثال ما ممکن است شامل موارد زیر باشد:

• گفتگو در توییتر و فیس بوک حاکی از باران نزدیک شهر تهران است ، با هزاران مشتری در حال برنامه ریزی برای خرید چتر.
• خرید داده های کوکی های سیستم و ماشین های پرداخت خرده فروشی نشان می دهد که خریداران در شمال کشور حاضرند مبلغ بیشتری را بپردازند.
• الگوی باران نزدیک که نشان می دهد بیشتر شمال غربی کشور برای یک هفته کامل با طوفان باران پوشانده خواهد شد.

همه این یادگیری ها می توانند تیم بازاریابی را وادار به سرمایه گذاری در تبلیغات جغرافیایی بیشتری در جاهایی کنند که تقاضای فروش چتر بسیار قوی تر باشد. عملیات تولید نیز می تواند تلاشهای تولید خود را به مناطقی از جهان نزدیکتر کند تا جایی که احتمالاً فروش بالاتر می رود.

به این ترتیب ، با استفاده از داده های بزرگ ، هر شرکتی می تواند بازاریابی و عملکرد خود را ساده تر کند.

هادوپ چیست؟

سوال بعدی این است که چگونه شرکتها چنین حجم بالای داده را پردازش کرده و روندها را شناسایی می کنند؟

این نوع پردازش داده ها به منابع عظیم سیستم نیاز دارد. بسیار زیاد است که شرکت ها دیگر از سیستم های قدیمی استفاده نمی کنند. بسیاری از این سرویس ها اکنون از ابر سیستم ها استفاده می کنند . سرویس های اطلاعاتی ابر مانند Apache Hadoop بسیاری از گره های سیستمی را در یک شبکه ابر بزرگ ارائه می دهند. هر یک از این گره ها به قدرت پردازش مورد نیاز برای تجزیه و تحلیل داده های عظیم از منابع مختلف کمک می کند.

این نوع قدرت پردازش قلب ماشین یا هوش دیجیتال و تجزیه و تحلیل داده ها است. Hadoop چارچوبی نرم افزاری است که باعث می شود کل این شبکه از قدرت محاسباتی گسترده همانطور که برای مهندسان هوش دیجیتال لازم است کار کند.

هنگامی که موتور محاسباتی هوش عملی ایجاد می کند ، اینها معمولاً در قالب داشبورد یا گزارش به شرکت تحویل داده می شوند.

---

در این مقاله با مفهوم بیگ دیتا (Big Data) یا داده های بزرگ آشنا شدید . در صورتی که سوال یا نظری داشتید در بخش نظرات با ما در میان بگذارید.