سامانه استریم داده - کلید تبدیل شدن به یک کسب‌وکار رویدادمحور

در بررسی اخیرا مجله کسب و کار هاروارد (HBR) نشان داده شده که پاسخ دهندگان، ۸۰٪ عامل موفقیت شرکت‌های بزرگ و موفق را در استفاده از فرآیند استریم داده‌ها و اتوماسیون و هوش مصنوعی در کسب‌وکارشان دانسته‌اند.

Harvard Business Review توییت

برای تبدیل شدن به یک کسب‌وکار رویدادمحور (Event-Driven)، کسب‌وکارها به سامانه‌ی استریم real-time رویدادها نیاز دارند. آیا کسب‌وکار شما با ابزار سامانه‌ی استریم رویدادها مانوس شده و یا همراه است؟

شما هر روز در حال جمع‌آوری داده‌ها و اطلاعات زیادی از “رویدادهایی” مانند زمان انتظار مشتریان، گزارش‌ها و اطلاعاتی از رسانه‌های اجتماعی، اطلاعات IOT مانند رکوردهای GPS یا مانیتورینگ دما، فیلرهای ماشین و … هستید و باید اعتراف کنیم که بیشتر اوقات روی این داده‌های پراکنده‌ی کسب‌وکار فقط گرد و غبار می‌نشیند! و ما به امید روزی هستیم که آن‌ها را ساماندهی و یکپارچه‌سازی کرده و از آن‌ها استفاده کنیم، اما نمی‌دانیم که آن روز کی فرا می‌رسد!؟

گاهی اوقات ما منابع زیادی از داده‌هایی را داریم که به زبان‌های مختلف تولید می‌شوند و قادر نیستیم که دانش نهفته در این داده‌ها را به یک اقدام عملی تبدیل کنیم. پردازش داده‌ها به روش‌های سنتی به ما کمکی نمی‌کنند زیرا جمع‌آوری داده‌ها در یک پایگاه داده و نداشتن ابزاری برای پرس‌وجو کردن (Querying) بر روی آن‌ها با هدف کشف معنای رویدادها فرصت‌های ما را برای تاثیرگذاری بر نتایجی که از این داده‌ها می‌توانستیم به دست آوریم به سرعت از بین می‌برد.

بعضی وقت‌ها شما ابزاری برای پردازش داده‌ها دارید اما به‌صورت وحشتناکی کند عمل می‌کند و روزها و هفته‌ها و یا حتی ماه‌ها وقت شما و سازمان‌تان را می‌گیرد ضمن اینکه پردازش را فقط بر روی داده‌های تاریخی شما می‌تواند انجام دهد.

این رویدادها در زمان‌های نزدیک به هم در حال رخ دادن هستند و باید بارها و بارها پی‌گیری و شناسایی شوند و برای پاسخ به آن‌ها به سرعت تصمیم‌گیری و اقدام مناسب انجام شود. اما، ما الان فقط نظاره‌گر هستیم! و از اینکه نمی‌توانیم به سرعت اقدام مناسبی را انجام دهیم کلافه می‌شویم. گاهی اوقات ما به دنبال ابزاری برای حل این مشکل هستیم و به دنبال سامانه‌ی پردازش استریم رویدادها (event stream processing – ESP) می‌گردیم و احساس می‌کنیم که واقعاً به آن نیاز داریم.

اما اغلب به اسامی متفاوتی از این سامانه‌ها، مانند تجزیه و تحلیل بلادرنگ، تحلیل جریان داده‌ها، پردازش وقایع، تحلیل آنی جریان داده‌ها اشاره می‌شود. سوال اساسی این است که دقیقا ما چه می‌خواهیم؟ و این سامانه باید چگونه این نیاز ما را تأمین نماید؟ برای پاسخ به این سوال‌ها اجازه دهید ابتدا کمی بیشتر در مورد “پردازش رویدادها” صحبت کنیم.

اگر ما عبارت “پردازش رویداد” را در وضعیت یک کسب‌وکار بشکنیم، می‌بینیم که یک رویداد با یک تغییر در یک وضعیت ثابت ایجاد می‌شود و یا یک ایونتی است که رخ می‌دهد که به دنبال آن یک رویداد دیگر آغاز می‌گردد. برای مثال نقل و انتقال بانک یک رویداد است که ایجاد می‌شود و بعد از آن یک “جریان دنباله‌دار رویدادها” به دنبال تکرار این نقل و انتقالات شکل می‌گیرد. و یا با ممانعت از انجام یک نقل و انتقال مانع از تغییر در یک وضعیت ثابت می‌شود و مجددا یک “جریان دنباله‌دار رویدادها” شکل می‌گیرد.

برای رسیدن به بینش (insight) از آنچه اتفاق افتاده یا نیفتاده، باید تحلیل داده‌ها بلافاصله پس از ایجاد این ایونت‌ها انجام شود.

امروزه کسب‌وکارها باید رویدادمحور باشند، اما واقعیت این است که بیشتر آن‌ها هنوز برای این منظور آماده نیستند. معجزه‌ی پردازش استریم رویدادها این است که به تمام منابع داده‌های شما ارتباط دارند و به طور خودکار داده‌ها را نرمالایز و غنی می‌کند و به طور اتوماتیک این الگو را به روی داده‌ها اعمال می‌کند تا الگوهای “ارتباط بین داده‌ها” و “روند” داده‌ها را بصورت real-time نشان دهد. این بدان معنی است که شما می‌توانید به سرعت داده‌ها را با سرعت تقریبا لحظه‌ای بعد از ایجاد آن تحلیل کنید و می‌توانید رویدادها را از چندین جریان داده و مخازن داده به هم پیوند دهید و این امکان برای شما وجود دارد که در طول زمان الگوهایی را از وقایعی که در درون سازوکار سامانه‌ی شما رخ می‌دهد کشف کنید، و یا بهتر اینکه برای اطمینان می‌توانید داده‌های زمینه‌ای را از منابع مختلف اضافه کنید تا تفسیر مناسبی از رویدادها را بدست آورید و به یک دانش از رویدادها رسیده و موضوع را با منطق واقعی کسب‌وکارتان سازگار و یا آن‌را تکامل دهید و با یادگیری ماشینی (machine learning) و با رویه‌های مشخص اقدامات درست و لازم را در زمان‌های به موقع انجام دهید. برای این منظور به زودی متوجه خواهیم شد که برای بهره‌مندی از این نتایج، کار از فرآیند استریم و ذخیره‌سازی داده‌ها آغاز می‌شود.

به عنوان مثال (یا یک مصداق)، اگر شما یک خرده‌فروش مجازی باشید که با سامانه‌ی استریم رویدادها کار کنید، شما می‌توانید هر لحظه تشخیص دهید که مشتریان شما چقدر به خرده‌فروشی شما نزدیک هستند و می‌توانید درک کنید که مشتریان قبلی شما چقدر در صفحات وب مرتبط با شما مشغول هستند یا نیستند و یا از لحظه ورود به پلتفرم شما تا تشکیل سبد خرید و پرداخت و یا خارج شدن از پلتفرم شما و نخریدن از فروشگاه مجازی شما چه فرایندهایی را طی کرده‌اند، روی هر کدام از این بخش‌ها چه مکثی را کرده‌اند و …، آیا از کارت‌های خرید فروشگاه شما استفاده می‌کنند یا با آن‌ها کار نمی‌کنند؟ و یا رسانه‌ها یا لینک‌های اجتماعی شما چه تاثیری برای ورود آن‌ها به پلتفرم شما داشته است؟ وقتی از سامانه استریم داده‌ها استفاده کنید به این اطلاعات به صورت بلادرنگ دست پیدا می‌کنید و می‌توانید با یک پیشنهاد مناسب مشتریان‌تان را ترغیب کنید برای آمدن به فروشگاه مجازی‌تان و انجام یک خرید که به سود بالاتری دست پیدا کنید. استریم داده‌ها در زمانی‌که با انبوه داده‌ها روبرو هستید به شما این قدرت پیش‌بینی و عمل را می‌دهد.

سامانه استریم داده‌ (ingrow) به شما این امکان را می‌دهد که رفتار نهفته در داده‌های خود را به یک عمل تبدیل کنید و در جهت رسیدن به اهداف استراتژیک‌تان باعث افزایش و بهبود راندمان کاربران شما گردد. این ابزار این امکان را می‌دهد که شرایطی را تعریف کنید که به یک خرد (Wisdom) از وضعیتی که در آن هستید دست پیدا کنید و مزیت رقابتی را که دارید و یا به دنبال آن هستید را بهبود دهید.

اقدام بعدی برای بهبودی کسب‌وکار یادگیری ماشین (Machine learning) است اما کلید بدست آوردن این موفقیت استریم جریان رویدادها و پردازش رخدادها بصورت real-time (با هدف شناسایی بهترین اقدام بعدی) است و یادگیری و بهبود یک حلقه‌ی بهم پیوسته است که با یادگیری از داده‌ها شروع می‌شود.

خودکارسازی فرآیندهای کسب‌وکار

استریم رویدادها همینطور می‌تواند مانع از ورود حجم عظیمی از داده‌های مزاحم به کسب‌وکارتان گردد و قادر است که آگاهانه آن‌ها را فیلتر کند و کمک کند که آنچه برایتان مهم است را طی یک فرآیند خودکار انجام دهد.

همانطور که در نمودار زیر می‌بینیم (مثالی که ما از آن استفاده کردیم) نشان می‌دهد که چگونه پردازش استریم رویدادها می‌تواند به خودکارسازی فرآیندهای یک بانک کمک کند.

استریم داده‌ها در این بانک این‌گونه عمل می‌کند:

استریم داده‌ها در سرعت و حجم بالا (میلیون‌ها رویداد)
داده‌ها از سامانه پردازش استریم رویدادها (ESP) عبور می‌کنند.
برای کشف الگوها، روندها و ناهنجاری‌ها از AI/ML استفاده می‌شود.
از اینجا به بعد، بسته به نوع رویداد، سیستم می‌تواند اقدامات خاصی را به‌طور خودکار اجرا کند.

برای مثال:

اگر رویداد یک کلاهبرداری کوچک باشد، ممکن است فقط یک فرآیند BPM را برای هشدار دادن به کاربر فعال کنید.
اگر بزرگ‌تر باشد، می‌توانید سیستم را تنظیم کنید تا متنی را به‌طور خودکار برای کاربران ارسال کند.
و اگر این یک رویداد واقعاً بزرگ باشد، ممکن است به مدیریت ارتباط با مشتریان (CRM) متوسل شوید و حساب را به‌طور موقت ببندید.

استریم داده‌ها می‌تواند برای بهبود عملیات به کار رود یا در مورد چگونگی تعامل با مشتریان در هر لحظه از زمان و یا حتی برای برداشتن گام‌هایی برای کاهش ریسک احتمالی استفاده شود. اساساً پردازش استریم رویدادها همراه با جفت شدن با AI/ML راهی است برای تجزیه و تحلیل تمام داده‌های شما که با سرعت کافی الگوهایی را شناسایی کند و به‌طور خودکار اقدام نماید.

به‌نظر می‌رسد وقت آن است که تصمیم بگیریم که برای تبدیل شدن به یک کسب‌وکار رویدادمحور (Event-Driven) با استریم real-time رویدادها اقدام لازم را انجام دهیم.

اینگرو (Ingrow) و ابزارهای جریان رویدادها

در حال حاضر، ما اینگرو را به عنوان ابزاری برای جریان رویدادها معرفی می‌کنیم. اینگرو بدون ایجاد هرگونه بار اضافی بر روی بستر شرکت‌ها، یک پلتفرم Big-Data را برای استریم کردن و گزارش‌گیری از داده‌ها در اختیار آن‌ها قرار می‌دهد. اینگرو به کاربران امکان این را می‌دهد که داده‌ها را در هر زمان و هر مکانی که نیاز دارند، ارسال، ذخیره و درخواست کنند.

با اینگرو، هر رویدادی را از اولین touchpoint و با هر رویدادی، به صورت داینامیک و بدون نیاز به مدل‌سازی، استریم کنید و با غنی‌سازی داده‌ها (Enrich & transform)، به مجهولات شناخته نشده و معلومات ناشناخته از طریق داده‌ها پی ببرید.

اینگرو با مقیاس پذیری و ذخیره‌سازی داده‌های ساخته شده بر روی بستر Apache Cassandra، امکان ذخیره سریع اطلاعات با حجم بسیار بالا را فراهم می‌کند.

اینگرو این فرایند را قابل تکرار، مقیاس‌پذیر و سازگار با مدل توسعه شرکت‌ها و سازمان‌ها کرده است.

برگرفته شده از یادداشت آلن چایت، مدیر اجرایی جریان‌های رویداد IBM