تحقیقات انجام شده با موضوع ارائه یک مدل بهینه تشخیص خطا در فرایند ETL- فایل ... |
![]() |
MDM فرایندهای بازیابی،پاکسازی و اصلاح و توزیع مدوام Master Data ها میباشند.همچنین دارای این قابلیت است که مدیریت و نگهداری سلسه مراتب Master Data را بر عهده داشته باشد.
ETL [۳۸][(۵و۶ مر)
واژه ETL از سه کلمه Extract (واکشی)،Transfer(انتقال) و Load (بارگذاری) بدست می آید.
فرایندی است که طی آن اطلاعات از منابع اطلاعاتی واکشی و سپس انتقال و در انبار داده بارگذاری میشود.اصول اولیه که در واکشی اطلاعات باید در نظر گرفت شامل حجم دادهها میباشد. ما در انتقال دادهها با حجم بزرگی از اطلاعات سرو کار داریم که میبایست در مرحله انتقال زمان کمی را صرف نماییم و همچنین بار اضافی بروی سیستمهای اطلاعاتی نگذاریم برای رسیدن به این هدف انتقالها را با حجم دادههای کم در فواصل زمانی کوتاه بجای حجم انبوهی از اطلاعات انجام میدهیم .
از دیگر اصول میتوان به چکه [۳۹] و بازیابی[۴۰] اشاره کرد. چکه زمانی اتفاق میافتد که در طی فرایند ETL فکر میکند که تمامی رکوردهای منابع اطلاعاتی بصورت کامل انتقال پیدا کرده اند در صورتی که در واقع تعدادی از رکورد ها از دست رفته و منتقل نشدهاند که در این تحقیق ما برروی این اصل تمرکز خواهیم کرد و وجود چکه را نشانی از وقوع خطا شناسایی میکنیم. بازیابی یعنی قابلیت اطمینان از فرایند انتقال در صورت بروز خطا و بازیابی صحیح اطلاعات .
معماری عمومی یک انبار داده با بهره گرفتن از ETL در بخشهای مختلف آن در شکل ذیل نشان داده شده است.
شکل ۵ معماری عمومی انبار داده با بهره گرفتن از ماژولهای ETL
با توجه به اهمیت معماری فوق و نقشی که در این تحقیق دارد توضیح بخش به بخش معماری فوق ازچپ به راست را در ادامه خواهیم داشت:
منابع اطلاعاتی از سیستمهای مختلف میباشند که اطلاعات آنها میبایست به انبار داده بارگذاری گردند.
با بهره گرفتن از data profiler مشخصات دادههای موجود در منابع اطلاعاتی نگهداری میشود.در واقع data profiler ابزاری است برای آنالیز دادههای منابع اطلاعاتی.
در ادامه ETL دادههای موجود در منابع اطلاعاتی را پس از واکشی و انتقال به پایگاه داده موقتی( Stage )بارگذاری میکند.
ETL ابزاری است که توانایی اتصال به منابع مختلف را جهت خواندن ،انتقال و بارگذاری اطلاعات را به سیستم مقصد دارد.
در مرحله بعد نوع دیگری از ETL کار یکپارچگی،انتقال و بارگذاری دادهها را از Stage به پایگاه داده DDS را انجام میدهد.
همانطور که قبلا گفته شد DDS یک نوع پایگاه داده است که دادهها را با فرمتی متفاوت با پایگاه دادهای سیستمهای عملیاتی OLTP نگهداری میکند.دلیلی که باعث انتقال دادهها از منابع اطلاعاتی متفاوت به DDS و اجرای پرس جو بروی آنها در DDS بجای پایگاه داده سیستمهای OLTPمیشود این است که دادهها در DDS با فرمت چندبعدی نگهداری میشوند که برای پرس و جوهای تحلیلی بسیار مناسب است و دلیل دوم یکپارچگی اطلاعاتی است که از منابع متفاوت جمع آوری نموده است.
در مرحله بعد ماژول DQ[41] دادههای موجود در DDS را از جنبه کیفیت بررسی نموده و دادههای خراب را جهت گزارش و اصلاح دادهها به پایگاه داده DQ انتقال میدهد.دادههای خراب را ممکن است که بتوان در یک بازه زمانی قابل قبول بصورت اتوماتیک اصلاح نمود.
سیستم ETL بوسیله سیستم کنترلی که برپایه ترتیب ،نقش و منطقی که در فراداده[۴۲] ذخیره شده است هماهنگ و مدیریت میشود. فراداده یک پایگاه داده است که شامل دادههای از ساختار دادهها،معانیی دادههاو همه اطلاعات مربوط به دادههاست.
ارزیاب سیستم[۴۳] همه عملیات سیستم را جهت کاربرد فراداده ثبت میکند.در واقع بخشی از سیستم ETL است که عملیات بخشهای مختلف آنرا کنترل و مانیتور میکند.
در نهایت کاربران از ابزارهایی چون excel ،ابزارهای گزارش ساز وغیره برای بازیابی و تحلیل دادهها از DDS استفاده مینمایند.برخی از این ابزارها نیاز به دادههایی با فرمت چندبعدی [۴۴]دارند که این منجر به انتقال اطلاعات از DDS به یک پایگاه داده چندبعدی[۴۵]( (MDBs میشود.
پایگاه داده چندبعدی نوعی از پایگاه دادههاست که دادهها در سلولها[۴۶] نگهداری میشوند و موقعیت هر سلول با متغیری بنام دامنه مشخص میشود و به این اجزاء مکعب[۴۷] گفته میشود.
البته باید توجه داشت که همه انبار دادهها اجزاری فوق را دارا نیستند میتوان گفت مهمترین اجزای یک انبار داده میتواند شامل منابع اطلاعاتی ،ETL و DDS باشد.
دیدگاهها و معماری ETL[48]
چندین دیدگاه برای پیادهسازی ETL وجود دارد.دیدگاه سنتی که دادهها را از منابع سیستمی خوانده و در نواحی قرار داده سپس آنها را به انبار داده منتقل و بارگذاری میکند.که خود به دو صورت انجام میگیرد که برای نواحی در صورت کم بودن دادهها و کافی بودن حافظه،از حافظه سرور ETL برای مرحله گذر استفاده میکنند و یا اینکه بصورت دائمی و در قالب پایگا ه دادههایی در منطقه stage نگهداری میشوند.شکلهای ذیل دو روش معمول سنتی را نشان میدهند.
شکل ۶ دو دیدگاه متفاوت در پیادهسازی ETL
گزارشهای تحلیلی[۴۹]
OLAP عملیات تحلیل دادههای ذخیره شده در انبار داده که تصمیمات استراتژیک ودقیق و فنی را میسازد میباشد و بعبارت دیگر عملیات پاسخ دهی به پرسشهایی با ماهیت چندبعدی را انجام میدهد که بعنوان بهترین ابزار شناخت و کشف میباشد.
به عبارت دیگرOLAP مجموعه ای از ابزارهای تحلیلی و رابطهای کاربری گرافیکی است که بر اساس دادههای چندبعدی ذخیره شده در انبار داده ، توانایی محاسبات پیچیده در زمان اجرایی قابل قبول و هوشمندانه را داراست.
این توانمندی با بهره گرفتن از مکعبهایی صورت میگیرد. محاسبات پیچیده میتوانند براحتی درون این مکعبها قرارگرفته و باعث بهبود کیفیت تحلیل برنامه های کاربردی شوند..
داده کاوی[۵۰]
داده کاوی فرایند اکتشاف الگوها[۵۱]،مدلها و ارتباطات بر اساس دادهها است که بر اساس این مدلها توانایی پیشبینی آینده را فراهم میکند.یعنی ما در داده کاوی با توجه به دادههای گذشته که توسط سیستمهای اطلاعاتی در سالیان گذشته تا کنون در حال جمع آوری میباشند، میدانیم در گذشته چه اتفاقی افتاده است و بر اساس مدل بدست امده پیشبینی آینده میسر میگردد (اکتشاف دانش).
بعبارتی میتوان گفت ابزارهای تحلیلی مانند داده کاوی،گزارشهای تحلیلی با طبقه بندی و جمع بندی و ایجاد ارتباط بروی دادههای موجود و جمع آوری شده سیستمهای اطلاعاتی، تفاسیر جدیدی ارائه مینمایند که این تفاسیر و تحلیلها بوسیله ابزارهای نمایشی در اختیار مصرف کننده گان قرار میگیرد.شکل ذیل فرایند عمومی داده کاوی را نشان میدهد.
شکل ۷فرایند داده کاوی
سرویس گزارشهای
سرویس گزارشهای، ابزاری برای نمایش و یا چاپ دادههای بازیابی شده از سیستم هوشمند کسبوکار میباشد که امکان تبادل گزارشهای را بین کاربران مختلف از طریق ایمیل یا در بستر وب فراهم می کند.
فرایند انتشار گزارشهای در سیستمهای هوشمند کسبوکار شامل تولید گزارش توسط تیم توسعه دهنده[۵۲] یا کاربر اصلی[۵۳]و سپس بارگذاری گزارشهای تولید شده بروی سرورمیباشد و در نهایت کاربران نهایی با توجه به دسترسی تعریف شده برای آنها به گزارشهای دسترسی خواهند داشت.شکل ذیل معماری ارائه گزارشهای را پس از پیادهسازی انبار داده و سرویسهای هوشمند کسبوکار نشان میدهد.
شکل ۸سرویس گزارشهای در سیستمهای هوشمند کسبوکار
نتیجهگیری
امروزه در سازمانها دسترسی سریع و بموقع به اطلاعات صحیح نه تنها دیگر اختیاری نیست بلکه میتواند تعیین کننده زیان و سود کسبوکار باشدو هیچ سازمانی از مزایای سیستم هوشمند کسبوکار چشم پوشی نمیکند.گزارشهای اخیر نشان میدهد خیلی از پرسنل شرکتهای صنعتی از ابزارهای تحلیلی و نمایشی سیستمهای هوشمند کسبوکار استفاده میکنند.
سیستمهای هوشمند کسبوکار همه نوع محیط کسبوکار با سایزهای مختلف از کوچک تا بزرگ را با ابزارهای بسیار متنوع تحلیلی را جهت کمک به فرایند تصمیمگیری پوشش میدهند.نکته مهم دیگر تغییرات محیطی بیرونی و درونی شرایط کسبوکار استلزام ونیاز استفاده از سیستمهای هوشمند کسبوکار را تشدید میکند.
سیستمهای هوشمند کسبوکار فرایند تصمیم سازی را برای همه لایه های مدیریتی در هر سازمانی با شرط فراهم شدن نیازهای اطلاعاتی آن بخش ،پوشش میدهد.
فصل سوم: سیستمهای مطمئن
مقدمه
سیستم های مبتنی بر کامپیوتر به طور چشمگیری از لحاظ حجم، پیچیدگی و گستردگی روند رو به رشدی داشتهاند .صنایع زیادی برای انجام وظایف روزمره خود به کامپیوترها وابسته اند. برای بسیاری از سیستم ها مانند کاربردهای هوافضایی، کنترل ترافیک هوایی، تجهیزات پزشکی، هسته ای، بانکداری الکترونیکی ،عملیات نرمافزاری امن و قابل اعتماد یک نیاز مهم به شمار می رود. هزینه و نتیجه خرابی این سیستم ها می تواند در گسترده وسیعی از صدمات انسانی، مالی و غیره قرار گیرد. از آنجایی که نرم افزار نقش اصلی را در انجام وظایف سیستمها بر عهده دارد، بنابراین اهمیت ویژه ای در میزان قابلیت اعتماد سیستم ها دارد. برای افزایش قابلیت اعتماد، لازم است سیستم ها به صورت تحمل پذیر در برابر خطا طراحی شوند. تحملپذیری خطا می تواند به صورت سخت افزاری و یا نرمافزاری طراحی شود .
اتکاپذیری[۵۴]
اتکاپذیری یا قابلیت اعتماد و اطمینان یک مفهوم کیفی و عام است. قابلیت اتکا، توانایی یک سیستم برای ارائه و تحویل سرویس مورد نظر به کاربران است به گونه ای که بتوان به ارائه شدن آن سرویس اطمینان داشت. منظور از سرویس تحویلی توسط سیستم، رفتار سیستم است، آن گونه که توسط کاربران دریافت و ادراک میشود از آنجائیکه قابلیت اعتماد و اطمینان یک مفهوم کیفی است، برای ارزیابی مهندسی و دقیق تر سیستم ها چند خاصیت برای سیستم های قابل اتکا تعریف شده است که ساختار آن بصورت شکل ذیل میباشد.
شکل ۹ ساختار درختی قابلیت اعتماد
فرم در حال بارگذاری ...
[چهارشنبه 1400-08-05] [ 12:40:00 ق.ظ ]
|