Data Warehouse -ийн ерөнхий архитектурыг доорх зургаас харцгаая.
Data warehouse гэж юу вэ?
Энэ нь байгууллагуудад их хэмжээний өгөгдлийг хадгалах, удирдах, дүн шинжилгээ хийх боломжийг олгох үүднээс өгөгдлийн урсгал, боловсруулалтыг зохион байгуулалттай зохион байгуулдаг бүтэц юм. Өгөгдсөн зурган дээрх архитектур нь мэдээллийн агуулахын орчинд өгөгдөл боловсруулах нийтлэг үе шатуудыг харуулж, янз бүрийн өгөгдлийн эх үүсвэрийг нэгтгэх, ETL (Extract, Transform, Load) процессуудыг ашиглах, бизнесийн оюун ухаан, шийдвэр гаргахад зориулсан өгөгдлийг дүрслэн харуулах боломжийг олгодог.
Data warehouse архитектур
- Data source layer -> Мэдээллийг хадгалах үйл явцын эхний алхам бол янз бүрийн эх сурвалжаас мэдээлэл цуглуулах явдал юм. Эдгээр эх сурвалжууд нь бүтэцтэй, хагас бүтэцтэй эсвэл бүтэцгүй байж болох ба зурагт нийтлэг мэдээллийн эх сурвалжуудыг жагсаасан. Эдгээр олон төрлийн мэдээллийн эх сурвалжууд нь мэдээллийн агуулахын системийг тэжээх түүхий мэдээллээр хангадаг.
- ETL(Extract, Transform, Load):
ETL давхарга нь өгөгдөл хадгалахад чухал үүрэг гүйцэтгэдэг. Энэ нь олон эх сурвалжаас авсан түүхий өгөгдлийг шинжлэх боломжтой формат болгон хувиргадаг. Алхамууд нь дараах байдалтай байна.
Extract: Төрөл бүрийн эх системээс өгөгдлийг татах (Excel, хавтгай файлууд, MySQL, Oracle гэх мэт).
Transform: Өгөгдлийг өгөгдлийн агуулахад тохирсон тууштай формат болгон цэвэрлэж, өөрчлөх.
Load: Хувиргасан өгөгдлийг үе шат болгон, эцэст нь мэдээллийн агуулах руу оруулна. - Staging:
Өгөгдөл нь өгөгдлийн агуулахад хүрэхээс өмнө үе шатлалын бүсэд түр хадгалагдана. Энэ нь өгөгдлийг баталгаажуулах, хуулбарлах, цаашдын өөрчлөлтийг хийх түр хадгалах бүс юм. Энэ нь зөвхөн өндөр чанартай өгөгдлийг бодит мэдээллийн агуулах руу шилжүүлэх боломжийг олгодог. Warehouse:
Өгөгдлийн агуулах нь хувиргасан өгөгдлийг хадгалдаг төвлөрсөн агуулах юм. Энэ нь дараах байдлаар өгөгдлийг цэгцлэх замаар асуулга, тайлагнах ажлыг хөнгөвчлөх зорилготой юм. Ингэхдээ Dimensional modeling ашиглан Data Mart үүсгэх юм.Dimension: Эдгээр нь бизнесийн хэмжигдэхүүнтэй холбоотой дүрслэх шинж чанарууд юм. Жишээлбэл, борлуулалтын өгөгдөлд хэмжээсүүд нь “Бүтээгдэхүүн”, “Бүс нутаг”, “Цаг хугацаа” байж болно.
Fact: Эдгээр нь борлуулалтын орлого, ашиг, тоо хэмжээ зэрэг дүн шинжилгээ хийж буй тоон үзүүлэлтүүд юм.
Тодорхой чиг үүрэг эсвэл хэлтэст (жишээ нь, борлуулалт, санхүү, маркетинг) зориулагдсан мэдээллийн агуулахын дэд хэсэг болох олон Data Marts-д хувааж болно.Visualization
Өгөгдлийг өгөгдлийн агуулахад ачаалсны дараа янз бүрийн хэрэглүүр ашиглан дүн шинжилгээ хийж, дүрслэн харуулах боломжтой. Эдгээр дүрслэл болон BI (Business Intelligence) хэрэгслүүд нь стратегийн шийдвэр гаргахад түлхэц өгч, түүхий өгөгдлийг ойлголт болгон хувиргахад тусалдаг. Зураг дээр дурдсан нийтлэг хэрэгслүүд нь: PowerBI, Tableau, AI tools гэх мэт.
Dimension,Fact үүсгэх жишээ зураг
Data Warehouse -ийн ашиг тус
1.Шийдвэр гаргах чадвар сайжирсан: Түүхэн мэдээллийн төвлөрсөн санд хандсанаар байгууллагууд цогц ойлголт, чиг хандлагад тулгуурлан мэдээлэлтэй шийдвэр гаргах боломжтой.
2. Сайжруулсан өгөгдлийн чанар: Өгөгдлийн агуулахын процессууд нь өгөгдлийг цэвэрлэж, стандартчилдаг бөгөөд ингэснээр дүн шинжилгээ хийхэд найдвартай өндөр чанартай өгөгдөл бий болдог.
3. Цагийн үр ашигтай байдал: Мэдээллийн агуулах нь асуулгын гүйцэтгэл, дүн шинжилгээг илүү хурдан болгож, тайлагнах, мэдээлэл авахад шаардагдах хугацааг багасгадаг.
4. Өргөтгөх чадвар: Байгууллагууд өсөхийн хэрээр өгөгдлийн агуулахыг улам бүр нэмэгдэж буй өгөгдөл, хэрэглэгчийн асуулгад нийцүүлэн өргөжүүлж болно.
5. Түүхийн шинжилгээ: Түүхий өгөгдлийг хадгалах чадвар нь байгууллагуудад цаг хугацааны өөрчлөлтийг хянах боломжийг олгодог бөгөөд энэ нь чиг хандлага, хэв маягийг тодорхойлоход хялбар болгодог.
Дүгнэлт
Энэхүү систем нь өгөгдлийг стандартчилдаг ETL процессууд, түүнийг баримт, хэмжээс болгон зохион байгуулдаг мэдээллийн агуулах, хэрэгжүүлэх боломжтой ойлголтыг өгдөг дүрслэх хэрэгслүүд дээр суурилдаг. Бизнесийн дэвшилтэт BI хэрэгслүүд, AI болон машин сургалтыг нэгтгэснээр бизнесүүд утга учиртай ойлголтыг олж авч, шийдвэр гаргах чадварыг сайжруулж, өгөгдөлд тулгуурласан өнөөгийн нөхцөлд өрсөлдөх чадвартай хэвээр байх боломжтой.
Мэдээллийн агуулах нь орчин үеийн мэдээллийн менежментийн стратегийн амин чухал бүрэлдэхүүн хэсэг юм. Мэдээллийн агуулах нь өгөгдөл хадгалах, дүн шинжилгээ хийх төвлөрсөн агуулахыг хангаснаар байгууллагуудад өгөгдөлд тулгуурласан шийдвэр гаргах, үйл ажиллагааны үр ашгийг дээшлүүлэх, зах зээлд өрсөлдөх давуу талыг олж авах боломжийг олгодог.
