อภิมหาข้อมูลBigData
เราเรียกขั้นตอนการรวบรวมชำระสะสางและจัดเก็บว่า ETL ย่อมาจากคำว่า Extract, Transform, Load กว่าจะได้มีคลังข้อมูลมาครบถ้วนใช้งานได้ต้องมีกระบวนการ ETL
หลายท่านคงสงสัยว่าเรามีฐานข้อ มูล (Database) แล้วและเราก็มีคลังข้อมูล (DataWarehouse) แล้วแต่ทำไมเราต้องมี อภิมหาข้อมูล (BigData) อีกด้วยต้องนึกย้อนเวลากลับไปตั้งแต่เรามีเทคโนโลยีการจัดการข้อมูลจากเดิมที่เราเก็บข้อมูลในแฟ้มข้อมูลดิบโดยต่างคนต่างเก็บเก็บซ้ำซ้อนกัน
วันศุกร์ 13 มีนาคม 2558 เวลา 03:00 น.
ต่อมาเราก็พยายามเก็บแบบรวบรวมในรูปแบบฐานข้อมูลซึ่งสามารถจัดการความซ้ำซ้อนได้ดีกว่ากรณีฐานข้อมูลแบบกระจาย Distributed Database ไม่ค่อยนิยมใช้กันนักเพราะเหตุผลด้านความเสถียรของเครือข่าย ปัจจุบันระบบจัดการฐานข้อมูล (DatabaseManagement System) ที่นิยมกันมาจาก Oracle หรือ DB2 ซึ่งการแข่งขันรุนแรงขนาดที่ว่าใครแพ้ก็ถูกซื้อกันเลยทีเดียวสุดท้ายปลาใหญ่ก็กินปลาเล็ก Oracle ซื้อ MySQL รวมเข้ามาและก็ไม่รู้ว่าชะตากรรมของ MySQL จะเป็นอย่างไรต่อไปเป็นไปตามวัฏจักรแห่งความจริงแท้ความไม่เที่ยง คือ มีเกิดมีตั้งอยู่ มีเสื่อมและมีดับไป
แล้วเราก็พบว่ามีเทคโนโลยีคลังข้อมูล เพิ่มขึ้นมาอีกเพื่อจะรวบรวมข้อมูลจากฐานข้อมูลแต่เดิมเพื่อนำมารวมกันอีกต่อหนึ่งการใช้งานฐานข้อมูลจึงเป็นการใช้งานสำหรับระบบงานทั่วไปที่ทำงานประจำวันเรียกว่า OperationalDatabase โดยการเข้าถึงข้อมูลต้องทำอยู่ตลอดเวลาและมีการเปลี่ยนแปลงปรับปรุงข้อมูลเสมอได้ ส่วนการใช้งานคลังข้อมูลจะมีเป้าหมายแตกต่างโดยที่ใช้เก็บข้อมูลที่เริ่มนิ่งแล้วไม่เปลี่ยนแปลง เช่นรายการซื้อขายสินค้าตอนสิ้นวันหรือการจ่ายเงินเดือนพนักงานปลายเดือนเป็นต้น ข้อมูลในกลุ่มนี้จะมีประโยชน์ในงานวิเคราะห์ผลลัพธ์ทางสถิติเพื่อช่วยในการวางแผนและตัดสินใจข้อมูลในคลังข้อมูลไม่ควรจะเปลี่ยน แปลงและจะเพิ่มขึ้นสะสมเข้ามาเรื่อย ๆ สมกับชื่อที่ใช้เรียกในภาษาไทยคือคลังข้อมูลข้อมูลที่มีสะสมเก็บเข้าในคลังข้อมูลมากมายทำให้การจัดเก็บรวบรวมและเข้าถึงข้อมูลขนาดใหญ่มาก ๆ นี้เป็นปัญหาได้เสมอเนื่องจากมาจากฐานข้อมูลหลายแหล่งการจัดเก็บจะต้องมีการชำระสะสางข้อมูลเหล่านี้ให้สามารถกองรวมกันได้ครับโดยเราต้องกำหนดไว้ก่อนว่าจะเก็บอะไรเช่นเดิม
เราเรียกขั้นตอนการรวบรวมชำระสะสางและจัดเก็บว่า ETL ย่อมาจากคำว่า Extract, Transform, Load กว่าจะได้มีคลังข้อมูลมาครบถ้วนใช้งานได้ต้องมีกระบวนการ ETL ก่อนเสมอและจะทำในลักษณะแบบออฟไลน์ เพื่อไม่ให้ส่งผลกระทบการทำงานประจำวัน (ทำตอนดึก ๆ ได้) ดังนั้นความสดใหม่ของข้อมูลจะไม่มีข้อมูลของธุรกรรม ณ วินาทีนี้ นาทีนี้ วันนี้ จะไม่ได้อยู่ในคลังข้อมูลจนกว่าจะวันถัดไปครับ ดังนั้นการที่เรามีฐานข้อมูลและคลังข้อมูลอาจจะยังไม่ตอบโจทย์ที่ยากยิ่งของผู้บริหารที่มีความต้องการคำตอบจากข้อมูลที่เป็นปัจจุบันทันด่วนมาก ๆ
อภิมหาข้อมูล อาจจะเป็นคำตอบให้ครับเพราะแนวคิดของอภิมหาข้อมูลก็คือมีความสามารถจัดการแบบ 3V เราเรียกเป็นตัวย่อมาจาก Volume, Velocity, และ Variety กล่าวคืออภิมหาข้อมูลสามารถจัดเก็บและจัดการข้อมูลขนาดใหญ่มากมากหน่วยความจุอยู่ระดับ Petabyte (1000 เท่าของ Terabyte) ขึ้นไปครับซึ่งข้อมูลใหญ่ขนาดนี้ระบบจัดการฐานข้อมูลปกติเริ่มจะทำงานไม่สะดวกแล้ว
เรื่อง Velocity คือความรวดเร็วในการจัดการและประมวลผลเพื่อส่งมอบผลลัพธ์ให้ผู้บริหารอย่างทันอกทันใจเหมือนตอนเรารู้สึกหิวมากและสั่งอาหารเมื่อสั่งแล้วมีการเสิร์ฟทันทีและอาหารที่ได้รับทำจากวัตถุดิบที่สดใหม่เพิ่งเก็บมาจากต้นเลยดังนั้นข้อมูลที่ส่งมอบมาจากอภิมหาข้อมูลจะมีความสดใหม่เป็นของวินาทีนี้ นาทีนี้ วันนี้ ได้เลยครับ
ส่วน Variety คือความหลากหลายของแหล่งข้อมูลหรือรูปแบบข้อมูลที่ส่งมาให้เก็บในอภิมหาข้อมูล เราไม่ต้องมาสนใจมากและไม่ต้องทำ ETL กันหนัก ๆ เรามีความอิสระในการจัดเก็บข้อมูลหลากหลายรูปแบบเช่น ข้อมูลจาก Text ธรรมดาข้อมูลที่มาจากหน้าเว็บข้อมูลที่มาจากฐานข้อมูล ข้อมูลที่มาจาก Excel ข้อมูลภาพเสียง ตลอดจนวีดิทัศน์ เป็นต้น พูดภาษาเทคนิคคือข้อมูลแบบไม่มีโครงสร้าง (UnstructuredData) ก็ดูแลได้ดีครับมีขั้นตอนการจัดเตรียมอยู่บ้างไม่ยุ่งยากเท่าคลังข้อมูลที่กล่าวมาเบื้องต้นนี้เพื่อให้เห็นภาพรวมโดยสังเขปสำหรับท่านที่สนใจอยากใช้อภิมหาข้อมูล คงต้องเข้าใจความต้องการตัวเองว่ามีความจำเป็นจริง ๆ แค่ไหน และรู้จักเครื่องไม้เครื่องมือเทคโนโลยีก่อนลงมือผมขอแนะนำให้เรียนหลักสูตรที่ปรับปรุงใหม่เพื่อเน้นอภิมหาข้อมูล โดยเฉพาะครับ.
รศ.ดร.วิวัฒน์ วัฒนาวุฒิ
ภาควิชาวิศวกรรมคอมพิวเตอร์
คณะวิศวกรรมศาสตร์จุฬาลงกรณ์มหาวิทยาลัย
ที่มา เดลินิวส์
วันที่ 13 มีนาคม 2558
- Board index การใช้งานบอร์ด และข่าวสาร ERP ไทย / PlanetOne ERP / งานบัญชี / Linux แจ้งข่าว ไทย ERP และข่าวอื่นๆที่น่าสนใจ
อภิมหาข้อมูลBigData
-
- Posts: 7045
- Joined: 29 Mar 2013, 13:36
Return to “แจ้งข่าว ไทย ERP และข่าวอื่นๆที่น่าสนใจ”
Jump to
- การใช้งานบอร์ด และข่าวสาร ERP ไทย / PlanetOne ERP / งานบัญชี / Linux
- ↳ กฏการใช้บอร์ด
- ↳ แจ้งข่าว ไทย ERP และข่าวอื่นๆที่น่าสนใจ
- คำถาม คำตอบเกี่ยวกับระบบ ไทย ERP: AdvanceBusinessSystem - PlanetOne และ ERP ระบบบัญชี
- ↳ ข้อมูลหลัก (Master Data)
- ↳ ระบบสินค้าคงคลัง (Inventory)
- ↳ ระบบบัญชีเจ้าหนี้ (Account Payable)
- ↳ ระบบบัญชีลูกหนี้ (Account Receivable)
- ↳ ระบบขาย (Sales System)
- ↳ ระบบจัดซื้อ (Purchasing System)
- ↳ ระบบบัญชีทั่วไป (General Ledger and Financial Statement)
- ↳ ระบบผลิตและวางแผนการผลิต (Manufacturing / Shop Floor Control / Production Planning)
- ↳ ระบบบริหารงานบุคคล (Human Resource Management / HRM)
- ↳ ระบบบริหารสินทรัพย์ (Assets Management)
- ↳ ระบบลูกค้าสัมพันธ์ และบริการ (CRM / Service Center / Call Center)
- ↳ ระบบต้นทุนสินค้า (Product / Job Costing)
- ↳ หัวข้อทั่วไป
- การติดตั้ง ใช้งาน Linux, OSX และ OpenSource Softwares
- ↳ การใช้งาน PostgreSQL
- ↳ การใช้งาน Java และ JVM
- ↳ การใช้งาน Dart
- ↳ การใช้งาน Linux
- ↳ การใช้งาน Mac และ OSX
- AdvanceBusinessSystem Developer Forum
- ↳ Java Programming Techinics
- ↳ ABS Developer Exchange
- ↳ การ admin ระบบ