AWS Lake Formation
คืออะไร
AWS Lake Formation คือบริการที่ช่วยสร้างและจัดการ data lake บน S3 อย่างปลอดภัยและมีประสิทธิภาพ บริการนี้ช่วย automate งานที่ซับซ้อนเช่น data ingestion, cataloging, cleaning และ access control ให้ผู้ดูแลระบบกำหนด permission ในระดับ column และ row ได้ละเอียด รองรับการทำงานร่วมกับ Glue, Athena, Redshift Spectrum, EMR และ QuickSight ทำให้ทีม data สามารถสร้าง data lake ที่ทุกคนในองค์กรใช้ได้อย่างปลอดภัย
ราคา
- Lake Formation: ไม่มีค่าบริการเพิ่มเติมสำหรับตัว service เอง
- จ่ายเฉพาะค่า AWS services ที่ใช้ประกอบ เช่น S3, Glue, Athena
- Governed Tables: $0.003/GB สำหรับ storage และ $0.01/GB สำหรับ data scan
- Transactions: $0.10/1,000 write transactions สำหรับ Governed Tables
เหมาะสำหรับ
- องค์กรขนาดใหญ่ที่ต้องการ centralized data lake พร้อม fine-grained access control
- ทีม data governance ที่ต้องการควบคุมว่าใครเข้าถึงข้อมูลอะไรได้บ้าง
- บริษัทที่อยู่ในอุตสาหกรรมที่มีกฎระเบียบเข้มงวด เช่น การเงิน, สุขภาพ
- ทีมที่ต้องการ setup data lake รวดเร็วโดยไม่ต้องสร้าง permission layer เอง
Use Case ตัวอย่าง
ธนาคารขนาดกลางใช้ Lake Formation สร้าง data lake รวมข้อมูลจากระบบ core banking, CRM และ transaction logs โดยกำหนดว่า data analyst เห็นเฉพาะข้อมูลเชิงรวม, risk team เห็น transaction รายบุคคลแต่ไม่เห็นชื่อลูกค้า และ compliance team เห็นข้อมูลครบถ้วน ทั้งหมดนี้จัดการผ่าน Lake Formation console โดยไม่ต้องแก้ IAM policies ซับซ้อน