HPC on AWS
คืออะไร
High Performance Computing (HPC) บน AWS สำหรับงานที่ต้องการ compute power สูงมาก
Data Transfer
- Direct Connect — dedicated connection สำหรับ transfer ขนาดใหญ่
- Snowball — physical device สำหรับ PB-scale data
- DataSync — online data transfer agent
Compute
- EC2 Cluster Placement Groups — instances อยู่ใกล้กัน, low-latency 10 Gbps network
- Enhanced Networking (ENA) — สูงสุด 100 Gbps
- Elastic Fabric Adapter (EFA) — สำหรับ MPI (Message Passing Interface), OS-bypass สำหรับ inter-node communication
Storage
- EBS io2 — สูงสุด 256,000 IOPS
- EC2 Instance Store — millions of IOPS (physical disk)
- FSx for Lustre — parallel file system สำหรับ HPC
Orchestration
- AWS Batch — managed batch processing, multi-node parallel jobs
- AWS ParallelCluster — open-source cluster management tool
- รองรับ EFA, automate VPC/Subnet/cluster type setup