AWS 为 SageMaker Inference 增加 NVIDIA MIG GPU 分区支持

AWS 在官方博客宣布，SageMaker Inference 现支持利用 NVIDIA Multi-Instance GPU 将一块物理 GPU 切分为多个独立分区，用于同一端点上部署更多模型并提升利用率。每个分区拥有固定算力和专属内存块，硬件隔离可降低干扰并改善延迟。该能力依托 inference components，单模型、serverless 和异构实例池不支持分区。Salesforce 也参与了需求定义和初始实现验证。