跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–6 条 · 共 6 条
今天10月28日周三
10月27日周二
  1. Together AI Blog55

    Together AI 详解 GPU 集群自动修复:从故障到健康节点

    Together AI 宣布其 GPU 集群自动修复功能全面可用,并详细拆解了从故障检测到节点恢复的完整流程。系统在虚拟机和宿主机两侧同时监控 Xid 错误、ECC 双位错误、InfiniBand 链路抖动等信号,按故障类型推荐最轻的修复动作,支持逐故障审批或全自动执行。修复按重启、快速重建、迁移主机逐级升级,并配有冷却、并发预算和熔断机制来应对告警风暴。