17-训练平台设计
17-训练平台设计(第 216–235 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 216 | 设计一个支持1000卡规模的训练平台,核心组件有哪些? | 216-设计一个支持1000卡规模的训练平台,核心组件有哪些.md |
| 217 | 训练平台的job scheduler如何设计?FIFO vs `… |
217-训练平台的job-scheduler如何设计.md |
| 218 | 分布式存储的选择?Ceph、JuiceFS、GPFS对比? |
218-分布式存储的选择.md |
| 219 | 训练容器的镜像管理?layer caching、registry… |
219-训练容器的镜像管理.md |
| 220 | 网络架构设计?InfiniBand vs RoCE?`fat-t… |
220-网络架构设计.md |
| 221 | 故障检测和自动恢复机制?heartbeat、watchdog? |
221-故障检测和自动恢复机制.md |
| 222 | 训练数据的global shuffle实现?`shuffle buf… |
222-训练数据的global-shuffle实现.md |
| 223 | 模型仓库的设计?版本管理、血缘追踪? |
223-模型仓库的设计.md |
| 224 | 超参搜索(HPO)的基础设施?Optuna、Ray Tune集成… |
224-超参搜索(HPO)的基础设施.md |
| 225 | 训练平台的multi-tenancy隔离?namespace、`… |
225-训练平台的multi-tenancy隔离.md |
| 226 | 资源碎片整理(defragmentation)策略? | 226-资源碎片整理(defragmentation)策略.md |
| 227 | 训练任务的dry-run和profiling模式? |
227-训练任务的dry-run和profiling模式.md |
| 228 | 模型压缩服务的集成?量化、剪枝流水线? |
228-模型压缩服务的集成.md |
| 229 | 训练平台的cost model?预测任务耗时和资源需求? |
229-训练平台的cost-model.md |
| 230 | 如何支持异构计算?CPU、GPU、TPU统一调度? |
230-如何支持异构计算.md |
| 231 | 训练平台的SLA定义?job completion time保证… |
231-训练平台的SLA定义.md |
| 232 | 数据隐私和合规?联邦学习基础设施? |
232-数据隐私和合规.md |
| 233 | 训练平台的disaster recovery?跨地域备份? |
233-训练平台的disaster-recovery.md |
| 234 | 模型CI/CD流水线?自动化测试、benchmark? |
234-模型CI-CD流水线.md |
| 235 | 训练平台的observability?日志、指标、链路追踪? |
235-训练平台的observability.md |