工业界针对大规模稀疏数据的分布式训练平台，目前流行的架构是什么？还是基于 ps 的吗？
pytorch 的 ddp 在大规模稀疏数据的分布式训练任务中存在哪些问题？
pytorch 相对于 tensorflow 在大模型训练中的优势有哪些？