27 2024-02 Linux技术 字节跳动,发布AI产品,MegaScale 字节发布的这个MegaScale估计只有超级大厂才有用,一个在超过一万个 GPU 上训练 LLM 的生产系统。 整个系统涵盖了从模型块和优化器设计到计算与通信的重叠、运算符优化、数据管道以及网络性能调整的算... 阅读全文 2024年02月27日 23:06:46 周二 2024-02-27 周二 417 0 0