模型加载问题

https://github.com/OpenBMB/ModelCenter/blob/main/examples/cpm2/pretrain_cpm2.py#L24

请问这里模型初始化是不是每卡都会执行？
如果模型很大，可能内存OOM。谢谢您的解答。