广西建设网站首页潍坊seo教程

根据模型训练过程的显存占用实测的分析，一个1g参数的模型（存储占用4g）训练大约需要20g的显存，其中梯度值占用的显存约一半。博主本意是想实现在迁移学习（冻结部分参数）中模型显存占用的降低，结果不太满意，只能实现训练速度提升，但无法实现显存占用优化。预计是在现有的训练框架中，对于显存占用优化做的十分到位，优化空间极小。但基于现有的策略，在不影响任何训练效果下，侥幸能实现训练速度提升15%也是十分有意义的。 这里以ms-swift框架为例，训练模型以Florence-2-large-ft（提速30%）与Qwen2-VL-2B-Instruct（提速16%）模型为例。只需要使用model=MyModel(model)替换一下原有模型即可。

1、核心修改

1.1 关键代码

将以下代码保存到 swift\llm 目录下，文件名为 MyModel.py

from torch import<