Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

ChatGLM的Finetune推荐命令，使用3090 24G会OOM，代码默认使用8Bit量化同样会导致OOM #118

Open
StarrickLiu opened this issue May 9, 2023 · 1 comment
Open

ChatGLM的Finetune推荐命令，使用3090 24G会OOM，代码默认使用8Bit量化同样会导致OOM #118

StarrickLiu opened this issue May 9, 2023 · 1 comment

Comments

@StarrickLiu
Copy link

StarrickLiu commented May 9, 2023 •
edited
Loading

Issue 1：

python3 uniform_finetune.py   --model_type chatglm --model_name_or_path THUDM/chatglm-6b \
    --data alpaca-belle-cot --lora_target_modules query_key_value \
    --lora_r 32 --lora_alpha 32 --lora_dropout 0.1 --per_gpu_train_batch_size 2 \
    --learning_rate 2e-5 --epochs 1

运行上述命令后会在训练阶段OOM：

RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0; 23.69 GiB total capacity; 22.48 GiB already allocated; 6.06 MiB free; 22.55 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

使用下述命令训练GLM顺利进入训练阶段，尚未发生OOM：

python3 uniform_finetune.py   --model_type chatglm --model_name_or_path /workspace/para/chatglm-6b \
     --data instinwild_ch --lora_target_modules query_key_value \
     --per_gpu_train_batch_size 1  --epochs 1 \
     --report_to wandb

训练时占用：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.85.12    Driver Version: 525.85.12    CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:0A:00.0 Off |                  N/A |
| 31%   65C    P2   305W / 350W |  21916MiB / 24576MiB |     78%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

Issue 2:

根据Readme所述，训练GLM时不能使用int8量化，但是finetune代码中没有判断后跳过此类的处理，会导致OOM：

image

89e97978136633b0d03e41544d61060
可以注释掉这行，注释后不会在这OOM
@ForgetThatNight
Copy link

ForgetThatNight commented May 11, 2023

chatglm才6b，我32G都是OutOfMemoryError，好神奇，没找到原因

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@ForgetThatNight @StarrickLiu

相关内容推荐

佛山机械seo托管青海企业站seo什邡seo营销系统seo真的挣钱吗江油seo推广公司seo精学网南京seo培训学校seo400电话优化seo排名培训seo与sem分析佛山360 seo外包祁连seo优化厂家廊坊seo外包要求小白seo伪原创整站seo排名价格合肥李勇seo南山seo优化企业seo优化考核机制新乡seo凯瑞seo是骗子吗杭州seo外包收费seo 研究中心惠州seo优化基础深圳seo培训排名游戏seo优化报价武汉正规网站seo玉屏seo优化公司东莞相连seo博客seo有若干要素凯里网络seo推广seo培训在哪里浮木seo博客衡阳seo推广排名武汉新网站seo常州seo推广推荐新塘网站的seoseo岗位实习周报天乐seo博客seo排名赚下载单页面seo例子seo学什么工作豆瓣seo的措施seo分析网站范文seo快照发布保定网站页面seoseo怎么不降权洪江seo优化公司东西湖seo武汉seo优化地址japanese19seoSEO监测手环编织梅州seo优化平台seo网页禁止后退大邑seo优化怎样seo网站哪个最快北海谷歌seo厂家抖手网站seoSEO专员岗位职能松溪正规seo介绍拉萨seo网站优化武隆seo熊掌号深圳seo培训排名头条站外seo网站推广seo giteeseo和返利网discuz利于SEO吗品质seo优化热线崇明seo优化推广花镇seo招聘泰安seo外包报价江桥seo优化新宝三seoseo 优化运维重庆seo品牌推广seo工具包包宝山短视频seoSEO书架客厅地毯遵义新站点seoseo招聘信息北京seo系统培训seoaiz肥东网络seo优化网页seo诊断工具岳阳网络推广seo连江提供seo优化seo推广软件外包自己做的seo鸡泽seo推广网站连江提供seo优化楚雄seo网站优化宁波seo 外包收录seo398.cn搜外网seo价格整站seo外包排名seo中的ctr绍兴手机排名seo茂名网站seo优化潍坊seo外贸推广seo搜索优化前端seo案例霸屏seo搜索优化途径seo站内链接优化南昌企业seo站驻马店招聘seo怎么就行SEO优化乔烨的SEO武汉seo新算法seo管理系统广告网站seo怎么提升一天seo前端seo工作原理壁山seo优化芜湖网络优化seo博彩seo做多久学seo就业前景常规seo优化活动seo广告优化运营今天头条seo贵州正规seo推广url包含空格 seoseo点击排名平台怀柔微商seowww.tubev.seoseo周星星同学seo课程培训引流seo优化贵不贵益盟股份seo负面seo指什么seo医疗项目经验天津seo效果分析淘宝seo推广代发小白seo快速排名seo 126betseo稿件怎么写南宁谷歌seo公司咸宁谷歌seo公司seo视频编辑软件如何制作seo计划广安seo优化代理个人seo教程代发seo核心底层seo 指数是什么罗源网站seo技术seo优化公司 phpwindseo常见故障黄山seo引擎优化湘潭seo网站优化江夏seo优化推广兴国seo优化排名外贸新人培训SEO黄冈seo推广价格SEO目录手绘蛋糕杭州seo优化项目昆山seo优化服务seo优化404错误惠州seo外包方案seo图表制作教程丰台天猫seo淮北seo优化方案天津seo软件批发seo快速外链seo编程和aspseo的竞争模式襄阳seo推广介绍搜客seo优化seo张闻一福州seo4000seo标题组合工具seo文章编辑技巧seo优化访问次数英山seo推广公司北京seo培训排名苏州seo新站策划甘肃seo优化教程黄州seo优化机构临沂seo基础入门seo推广优化企业湖北企业seo推广公司seo优化公司什么是seo结构甘肃短视频seoSEO故事文案伤感seo月总结范文淘宝seo运营规则绍兴seo优化推广seo排名工具选择苏州外链seo无锡seo搜索推广宁夏seo网站宣传博客写作英文SEOseo课程教程集合网站推广seo giteeseo原创稿件代写seo技术设计seo代码优化标准外网seo搜索神器红安网站seo优化SEO工具写生创意金版科技seo公司seo需要几人网页内容更改seo

合作伙伴

璇泰初网络

www.jsfengchao.com
www.28j.com.cn
seo.chaoshanxing.com
www.3phw.com
www.china185.com
top1.urkeji.com
www.8830000.cn
zz1.urkeji.com
www.imcrd.com
www.seo5951.com
www.pifajia.net.cn
www.wangluohr.cn
qiansan.seo5951.com
www.clhczx.cn
www.zhdaili.cn
www.28j.com.cn
top1.urkeji.com
www.china185.com
www.tjwyj.com
zz.urkeji.com