目前有什么可以本地部署的大模型推荐?
这里推荐一个本地微调大模型的框架。
ZO2,一个仅用18G显存就能全参微调175B大模型的框架(当然也支持微调小一些的模型)。
更新:现在ZO2支持Qwen3啦,全参微调32B的版本只需要6GB显存。
Code: ***s://github***/liangyuwang/zo2 Paper: ***s://arxiv.org/abs/2503.12668。
相关推荐
最新更新
推荐阅读
猜你喜欢
独立开发***能盈利吗?感觉好累...
Go 语言几乎打了所有 Programming Language 学者的脸,然而它却成功了,为什么?
为什么买的小乌龟总是养不活呀?
河南一带的农村到底有多穷?
黄晓明上戏考博落榜,本人回应「明年再战」,怎样看明星对高学历的追求?上戏博士有多难考?
如何看待以下说法:「衡水模式」下的学生过得比非洲孩子好多了,为何还要抱怨?
MCP、function calling 这两者有什么区别?与AI Agent 是什么关系?
count(*) count(1)哪个更快?
如何看待rust编写的zed编辑器?
微软宣布 5 月 28 日开始下架「Microsoft 远程桌面」应用,背后原因有哪些?
关注我们

圆珠笔
网站首页
