目前大模型在推理时通常都非常耗存储和计算炒股配资中心,这是因为权重采用FP16存储,占用空间大。北大团队首次提出iFairy方案,把模型权重量化到复数集合 {+1, -1, +i, -i}。这四个值刚好可以用2比特表示炒股配资中心,相当于压缩到原本的1/8。
盛康配资提示:文章来自网络,不代表本站观点。
本文评分*
评论内容*
你的昵称*
你的邮箱*