当前位置：首页 >文章发布 > 正文
AMD推出自家首款小语言AI模型“Llama-135m”，可减少RAM占用
来源：IT之家 作者：
佚名
2024-09-30 08:25:31
9月29日消息，AMD在Huggingface平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有6700亿个token，采用Apache2.0开源许可。
9月29日消息，AMD在Huggingface平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有6700亿个token，采用Apache2.0开源许可。
据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个token，而不会影响性能，从而显著减少RAM占用，实现效率提升。
AMD表示，这款模型在四个AMDInstinctMI250节点训练了六天，其“编程专用版本”变体AMD-Llama-135m-code则额外耗费了四天时间进行微调。
免责声明：本文系网络转载，版权归原作者所有。本文所用图片、文字如涉及作品版权问题，请联系删除！本文内容为原作者观点，并不代表本网站观点。
编辑：乔帅臣
2024年企业最关心的三大热门词：新质...
