加入收藏

消息!AI 公司 MosaicML 推出 300 亿参数模型 MPT-30B,号称训练成本仅为竞品零头

2023-06-26 06:03:13 来源:IT之家


【资料图】

AI 创业公司 MosaicML 近日发布了其语言模型 MPT-30B,该模型具有 300 亿参数,训练成本“仅有其他同类竞品模型的零头”,有望促进行业逐步降低此类模型训练成本,扩大 AI 模型在更广泛领域的运用。

▲ 图源 MosaicML

MosaicML 公司的首席执行官兼联合创始人 Naveen Rao 表示,MPT-30B 的训练成本为 70 万美元(约 502.44 万元人民币),远低于 GPT-3 等同类产品所需的数千万美元训练成本。此外,由于 MPT-30B 的成本较低,体积较小,它也可以更快速地被训练,并且更适合部署在本地硬件上。

据悉,MosaicML 使用了 Alibi 和 FlashAttention 技术来优化模型,可以实现更长的文本长度和对 GPU 计算的更高利用率。MosaicML 也是少数几个能够使用 Nvidia H100 GPU 的实验室,相比以往成果,当下每块 GPU 的吞吐量增加了 2.4 倍以上,可带来更快的完成时间。

除了让 AI 技术更容易获得之外,MosaicML 还专注于提高数据质量并提高模型性能。他们目前正在开发一款工具,可以帮助用户在预训练过程中分层加入特定领域的数据,以确保训练中开业实现多样化和高质量的数据组合。

MosaicML 公司表示,将模型扩展到 300 亿参数只是第一步,接下来他们将以降低成本为前提,推出体积更大、质量更高的模型。

目前开发者可以从 Hugging Face 下载并使用开源的 MPT-30B 基础模型,开发者还可以在本地硬件上使用自己的数据,对模型进行微调。

关键词:

相关新闻

资讯

当前聚焦:《火焰纹章Engage》钓鱼怎么钓?钓鱼技巧分享
当前聚焦:《火焰纹章Engage》钓鱼怎么钓?钓鱼技巧分享

火焰纹章Engage中在帝亚曼德加入队伍后就可以在主城体......更多>

牟定丫口村:开展环境整治,建设和美乡村|焦点热讯
牟定丫口村:开展环境整治,建设和美乡村|焦点热讯

丫口村近年来,楚雄州牟定县蟠猫乡丫口村紧盯“看着不......更多>

策略梯度强化学习算法实现A/B优化​|环球新动态
策略梯度强化学习算法实现A/B优化​|环球新动态

本文将以可视化方式向您一步一步解释使用策略梯度方法......更多>

百瑞纪集团与深业泰富集团签署战略合作协议 最新合作项目深业博院在成都签约落地
百瑞纪集团与深业泰富集团签署战略合作协议 最新合作项目深业博院在成都签约落地

6月25日消息,百瑞纪集团近日与深业泰富集团成功签署......更多>

这座城市楼市大动作!改善性住房不再限购 首套房贷利率最低3.7%-当前热讯
这座城市楼市大动作!改善性住房不再限购 首套房贷利率最低3.7%-当前热讯

6月25日,“扬州发布”公众号发文称,扬州发布最新楼......更多>

【天天聚看点】呼和浩特市多家A级旅游景区推出2023年度中、高考生免门票政策
【天天聚看点】呼和浩特市多家A级旅游景区推出2023年度中、高考生免门票政策

我市10家收取门票的A级旅游景区针对全国2023年度参加......更多>

仪式感拉满!新时代文明实践站点开启“端午系列庆典”
仪式感拉满!新时代文明实践站点开启“端午系列庆典”

6月15日下午,雪松苑二委新时代文明实践站的工作人员......更多>

即时看!中兴通讯:云网筑基,数智赋能,助力城轨数字化发展
即时看!中兴通讯:云网筑基,数智赋能,助力城轨数字化发展

近日,RTFORUM2023第七届中国智慧轨道交通大会在重庆......更多>

这10个很惊险的地方,中国竟然有3个!
这10个很惊险的地方,中国竟然有3个!

这10个很惊险的地方,中国竟然有3个!,悬崖,华山,中国......更多>

环球最资讯丨国防军工板块受关注 概念股西菱动力有望爆发
环球最资讯丨国防军工板块受关注 概念股西菱动力有望爆发

当前整个外部环境的不确定性大幅增加,考虑到备战需求......更多>

关注

每日头条!盛会现场,探营来了!
每日头条!盛会现场,探营来了!
第十四届新领军者年会(2023天津夏季达沃斯论坛)将于6... 更多>
每日头条!盛会现场,探营来了!
第十四届新领军者年会(2023天津夏季达沃斯论坛)将于6... 更多>
美国父子放弃乘坐失事潜水器躲过一劫:担忧下潜能力,座位让出 世界快讯
杰伊·布鲁姆和儿子肖恩(美国有线电视新闻网视频截图... 更多>
满帮集团:网传“限制货主发高价”截图系断章取义-世界热头条
6月25日,满帮抖音官方账号发布声明称,近期,满帮集... 更多>
今日要闻!原糖上周走高
白糖:ICE原糖上周走高,雷亚尔的升值以及厄尔尼诺气... 更多>
世界消息!海珠好人|车湛江:敬业奉献心系社区,巧化矛盾情暖居民
从事社区工作25年来,他始终以饱满的热情服务群众,把... 更多>
资讯推荐:共谱和谐邻里情!龙凤街开展端午节社区文化健康活动
近日,龙凤街康隆社区新时代文明实践站、康隆社区公共... 更多>
硬核科技论丨成为键盘车神的第一步 了解一下LSD吧
大家在看汽车节目的时候,应该经常能听到一个词,LSD... 更多>
4650米高原上的光明创造者——全球最大水光互补电站投产背后的故事-视讯
在甘孜藏族自治州雅江县西北部,有一个乡落位于两山之... 更多>
萝卜干怎么拌好吃?
主料:萝卜干适量辅料:姜适量八角适量花椒适量味极鲜... 更多>
蟑螂是什么(蟑螂是一种什么昆虫?) 世界新资讯
蟑螂是一种什么昆虫?龙虱(水蟑螂),又名水龟子,属... 更多>
端午假期平安畅通!全省道路交通事故同比下降77.3% 全球观热点
文、图 羊城晚报全媒体记者张豪通讯员粤公宣6月25日... 更多>
浓浓假日 “粽”享铁路温情 热门看点
据悉,为期3天的铁路端午小长假运输即将结束,全国铁... 更多>