当前位置: 首页 » 产品 » 电子五金 » 正文

一个让GPT-3相形见绌的开源模型旨在将人工智能从大型科技公司中解放出来

放大字体  缩小字体 发布日期: 2024-11-29 03:53   来源:网络推广  作者:baidu  浏览次数:87
核心提示:一个比GPT-3更大的语言模型已经到来,它有一个大胆的雄心:将人工智能从大型科技公司的魔爪中解放出来。 这个名为BLOOM的大型语言

New open-source model that dwarfs GPT-3 aims to free AI from Big Tech labs

一个比GPT-3更大的语言模型已经到来,它有一个大胆的雄心:将人工智能从大型科技公司的魔爪中解放出来。

这个名为BLOOM的大型语言模型(LLM)有望达到与硅谷领先系统类似的性能,但采用了完全不同的访问方法。

虽然科技巨头倾向于对公众隐藏他们引以为傲的LLMs,但BLOOM对任何人都是免费的。

它也是多语言的——不同于谷歌的LaMDA和OpenAI的GPT-3——这在英语主导的领域是一个不寻常的特性。

这些功能可以使人们更容易获得将对社会产生深远影响的技术。芭乐视频免费资源在线观看

强大的AI模型可以以开放的方式训练和发布。

LLMs正在证明他们精通越来越多的任务,包括写论文、生成代码和翻译语言。

它们还擅长制作有害内容——而且它们未来的能力很难预测。

BLOOM为研究人员提供了一个独特的机会来探索它们的风险和好处。

BLOOM证明了最强大的人工智能模型可以由更广泛的研究界以问责制和实际开放的方式进行训练和发布,这与工业人工智能研究实验室的典型保密形成了鲜明对比。BLOOM培训的联合负责人特文·勒·斯高(Teven Le Scao)在一份声明中说。

男生和女生一起差差差的很痛的软件

llm的创建和运行成本非常高。例如,培训GPT-3的成本估计高达2760万美元。

科技公司不可避免地希望保护如此大规模的投资——尤其是当它们提供竞争优势时。

因此,llm很少开源也就不足为奇了——除了一些显著的例外。

meta产生了最显著的异常。今年5月,该公司提供了1750亿参数OPT系统的访问权限。

然而,完整的模型只在要求时提供,并用于非商业用途。

BLOOM提高了易用性。

这个1760亿个参数的模型可以免费提供给任何同意该系统的“负责任的人工智能许可证”的个人或机构。

任何人都可以公开地查看模型背后的会议记录、讨论和代码。

BLOOM是由2021年初启动的研究项目BigScience创建的。这项倡议由人工智能初创公司hug Face发起并领导。

BigScience联合负责人、hug Face联合创始人托马斯·沃尔夫(Thomas Wolf)表示:“在过去两年里,大型ML模型改变了人工智能研究的世界,但训练它们所需的巨大计算成本导致很少有团队真正有能力训练和研究它们。”HULUWA葫芦娃官方在线入口

训练语料库与我们的价值观一致。

由来自60多个国家和250个机构的1000多名研究人员组成的团队开发了BLOOM,以促进LLMs的包容和责任。

他们在法国巴黎的Jean Zay超级计算机上训练模型。

“我们采用了数据优先的方法,以确保训练语料库与我们的价值观一致,”莱比锡大学(Leipzig University) BigScience研究员克里斯托弗·阿基(Christopher Akiki)说。

“BigScience的多学科和国际组成使我们能够从多个有利角度批判性地反思过程的每一步:伦理、法律、环境、语言和技术。

“这意味着我们能够在不影响性能或规模的情况下减轻道德问题。”

它的规模确实令人印象深刻。BLOOM有1760亿个参数,比OpenAI的GPT-3和metaAI的OPT更大。

该模型可以生成46种自然语言和方言以及13种编程语言的文本。对于他们中的许多人来说,这是有史以来第一个拥有超过100B个参数的语言模型。

绿巨人APP下载安装无限看-丝瓜IOS苏州晶体它的价格也非常便宜。BigScience表示,研究人员可以在云提供商上以低于40美元/小时的价格使用BLOOM。

该模型不太可能与大型科技公司建立的模型竞争,但它至少提供了一种仔细审查它们的方法。

 
 
[ 产品搜索 ]  [ 加入收藏 ]  [ 告诉好友 ]  [ 打印本文 ]  [ 违规举报 ]  [ 关闭窗口 ]

 

 
推荐图文
推荐产品
点击排行
 
    行业协会  备案信息  可信网站