文章详情页顶部

Meta发布 AI 模型SeamlessM4T,可转录和翻译近100种语言|钛快讯

AGI
随着ChatGPT风靡全球,Meta AI团队正在加紧追赶,以及重新组合其关于语言、对话等领域与大模型相关的研究。

(图片来源@视觉中国)

(图片来源@视觉中国)

钛媒体App获悉,当地时间8月22日,科技巨头Facebook母公司Meta 对外发布了一款最新人工智能(AI)翻译引擎SeamlessM4T,可以更轻松地跨文本语音翻译和转录近100种语言。

同时,Meta还公布了新的开源翻译数据集 SeamlessAlign,将44.3万小时的语音与文本、2.9万小时的语音转录数据进行对齐,教会SeamlessM4T如何将语音转录为文本、翻译文本、从文本生成语音。

Meta表示,SeamlessM4T将与SeamlessAlign一同开源。SeamlessM4T代表了 AI 技术驱动的“语音到语音”和“语音到文本”领域的“重大突破”。

据悉,作为最早投资AI的大型科技企业之一,Meta于2013年成立了 AI 基础研究实验室,聘请了AI领域的顶级学者,有大量社交与元宇宙算法,推出Pytorch框架、Zion等软硬件产品。不过,虽然Meta在AI领域也取得了一些进展,但它落后于OpenAI、微软、谷歌等公司。

随着ChatGPT风靡全球,Meta AI团队正在加紧追赶,以及重新组合其关于语言、对话等领域与大模型相关的研究。

去年底之后,Meta陆续发布No Language Left Behind(不留语言)文本到文本的机器翻译模型,支持200种语言,以及开发多语言数据集SpeechMatrix、生成文本到声音的AudioCraft等。另外在今年7月,Meta还发布开源对话大模型Llama 2,引发广泛讨论和关注。

此次公布的SeamlessM4T,建立在Meta AI翻译模型的技术能力基础上,并重新设计Fairseq序列建模工具包,以创建更轻量级的模型和处理更多信息。Meta表示,SeamlessM4T从“爬取的网页数据的公开可用存储库中”收集了400万小时的“原始音频”,该模型可以在近100种语言之间进行文本到语音的翻译,并支持35种语言的完全语音到语音翻译。

对于安全性和脱敏性,Meta表示,在开发SeamlessM4T时,团队构建了一个可以识别敏感词系统,目标是能够过滤了训练数据中不平衡的数据信息,从而检测和输出正确的翻译内容。而且,Meta研究人员还尝试清理误译一些脏话的数据集,以便更准确地检测何时使用。

Meta研究科学家负责人Paco Guzman表示,SeamlessM4T的一大突破是它不依赖中间模型来产生结果,这使得它更加灵活,甚至支持动态更改语言。这将促进更多人使用其进行日程对话。

不过,Meta建议不要使用SeamlessM4T进行长篇翻译,政府专用的认证翻译,以及不鼓励出于医疗或法律目的部署该模型,原因或与专业领域的翻译准确度有关。科技网站《对话》(theconversation)最近表示,AI 翻译有许多缺陷,包括不同形式的性别错误和偏见、语音识别算法偏差等。

据报道称,Meta后续将把这些翻译和转录方面的 AI 进展,整合到Facebook、Instagram、WhatsApp、Messenger和Threads等产品当中。

(本文首发钛媒体App,作者|林志佳,编辑|马金男)

本文系作者 林志佳 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接。
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里。

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

请 登录后输入评论内容

快报

更多

20:28

习近平和彭丽媛为出席亚太经合组织第三十三次领导人非正式会议的来宾举行欢迎宴会

20:28

Anthropic冲刺史上最大IPO,据悉获近七倍超额认购

20:21

三年打造超100家新质出海先锋企业,北京经开区“出海方案”正式印发

20:15

欧洲央行副行长武伊契奇:12月加息的可能性非常大

20:02

康迪科技前三季营收8210万美元扭亏,换电装备Q3起确认收入

19:57

通宇通讯调整3亿元收购佳贤通信股权方案,获其未来国际合作项目优先参股权

19:55

习近平在亚太经合组织第三十三次领导人非正式会议欢迎晚宴上的祝酒辞(全文)

19:55

英伟达扩大芯片供应链合作,数十亿美元支持矽品精密扩产

19:44

塔吉特上调全年业绩展望

19:44

国务院国资委:专业化整合要摒弃“大吃小”做法,以创新能力强的企业为主

19:37

国务院国资委:正在研究无关多元判别标准

19:28

国务院国资委:新一轮国资国企改革工作台账基本编制完成

19:26

国务院国资委:央企改革成效将继续纳入经营业绩考核加减分项

19:17

习近平和彭丽媛欢迎与会嘉宾并集体合影

19:13

澜起科技:完成5亿元股份回购,累计回购331.39万股

19:08

全栈式量子科学计算平台企业酉术量子完成天使轮融资

19:07

太一量生已累计完成融资超10亿元

19:07

江苏:持续完善全省一体化算力监测调度平台功能,强化长三角算力枢纽节点功能

19:05

兴发集团:拟出资20.4亿元设立控股子公司布局磷矿资源

19:04

2连板泰嘉股份:拟1亿元至2亿元回购公司股份

扫描下载App