谷歌研究团队宣布 AudioPaLM:一个能说能听的大型语言模型|环球今日讯
站长之家(ChinaZ.com) 6月25日消息:大型语言模型(LLMs)近几个月一直备受关注。作为人工智能领域最重要的进展之一,这些模型正在改变人机交互的方式。随着各行各业纷纷采用这些模型,它们成为人工智能在全球蔓延的最佳例证。
LLMs 在处理复杂交互和知识检索任务时表现出色,其中最著名的例子是由 OpenAI 开发的 ChatGPT 聊天机器人,它基于 GPT 3.5 和 GPT 4 的 Transformer 架构。除了文本生成外,还开发了像 CLIP(对比性语言图像预训练)这样的模型,用于图像生成,使得可以根据图像的内容生成文本。
为了在音频生成和理解方面取得进展,Google 的研究团队推出了 AudioPaLM,这是一个大型语言模型,可以处理语音理解和生成任务。AudioPaLM 结合了两个现有模型的优势,即 PaLM-2 模型和 AudioLM 模型,以产生一个统一的多模态架构,能够处理和生成文本和语音。这使得 AudioPaLM 可以处理各种应用,从语音识别到语音转文字。
(相关资料图)
虽然 AudioLM 在保持诸如说话者身份和语气信息方面表现出色,而以文本为基础的语言模型 PaLM-2 则专注于特定于文本的语言知识。通过结合这两个模型,AudioPaLM 利用了 PaLM-2 的语言专业知识和 AudioLM 的附加语言信息保存能力,从而更全面地理解和生成文本和语音。
AudioPaLM 使用一个联合词汇表,可以使用有限数量的离散标记表示语音和文本。将这个联合词汇表与标记化的任务描述相结合,可以在各种声音和基于文本的任务上训练单个解码器模型。传统上需要单独模型来处理的语音识别、文本转语音合成和语音到语音翻译等任务现在可以统一到一个架构和训练过程中。
经过评估,AudioPaLM 在语音翻译方面的表现明显优于现有系统。它展示了对语言组合执行零样本语音到文本翻译的能力,也就是说,它可以准确地将从未遇到过的语言的语音翻译成文本,为更广泛的语言支持开辟了可能性。
AudioPaLM 还可以基于简短的口语提示在语言之间进行声音转换,并能捕捉并重现不同语言中的独特声音,实现语音转换和适应。
团队提到的 AudioPaLM 主要贡献包括:
AudioPaLM 利用了文本预训练模型 PaLM 和 PaLM-2 的功能。
在自动语音翻译和语音到语音翻译基准测试中取得了最先进的结果,并在自动语音识别基准测试中具有竞争力的表现。
该模型通过语音转换来进行声音转换,超越了现有方法在语音质量和声音保留方面的表现。
AudioPaLM 通过使用未见过的语言组合进行自动语音翻译,展示了零样本功能。
总而言之,AudioPaLM 是一个统一的大型语言模型,通过利用基于文本的语言模型的能力和整合音频提示技术,可以同时处理语音和文本,成为 LLM 列表中强有力的补充。
AudioPaLM Hugging Face 页面:https://huggingface.co/papers/2306.12925
关键词:
上一篇:【播资讯】普里戈任接受白俄缓和局势建议 其刑事立案将获撤销
下一篇:最后一页
- 谷歌研究团队宣布 AudioPaLM:一个能说能听的大型语言模型|环球今日讯
- 雷阵雨、中到大雨、雷暴大风… 山西高温退雨水来
- 莫斯科正在进行反恐行动
- 最终幻想16讨伐任务接取方法攻略
- 【播资讯】普里戈任接受白俄缓和局势建议 其刑事立案将获撤销
- 刘梓晨蛇精脸近照_蛇精男刘梓晨画风突变上综艺节目
- 环球通讯!今明两天我市以阵雨转晴天气为主
- 当前关注:vans价格 怎么分辨真假呢
- 特级教师解读浙江各地中考题,考成长也考思辨_每日看点
- 再见勇士,4换1交易正式官宣!普尔成老大,保罗库里争冠只剩1年
-
福建泉州举办专利导航成果推介助力产业高质量发展
林超胤 林嘉伟 余丽銮 科技日报记者 谢开飞6月20日,福建省泉州市
-
商务部印发《自贸试验区重点工作清单(2023—2025年)》_当前热讯
央视网消息:据商务部,为贯彻落实党中央、国务院决策部署,以自贸试验
-
北京高考成绩查询通道开启,排名前20名考生成绩暂不公布
6月25日,北京高考成绩查询通道正式开启。北京教育考试院同步公布了202
-
每日讯息!“元宇宙”对接 84所院校与260家厦企达成合作意向
124所院校参会、涉及240多个专业、访问量累计34610人次……近日,持续
-
瓦格纳雇佣兵公司负责人普里戈任发布音频回应
当地时间6月24日,俄罗斯总统普京就当前局势发表电视讲话,随后,瓦格
-
win10开机黑屏白横线-(win10开机黑屏只有一个横线)|天天热门
win10开机黑屏白横线(win10开机黑屏只有一个横线)随着数码设备的更新换
-
大地四神厉害吗(大地四神)-世界热门
1、不是的,目前出现的红世之神就像你所说的只有天壤劫火和祭礼之蛇,
-
《云顶之弈》裁决劫上分阵容搭配攻略-热消息
云顶之弈s9赛季已经更新了,相信很多玩家都在抓紧时间上分,针对这个问
-
【618战报】618期间若羽臣整体GMV同比增长77%
6月21日,若羽臣发布618数据战报,618期间,若羽臣整体GMV同比增长77%
-
世界热推荐:云南省昭通市2023-06-18 18:23发布雷电黄色预警
一、云南省昭通市天气预报1、鲁甸县气象台2023年6月18日18时20分发布雷
X 关闭
如何选择行业大模型?创业者和云厂商有这些看法_天天看热讯
跨越时空,只为重逢
新加坡5月份整体通胀回落至5.1%
计算机:机器人软件体系再进一步
当前时讯:越南对原产自中国和印尼部分味精启动反倾销第二次复审立案调查
X 关闭
有史以来最热的一年,电动车做好没电充的准备吧
红的成语开头 红的成语 天天新消息
广东2023年高考放榜:本科历史433分 本科物理439分_每日热门
最新资讯:小米手机怎么关闭流量校正
当前时讯:高温持续 各地采取措施积极应对