阿里云通义千问开源72B、1.8B两款大语言模型 并首度开源音频大模型
12月1日消息,阿里云宣布开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70B和大部分商用闭源模型。阿里未来,企业级、科研级的高性能应用,也有了开源大模型这一选项。
通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及云通视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。
业界最强开源模型,填补中国LLM开源领域空白
Qwen-72B基于3T tokens高质量数据训练,延续通义千问预训练模型一贯以来的强势表现,在10个权威基义千准测评中夺得开源模型最优成绩,在部分测评中超越闭源的GPT-3.5和GPT-4。
英语任务上,Qwen-72B在MMLU基准测试取得开源模型最高分;中文任务上,Qwen-72B霸榜C-Eval、CMMLU、GaokaoB问开ench等基准,得分超越GPT-4;数学推理方面,Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力有了源7质的飞跃。
在10大权威测评中,通义千问720亿参数模型获得开源模型最优成绩
通义千问720亿开源模型部分成绩超越闭源的GPT-3.5和GPT-4
Qwen-72B可以处理最多32k的长文本输入,在长文本理解测试集LE2Bval上取得了超越ChatGPT-3.5-16k的效果。研发团队优化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游应用集成。比如,Qwen-72B搭载了强大的系统指令(System Prompt)能力,用、1户只用一句提示词就可定制AI助手,要求大模型扮演某个角色或者执行特定的回复任务。
用户仅用一句提示词就可创建自己的AI助手
此前,中国大模型市场还没出现足以对标Llama 2-70B的优质开源模型。Qwen-72B填补了国内空白.8,以高性能、高可控、高性价比的优势,提供不亚于商业闭源大模型的选择。基于Qwen-72B,大中型企业可开发商业应用,高校、科研院所可开展AI for Science等科研工作。
发布会上的另一开源模型Qwen-1.8B是目前尺B两寸最小的中国开源大模型,推理2K长度文本内容仅需3G显存,可在消费级终端部署。
从18亿、70亿、140亿到720亿参数规模,通义千问成为业界首个“全尺寸开源”的大模型。用户可在魔搭社区直接体验Qwen系列模型效果,也可通款大过阿里云灵积平台调用模型API,或基于阿里云百炼平台定制大模型应用。阿里云人工智能平台PAI针对通义千问全系列模型进行深度适配,推出了轻量级微调、全参数微调、分布式训练、离线推理验证、在线服务部署等服务。
此外,阿里云还首语言次开源音频理解大模型Qwen-Audio。Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频,要求模型给出对音频的理解,甚至基于音频进行文学创作、逻辑推理、故事续写等等模型。音频理解能够赋予大模型接近人类的听觉能力。
据介绍,阿里云是国内最早开源自研大模型的科技企业,8月以来开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。几款模型先后冲上HuggingFace、G 并ithub大模型榜单,得到中小企业和个人开发者的青睐,累计下载量超过150万,催生出150多款新模型、新应用。发布会现场,多位开发者伙伴现身说法,分享了他们用Qwen开发专属模型和特定应用的实践。
阿里云CTO周靖首度人表示,开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为“AI时代最开放的大模型”,与伙伴们共同促进大模型生态建设。
- ·马斯克旗下xAI将投资200多亿美元在密西西比州建设数据中心
- ·标签: 小鹏汇天 A868 陆地航母 飞行汽车
- ·AI 研究实验室 NeoCognition 获 4000 万美元融资,打造类人学习能力的 AI 智能体
- ·云计算市场竞争愈演愈烈,IBM收购芬兰云计算公司Nordcloud
- ·IDC 2022 全球CSO网络安全大会将于6月首次落地中国
- ·这年头连人用脑机接口信号都能无线传输了,瘫痪者可在家轻松上网
- ·鑻规灉楂樼�瑙h�2021璐㈠勾Q3璐㈡姤锛氫腑鍥界敤鎴峰�iPhone 12 Pro鍙嶅搷寰堢儹鐑�
- ·蒸肉怎么做
- ·奥利奥牙膏什么梗
- ·秋葵热水煮多长时间
- ·昆仑万维发布 “4+3 战略”:从技术底座到商业闭环
- ·标签: 融资 智鼎机器人
- ·标签: 云深处 DEEP Robotics 中信建投 科创板
- ·标签: 乐聚机器人 舍弗勒 人形机器人 工业场景
- ·苹果或将对手机完全无线化 车载有线配置或将受到一定影响
- ·OpenAI 开启 Codex 测试,一个将自然语言翻译成代码的 AI 系统
- ·https://www.abbreviations.com/谷歌快排【tg:seogoogle987】dTV
- ·https://www.paspaley.com/catalogsearch/result/?action=QUERY&q=谷歌快排【tg:seogoogle987】,G5F
- ·https://www.tombow.com/search/谷歌快排【tg:seogoogle987】,a36
- ·https://www.ons.gov.uk/search?q=谷歌快排【tg:seogoogle987】,fUv
- ·https://www.tahiti-infos.com/search/谷歌快排【tg:seogoogle987】,oD1
- ·https://www.sic-info.org/?s=谷歌快排【tg:seogoogle987】,UJ5
- ·https://www.universal-music.co.jp/?ID=1sIcckCTeBS8FjzCshAW9w53s8gr691o&s=谷歌快排【tg:seogoogle987】,bEp
- ·https://www.lauben.com/en/?action=SEARCH&s=谷歌快排【tg:seogoogle987】,jVl
- ·https://www.zalora.sg/catalog/?cat=112&q=谷歌快排【tg:seogoogle987】,5CU
- ·https://www.xvideos.com/tags/谷歌快排【tg:seogoogle987】,YD4
- ·神经符号系统、跨学科交互,李飞飞等16名学者共同探讨AI未来
- ·YouTube 推出 AI “肖像识别” 工具,打击虚假内容
- ·标签: 阿里云 华为云 腾讯云 OpenClaw
- ·标签: 360 张永生 阿里巴巴 百度
- ·CV圈对决:谷歌提出ViTGAN,用视觉Transformer训练GAN
- ·标签: 西贝 贾国龙 董俊义 餐饮行业
- ·云安全日报220524:IBM大数据可扩展存储设备发现特权提升漏洞,需要尽快升级
- ·亚马逊拟尝试实体零售新业态:2800平方米综合百货商店
- ·IBM财报不及预期股价大跌7% 新管理层转型云计算效果欠佳
- ·AI教育的“百亿补贴”来了!阿里夸克发布“教育计划”,对7000万师生免费
