Tilde AI 发布开源 TildeOpen LLM:支持多种欧洲语言的超大语言模型
Latvian 语言技术公司 Tilde 于2025年9月3日发布了 TildeOpen LLM,这是一个开源的基础大语言模型(LLM),旨在支持欧洲语言,Ti特别是那些较少被代表的国家和地区语言。这一举措标志着欧盟在语言公平和数字主权方面迈出了重要的一步。
TildeOpen LLM 是一个拥有300亿参数的稠密解ld码器模型,采用了 CC-BY-4.0的宽松许可证,能够支持从拉脱维亚语、立陶宛语到乌克兰语、土耳其语等多种语言。该模型的训练是在欧洲的超级计算机 LUe MI(芬兰)和 JUPITER 上进行的,使用了欧盟委员会的大型人工智能大奖挑战赛所提供的200万 GPU 小时的计算资源。
在技术细节方面,TildeOpeAIn LLM 通过受 EleutherAI 启发的 GPT-NeoX 脚本进行训练,共进行了45万次更新,使用了约2万亿个令牌。其训练过程包含三阶段采样:首先在语言间均匀 发分布,其次是对高数据量语言的自然分布进行增强,最后再进行均匀的扫查以确保平衡。模型的超参数包括60层、嵌入维度6144、48个注意力头、8192-t布开oken 的上下文窗口,以及使用 SwiGLU 激活、RoPE 位置编码和 RMSNorm 层规范化。
在语言公平和数据主权方面,传统的主流模型往往侧重于英语和其源 他主要语言,导致在处理波罗的海、斯拉夫及其他较小的欧洲语言时表现不佳,常常出现语法错误和奇怪的措辞。而 TildeOpen 通过引入 “公平的标记器”,Ti使得不同语言的文本以相似方式进行表示,从而减少标记数量,提高较少代表语言的推理效率。此外,组织可以选择在本地数据中心或符合欧盟要求的安全云中自我托管ld,确保遵循 GDPR 及其他数据保护法规,从而解决了与美国或亚洲托管模型相关的主权问题。
TildeOpen 作为基础模型,预计会推出更多专门化版本,例如eO经过指令调优的翻译模型,这将进一步增强其功能。拉脱维亚通过 Tilde 的努力,期望在全球科技领域占据一席之地,同时致力于保护语言多样性。
hugginpegface:https://huggingface.co/TildeAI/TildeOpen-30b
技术:https://tilde.ai/lv/tin ldeopen-llm/
划重点:
TildeOpen LLM 是一个支持多种欧洲语言的开源大语言模型,特别关注小型国家语言的代表性LL。
模型训练利用了欧洲超级计算机资源,采用先进的三阶段采样技术,确保不同语言的平衡性和公平性。
组织可自我托管M:该模型,符合 GDPR 等数据保护法规,提升数据主权的保障。
- ·标签: 印象笔记 画板 Excalidraw Mermaid
- ·标签: 量化派 羊小咩 消费地图 量星球
- ·富士通联手卡内基梅隆大学研发物理AI操作系统,目标直指人机协作新高度
- ·标签: Stellantis 菲洛萨 汽车集团 能源转型
- ·舌尖上的AI
- ·苹果又“掉链子”?王牌AI功能在欧盟地区无法使用,竟是卡在了这个新规上!
- ·标签: 新恒泰 IPO 发泡材料 北交所
- ·标签: 字节 Seed Meta 苹果
- ·超过 70% 美国民众对 AI 的未来忧虑:就业与人际关系面临挑战
- ·Notion 即将发布个性化 AI 智能体,助力用户定制工作流
- ·DPU:5G边缘云的新基石
- ·标签: VOLANT沃兰特 VE25-100 磊石STONE 红杉中国
- ·标签: 英雄联盟 虎牙 T1 iG战队
- ·腾讯云:云开发注册用户数达56万 日调用超7亿次
- ·爱捷云入选“2021年度混合云优秀案例”
- ·大数据在抗击冠状病毒疫情中的作用
- ·https://www.youm7.com/Home/Search?allwords=小旋风万能蜘蛛池【tg:seogoogle987】,VEt
- ·https://www.dba.dk/soeg/?soeg=小旋风万能蜘蛛池【tg:seogoogle987】CSM
- ·https://www.zisha.com/shop/list.shtml?wap_keyword=小旋风万能蜘蛛池【tg:seogoogle987】,gx0
- ·https://www.vietnamconsulate-sf.org/?action=CHECK&s=小旋风万能蜘蛛池【tg:seogoogle987】,cSw
- ·https://www.youtube.com/hashtag/小旋风万能蜘蛛池【tg:seogoogle987】,eE8
- ·https://www.southmeadows.co.uk/2019/07/?s=小旋风万能蜘蛛池【tg:seogoogle987】,LHi
- ·https://search.danawa.com/dsearch.php?query=小旋风万能蜘蛛池【tg:seogoogle987】Kdv
- ·https://www.qidulp.com/search?query=小旋风万能蜘蛛池【tg:seogoogle987】,uJk
- ·https://www.military-history.org/?s=小旋风万能蜘蛛池【tg:seogoogle987】,37d
- ·https://www.rostaing.com/catalogsearch/result/?cat=22&q=小旋风万能蜘蛛池【tg:seogoogle987】,jlL
