聊聊Hive中的集合数据类型
本文转载自微信公众号「Java大数据与数据仓库」,作者柯同学。转载本文请联系Java大数据与数据仓库公众号。
除了使用础的数据类型string等,Hive中的列支持使用struct, map, array集合数据类型。
数据类型 描述 语法示例 STRUCT 和C语言中的struct或者"对象"类似,都可以通过"点"符号访问元素内容。 struct{'John', 'Doe'} MAP MAP是一组键-值对元素集合,使用key可以访问元素。 map('fisrt', 'John', 'last', 'Doe') ARRAY 数组是一组具有相同数据类型和名称的变量的集合。 Array('John', 'Doe')
1. Array的使用
创建数据库表,以array作为数据类型
create table person(name string,work_locations array) ROW FORMAT DELIMITED 聊聊;FIELDS TERMINATED BY ' ' COLLECTION ITEMS TERMINATED BY ',';
数据
biansutao beijing,shanghai,tianjin,hangzhou linan changchu,chengdu,wuhan
入库数据
LOAD DATA LOCAL INPATH '/home/hadoop/person.txt' OVERWRITE INTO TABLE person;
查询
hive> select * from person; biansutao ["beijing","shanghHiai","tianjin","hangzhou"] linan ["changchu","chengdu","wuhan"] Time taken: 0.355 seconds hive> select name from person; linan biansutao Time taken: 12.397 seconds hive> select work_locations[0] from person; changchu beijing Time taken: 13.214 seconds hive> select work_locations&nbvesp;from person; ["changchu","chengdu","wuhan"] ["beijing","shanghai","tianjin","hangzhou"] Time taken: 13.755 seconds hive> select work_locations[3] from person; NULL hangzhou Time taken: 12.722 seconds hive> select work_locations[4] from person; NULL NULL Time taken: 15.958 seconds
2中的. Map 的使用
创建数据库表
create table score(name string, score map<string,int>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':';
要入库的数据
biansutao '数学':80,'语文':89,'英语':95 jobs '语文':60,'数学':80,'英语':99
入库数据
LOAD DATA LOCAL INPATH '/home/hadoop/score.tx集合t' OVERWRITE INTO TABLE score;
查询
hive> select * from score; biansutao {"数学":80,"语文":89,"英语":95} jobs {"语文":60,"数学":80,"英语":99} Time taken: 0.665 seconds hive> select name from score; jobs biansutao Time taken: 19.778 seconds hive> s数据elect t.score from score t; {"语文":60,"数学":80,"英语":99} {"数学":80,"语文":89,"英语":95} Time taken: 19.353 seconds hive> select t.score['语文'] from score t; 60 89 Time taken: 13.054 seconds hive> select t.score['英语'] from score t; 99 95 Time taken: 13.769 seconds
修改map字段的分类型隔符
Storage Desc Params: colelction.delim ## field.delim &nb聊聊sp; mapkey.delim = serialization.format
可以通过desc formatted tHiableName查看表的属性。
hive-2.1.1中,可以看出colelction.delim,这里是colelction而不是collection,hive里面这个单词写错了,所以还是要按照错误的来。
alter table t8 set serdepropertyes('colelction.delim'=',');
3. Struct 的使用
创建数据表
CREATE TABLE test(id int,course struct<course:string,score:int>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' COLLECTION ITEMS TERMINATED BY ',';
数据
1 english,80&venbsp;2 math,89 3 chinese,95
入库
LOAD DATA LOCAL INPATH '/home/hadoop/test.txt' OVERWRITE INTO TABLE test;
查询
hive> select * from test; OK 1 {"course":"english","score":80} 2 {"course":"math","score":89} 3 {"course":"c中的hinese","score":95} Time taken: 0.275 seconds hive> select course from test; {"course":"english","score":80} {"course":"math","score":89} {"course":"chinese","score":95} Time taken: 44.968 seconds select t.course.course from test t; english math chinese Time taken: 15.827 seconds hive>&n集合bsp;select t.course.score from test t; 80 89 95 Time taken: 13.235 seconds
4. 不支持组合的复杂数据类型
我们有时候可能想建一个复杂的数据集合类型,比如下面的a字段,本身是一个Map,它的key是string类型的,value是Array集合类型的。
建表
create table test1(id int,a MAP<STRING,ARRAY>) row format delimited fields terminated by ' ' collection items terminated by ',' MAP 数据KEYS TERMINATED BY ':';
导入数据
1 english:80,90,70 2 math:89,78,86 3 chinese:99,100,82 LOAD DATA LOCAL INPATH '/home/hadoop/test1.txt' OVERWRITE INTO TABLE test1;
这里查询出数据:
hive> select * from test1; OK 1 {"english":["80"],"90":null,"70":null} 2 {"math":["89"],"78":类型null,"86":null} 3 {"chinese":["99"],"100":null,"82":null}
可以看到,已经出问题了,我们意图是想"english":["80", "90", "70"],实际上把90和70也当作Map的key了,value值都是空的。分析一下我们的建表语句,collection items terminated by ','制定了集合类型(map, struct, array)数据元素之间分隔符是", ",实际上map也是属于集合的,那么也会按照逗号分出3个key-value对;由于MAP KEYS TERMINATED BY ':'定义了map中key-value的分隔符是":",第一个“english”可以准确识别,后面的直接把value置为"null"了。
- ·英伟达携手三星建设人工智能工厂:5万GPU驱动制造业未来
- ·AWS、Azure和GCP:云服务的详细比较
- ·PaaS是什么?什么定位?有什么优势?
- ·标签: 一汽大众 ID.4 CROZZ 三电质保 车主权益
- ·如何看待“机器换人”带来的技术性失业危机
- ·云计算核心技术Docker教程:Docker配置网络概述
- ·标签: 美团 2025年财报 即时零售 外卖
- ·甲骨文计划部署 50,000 个 AMD 人工智能芯片,进军 AI 云市场
- ·Meta 新超级智能实验室遭遇离职潮,AI 人才流失引发担忧
- ·标签: 京东物流 智狼仓 Joybuy
- ·标签: 尚乘数科 HKD 尚乘集团 数字解决方案
- ·库克:苹果很自豪能实现碳中和,启动2亿美元基金投资生产性森林
- ·腾讯游戏发布AI工具集VISVISE 动画制作效率提升8倍
- ·蚂蚁数科发布多语种视觉大模型训练框架,打破语言壁垒!
- ·标签: 鸿蒙智行 我是大彬同学 名誉权侵权 法务声明
- ·标签: 蔚来 李斌 AI 智能驾驶
- ·https://www.maigoo.com/search/?block=&q=谷歌外推【tg:seogoogle987】,qhe
- ·https://www.rotherham.gov.uk/site-search/results/?q=谷歌外推【tg:seogoogle987】,f45
- ·https://www.mygrandma.com/Items.aspx?search=谷歌外推【tg:seogoogle987】,9yi
- ·https://www.stonerealestate.com.au/?cat=100&s=谷歌外推【tg:seogoogle987】,T0c
- ·https://www.safetv.go.kr/base/search/view?searchWord=谷歌外推【tg:seogoogle987】CYk
- ·https://www.nbm.org/?action=QUERY&s=谷歌外推【tg:seogoogle987】,jvX
- ·https://nicolazzi.it/en/?s=谷歌外推【tg:seogoogle987】,I9n
- ·https://www.youtube.com/results?search_query=谷歌外推【tg:seogoogle987】,fFy
- ·https://www.thealexandrian.net/?s=谷歌外推【tg:seogoogle987】,PKn
- ·https://www.roblox.com/discover/?cat=107&Keyword=谷歌外推【tg:seogoogle987】,rr6
- ·蚂蚁开源在外滩大会发布2025全球大模型开源生态全景图,揭示AI开发三大趋势
- ·如何看待“机器换人”带来的技术性失业危机
- ·G行云计算之全栈云应用上云篇
- ·一文详解自动驾驶的运行设计域(ODD)
- ·Twitter将于2月10日发布2020年第四季度及全年财报
- ·OpenAI、软银和甲骨文将在美国建设5座AI数据中心 投资超过4000亿美元
- ·京东科技京东云事业群副总裁金旸:每一家成长中的企业都将经历数字化转型的历程
- ·标签: 卫蓝新能源 固态电池 中信建投 IPO
- ·Vercel v0工具推出图像编辑新功能:设计模式下轻松重生与提示优化
- ·YouTube发布会推出AI视频生成、面部识别保护等重磅功能
