Hive基础
创始人
2024-05-30 20:09:24
0

hive基本语法:

查看数据库:hive (default)> show databases; -----查看所有数据库

hive (default)> desc database test; ----查看数据库结构

hive (default)> select current_database(); ---查看当前数据库

创建数据库:hive (default)> create database test;

删除数据库:hive (default)> drop database if exists test;

强制删除数据库:hive (default)> drop database if exists test cascade;

创建表:hive (default)> create table student (id int,name string);

删除表:hive (default)> drop table if exists student;

添加数据:hive (default)> insert into student values(1,'zs'),(2,'ls');

查看表结构信息:hive (default)> desc student;

查看表数据:hive (default)> select * from student;

hive数据类型----集合数据类型

ARRAY:存储的数据为相同类型

MAP:具有相同类型的键值对

STRUCT:封装了一组字段

hive数据结构

数据结构

描述

逻辑关系

物理存储(HFDS)

Database

数据库

表的集合

文件夹

Table

行数据的集合

文件夹

Partition

分区

用于分割数据

文件夹

Buckets

分桶

用于分布数据

文件

Row

行记录

文件中的行

Columns

列记录

每行中指定的位置

Views

视图

逻辑概念,可跨越多张表

不存储数据

Index

索引

记录统计数据信息

文件夹


案例

在opt目录下创建一个employee.txt文件,把下面数据加到文件中

数据:

Michael|Montreal,Toronto|Male,30|DB:80|Product:Developer Lead
Will|Montreal|Male,35|Perl:85|Product:Lead,Test:Lead
Shelley|New York|Female,27|Python:80|Test:Lead,COE:Architect
Lucy|Vancouver|Female,57|Sales:89,HR:94|Sales:Lead

建库:

create table if not exists employee(name string,work_place array,gender_age struct,skills_score map,depart_title map
)
row format delimited fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n';
注:
row format delimited 表示分隔符设置开始语句
fields terminated by '|' 表示字段与字段之间按照“|”分隔
collection items terminated by ',' 表示一个复杂类型(array,struct)字段的各个item之间按照 “,”分隔
map keys terminated by ':' 表示复杂类型(Map)字段的key value之间按照 “:”分隔
lines terminated by '\n'; 表示行与行之间按照 “\n”分隔

加载文件:

方法一本地文件(本质是hadoop dfs -put上传操作,复制):

在hive中输入 load data local inpath '/opt/employee.txt' into table employee;

方法二hdfs文件(本质是hadoop fs -mv 操作,移动):

在hive中输入load data inpath '/employee.txt' into table employee;

查询数据:select * from employee;

创建分区表

按照age分区

create table employee2(name string,work_place array,gender_age struct,skills_score map,depart_title map
)
partitioned by (age int)
row format delimited 
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n';

插入数据,按照age=20/age=30分区

 load data local inpath '/opt/employee.txt' into table employee2 partition(age=20);load data local inpath '/opt/employee.txt' into table employee2 partition(age=30);

查看分区表信息:show partitions employee2;

内部表和外部表

内部表(管理表):

  • HDFS中为所属数据库目录下的子文件夹

  • 数据完全由Hive管理,删除表(元数据)会删除数据

外部表(External Tables):

  • 数据保存在指定位置的HDFS路径中

  • Hive不完全管理数据,删除表(元数据)不会删除数据

上传数据内容:

hdfs dfs -put ./employee.txt /tmp/hivedata/employee/

创建外部表

create external table if not exists employee(name string,work_place array,gender_age struct,skills_score map,depart_title map
)
row format delimited 
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n
location '/tmp/hivedata/employee';

注:

创建外部表要在create后面加上一个 external

location '/tmp/hivedata/employee'; 含义是:指定数据存储路径(HDFS)

相关内容

热门资讯

具茨山原来是中华文明的C位 【#具茨山原来是中华文明的C位#】具茨山位于黄帝故里河南新郑西南,属中岳嵩山东南余脉,东西延绵约40...
李姓股民向ST东时发起索赔 刘...   受损股民可至Hehson股民维权平台登记该公司维权:http://wq.finance.sina...
本科生发14篇SCI论文通报来... 重庆大学5月10日发布情况通报称,近日,网络上对该校2021级本科学生刘某乔发表论文等情况提出质疑。...
合力打通“渠道关” 外贸企业“... 转自:央视网央视网消息: 不仅是在国外市场发力,很多外贸企业也在积极拓展国内市场,但是转内销的过程中...
朗力福收购动员会圆满举行, 携... 转自:衡水日报在当今国家大力推动实体经济转型升级、提升全民健康水平与创造更多经济价值的时代背景下,大...
找维修师傅总担心被“宰”?物业... 转自:上观新闻5月10日,由上海市物业管理行业协会联合家电服务领域的“一台三会”(962512上海家...
产业转型强基 项目落地聚力丨解... 转自:梧州发布夏风拂绿,征鼓声声。看,梧州市毅马五金制品有限公司工人争分夺秒生产合金法兰,企业一季度...
《歌手2025》解锁全新穿屏玩... 转自:扬子晚报湖南卫视、芒果TV《歌手2025》将于5月16日起每周五19:45正式与观众见面。新一...
央行设立服务消费与养老再贷款   中国人民银行昨天发布消息,设立5000亿元服务消费与养老再贷款,激励引导金融机构加大对住宿餐饮、...
2024年北京优良天数创有记录... 转自:中国环境网北京市生态环境局近日发布《2024年北京市生态环境状况公报》,全面展示北京市生态环境...
不是错觉 过了这个年纪真的更容... 肥胖已经成为全球性的公共卫生难题,目前我国有超过一半的成年居民超重或肥胖。肥胖会增加一系列疾病的发生...
观察丨“上天”与“下海” 做机... 转自:津云说起机器人产业,你会想到什么?是春晚舞台上翩翩起舞的人形机器人?还是制造业生产线上挥舞的焊...
六部门开展家政职业技能培训行动   据人力资源社会保障部昨天消息,人力资源社会保障部、国家发展改革委等6部门近日印发通知,自2025...
国外节日礼物进入订购旺季,义乌... 据统计,每年有数十亿美元的国外节日礼物用品从义乌出口到世界各地,占全球市场近80%的份额。眼下,义乌...
回首半程耕耘路,奋楫扬帆再启航... 时值五月,万物竞秀。站在2024-2025学年第二学期的中轴线上,回望来时路,既有耕耘的汗水,亦有收...
“本科生发14篇SCI论文”?... 5月10日,重庆大学官方微博发布情况通报。
第六批省级非物质文化遗产代表性...   4月底,省文化和旅游厅正式公布福建省第六批省级非物质文化遗产代表性传承人名单,全省184人入选,...
每周图片精选(5.3-5.9)... 5月9日,俄罗斯莫斯科,俄罗斯纪念苏联伟大卫国战争胜利80周年阅兵式在莫斯科红场举行,阅兵结束后,俄...
北京明天最高气温25℃左右,下... 转自:北京日报客户端北京明天白天依旧是晴朗少云,气温还会继续上行,白天最高气温在25℃左右,外出游玩...
关税战下 中国外贸进出口表现亮... 4月美方挑起关税大战,对我国的外贸企业是一个严峻考验。5月9日,海关总署对外发布了前4个月外贸数据。...