在之前的博客中，我们了解了Hive 对象的基本操作，如下： Hive 对象 基本操作 https://www.cndba.cn/dave/article/3338 这里对部分内容进行补充。 1数据库 Hive 中的数据库本质上是一个目录或者命名空间，这样在用户较多的情况下可以避免表名的冲突。 如果用户在创建Hive 表时没有指定数据库，那么则使用默认的数据库default。 [dave@www.cndba....
2019-05-14 22:39 1924 0
Hive 支持多种存储格式，本文我们将了解这些格式的概念。 1、文本文件格式 文件文件（TEXTFILE）格式是Hive中默认的存储格式，在创建Hive 表时如果不指定存储格式即为文本文件。文本文件中每一行数据就是一条记录，可以用任意的分隔符进行分割，也方便和其他的工具进行数据共享、查看和编辑，比如sed，awk等。但相对于二进制文件，文本文件存储...
2019-05-14 00:26 3350 0
Hive 默认使用的MapReduce 引擎，该引擎效率较低，使用Spark引擎，效率会提升很多。CDH官方手册里有Hive on Spark的配置说明，链接如下： https://www.cloudera.com/documentation/enterprise/5-16-x/topics/admin_hos_oview.html 1 添加Spark 服务 在CDH 集群中添加Spark 服务，注意这里有2个Spark，后面解释的很清楚，具体操作截图如下： ...
2019-05-07 23:23 6103 1
在之前的博客中我们看了Hive 环境的搭建，如下： Hive 3.1.1 环境 搭建手册 https://www.cndba.cn/dave/article/3335 本篇我们了解一下Hive对象的基本操作。 1 创建数据库 hive> create database cndba; OK Time taken: 1.103 seconds hive> 建立一个新数据库，就会在HDFS的/user/hive/warehouse/中生成一个cndba.db文件夹。如果不创...
2019-03-09 22:54 3053 0
在Hadoop 中执行命令，结果卡住不动： hive> select count(1) from employees; Query ID = hadoop_20190309205753_9eac66d2-7887-475d-ac86-a7cba452e70c Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set
2019-03-09 21:27 10147 0
在之前的博客中，我们了解了Hive的概念和架构，如下： Hive 概念及架构 https://www.cndba.cn/dave/article/3330 本篇我们了解一下Hive环境的搭建。 1 安装Hadoop 集群 和其他组件一样，Hive 的运行也依赖Hadoop环境，所以在安装Hive之前，需要先搭建好HDFS环境，具体参考如下博客： Linux 7.6 平台 Hadoop 3.1.1 集群搭建手册 https://www.cndb...
2019-03-06 23:30 2930 0
启动Hive时报如下错误： [hadoop@hadoopMaster ~]$ hive SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. Hive Session ID = 7f264008-0574-4bfb-bcfc-
2019-03-06 23:24 9123 0
1 Hive 数据类型 Hive 提供了基本数据类型和复杂数据类型，复杂数据类型是 Java 语言所不具有的。 1.1 基本数据类型 由上表我们看到hive不支持日期类型，在hive里日期都是用字符串来表示的，而常用的日期格式转化操作则是通过自定义函数进行操作。 hive是用java开发的，hive里的基本数据类型和java的基本数据类型也是一一对应的，除了st...
2019-03-06 13:36 5072 0
1 Hive 概念 关于Hive，我们首先需要了解如下几个概念： 1、由FaceBook实现并开源； 2、基于Hadoop的开源数据仓库工具，用于存储结构化的数据； 3、可以将结构化的数据映射为一张数据库表； 4、底层数据存储在HDFS文件系统上，描述数据的数据（元数据）存储在derby或者是远程数据库中，如：mysql； 5、提供一套类数据库的处理机制，HQL查询功能...
2019-03-06 13:04 2650 0
之前的博客了解了Hive 和 HBase的区别，这篇了解下Hive和Pig的区别。 HIVE 和 HBASE 区别 https://www.cndba.cn/dave/article/3249 1.Hive 概念 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。官网地址：http://hive.apache.org/ 2.Pig ...
2019-01-19 17:13 2326 0
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询—因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和...
2019-01-19 00:08 2212 0
人的一生应该是这样度过的：当他回首往事的时候，他不会因为虚度年华而悔恨，也不会因为碌碌无为而羞耻；这样，在临死的时候，他就能够说：“我的整个生命和全部精力，都已经献给世界上最壮丽的事业....."
ACE 搜索
中国ORACLE用户组
中国DBA联盟（ACDU）· 核心伙伴
墨天轮 · MVP
CNDBA_2: 142216823(2k群)
CNDBA_3: 283816689(2k群)
CNDBA_4: 391125754
CNDBA_5: 104207940
CNDBA_6: 62697977
CNDBA社区
