1.直接在浏览器输入：about:config 然后接受 点击“接受风险并继续” 2. 在 搜索首选项输入 ： security.tls.version.min ，数值由改为1
Anshen 2024-04-05 02:49 648 0
1.ES和kibana官网 https://www.elastic.co/cn/downloads/elasticsearch https://www.elastic.co/cn/downloads/kibana 2.新建用户 useradd elk && password elk mkdir /elk 3.解压 tar xvf elasticsearch-8.8.1-linux-x86_64.tar.gz -C /elk tar xvf kibana-8.8.1-linux-x86_64.tar.gz -C /elk cd /elk mv elasticsearc
hbhe0316 2023-06-16 14:28 1020 0
epic716 2021-05-31 22:50 1251 0
该文章只针对MAC版,kettle版本对应的是7.1,CDH为5.11.2 启动kettle Mac启动终端,找到kettle的安装目录,并在终端转到data-integration目录下 xuyi123:~ xuyi123$ cd /Users/xuyi123/Desktop/work/kettle/data-integration xuyi123:data-integration xuyi123$ sh ./spoon.sh 数据库的连接 MySQL的连接: 步骤: 选中转换 新建转换 主对象树 DB连接->新建 填写信息 测试 测试如果提示没有驱动(Driver),需要下
xuyi 2019-06-10 18:42 5006 0
该文章只针对MAC版,kettle版本对应的是7.1,CDH为5.11.2 连接 hive2 三部曲 启动hiveServer2 修改plugin.properties及添加覆盖xml文件 添加hive对应的jar包 1.cdh安装完后hiveServer2可以直接在UI界面启动. (可以控制台shell命令启动) 2.修改plugin.properties及添加覆盖xml文件 2.1 修改plugin.properties文件 plugin.properties文件地址在 kettle/data-integration/plugins/pentaho-big-data-plugin
xuyi 2019-06-10 18:30 5661 0
何为Hbase的二级索引? 在hbase中并不是所有的查询维度都可以依靠rowkey来完成,rowkey的索引单一,对于多维度的查询比较困难,不是所有的列信息都包含在了rowkey中.一般的,当我们知道某一列的某一个值如F:C1-C11的时(F为列簇,C11为C1列下的具体值),但是并不知道其对应的rowkey,并且我们还想获取F:C2:C21的值.这时我们可以对F:C1这列建索引,我们需要做的是建立F:C1各列值和其各自对应行键rowkey之间的关系,通过C1下面的列值找到各自对应的rowkey,再通过rowkey就可以获取其它列的值了. 图示: 一般地,我们会将二级索引放在另一个列簇下,为
xuyi 2019-06-06 16:11 4273 0
由于需要将Mysql的数据导入到ES中,并且考虑MySql后续数据增量的情况,查阅博客推荐使用Logstash或GO-MySQL-ElasticSearch或Py-Mysql_ElasticSearch. 有人会说为什么不用flume或者MySqlsMom,在这里说一下我的看法,Flume集成ES并不是很友好,一般的我们是利用Flume实时采集日志发布到Kafka做配套,并且我们知道ELK中的E代表的是ElasticSearch,L为Logstash,K为Kibana,所以按照配套来还是推荐Logstash.对于MySqlsMom,这是新出炉的工具,是基于Python的,所以运行mysqlsm
xuyi 2019-06-04 17:17 4422 0
1下载Kafaka的parcel包 Kafka兼容性列表可以参考Cloudera的官方手册： https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka 这里从官方下载parcel包： http://archive.cloudera.com/kafka/parcels/4.0.0.1/ 根据操作系统的对应版本下载： [dave@www.cndba.cn ~]# uname -a Linux hadoop-cm 2.6.32-696.el6.x
dave 2019-05-27 16:47 6883 1
在CDH 中，可以通过如下路劲查看不同组件的版本信息： 选择主机->所有主机->选择一个主机-> 组件
dave 2019-05-27 15:22 3473 0
1.环境 CentOS 6.8 flume 1.6.0 2.下载并安装 下载地址：http://flume.apache.org/download.html 也可以通过wget直接下载: wget http://mirrors.hust.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz 3.安装 我下载到的目录是/data/software，安装到/opt/目录下 tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt 4.将apache-flume-1.6.0-bin改名为apach
lirui 2019-05-20 17:44 3907 0
1.环境说明 1.1、linux系统（我这里是centos6.8） 1.2、jdk（我这里安装的Java1.8版本） 1.3、hadoop平台（我这里使用的cdh搭建的，hive版本为1.1.0） 2.安装单节点ES 2.1、下载es安装包，去https://www.elastic.co/cn官网下载，因为最新更新到7X版本，所以这里选择6X最后一个版本Elasticsearch 6.7.2下载，选择tar格式 2.2、上传安装包到toolnode2节点的/opt 目录使用 tar zxvf 命令解压 2.3、创建ES用户和组（创建elsearch用户组及elsearch用户），因为使用roo
lirui 2019-05-17 15:31 5617 0
1.背景 Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。 Hive可以理解为一个客户端工具，将我们的sql操作转换为相应的MapReduce jobs，然后在Hadoop上面运行。 HBase全称为Hadoop Database，即HBase是Hadoop的数据库，是一个分布式的存储系统。HBase利用Hadoop的HDFS作为其文件存储系统，利用Hadoop的MapReduce来处理HBase中的海量数据。利用Zookeeper作为其协调工具。 HBase数据库的缺
lirui 2019-05-16 11:55 3873 0
1.在mysql表中创建一个千万条数据的测试表card 2.在Hbase中创建对应的test表，指定一个列族info hbase shell create 'test','info' 3.将mysql数据导入hbase中 sqoop import --connect jdbc:mysql://192.168.20.160/test --username root --password 111111 --table card --hbase-table 'test' # 指定hbase表的列族名 --hbase-row-key card_id # 指定hbase表的
lirui 2019-05-15 16:19 3285 0
在之前的博客中，我们了解了Hive 对象的基本操作，如下： Hive 对象 基本操作 https://www.cndba.cn/dave/article/3338 这里对部分内容进行补充。 1数据库 Hive 中的数据库本质上是一个目录或者命名空间，这样在用户较多的情况下可以避免表名的冲突。 如果用户在创建Hive 表时没有指定数据库，那么则使用默认的数据库default。 [dave@www.cndba.cn ~]# hive Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; suppo
dave 2019-05-14 22:39 2178 0
Hive 支持多种存储格式，本文我们将了解这些格式的概念。 1、文本文件格式 文件文件（TEXTFILE）格式是Hive中默认的存储格式，在创建Hive 表时如果不指定存储格式即为文本文件。文本文件中每一行数据就是一条记录，可以用任意的分隔符进行分割，也方便和其他的工具进行数据共享、查看和编辑，比如sed，awk等。但相对于二进制文件，文本文件存储的空间较大。 TEXTFILE的数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2、Snappy等使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。 hive>
dave 2019-05-14 00:26 3715 0
CNDBA社区
