该文章只针对MAC版,kettle版本对应的是7.1,CDH为5.11.2 启动kettle Mac启动终端,找到kettle的安装目录,并在终端转到data-integration目录下 xuyi123:~ xuyi123$ cd /Users/xuyi123/Desktop/work/kettle/data-integration xuyi123:data-integration xuyi123$ sh ./spoon.sh 数据库的连接 MySQL的连接: 步骤: 选中转换 新建转换 主对象树 DB...
2019-06-10 18:42 5006 0
该文章只针对MAC版,kettle版本对应的是7.1,CDH为5.11.2 连接 hive2 三部曲 启动hiveServer2 修改plugin.properties及添加覆盖xml文件 添加hive对应的jar包 1.cdh安装完后hiveServer2可以直接在UI界面启动. (可以控制台shell命令启动) 2.修改plugin.properties及添加覆盖xml文件 2.1 修改plugin.properties文件 plugin.properties文件地址在 kett...
2019-06-10 18:30 5661 0
何为Hbase的二级索引? 在hbase中并不是所有的查询维度都可以依靠rowkey来完成,rowkey的索引单一,对于多维度的查询比较困难,不是所有的列信息都包含在了rowkey中.一般的,当我们知道某一列的某一个值如F:C1-C11的时(F为列簇,C11为C1列下的具体值),但是并不知道其对应的rowkey,并且我们还想获取F:C2:C21的值.这时我们可以对F:C1这列建索引,我们需要...
2019-06-06 16:11 4274 0
由于需要将Mysql的数据导入到ES中,并且考虑MySql后续数据增量的情况,查阅博客推荐使用Logstash或GO-MySQL-ElasticSearch或Py-Mysql_ElasticSearch. 有人会说为什么不用flume或者MySqlsMom,在这里说一下我的看法,Flume集成ES并不是很友好,一般的我们是利用Flume实时采集日志发布到Kafka做配套,并且我们知道ELK中的E代表的是ElasticSearch,L为Logs...
2019-06-04 17:17 4423 0
CNDBA社区
