在CDH 中，可以通过如下路劲查看不同组件的版本信息： 选择主机->所有主机->选择一个主机-> 组件
2019-05-27 15:22 3342 0
1. HUE 概念 HUE（Hadoop User Experience）是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。 通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，...
2019-05-07 15:10 3465 0
1 使用PIP安装HDFS依赖包 可以直接从官网下载hdfs以来包： https://pypi.org/project/hdfs/ 但官网速度比较慢，可以搭建自己的PyPI源，或者使用本地的PIP源，具体配置如下： Python 更改 PyPI 源 https://www.cndba.cn/dave/article/2261 Python 搭建本地PIP源 https://www.cndba.cn/dave/article/2263 我们这里使用python 2.7 来操作HDFS。使用...
2019-05-07 12:31 4285 0
CDH 中，HBase 中的Master 进程一直无法正常启动，查看错误日志如下： Failed to become active master org.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be upgraded. You have version null and I want version 8. Consult http://hbase.apache.org/book.html for further information about upgrading...
2019-05-06 21:31 4876 0
新搭建的CDH 环境，修改HDFS 数据存储位置后，直接将原来的硬盘删除了。 导致HDFS 启动后直接安全模式。 安全模式是Hadoop的一种保护机制，用于保证集群中的数据块的安全性。当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。此时不允许客户端进行任何修改文件的操作,包括上传文件，删除文件，重命名...
2019-05-06 14:10 5469 0
在之前的博客我们了解Hadoop 数据节点的存储磁盘是单盘使用，并且不做使用的，如下： Hadoop 集群角色和节点数规划建议 https://www.cndba.cn/dave/article/3372 现在往Hadoop环境里添加磁盘，那么操作如下。 假设新添加的磁盘/dev/sde，这里是裸盘，没有做RAID。 当然有些服务器RAID卡对RAID和非RAID共同的稳定性上有问题，可以考虑对单盘对RAI...
2019-05-06 13:41 3557 0
1 HDFS 架构背景说明 HDFS 采用主从(Master/Slave)架构模型,分为NameNode、SecondaryNameNode、DataNode 。 (1) NameNode ：主要负责文件系统命名空间的管理、存储文件目录 Metadata 元数据信息，主要包括文件目录、 lock 块和文件对应关系，以及 block 块和 DataNode 数据节点的对应关系。 (2) SecondaryNameNode ：是 NameNode 的冷备份，用来...
2019-05-06 12:32 4794 0
组件 端口及说明 CDH 7180： Cloudera Manager WebUI端口 7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口 Zookeeper 2181 ： 客户端...
2019-04-30 14:58 4298 0
在安装CDH的时候报如下错误： 仅完成 0/1 个步骤。首个失败：命令 (Create Hive Metastore database tables (127)) 已失败 查看标准输出如下： Tue Apr 30 13:32:40 CST 2019 Current working directory: /opt/cm-5.16.1/run/cloudera-scm-agent/process/80-hive-metastore-create-tables Launching one-off process: /opt/cm-5.16.1/lib64/cm...
2019-04-30 14:30 5768 0
CDH 安装执行数据库初始化时报错： [root@hadoop-cm ~]# /opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm JAVA_HOME=/usr/lib/jvm/jre-openjdk Verifying that we can write to /opt/cm-5.16.1/etc/cloudera-scm-server log4j:ERROR Could not find val
2019-04-30 10:42 3426 0
1 背景说明 参考：https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cm_ig_installing_configuring_dbs.html 根据CDH 官网文档的说明，CDH的如下组件必须有数据库的支持才能运行: Cloudera Manager Server, Oozie Server, Sqoop Server, Activity Monitor, Reports Manager, Hive Metastore Server, Hue Server, Sentry Server...
2019-04-30 00:19 7228 0
在上篇我们看了Hadoop的集群节点配置： Hadoop 集群角色和节点数规划建议 https://www.cndba.cn/dave/article/3372 CDH 官方文档有一份更详细的节点和角色配置，官网将主机分成以下四种类型： 1) Master hosts run Hadoop master processes such as the HDFS NameNode and YARN Resource Manager. 2) Utility hosts run other cluster processes...
2019-04-29 21:40 6532 0
1、 CDH组件角色说明 Hadoop 集群服务器按照节点任务的不同可以分为管理节点和工作节点。管理节点上部署各组件的管理角色，工作节点部署各角色的存储、容器或计算角色。但因为Hadoop 不同组件之间兼容性的问题，所以一般使用Cloudera 套件。 在CDH套件中就有如下角色。 2、 CDH 节点数量建议 2.1 小规模集群 一般来说，小于20个节点的都...
2019-04-29 15:04 8852 0
Hadoop 环境执行hdfs命令提示Unable to load native-hadoop library for your platform的警告，如下： [dave@www.cndba.cn lib]$ hdfs dfs -mkdir /cndba 2019-03-03 00:57:11,783 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [dave@www.cndba
2019-03-03 01:06 3588 0
在前面的2篇文章中，我们了解了Hadoop HDFS和YARN的基本概念，如下： Hadoop 和 HDFS 概述 https://www.cndba.cn/dave/article/3284 Hadoop YARN https://www.cndba.cn/dave/article/3285 这里我们了解一下MapReduce的知识。 1 MapReduce 概述 MapReduce一种分布式的计算方式，指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，...
2019-03-01 00:29 1603 0
人的一生应该是这样度过的：当他回首往事的时候，他不会因为虚度年华而悔恨，也不会因为碌碌无为而羞耻；这样，在临死的时候，他就能够说：“我的整个生命和全部精力，都已经献给世界上最壮丽的事业....."
ACE 搜索
中国ORACLE用户组
中国DBA联盟（ACDU）· 核心伙伴
墨天轮 · MVP
CNDBA_2: 142216823(2k群)
CNDBA_3: 283816689(2k群)
CNDBA_4: 391125754
CNDBA_5: 104207940
CNDBA_6: 62697977
CNDBA社区
