第一节 VMware16安装

Step1：下载VMware Workstation Pro

要安装VMware，请首先在系统上下载二进制软件包。在VMware官方网站上找到最新的稳定版本。

1.打开一个Web浏览器，转到VMware的官方网站，然后按照以下路径导航到 Try VMware Workstation Pro page by following the path:

Products > Workstation Pro > Try VMware Workstation Pro

2.由于要在Ubuntu上进行安装，请找到适用于Linux的安装软件，然后单击DOWNLOAD NOW。

Step2：安装先决条件

GNU Compiler Collection和Build Essential是安装VMware Workstation所需的软件先决条件。

如果您的系统上没有它，请执行以下步骤安装它们：

1.右键单击窗口，然后选择“在终端中打开”，从“下载”文件夹中打开终端。

2.在安装任何软件之前，请确保使用以下命令更新软件包存储库：

1

sudo apt update

3.然后，安装必备组件GNU Compiler Collection和Build Essential，这些必备组件将在安装过程中使用。运行命令：

1

sudo apt install gcc build-essential

按y确认安装，然后按Enter。

Step3：提取VMware Installer

在继续进行正式安装过程之前，在终端提取下载的.bundle文件。

1.在终端中打开下载的bundle文件目录,并为其添加可执行权限：

1

sudo chmod +x VMware-Player-16.1.1-17801498.x86_64.bundle

复制完整的文件名，下一步将需要它。

2.接下来，通过键入命令sudo ./+完整的文件名来提取文件。

命令输出将是：

3.提取完文件后，它将自动打开一个新窗口，即VMware Workstation Installer。

Step4：安装VMware Workstation

1.启动VMware Workstation Installer后，通过选择配置首选项并单击“下一步”来完成这些步骤。

2.完成安装后，它将显示“安装已成功”通知。

3.通过在Ubuntu Dash中键入名称搜索WMware。通过单击图标即可打开虚拟化软件。

4.在登陆VMware Workstation的 主窗口之前，它将要求您：

• 输入许可证密钥
• 免费试用30天。

1
2
3
4
5
6
7

Serial keys:    
ZF3R0-FHED2-M80TY-8QYGC-NPKYF
YF390-0HF8P-M81RQ-2DXQE-M2UT6
ZF71R-DMX85-08DQY-8YMNC-PPHV8
AZ3E8-DCD8J-0842Z-N6NZE-XPKYF
FC11K-00DE0-0800Z-04Z5E-MC8T6
(version for 16pro)

5.输入上述密钥之一后，即可打开VMware 开始体验。

截至目前，VMware已经安装完成，Centos镜像的安装请查看下一节

第十节 scala安装

• 安装

  1 2 3

  cd /usr/app/ wget https://downloads.lightbend.com/scala/2.11.11/scala-2.11.11.tgz tar -zxvf scala-2.11.11.tgz

• 配置环境变量

  1 2 3 4 5 6 7

  vi /etc/profile #添加以下内容 export Scala_HOME=scala-2.11.11 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$Flume_HOME/bin: $Scala_HOME/bin #刷新配置文件 source /etc/profile

• 检测 scala 版本

  1 2	cd /usr/app scala -version

  

• 检测 scala 的客户端

  1 2	scala scala> print("Hello Scala")

  

  

第十一节spark安装

• 安装

  1 2 3

  cd /usr/app wget https://archive.apache.org/dist/spark/spark-2.0.0/spark-2.0.0-bin-hadoop2.7.tgz tar -zxvf spark-2.0.0-bin-hadoop2.7.tgz spark-2.0.0-bin-hadoop2.7

• 添加环境变量

  1 2 3 4 5

  vi /etc/profile # 添加以下内容 export Spark_HOME=/usr/app/spark-2.0.0-bin-hadoop2.7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$Fl ume_HOME/bin:$Spark_HOME/bin:$Scala_HOME/bin

• 配置./conf/slaves

  1 2 3 4 5 6 7 8

  /usr/app/spark-2.0.0-bin-hadoop2.7/conf/ # 首先将 slaves.template 拷贝一份 cp -r slaves.template slaves # 修改 slaves 文件,添加 hadoop11 hadoop12 hadoop13

• 配置./conf/spark-env.sh

  1 2 3 4 5 6 7 8 9

  #将 spark-env.sh. template 拷贝一份 cp -r spark-env.sh.template spark-env.sh vi /conf/spark-env.sh #添加以下内容 export JAVA_HOME=/usr/app/jdk1.8.0_77 export Scala_HOME=scala-2.11.11 export SPARK_MASTER_IP=hadoop11 export SPARK_WORKER_MEMORY=2g export MASTER=spark://hadoop11:7077

• 将 spark-2.0.0-bin-hadoop2.7 文件夹拷贝到另外两个结点

  1 2	scp -r /usr/app/spark-2.0.0-bin-hadoop2.7 root@hadoop12:/usr/app scp -r /usr/app/spark-2.0.0-bin-hadoop2.7 root@hadoop13:/usr/app

• 编辑其余两台的环境变量

  1 2	export Spark_HOME=/usr/app/spark-2.0.0-bin-hadoop2.7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$Spark_HOME/bin:$S

• 启动

  1 2	/usr/app/spark-2.0.0-bin-hadoop2.7/sbin/start-all.sh #启动Spark集群 /usr/app/spark-2.0.0-bin-hadoop2.7/bin/spark-shell #启动spark-shell

  

第二节 Centos7 安装

CentOS是基于Red Hat Enterprise Linux（RHEL）的开源Linux发行版。由于CentOS 7的稳定性和活跃的开发人员社区，它被视为Web托管的首选选项。

在本教程中，通过几个简单的步骤学习如何安装CentOS 7。

Prerequisites

• 建议最少10GB的可用磁盘空间
• CentOS 7 ISO安装文件

Step1：下载CentOS 7

要下载官方和最新的CentOS 7 ISO文件，请浏览至阿里云镜像。

建议Minimal-2009.iso 即可

Step2：配置CentOS 7镜像

• 打开Vmware ，点击左上角File选择New Virtual Machine

• 选择 Typical ,继续Next

• 选择 Use ISO image ,然后找到下载好的镜像文件，Next.

• Guest Operating System 选择Linux,Next.

• 选择虚拟机存放的位置（完整的集群环境需约15G的空间）,Next.

• 分配15G的磁盘空间，Next.
• FInsh.
• close.

Step3：启动CentOS ISO镜像

• 开始安装过程。为此，请选择Install CentOS 7。

• 选择语言 中文，继续。

• 点击安装目标位置，默认即可
• 设置网络和主机名
• 设置主机名后，点击配置
• 点击VMware 左上角的Edit 选择 Virtual Network editor.

• 查看NAT设置中相应的IPV4地址及网关
• 在IPV4设置中，方法选择手动，将刚才记录的数据填入相应的虚拟机设置中，IP地址保持前三段数字相同，末尾段自定义。
• 
• 设置root账号和自定义用户，Root用户仅需设置密码，然后点击创建用户，将用户名设为Hadoop，选择“将此用户做为管理员”

• 软件安装，选择最小安装。
• 等待安装完成（需要较长时间），点击重启
• 登录系统 输入对应的用户名与密码进入系统。

至此，centos7虚拟机安装完成。

下节Hadoop2.7 安装

第三节 Hadoop2.7 安装

介绍

Step1: 配置远程登录

由于我们没有安装桌面环境，虚拟机中Centos的终端相对简陋，我们在宿主机终端通过SSH登录Centos即可.（主机系统为Ubuntu ，我们不需要下载其他的远程连接工具）

• 将服务器IP设为静态

  打开网络配置文件，命令如下

  1	sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33

  用如下内容替换文件中的内容，将注释内容更改为自己服务器相应的。

  1 2 3 4 5 6 7 8

  TYPE="Ethernet" BOOTPROTO="static" DEVICE="ens33" ONBOOT="yes" IPADDR=192.168.200.101 #IP NETMASK=255.255.255.0 #子网掩码 GATEWAY=192.168.200.2 #网关 DNS1=114.114.114.114

  重启网络

  1	sudo service network restart

• 在宿主机hosts文件中添加相应服务器的域名映射.

  1	sudo gedit /etc/hosts

  

• 测试SSH登录

  1	sudo ssh hadoop14

  

• 更改主机名

  1	sudo vi /etc/hostname # 修改为master

  

Step2: 安装JDK

• Hadoop支持Openjdk ，因此我们可用使用命令 安装openjdk7，替代Oracle JDK。

  1	su -c "yum install java-1.7.0-openjdk"

• 查看Java版本

  1	java -version

  

• 配置Java环境变量

  1 2 3

  sudo vi /etc/profile # java export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64

  Step3: 安装Hadoop2.7.3

• 新建资源目录

  1 2	sudo mkdir /opt/softwares sudo mkdir /opt/modules

• 安装wget

  1	yum install wget

• 下载hadoop2.7.3 ，速度较慢

  推荐使用百度网盘下载到本地后，使用scp命令上传到服务器

  链接: https://pan.baidu.com/s/1W_S5BcghFqjwdUi0GfqeSQ 密码: p2ek

  1 2 3

  wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz #在线下载 sudo scp -r hadoop-2.7.3.tar.gz hadoop14:/opt/softwares/ #本地上传

• 解压hadoop,转到hadoop文件夹下，执行以下命令。

  1	tar -xvf hadoop-2.7.3.tar.gz

• 关闭防火墙 由于hadoop需要打开的端口太多，因此此处暂时关闭了防火墙。要关闭防火墙，必须在root用户下使用以下命令：

  1 2 3 4

  #Close the firewall systemctl stop firewalld.service #Turn off boot and self-start systemctl disable firewalld.service

  创建数据存储目录

  1 2 3

  cd /usr/local/hadoop mkdir tmp mkdir -p hdfs/data hdfs/name

• 配置环境变量

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

  sudo vi /etc/profile export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=/opt/softwares/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 使用以下命令初始化变量。 source /etc/profile 完成后，您现在可以检查是否设置了环境变量。运行以下命令。 echo $JAVA_HOME 它应该提供以下输出。 /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64 同时运行以下命令。 echo $HADOOP_HOME 它应该显示以下输出。 /opt/softwares/hadoop

• 配置,进入hadoop目录下

  1 修改core-site.xml文件

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

  <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> # </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> # <description>Abase for other temporary directories.</description> </property> </configuration>

  2 修改hdfs-site.xml文件

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

  <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>linux-node1:9001</value> <description># View HDFS status </description> through the web interface </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/dfs/name</value> # </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/dfs/data</value> # </property> <property> <name>dfs.replication</name> <value>2</value> <description># Each Block has two backups </description> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>

  3 修改mapred-site.xml (重命名mapred-site.xml.template并添加以下内容) (这是MapReduce任务的配置。因为Hadoop 2.x使用yarn框架来实现分布式部署，所以必须在mapreduce.framework.name属性下配置yarn。mapred.map.tasks和mapred.reduce.tasks分别是map和reduce的任务数。)

  1	mv mapred-site.xml.template mapred-site.xml

  1 2 3 4 5 6 7 8 9 10 11 12 13 14

  <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> # </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> # </property> </configuration>

  4 配置节点yarn-site.xml

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

  <configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> # </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> # </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> # </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> # </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> # </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> </configuration>

  5 配置hadoop环境变量

  1 2 3 4 5 6

  [root@master ~]$ vi /etc/profile #Replace the previously modified java environment variable. export JAVA_HOME=java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  1 2 3 4 5

  [hadoop@master ~]$ vi ~/.bashrc export JAVA_HOME=java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  Step4:克隆虚拟机

• 克隆Hadoop02，Hadoop03节点。

  关闭虚拟机master，然后在VMware左侧的虚拟机列表中右键单击【Hadoop01】，选择【Manager】->【Clone】

点击下一步,在Clone Type处选择Create a full clone

修改虚拟机名称与文件路径，点击完成，等待克隆完成

克隆Hadoop03的步骤同上

• 修改节点主机名

  首先修改Hadoop02和Hadoop03的主机名（他们目前都是master）

  1 2 3

  vi /etc/hostnames # Hadoop02修改为slave1 # Hadoop03修改为slave2

  

• 修改IP

  1 2 3 4

  sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 # 修改Hadoop02的IP为192.168.200.102 # 修改Hadoop03的IP为192.168.200.103 sudo service network restart #重启网络

  

• 添加域名解析

  1 2 3 4 5 6 7 8 9

  分别修改Hadoop01,Hadoop02,Hadoop03,及宿主机的域名映射文件 sudo vi /etc/hosts # 在host文件末尾追加以下内容： # 192.168.200.101 master # 192.168.200.102 slave1 # 192.168.200.103 slave2

  

• 在各节点使用ping命令检查是否配置成功：

  1 2 3

  ping master ping slave1 ping slave2

  

Step5：配置ssh免密登录

• 生成密钥文件：

  1 2 3

  ssh-keygen -t rsa # 生成中按enter即可 # 在三台服务器中执行此命令

• SSH分发

  1 2 3 4 5

  ssh-copy-id master ssh-copy-id slave1 ssh-copy-id slave2 # 在三台服务器中执行上述命令 #Are you sure you want to continue connecting (yes/no)? 需输入yes

  

• 验证SSH登录

  1 2 3 4

  ssh master ssh slave1 ssh slave2 #三台机器中分别执行上述命令

  

• 格式化一个新的分布式文件系统：

1
2
3
4
5

hadoop namenode -format
#在第一使用 Hadoop 之前，需要先格式化
#在master上,执行上述命令
#显示 tmp/dfs/name has been successfully formatted 
#及Exiting with status 0 表明格式化成功

Step6： 启动Hadoop

1
2
3

#在master上执行
cd /usr/app/hadoop-2.7.3/sbin/
./start-all.sh

• jps查看各节点启动进程

  

  

  

Step7： 集群web

1
2
3

Hadoop集群启动并运行后，可以通过web-ui进行集群查看，如下所述：
然后本机访问http://(Hadoop01  IP):50070 #hdfs
http://(Hadoop01  IP):8088  #yarn

Step8：验证

• 验证 HDFS HA 首先向 hdfs 上传一个文件

  1 2	hadoop fs -put /etc/profile / hadoop fs -ls /

  

  通过浏览器访问:http://192.168.200.11:50070

• 验证 YARN

  运行一下 hadoop 提供的 demo 中的 WordCount 程序:

  1	hadoop jar /usr/app/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /profile /out

  

至此，hadoop安装完成 下节Zookeeper安装

第四节 Zookeeper安装

zookeeper 安装

• 下载zookeeper

  1 2	cd /usr/app wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz

• 解压

  1	tar -zxvf zookeeper-3.4.8.tar.gz

• 配置(先在一台节点上配置)

  • 添加一个 zoo.cfg 配置文件

    1 2	cd zookeeper-3.4.8/conf/ cp -r zoo_sample.cfg zoo.cfg

• 修改配置文件(zoo.cfg)

  1 2	# 建立/usr/app/zookeeper-3.4.8/data 目录, mkdir /usr/app/zookeeper-3.4.8/data

• 配置 zoo.cfg

  1 2 3 4 5

  dataDir=/usr/app/zookeeper-3.4.8/data #在最后一行添加 server.1=hadoop11:2888:3888 server.2=hadoop12:2888:3888 server.3=hadoop13:2888:3888

• 创建一个 myid 文件,

  1 2 3 4 5

  cd /usr/app/zookeeper-3.4.8/data touch myid vi myid echo "1" >myid #里面内容是 server.N 中的 N(server.2 里面内容为 2)

• 拷贝

  1 2 3 4 5 6

  # 将配置好的 zk 拷贝到其他节点 scp -r /usr/app/zookeeper-3.4.8/root@hadoop12:/usr/app scp -r /usr/app/zookeeper-3.4.8/root@hadoop13:/usr/app # 注意:在其他节点上一定要修改 myid 的内容 # 在 hadoop12 应该讲 myid 的内容改为 2 (echo "2" >myid) # 在 hadoop13 应该讲 myid 的内容改为 3 (echo "3" >myid)

• 启动集群

  1 2 3 4

  # Zookeeper 启动及关闭命令 /usr/app/zookeeper-3.4.8/bin/./zkServer.sh start /usr/app/zookeeper-3.4.8/bin/./zkServer.sh stop # 选出 leader 和 follower,

  

  

  1 2	#查看启动状态查看命令 /usr/app/zookeeper-3.4.8/bin/./zkServer.sh status

  

至此，Zookeeper安装完成 下节Hbase安装

第五节 Hbase安装

主节点安装 hbase

• 安装 hbase

  1 2	cd /usr/app wget https://archive.apache.org/dist/hbase/1.2.6/hbase-1.2.6-bin.tar.gz

• 解压

  1	tar –zxvf hbase-1.2.6-bin.tar.gz

• 配置 hbase 集群

  • 把 hadoop 的 hdfs-site.xml 和 core-site.xml 放到 hbase/conf

  • 修改 环境变量

    1 2 3 4 5

    Vi /etc/profileexport JAVA_HOME=/usr/app/jdk1.8.0_77 export HADOOP_HOME=/usr/app/hadoop-2.7.3 export HBASE_HOME=/usr/app/hbase-1.2.6 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin # 注意:source /etc/profile (刷新环境变量配置文件)

    1 2 3 4

    # 修改 hbase-env.sh /usr/app/hbase-1.2.6/conf/ export JAVA_HOME= /usr/app/jdk1.8.0_77 # hbase 使用外部的 zk,hbase自带的zk只可用于伪分布式 export HBASE_MANAGES_ZK=false

• 修改 hbase-site.xml 配置

  1	vim hbase-site.xml

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

  <configuration> <!-- 指定 hbase 在 HDFS 上存储的路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://ns1/hbase</value> </property> <!-- 指定 hbase 是分布式的 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> <property> <name>hbase.master.info.port</name> <value>60010</value> </property> </property> <!-- 指定 zk 的地址,多个用“,”分割 --> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop11:2181,hadoop12:2181,hadoop13:2181</value> </property> </configuration>

• 增加 slave 的集群

  1	Vim /usr/app/hbase-1.2.6/conf/regionservers

  1 2 3 4

  # (部署到 datanode 上面,那一台启动 hbase 那一台就是 master) hadoop11 hadoop12 hadoop13

• 拷贝 hbase 到其他节点

  1 2	scp -r /usr/app/hbase-1.2.6 root@hadoop12:/usr/app/ scp -r /usr/app/hbase-1.2.6 root@hadoop13:/usr/app/

• 启动所有的 hbase

  1 2 3 4 5 6 7

  # 前提需要:Zookeeper 和 Hdfs 启动 # 分别启动 zk ./zkServer.sh start # 启动 hbase 集群 start-dfs.sh # 启动 hbase,在主节点上运行: /usr/app/hbase-1.2.6/bin/start-hbase.sh

• 通过浏览器访问 hbase 管理页面

  1	http://192.168.200.11:16010/master-status

• 为保证集群的可靠性,要启动多个 HMaster

1

hbase-daemon.sh start master

• HBase Shell命令行操作

  • 启动HBase Shell

    1	bin/hbase shell

    

  • 创建表，需要创建表明，另外需要指定列簇(column family)。表名和列簇名都需要使用引号括起来。

    1	create 'test','f1'

• 向表中加入数据。这里使用关键字put。

  1	put 'test',1,'f1:id',100

• 删除表。连表也删除掉，使用关键字drop，但是不能直接drop，在drop之前需要先disable。

disable 'test'
drop 'test'

至此，Hbase安装完成 下节MYSQL安装

第六节 主节点安装 MySql

• 安装 mysql 服务器命令如下:

  1	yum install mysql-server

• 设置开机启动命令如下:

  1	chkconfig mysqld on

• 启动 mysql 服务命令如下:

  1 2 3

  service mysqld start #根据提示设置 root 的初试密码命令： mysqladmin -u root password 123456

• 进入 mysql 命令行命令如下:

  1 2 3

  mysql -uroot –p #输入密码 123456

  

• 在 Mysql 中执行这四步:

  1 2 3 4

  create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option; flush privileges;

  • 备注说明:
    创建以下数据库:

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

  #hive create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; #activity monitor create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; #设置 root 授权访问以上所有的数据库: #授权 root 用户在主节点拥有所有数据库的访问权限 grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option;flush privileges; grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;flush privileges; #对用户授权 mysql>grant rights on database.* to user@host identified by "pass"; #例 1: #增加一个用户 test1 密码为 abc,让他可以在任何主机上登录,并对所有数据库有查询、插 #入、修改、删除的权限。 grantselect,insert,update,delete on *.* to test1@"%" Identified by "abc"; ON 子句中*.* 说明符的意思是“所有数据库,所有的表” #例 2: #增加一个用户 test2 密码为 abc, 让他只可以在 localhost 上登录,并可以对数据库 mydb 进行 #查询、插入、修改、删除的操作。 grant select,insert,update,delete on mydb.* to test2@localhost identified by "abc";

下节 主节点安装 hive 和启动

```

第七节 主节点安装 Hive

• 上传压缩包,解压

  1	wget https://archive.apache.org/dist/hive/hive-0.12.0/hive-0.12.0-bin.tar.gz

• 安装 mysql 服务器(见上一节)

• 配置环境变量

  1 2 3 4 5 6

  vi /etc/profile export JAVA_HOME=/usr/app/jdk1.8.0_77 export HADOOP_HOME=/usr/app/hadoop-2.7.3 export HBASE_HOME=/usr/app/hbase-1.2.6 export HIVE_HOME=/usr/app/hive-0.12.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin

• 进入 hive 的 conf 目录新建一个 hive-site.xml

  1 2	cd /usr/app/hive-0.12.0/ touch hive-site.xml

• 在 hive-site.xml 中写入 mysql 连接信息

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

  <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop11:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> <description>password to use against metastore database</description> </property> <property> <name>hive.server2.thrift.sasl.qop</name> <value>auth</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> </configuration>

• 将 mysql 的驱动包复制到 hive 的 lib 目录下 app/hive-0.12.0/lib

• 修改/usr/app/hive-0.12.0/conf/hive-env.sh

  1 2 3 4

  # 增加以下内容 export JAVA_HOME=/usr/app/jdk1.8.0_77 export HADOOP_HOME=/usr/app/hadoop-2.7.3 export HBASE_HOME=/usr/app/hbase-1.2.6

• 验证hive安装

  1 2 3 4 5 6

  Sh /usr/app/hive-0.12.0/bin/hive #启动 hive hive> create table test(id int,name string); hive> show tables; [root@hadoop11 ~]# hadoop fs -lsr /

  

  

下节 flume安装

第八节 flume安装

• Flume 安装

  1 2 3 4

  cd /usr/app/ wget http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz tar -zxvf apache-flume-1.6.0-bin.tar.gz mv apache-flume-1.6.0-bin flume1.6 #重命名

• 配置

  1 2 3 4 5 6 7 8

  #添加环境变量 vi /etc/profile #添加以下两行内容 export Flume_HOME=/usr/app/flume1.6 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$Flume_HOME/bin #更新profile source /etc/profile

  1 2 3 4 5 6 7 8 9

  #编辑/usr/app/flume1.6/conf/flume-env.sh cd /usr/app/flume1.6/conf/ cp -r flume-env.sh.template flume-env.sh chmod 777 flume-env.sh vi flume-env.sh #添加Java 路径 export JAVA_HOME=/usr/app/jdk1.8.0_77 # 设置权限 chmod 777 flume-env.sh

• 测试配置

  1 2	#查看版本 flume-ng version

  

下节kafka安装