AWS BPA Advanced大数据流程智能化分析平台

Hive安装

1. 安装Hive

首先，解压 Hive 安装包到 /opt 目录下，并重新命名：

tar -zxvf /opt/apache-hive-2.1.1-bin.tar.gz
mv /opt/apache-hive-2.1.1-bin /opt/hive

2. 配置环境变量

在 /etc/profile 文件结尾添加 Hive 相关的环境变量：

#HIVE_HOME
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

_{解释：
该配置将Hive的安装路径设置为环境变量HIVE_HOME并将Hive的bin目录添加到系统路径中，使得用户可以从任何位置直接执行Hive命令。}

更新环境变量以立即生效：

source /etc/profile

3. 配置 Hive 元数据到 MySQL

拷贝 MySQL 的 JDBC 驱动到 Hive 的 lib 目录下：

cp /opt/mysql-connector-java-5.1.38-bin.jar /opt/hive/lib/

注：确保 JDBC 驱动与您安装的 MySQL 版本匹配。

4. 配置 Metastore 到 MySQL

在 Hive 的配置目录 /opt/hive/conf 下创建或编辑 hive-site.xml 文件：

touch hive-site.xml    #若conf下没有则新建该文件
vim hive-site.xml

在hive-site.xml文件中添加如下内容：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.exec.script.wrapper</name>
        <value/>
        <description/>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://bpa1:3306/hahivetest?useSSL=false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root（MySQL用户名）</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root（MySQL密码）</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://bpa1:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>hdfs://bpa1:9000/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>
</configuration>

_{解释：
这是一个Hive的配置文件，其主要内容如下：}

1. javax.jdo.option.ConnectionURL 定义了Hive元数据存储在MySQL中的连接URL。
   
2. javax.jdo.option.ConnectionDriverName 指定了MySQL的JDBC驱动。
   
3. javax.jdo.option.ConnectionUserName 和 javax.jdo.option.ConnectionPassword 分别设定了连接MySQL的用户名和密码。
   
4. hive.metastore.uris 设置了远程元数据存储的Thrift服务地址。
   
5. hive.metastore.warehouse.dir 定义了Hive数据仓库的默认HDFS位置。

5. 启动 Hive

5.1 初始化元数据库，登录Mysql

首先，登录 MySQL 并创建 Hive 元数据库：

cd /usr/local/mysql/bin/
mysql -u [用户名] -p[密码]

mysql> create database hahivetest;
mysql> quit;

注：由于在后续的算法包中使用到了hahivetest，源数据库名称不建议自定义命名

接着，初始化 Hive 元数据库：

schematool -initSchema -dbType mysql -verbose

_{解释：
此命令用于初始化Hive的元数据模式在MySQL数据库中，其中-verbose选项提供详细的初始化进程输出。}

5.2 启动 Hive 服务

启动 Hive Metastore 服务：

hive --service metastore &

_{解释：
Hive Metastore服务提供了一个接口供Hive和其他工具查询元数据。这确保了元数据的一致性和集中化。
通过启动这个服务，Hive可以在不同的会话和工具之间共享相同的元数据。}

启动 Hive 远程服务：

hive --service hiveserver2 &

_{解释：
HiveServer2是Hive的核心服务，它允许远程客户端使用JDBC、ODBC或Thrift接口与Hive进行交互。}

验证 Hive 安装

可以使用 jps 命令检查 Hive 相关的 Java 进程是否正在运行：

您应该能看到相关的 Hive 进程，例如 2个RunJar。

至此，您已经成功地安装、配置并启动了 Hive。

:bulb:常见问题

Q： 在启动Hive时遇到"metastore相关的问题"怎么办？ A： Hive的metastore是存储所有Hive元数据的组件。确保Hive的metastore服务正在运行，并且Hive配置文件（如hive-site.xml）中的hive.metastore.uris参数正确指向该服务。