服务部署

BPA advanced采集过程数据分析，需要Spark，Hadoop，ClickHouse等服务，BPA advanced一个完成的工作过程分以下几步：

  1. 由大数据任务调度中心定时器采集流程、任务实例数据
  2. 将采集的数据上传至Hadoop集群
  3. 通过Spark计算存储至数据仓库
  4. 数据写入ClickHouse 进行查询分析
  5. 利用BI产出报表及分析结果

炎黄盈动公司为简化BPA采集需要的Spark、ClickHouse等服务的部署，提供具体的环境要求、部署文件下载地址、部署步骤。

环境要求

  • 操作系统为Linux Centos7或Centos6
  • JDK1.8
  • Mysql 5.7+（UTF-8编码）

如果Mysql数据库安装在Linux操作系统，需设置表名不区分大小写。

部署文件下载

部署步骤

示例为三台服务器作为Hadoop集群和Spark集群安装 示例中用到的所有软件放在/opt/bpasoftware目录下，根据真实情况即可 JDK安装或配置需要在所有集群服务器全部进行一次安装/配置（需要手动对每台服务器进行安装配置） Hadoop YARN、Spark、Hive on Spark安装或配置需要在所有集群服务器全部进行一次安装/配置（通过scp命令可直接拷贝，详细步骤有说明，不用每台服务器全部手动部署）， JDK、Hadoop YARN、Spark、Hive on Spark以外其他软件只需在任意一台服务器（根据真实情况）进行安装配置



Seven
 010-62962343-690
 liujx@actionsoft.com.cn
感谢您对该文档的关注！如果您对当前页面内容有疑问或好的建议，请与我联系。如果您需要解答相关技术问题请登录AWS客户成功社区

results matching ""

    No results matching ""