一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤Linux系统安装分布式计算平台或组件安装，当前分布式系统的大多使用的是Hadoop系列开源系统数据导入数据分析一般包括两个阶段数据预处理和数据建模分析数据预。

在计算机上构建私搭建小型云平台的步骤如下1首先，百度直接搜索“私有云企业网络盘”或“云盒子”，进入官网一键下载windows服务器安装包2然后为服务器设置固定IP，打开网络和共享中心，在本地连接属性中设置填写IP的。

刚好不久前做过一个，使用hadoop+hive+elasticsearch给公司做的BI过程是这样的数据由产生端向数据收集服务器发送请求，json文本形式存在收集服务器磁盘上定时任务，通过MR Job将数据清洗整理修复分类，云端持久化，之后的。

要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道整个数据平台本身如果走这条路，可能就已经基本成型了走这条路的比较有名的应该是netflix也有一个阶段，你发现云服务的费用太高，虽然省了你很多事。

数据治理大数据湖仓一体开源框架分为4部分1数据源 业务库数据用户日志系统日志爬虫数据 2构建集群 Hadoop，HDFS，Yarn 31 数据采集 数据采集工具SqoopFlumeCanalSparkstreaming 32 数据预处理 数据预处理。

充分利用集群的威力进行高速运算和存储Hadoop是一个能够对很多数据进行分布式处理的软件结构Hadoop 以一种牢靠高效可伸缩的方式进行数据处理2Apache Hive Hive是一个建立在Hadoop上的开源数据仓库基础设施，经过Hive。

1Hadoop Hadoop 采用 Map Reduce 分布式计算框架，根据 GFS开发了 HDFS 分布式文件系统，根据 Big Table 开发了 HBase数据存储系统Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准Yahoo，Facebook，Amazon。