企业数据中心系统平台技术方案建议书-图文

时间:2020-11-25 12:31:30 手机站 来源:网友投稿

企业数据中心系统平台技术方案建议书 -图文

以下是为大家整理的企业数据中心系统平台技术方案建议书 -图文的

相关范文,本文关键词为企业 ,数据中心 ,系统 ,平台 ,技术 ,方案 ,建议书 ,

图文 ,,您可以从右上方搜索框检索更多相关文章, 如果您觉得有用,

请继续关注我们并推荐给您的好友, 您可以在教育文库中查看更多范

文。

企业数据中心系统平台技术方案建议书

企业数据中心系统平台

技术方案建议书

(说明:本文为 word 格式,下载后可自由编辑)

第1页共 50页

企业数据中心系统平台技术方案建议书第 1 章总体建设方案

1.1 总体建设思路

图、数据中心构建思路图

按照对数据中心的理解,完整的数据中心应该具备 IT 基础设施

(主机、存储、网络)、企业级 eTL 平台、数据存储中心、数据共享

服务、应用层、统一门户、数据管控平台。

第2页共 50页

企业数据中心系统平台技术方案建议书

1.2 功能框架

图、功能框架

系统功能框架分为企业级 eTL 平台、存储与计算中心、服务层、

应用层、统一门户、统一平台管控。

企业级 eTL平台:

负责企业数据中心数据采集、加工、汇总、分发的过程,完成企业级数据标准化、集中化,实现数据脉络化、关系化,实现统一的数据处理加工,包括:非实时数据处理和实时数据处理, 提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力。

存储与计算中心:

建立统一的数据中心数据模型, 以及统一的数据存储与计算, 具体提供关系数据库、分布式非关系数据库、 分布式文件、分布式计算,实现统一的数据存储与计算。

数据共享服务:

第3页共 50页

企业数据中心系统平台技术方案建议书

通过数据服务标准化开放访问,帮助企业IT 建设中,应用和数

据分离,引入更多的应用开发商, 促进应用的百花齐放和应用的专业

性;基于标准化接口,实现对标签、客户视图、指标等数据查询 ApI 封装,实现与周边系统实时互动,体现数据价值,减少数据冗余,保证数据安全,保证数据的一致性。

应用层:

应用层的应用使用服务层提供的各种数据服务。

 本期应用层包括:经分应用、流量运营、 esop 应用、 Vgop 应用、指标库、流量运营战略地图、掌上分析、自助业务分析、 区域洞察、渠道运营、自助分析、客户标签库、实时营销、 LTe互联网管控策略。

统一门户:

提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、应用访问数据信息等功能,同时提供数据中心被应用访问的频次,被应用访问的数据范围,提供数据资产的评估,为应用上下线和数据开放提供依据。

统一平台管控:

面向开发人员、运维人员实现数据、应用、资源的统一管控,包括:数据资产管控、开发管理、监控管理、调度管理、系统管理、安全管理。

1.3 技术架构

图、技术架构

第4页共 50页

企业数据中心系统平台技术方案建议书

系统技术架构分为数据采集、计算存储服务、数据共享服务、平

台管控。采用 hadoop 云技术,可以满足计算能力线性扩展、多租户

能力、数据汇总能力;批处理场景采取



hadoop





map/Reduce、hive

或者



spark 来完成;流式数据处理,采用



esper 计算引擎实现。

数据采集:

采用 Flume 计算框架,实现文件和消息采集与解析; 采用流式爬

虫、中文分词、图片识别技术,实现互联网网页信息实时采集;采用

FTp文件方式实现对数据文件的采集;采用 socket 消息方式实现对消息数据的采集;采用 sqoop 方式实现将数据库数据装载到 hDFs文件系统。

计算存储服务:

采用 hadoop 中 hDFs文件系统提供统一的大数据数据存储, 满足全量数据留存;基于 Yarn 提供跨平台的资源管理,满足资源的统一调度与管理;采用 hadoop 实现非实时 eTL,实现海量数据的批处理,主要处理 oDs 层->DwD 层->Dw 层->sT 层的数据处理;视业务数据情况部分 Dw 层->sT层的数据处理采用 spark 计算框架实现;采用 esper

和 rabbitmq 支撑流数据处理与复杂事件处理;利旧 Db2 提供 sT 层数据的存储与计算,支持高并发的指标级数据共享。

数据共享:

数据开放共享采用基于 hTTp协议 ResT风格的 openApI 完成同步处理与基于消息队列( mQ)完成异步处理,实现类 soA 面向服务的

架构体系。支持 oAuth 提供一个安全的、开放而又简易的授权协议。

数据共享服务部署在集群环境中以应对高并发的访问请求, 并实现集

群的负载均衡。

统一平台管控:

采用 Javaee技术,通过 mVc 模式( modelViewcontroller ,是模型

-视图-控制器)把业务逻辑、数据、界面显示分离的方法组织代码,

将业务逻辑聚集到一个部件里面, 在改进和个性化定制界面及用户交

互的同时,不需要重新编写业务逻辑。

第5页共 50页

最后,小编希望文章对您有所帮助, 如果有不周到的地方请

多谅解,更多相关的文章正在创作中,希望您定期关注。谢谢支

持!

  • 下载文档
  • 收藏
  • 0

推荐访问:建议书 建议书 数据中心 图文 企业数据中心系统平台技术方案建议书-图文

版权声明 :以上文章中选用的图片文字均来源于网络或用户投稿 ,如果有侵权请立即联系我们 , 我们立即删除 。