企业数据中心系统平台技术方案建议书 -图文
以下是为大家整理的企业数据中心系统平台技术方案建议书 -图文的
相关范文,本文关键词为企业 ,数据中心 ,系统 ,平台 ,技术 ,方案 ,建议书 ,
图文 ,,您可以从右上方搜索框检索更多相关文章, 如果您觉得有用,
请继续关注我们并推荐给您的好友, 您可以在教育文库中查看更多范
文。
企业数据中心系统平台技术方案建议书
企业数据中心系统平台
技术方案建议书
(说明:本文为 word 格式,下载后可自由编辑)
第1页共 50页
企业数据中心系统平台技术方案建议书第 1 章总体建设方案
1.1 总体建设思路
图、数据中心构建思路图
按照对数据中心的理解,完整的数据中心应该具备 IT 基础设施
(主机、存储、网络)、企业级 eTL 平台、数据存储中心、数据共享
服务、应用层、统一门户、数据管控平台。
第2页共 50页
企业数据中心系统平台技术方案建议书
1.2 功能框架
图、功能框架
系统功能框架分为企业级 eTL 平台、存储与计算中心、服务层、
应用层、统一门户、统一平台管控。
企业级 eTL平台:
负责企业数据中心数据采集、加工、汇总、分发的过程,完成企业级数据标准化、集中化,实现数据脉络化、关系化,实现统一的数据处理加工,包括:非实时数据处理和实时数据处理, 提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力。
存储与计算中心:
建立统一的数据中心数据模型, 以及统一的数据存储与计算, 具体提供关系数据库、分布式非关系数据库、 分布式文件、分布式计算,实现统一的数据存储与计算。
数据共享服务:
第3页共 50页
企业数据中心系统平台技术方案建议书
通过数据服务标准化开放访问,帮助企业IT 建设中,应用和数
据分离,引入更多的应用开发商, 促进应用的百花齐放和应用的专业
性;基于标准化接口,实现对标签、客户视图、指标等数据查询 ApI 封装,实现与周边系统实时互动,体现数据价值,减少数据冗余,保证数据安全,保证数据的一致性。
应用层:
应用层的应用使用服务层提供的各种数据服务。
本期应用层包括:经分应用、流量运营、 esop 应用、 Vgop 应用、指标库、流量运营战略地图、掌上分析、自助业务分析、 区域洞察、渠道运营、自助分析、客户标签库、实时营销、 LTe互联网管控策略。
统一门户:
提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、应用访问数据信息等功能,同时提供数据中心被应用访问的频次,被应用访问的数据范围,提供数据资产的评估,为应用上下线和数据开放提供依据。
统一平台管控:
面向开发人员、运维人员实现数据、应用、资源的统一管控,包括:数据资产管控、开发管理、监控管理、调度管理、系统管理、安全管理。
1.3 技术架构
图、技术架构
第4页共 50页
企业数据中心系统平台技术方案建议书
系统技术架构分为数据采集、计算存储服务、数据共享服务、平
台管控。采用 hadoop 云技术,可以满足计算能力线性扩展、多租户
能力、数据汇总能力;批处理场景采取
hadoop
的
map/Reduce、hive
或者
spark 来完成;流式数据处理,采用
esper 计算引擎实现。
数据采集:
采用 Flume 计算框架,实现文件和消息采集与解析; 采用流式爬
虫、中文分词、图片识别技术,实现互联网网页信息实时采集;采用
FTp文件方式实现对数据文件的采集;采用 socket 消息方式实现对消息数据的采集;采用 sqoop 方式实现将数据库数据装载到 hDFs文件系统。
计算存储服务:
采用 hadoop 中 hDFs文件系统提供统一的大数据数据存储, 满足全量数据留存;基于 Yarn 提供跨平台的资源管理,满足资源的统一调度与管理;采用 hadoop 实现非实时 eTL,实现海量数据的批处理,主要处理 oDs 层->DwD 层->Dw 层->sT 层的数据处理;视业务数据情况部分 Dw 层->sT层的数据处理采用 spark 计算框架实现;采用 esper
和 rabbitmq 支撑流数据处理与复杂事件处理;利旧 Db2 提供 sT 层数据的存储与计算,支持高并发的指标级数据共享。
数据共享:
数据开放共享采用基于 hTTp协议 ResT风格的 openApI 完成同步处理与基于消息队列( mQ)完成异步处理,实现类 soA 面向服务的
架构体系。支持 oAuth 提供一个安全的、开放而又简易的授权协议。
数据共享服务部署在集群环境中以应对高并发的访问请求, 并实现集
群的负载均衡。
统一平台管控:
采用 Javaee技术,通过 mVc 模式( modelViewcontroller ,是模型
-视图-控制器)把业务逻辑、数据、界面显示分离的方法组织代码,
将业务逻辑聚集到一个部件里面, 在改进和个性化定制界面及用户交
互的同时,不需要重新编写业务逻辑。
第5页共 50页
最后,小编希望文章对您有所帮助, 如果有不周到的地方请
多谅解,更多相关的文章正在创作中,希望您定期关注。谢谢支
持!
- 下载文档
- 收藏
- 0
推荐访问:建议书 建议书 数据中心 图文 企业数据中心系统平台技术方案建议书-图文