[机房]数据湖 华为正在打造数据基础设施

来源: 作者: 发布时间:2022-01-17 10:18:56

水、阳光和土壤是人类生活的三个要素。当人类进入万物互联的智能时代时,除了基本的生活要素外,数据已经成为一种新的生产数据。全球产业展望GIV》报道,全球数据量将从2018年32.5ZB快速增长到2025年180ZB。行业专家认为,智能也成为数据成为新生产数据的新生产力。

目前,各行各业都在积极进行基于数据的智能转型,这是重建数据基础设施的关键。为什么要重建数据基础设施?数据基础设施和智能化的发展是不可避免的?如何实现数据价值?华为从计算、访问、存储、处理和数据五个领域重新定义数据基础设施,解决这些挑战,帮助各行业加快智能时代。

上图为:智能数据与存储领域副总裁华为I

华为FusionData的最终目标是建立一个数据湖解决方案,这可以被称为数据湖解决方案的基础。华为数据库最大的困难是,华为数据库已经开发了八年,通过投入大量的人力和时间成本开发了自主创新的数据库。

目前,这些创新方案正在应用于各行各业。在北京,通过数据行智能,实现政府服务一门一窗一网让数据多跑,群众少跑腿,业务办理时间缩短50%;在深圳,通过数据控制r能,道路交通控制从看灯变成看车,实现早高峰主干道速度提升18%,使城市交通更加顺畅。

在招商银行,在6000多条风险控制规则下,华为的金融实时风险控制解决方案对交易风险决策的响应速度在30ms以内,使招商银行的交易风险控制从事后成为事件。自2016年招商银行部署以来,华为的金融实时风险控制解决方案保护了32亿笔交易安全,帮助客户大幅减少交易损失。

然而,由于多元化数据、多元化系统和多元化业务的现状,企业在实现数据价值的过程中面临着三个挑战:数据访问、数据集成分析和数据消费。

数据接入难

随着应用移动化的快速发展,企业前端应用系统和应用模块数千个,后端平台数十个,整个数据平台数万个接入点,导致系统前端和后端数据接入非常复杂。例如,一家公司涉及30多个前端系统,业务开发过程需要与400多个系统连接。

数据融合分析难

在分析过程中,业务往往需要从多个数据源中提取数据,并通过集成分析来实现业务目标。由于系统开发接口不统一、数据标准不统一、数据处理链路长等问题,数据集成分析成为一个大问题。

例如,用户注册数据、消费注册数据、消费者行为数据、位置数据等数据分散在关系数据库、MPDB、Hadoop系统P流程中。该系统提供的接口标准不统一,包括SQL、API等。;数据存储格式不统一,包括文件、表格等。数据集成分析消耗了大量的人力和物质资源。最后,实现业务需要一个月的时间。

数据消费难,其实质是数据用得不好

以某公司为例,公司共有130多万张表分散在业务系统中;经过数据处理,湖上有14多万张数据表,约占总数据量的11%左右。主题表约为5000张,不足总数据量的0.5%,无法满足灵活的业务需求。

华为从计算、访问、存储、处理和数据五个领域重新定义数据基础设施,解决这些挑战,帮助各行业加快智能时代。

在计算领域,华为引领多样性计算,从单一计算到多样性计算,匹配多样性数据,计算效率更高。

在数据接入领域,华为通过智能全连接引领多元化数据连接,加速数据流动,使应用与数据连接更加高效。

在存储领域,为了应对存储效率低、管理复杂的问题,华为重视存储架构的定义,从单一类型存储到多元化集成存储,构建集成处理的基础,大大提高效率。

在数据处理领域,为了满足更实时、更智能的需求,华为重定义了从单一处理到智能集成处理的数据处理平台,以加速数据价值的实现。

在数据使能领域,搭建创新的数据使能平台,搭建数据处理与业务创新的桥梁,提升业务体验,使业务更加敏捷。

据企业网D1Net记者报道,华为发布的智能数据解决方案FusionData包括三个部分:数据访问、数据处理和数据使能。其中,数据访问ROMA解决多元化数据访问问题,连接企业应用程序和数据,消除数据岛;数据处理解决数据集成分析难的问题,实现数据免搬迁和高效分析。

数据可以解决用户找数难、取数难的问题,让用户获得ATM自助获取和分析数据体验,提高数据使用效率,使业务更加敏捷。

具体能力和关键技术如下:

ROMA支持多数据源访问、消息和API统一管理、智能通道选择等技术,实现智能全连接,加快数据流,使应用和数据连接更加高效。

多数据源访问:支持1100多个应用程序和异构数据源访问,第三方数据源可以通过开放式数据访问框架灵活访问。

统一管理新闻和API:支持分布式新闻和API路由统一配置管理,轻松实现分布式新闻和API服务的跨网络、跨域、跨云集成,使数据自由流动。

智能通道选择:支持数据多通道传输,并且可根据数据特点智能选择传送通道,大幅提升数据接入效率。

智能数据处理组件包括分布式存储FusionStorage、分布式数据库GaussDB、大数据平台Fusionsight等,通过多种数据集成存储、集成分析引擎等技术加速数据价值的实现。

多类数据集成存储:通过存储和计算分离技术打破系统烟囱建设;通过智能分布式存储的多协议集成技术,实现数据分析需求,支持数据库、大数据、人工智能等业务,使集成数据分析成为可能。

集成分析引擎:支持统一调度数据库、大数据、人工智能多引擎集成分析和多样性计算能力。通过统一的架构,降低了大量数据处理的难度,实现了极简分析。

智能数据部DAYU通过智能元数据感知构建了数据处理业务创新的桥梁。

智能元数据感知:通过人工智能技术,自动感知和收集多个系统的元数据,并进行智能分类,生成全球统一的数据视图,数据找到第二次响应。

OEQeru

【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】