数据抽取

时间:2024年11月08日 来源:

敏捷数据管理平台ADM的关键技术如下:l***数据获取方式数据获取的目的是将不同的数据源实时或者按需同步到平台内,根据不同类型的数据源,数据获取方式分为三种,保证覆盖全部数据源获取方式:①支持实时同步应用数据库;②支持按需同步关系型数据库;③支持与备份系统对接恢复数据。l核心专利技术—数据库虚拟化技术ADM内置一套数据库虚拟化管理程序,虚拟数据库是通过一份基础数据源创建的数据副本,一份基础数据源可以生成多个虚拟数据库,虚拟数据库可读可写,虚拟数据库状态可实时保存。虚拟数据库创建时间为分钟级,且不占用额外的存储空间。上讯信息敏捷数据管理平台ADM产品支持全域重删技术,从而减少需要备份的数据量、缩短备份窗口。数据抽取

数据抽取,上讯敏捷数据管理平台ADM

用户提出数据管理产品的上线既要满足云技术的部署带来数据迁移和历史备份数据接管的要求,又要对用户系统更新迭代导致副本数据使用管理需求增加、测试场景需求增加的问题予以解决,因此用户对CDM的部署方式提出了要求:即适应混合多云环境,支持BaaS和订阅的模式部署。敏捷数据管理平台(ADM)产品具备灵活的部署模式,既支持单机部署,也支持高可用部署、多云混合部署,且每个功能均支持在线扩展,具备扩展的便捷性。在混合多云环境中,只需要将ADM在每朵云中进行部署,即可实现备份数据、副本数据的多云间统一管理,并支持在每朵云中创建虚拟数据,实现数据的分钟级快速交付;在云环境中的测试环境,可以利用云主机的快照功能及ADM的虚拟数据功能,达到整个测试环境的版本管理(包括系统、数据),达到数据使用及管理的便利性.为信创而生的数据备份管理解决方案上讯敏捷数据管理平台ADM产品虚拟数据支持无限副本,几乎不占用额外的存储空间。

数据抽取,上讯敏捷数据管理平台ADM

敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDM Server)、敏感数据处理服务节点(SDM Server)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、敏感数据处理以及管理数据。

在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。上讯ADM产品的可管理性体现在数据从上游到下游获取、传输、流转的集中式管理,同时可进行版本管理。

数据抽取,上讯敏捷数据管理平台ADM

ADM产品在设计过程中主要依据相关法规政策为指导,加强信息科技管理,提高信息科技风险管控能力,逐步健全信息安全管理体系,加强重点领域信息安全管理,根据信息系统在**、经济建设、社会生活中的重要程度确定信息系统的安全保护等级。l《国家信息化领导小组关于加强信息安全保障工作的意见》l《金融行业信息系统信息安全等级保护测评指南》l《金融科技发展规划(2022-2025年)》l《银行业金融机构数据治理指引》l《电信和互联网行业提升网络数据安全保护能力专项行动方案》l《国家医疗保障局关于加强网络安全和数据保护工作的指导意见》l《中华人民共和国网络安全法》l《中华人民共和国数据安全法》l《中华人民共和国个人信息保护法》上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。数字中国

哪个产品支持向导式的敏感数据处理流程?数据抽取

ADM兼容物理服务器、虚拟化、云平台的备份源,降低因混合IT环境而需要多套数据保护方案带来的成本压力和管理复杂性。支持国产化操作系统,支持主流平台下的数据库、文件数据保护,支持主流虚拟化平台的保护,支持国产云平台的保护。通过数据库虚拟化技术快速创建副本实现对备份数据的即时挂载恢复,提供业务应急响应能力和数据快速恢复能力,挂载恢复缩短了备份数据恢复的时间,可用于验证备份数据的有效性,直接提升了数据恢复验证的频率。同时,ADM可与第三方备份系统对接,改变传统手动编写脚本恢复数据的方式,通过设置定时策略,自动化实现备份数据恢复的有效性验证,协助企业建立高效的数据保护平台。数据抽取

上一篇: 安全传输

下一篇: 移动业务高效管理

信息来源于互联网 本站不为信息真实性负责