日志校验技术
ADM平台具备根据管理人员、测试需求等内容的不同进行分组划分的功能,将数据进行分组管理,从下游测试数据管理的源头管控数据资源的类别,做到从源头划分类别,使下游测试数据管理形成上游数据源----中游数据中转----下游数据目标的闭环式数据使用流程,规范化的数据流程使数据管理者成为数据的负责人,自动化的资源管理也更有效地为金融行业用户提供安全的数据管理方案。同时,ADM提供对数据流转的树状拓扑结构图,可详细了解数据的来源、所属存储池、挂载的测试服务器,以及数据快照的层级关系,方便对系统全局的数据使用结构进行预览,通过可视化的结构拓扑图,帮助用户了解下游测试网中测试数据的归属关系,完善数据流转路径,优化数据资源的合理分配,可视化功能的动态展示将助力企业向着智能化数据安全治理的方向转型。上讯信息敏捷数据管理平台ADM包括PDM、BDM、SDM、CDM四大功能模块。日志校验技术
敏捷数据管理平台(Agile Data Management)简称ADM,是采用基于CDM(副本数据管理)的数据库虚拟化技术,为企业上中下游数据的备份恢复、数据验证、敏感数据处理、分发交付提供的面向数据全生命周期的安全管理解决方案,在保证数据安全使用的同时,提高了数据使用效率并降低了数据存储成本。ADM由数据备份管理、备份校验管理、数据副本管理、敏感数据处理管理组成,实现了数据复制容灾、数据存储管理和数据流程管理,通过自动化流程任务编排的方式实现了数据使用的成本控制、版本管理与开发利用,能够充分发挥了数据资产的潜在价值。明文备份数据的开发利用是唤醒大量沦为暗数据的备份数据,让数据备份即可用。
在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。
组织内部应建立一套完善的数据备份恢复体系,部署相应的数据备份恢复平台,实现对生产数据的定期备份和恢复验证。该平台应包括对备份数据进行定期的恢复验证,周期间隔跨越日、月、季度、半年、年等,恢复验证策略设置完毕可自动执行,确保数据的可恢复性和可用性;该平台应能对长期存储的备份数据进行时效性管理,针对数据的分享、存储、使用和删除设定有效期,过期存储数据可进行删除或再次授权使用;该平台应能对备份数据进行压缩或加密存储,保证存储空间的有效利用.上讯信息敏捷数据管理平台ADM是创新型数据备份管理解决方案。
数据副本管理是ADM功能模块之一,可单独作为企业级副本数据管理(CDM)产品。为应对当前复杂的IT环境,ADM提出集云、物理、虚拟为一体的,面向结构化数据库、非结构化数据、虚拟化和云平台的***数据副本分发与交付管理解决方案。主要通过数据副本管理的核心专利技术——数据库虚拟化技术对源数据进行CDM原格式获取生成黄金副本、存储黄金副本作为基准数据、虚拟化为多个副本挂载恢复,**终达到快速交付副本数据、灵活管理副本数据版本、集中管理副本数据存储与流转的目标,是主要面向企业数据运维、软件开发测试部门解决自动化闭环取数供数、测试数据快速交付等典型应用场景的问题。ADM的敏感数据处理灵活性体现在异构引擎可以将大数据平台数据抽取至多类型数据库,满足输出格式多样化。备份恢复业务供给侧
上讯信息敏捷数据管理平台ADM产品支持全域重删技术,从而减少需要备份的数据量、缩短备份窗口。日志校验技术
l异地数据容灾(远程复制)数字化时代,企业进行数据保护,不仅希望能够实现本地数据保护,也要有灾备中心进行异地数据保护。如此,即便本地数据中心遭遇地震、火灾等重大自然灾害或人为操作失误等事故,导致本地备份数据或生产数据发生损坏或丢失时,能够通过异地数据灾备,确保数据可恢复。ADM支持通过远程复制技术,将本地数据同步到异地灾备中心,实现异地数据容灾。基于备份任务,将生产数据备份到本地的存储池,基于远程复制任务,将本地存储池中的备份数据同步到异地存储池中,从而为生产数据提供双重保护,当本地生产数据、或备份数据丢失、损坏时,通过预先设置的容灾策略,在容灾端进行应急接管。日志校验技术