数据发布系统

ADM平台具备根据管理人员、测试需求等内容的不同进行分组划分的功能，将数据进行分组管理，从下游测试数据管理的源头管控数据资源的类别，做到从源头划分类别，使下游测试数据管理形成上游数据源----中游数据中转----下游数据目标的闭环式数据使用流程，规范化的数据流程使数据管理者成为数据的负责人，自动化的资源管理也更有效地为金融行业用户提供安全的数据管理方案。同时，ADM提供对数据流转的树状拓扑结构图，可详细了解数据的来源、所属存储池、挂载的测试服务器，以及数据快照的层级关系，方便对系统全局的数据使用结构进行预览，通过可视化的结构拓扑图，帮助用户了解下游测试网中测试数据的归属关系，完善数据流转路径，优化数据资源的合理分配，可视化功能的动态展示将助力企业向着智能化数据安全治理的方向转型。ADM的敏感数据处理灵活性体现在异构引擎可以将大数据平台数据抽取至多类型数据库，满足输出格式多样化。数据发布系统

ADM产品测试数据多副本快速交付ADM是国内**早的副本数据管理（CDM）产品，采用数据库虚拟化技术对原始数据库副本（黄金副本）快速生成多个虚拟数据库作为测试数据副本，满足开发测试场景的测试数据快速供应。Ø100倍数据交付效率提升10TB的数据恢复时间由原来的小时级缩短至分钟级；Ø10倍工作效率提升在开发、测试环境中，使用者可随时对虚拟库做快照标记，快照对应着不同时间的数据版本。数据版本管理可进行任意标记的快照切换，降低数据导入或恢复产生的时间成本，大幅提升工作效率。Ø10倍存储空间节省首先内置存储池存储即压缩的机制可实现约3:1的数据存储压缩，同时交付的多个虚拟数据库由于共享于一份原始数据，因此基本不占用额外的存储空间，随着交付虚拟数据库的数量增加，节约的存储空间会成倍增加，实际应用场景中至少为用户节约10倍的存储空间。数据发布系统上讯信息的敏捷数据管理平台ADM产品可应用于数据安全治理领域。

上讯敏捷数据管理平台（ADM）支持重复数据删除技术，在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。

数据备份面临存储成本高的问题，ADM采用内置高效的压缩存储池存放数据，压缩比约为3:1，存储即压缩，降低了备份数据的存储成本；其次，通过ADM的数据库虚拟化技术，一份基础数据即可快速拉起多份虚拟数据库，由于虚拟数据库90%的数据均与原始数据相同，因此拉起时几乎不占用额外的物理存储空间，只对新增的写操作计入容量占用，因此，随着数据分发使用的场景和频率增加，虚拟库的数量越来越多，而存储成本将会呈倍数级节约，例如针对同一份数据创建N个虚拟库，传统方法需要N倍的存储空间占用，而通过ADM只需要占用近乎0TB的存储空间，节约了数据存储环节的资源和成本。上讯信息敏捷数据管理平台ADM产品支持全域重删技术，从而减少需要备份的数据量、缩短备份窗口。

敏捷数据管理平台ADM能够将上游的数据收集、存储，中游的数据处理、传输，下游的数据分发和交付全流程贯通，形成一套自动化、智能化的副本数据全生命周期管理解决方案，为银行业实现测试业务多场景的数据覆盖，实现业务版本的高质量交付和快速迭代提供了行之有效的工具。ADM的数据库虚拟化功能与GoldenDB高可用、高可靠的数据库服务相结合，为该行提供了敏捷的副本数据交付能力与灵活的副本数据管理能力，对银行测试数据管理体系的构建起到了强有力的助推作用，助力打造数字化业务增长新模式.数据安全领域的CDM是指拷贝数据管理。节约存储采购成本

上讯敏捷数据管理平台ADM产品能对接NBU直接恢复。数据发布系统

管理控制中心（Master）是ADM的集中管理和调度控制中心，是进行可视化管理的Web操作平台。它负责集中管理ADM中的所有模块组件，系统管理员、安全管理员、操作员通过管理控制中心的Web管理页面协调并执行各个角色对应的操作；数据服务节点（CDMServer）是提供数据备份与恢复、备份数据恢复验证、副本数据创建和交付、数据复制容灾功能的服务节点。用于记录数据服务任务的配置信息、存储情况、历史记录等，数据服务节点统一通过MasterIP访问；***服务节点（SDMServer）是提供数据脱敏的服务节点，用于记录接入平台的敏感数据源、数据脱敏策略、***任务记录等信息，***服务节点统一通过MasterIP访问。客户端（Client）*针对数据服务节点（CDMServer）需要保护及管理的生产服务器、目标服务器，如物理服务器、虚拟机等都统称为客户端。为方便与管理控制中心进行网络通信和数据传输，一般会在客户端上安装客户端软件。客户端软件负责响应管理控制中心（Master）的命令，执行数据备份和恢复等指令。客户端软件可通过管理控制中心（Master）进行Web页面的推送安装与注册。***服务节点（SDMServer）无需安装客户端软件。数据发布系统