梳理敏感数据

备份需要从业务系统中获取数据，统计、分析需要从业务系统中获取数据，研发、测试需要从业务系统中获取数据。这些数据从业务系统中拷贝出来后，如果得不到有效的管控，将会给企业带来安全隐患，这也是用户需要考虑解决的又一现实问题。基于上述问题的考虑，I T负责人迫切需要一种既可以解放业务系统，又可以对测试环境数据的采集、传输、存储、使用及流转等关键环节进行效率和安全双重保障的平台化产品，由此上讯敏捷数据管理平台ADM应运而生。上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。梳理敏感数据

敏捷数据管理平台（Agile Data Management）简称ADM，是采用基于CDM（副本数据管理）的数据库虚拟化技术，为企业上中下游数据的备份恢复、数据验证、敏感数据处理、分发交付提供的面向数据全生命周期的安全管理解决方案，在保证数据安全使用的同时，提高了数据使用效率并降低了数据存储成本。ADM由数据备份管理、备份校验管理、数据副本管理、敏感数据处理管理组成，实现了数据复制容灾、数据存储管理和数据流程管理，通过自动化流程任务编排的方式实现了数据使用的成本控制、版本管理与开发利用，充分发挥了数据资产的潜在价值。数据服务能力备份数据是一家企业数据资产的来源，要注重安全防护。

上讯敏捷数据管理平台（ADM）数据异地容灾主要解决本地数据同步到异地，实现异地数据保护的目标。通过制定容灾策略将本地ADM中的数据同步到异地ADM中，容灾的数据类型包括存储池中的全部备份数据和虚拟副本数据，容灾类型支持实时容灾和定时容灾，根据生产数据的容灾需求制定合理的容灾策略，保证为生产数据提供双重保护。当本地生产数据或备份数据丢失、损坏时，立即启用容灾端接管业务，备份策略自动注册到容灾端管理控制中心（Master），自动接管备份任务，保证备份任务的持续不间断运行。

上讯敏捷数据管理平台ADM功能支持自适应源端的全局重删算法与策略，支持任务级与全局指纹库；针对文件备份提供文件粒度与块级粒度的全域重删且支持重删指纹库重建功能，支持多线程文件备份，支持海量小文件场景下的聚合策略，提供并行扫描和高速索引，从而减少需要备份的数据量、缩短备份窗口、节省备份数据传输所消耗的网络带宽以及节约备份数据存储空间；备份传输过程采用压缩加密处理，缓解网络传输的压力，增加网络抖动或短时间断链的超时容错机制，确保备份数据的安全。上讯ADM产品通过虚拟数据秒级分发功能实现测试数据的同时在线交付，缩短了数据交付的时间。

上讯敏捷数据管理平台（ADM）既可以封装在敏捷数据管理流程的中间环节，也可以单独作为敏感数据处理的抽取平台，两种模式满足了当前用户对数据处理的全部需求。 提供系统用户角色权限的配置管理，负责系统角色用户功能的划分，操作权限的分配，负责处理任务向上级的申请，上级用户负责审批、转发、会签或驳回以及复核工作的需求。当前系统内置丰富的算法，具备广义的通用型规则，包括字符替换、随机生成、截短、加权生成、加密等；支持保留原有数据含义的仿真型规则，支持中文字典库与编码字典库，保证姓名、身份证号、证件号、地址、组织机构代码等数据的有效性、可用性，算法经优化已处理超长字符截断和重复数据的问题。敏捷数据管理平台虚拟数据秒级分发，提升了环境准备效率，数据交付时间整体节约100倍以上。国产操作系统兼容

上讯ADM产品的高效性体现在数据从上游生产环境到下游使用环境通过虚拟副本创建实现分钟级交付。梳理敏感数据

上讯敏捷数据管理平台（ADM）支持重复数据删除技术，在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。梳理敏感数据