随着5G、物联网和云计算技术的发展以及层出不穷的网络新业务涌现, 网络负载不断增加, 网络规模持续扩大. 由此带来的网络复杂性, 使得网络的运行和维护变得越来越复杂[1-2]. 同时, 由于网络运营的高可靠性要求, 网络故障的高代价以及昂贵的试验成本, 网络的变动往往牵一发而动全身, 新技术的部署愈发困难. 具体来说, 超大规模网络发展面临的典型挑战总结如下.
1) 网络灵活性不足. 伴随物联网技术的兴起, 网络通信由最初的人与人通信, 发展至人与物通信, 并进一步发展至物与物通信. 通信模式不断更新, 网络承载的业务类型、网络所服务的对象、连接到网络的设备类型等呈现出多样化发展的态势, 均对网络本身提出了更高的要求, 网络需具备更高的灵活性与可扩展性.
2) 网络新技术研发周期长、部署难度大. 作为基础设施, 网络具有高可靠性要求, 网络运营商的现网环境很难直接用于科研人员的网络创新技术研究. 仅仅基于线下仿真平台的研究会大大影响结果的有效性, 从而降低网络创新技术的发展速度. 此外, 新技术的失败风险和失败代价会阻碍对网络创新应用的尝试.
3) 网络管理运维复杂. 随着云计算、虚拟化技术的发展, 传统网络已经开始向软件化、可编程转变, 呈现了许多新的特点, 如资源的云化、业务的按需设计、资源的编排等, 这使得网络的运行和维护面临着前所未有的压力. 由于缺乏有效的统一仿真、分析和预测平台, 很难从现有的预防性运维转向理想的预测性运维.
4) 网络优化成本高、风险大. 由于缺乏有效的虚拟验证平台, 网络优化操作不得不直接作用在现网基础设施中, 造成较长的时间消耗以及较高的现网运行业务风险, 从而加大网络的运营成本.
为解决上述困难, 网络智能化越来越为产业界所重视. “基于意图的网络”[3-4], “自动驾驶网络”[5-6], “零接触(Zero-Touch)网络”[7]等概念和技术相继被业界提出和推广, 希望借助网络智能化技术, 实现网络自动化和自主化运行的愿景. 数字孪生网络构建物理网络的实时镜像, 可增强物理网络所缺少的系统性仿真、优化、验证和控制能力, 助力上述网络新技术的部署, 更加高效地应对网络问题和挑战.
将数字孪生技术应用于网络, 创建物理网络设施的虚拟镜像, 即可搭建数字孪生网络平台. 通过物理网络和孪生网络实时交互, 相互影响, 数字孪生网络平台能够助力网络实现低成本试错、智能化决策和高效率创新. 数字孪生网络的研究和应用在产业和学术界还处于起步阶段. 本文结构如下: 第1节介绍数字孪生的研究与应用现状, 第2节描述数字孪生网络的定义和架构并给出应用示例, 第3节描述数字孪生网络的关键技术, 第4节描述数字孪生网络的目标价值, 最后是总结和展望.
1. 数字孪生技术研究和应用现状
1.1 数字孪生及相关技术概述
数字孪生的概念最早由美国学者M. Grieves教授提出[8], 并定义为三维模型, 包括实体产品、虚拟产品以及二者间的连接. 2012年, 美国空军研究实验室和美国国家航空航天局 (National Aeronautics and Space Administration, NASA)合作提出构建未来飞行器的数字孪生体[9], 并定义数字孪生为高度集成的多物理场、多尺度、多概率的仿真模型. 近年来, 随着多学科建模与仿真技术的飞速发展, 数字孪生技术研究成为热点, 并在虚拟样机、数字孪生车间、数字孪生卫星、能源交通、医疗健康等诸多领域得到成功运用[10-12]. 面向未来网络, 伴随着云计算、大数据、人工智能等技术的不断发展以及信息的泛在化, 数字孪生技术也将更广泛地运用于人体活动监控与管理、家居生活和科学研究等领域, 使得整个社会走向虚拟与现实结合的 “数字孪生” 世界. 国际电信联盟电信标准化部 (International Telecommunication Union — Telecommunication Standardization Sector, ITU-T)面向未来网络的Network2030焦点组的技术报告[13-14]也将数字孪生作为未来网络12个代表性用例之一.
数字孪生模型框架目前尚无统一定义. 商业公司、科研机构和标准组织都在尝试定义通用或者专用的模型框架. Gartner在其物联网(Internet of things, IoT)数字孪生技术报告[15]中提出构建一个物理实体的数字孪生体需要4个关键要素: 模型、数据、监控和唯一性. 文献[10]提出了数字孪生的五维模型 {PE, VE, Ss, DD, CN}, 其中, PE表示物理实体, VE表示虚拟实体, Ss表示服务, DD表示孪生数据, CN表示各部分之间的连接. 国际标准化组织(International Organization for Standardization, ISO)发布了面向制造的数字孪生系统框架标准草案[16-17], 提出包含数据采集域、设备控制域、数字孪生域和用户域的参考框架, 该草案即将成为数字孪生领域第一个国际标准.
与数字孪生观念紧密相关的理论, 是由中国科学院自动化研究所王飞跃研究员于2004年提出的平行系统理论[18-19]. 平行系统理论同数字孪生理论在虚实映射、动态仿真等方面有相似性. 但是, 两者在研究对象、核心思想、实现方法、功能等方面均有所区别[20]. 数字孪生主要研究由信息空间和物理空间组成的空间物理系统 (Cyber physical system, CPS)[21], 而平行系统主要研究社会网络、信息资源和物理空间深度融合的社会物理信息系统 (Cyber physical social system, CPSS)[22], 包含社会活动的部分, 考虑社会的反映和影响. 平行系统相对于数字孪生的“形似”, 更注重 “神似”. 数字孪生通过数字化空间构建物理空间的镜像, 而平行系统更强调计算实验和外在行为的干预, 基于人工系统生成场景. 平行系统理论在平行医疗[23-24]、平行自动驾驶[25]、平行军事[26]等领域同样有较多应用. 类似于数字孪生及平行系统理论, 文献[27]提出了智能空间设想, 探讨了基于智能交通空间, 实现智能化车辆和交通基础设施控制的可行性.
1.2 数字孪生网络相关探索与工作
随着数字孪生技术的发展及其在生产制造等多个产业的应用, 数字孪生技术理念在通信网络领域的应用也逐渐被业界研究和关注. 华为公司提出在意图驱动网络的网络云化引擎(Network cloud engine, NCE)中[28], 在物理网络和商业意图之间构建数字孪生, 将过去离散的数据进行关联并转为在线共享, 构建全生命周期的数字化运维能力. Aria公司的产品 STEP-T (Strategic traffic engineering and planning tool) [29]在运营商客户的骨干网上建立数字孪生体, 运用人工智能 (Artificial intelligence, AI)技术在大规模复杂骨干网上完成了路由优化和故障仿真. 文献[30-31]提出基于赛博孪生(Cybertwin)的下一代网络架构, 通过人和物在虚拟世界的数字表示, 提供通信助理、日志记录和数字资产等功能, 适于未来网络从端到端连接至云到端连接的演进. 文献[32]建立了5G移动边缘计算(Mobile edge computing, MEC)网络的数字孪生体, 利用孪生体离线训练基于强化学习的资源分配优化和归一化节能算法, 然后将方案更新至MEC网络. 文献[33]提出一种工业互联网对应的数字孪生网络集成框架, 利用强化学习算法在此框架下寻求最优随机计算卸载和资源分配策略. 文献[34]建立了面向6G移动边缘计算系统的数字孪生边缘网络, 其中边缘服务器的孪生体评估实体服务器的状态, 移动边缘计算系统的孪生体提供数据用于训练卸载策略, 方案在降低卸载延时的同时减少了系统开销. 此外, 数字孪生技术在无线频谱等方面的感知与管理也有了相关的探索.
中国科学院自动化所王飞跃研究员将平行系统理论用于网络系统, 提出 “平行网络(Parallel networks)” 网络架构[35-37], 通过建立相应的人工网络系统, 开展相关计算实验, 对网络进行全面、准确和及时的评估. 数字孪生网络与平行网络在概念和目标上有一定的相似性, 主要设计思想都是类似于状态观测器的设计思路, 通过构造出类似原系统的衍生系统, 再针对所构造的人工网络系统或者孪生系统间接的修正实际系统的状态, 从而调整网络优化资源管理, 达到网络性能优化的目的. 同时, 二者在架构和实现方法上有所区别: 平行网络中的人工网络并非总是实际网络的完全映射; 数字孪生网络的孪生体强调物理网络的实时镜像. 平行网络中的人工网络基于软件定义网络(Software defined network, SDN)[38-39]技术和理念, 实现集中控制、整体优化和决策的功能; 数字孪生网络的孪生层不依赖SDN技术进行构建, 而是根据物理网络中网元和拓扑的实际形态进行抽象建模. 在实现方法上, 平行网络可基于有限数据进行计算实验和平行执行, 不依赖于全面、准确的数据即可建模; 数字孪生网络强调基于全面且准确的数据, 进行精准建模, 达成虚实网络实时交互.
数字孪生网络技术的相关研究目前还处于初级阶段. 尽管数字孪生技术在网络中的应用已经起步, 但目前的应用侧重于特定的物理网络中、特定的场景(如网络运维)中, 或者将网络数字孪生平台作为网络仿真工具. 结合数字孪生技术的特点以及在其他行业的应用, 本文认为数字孪生网络可以作为网络系统的一个有机整体, 成为未来涉及物理网络的全生命周期的通用架构, 服务于网络规划、建设、维护、优化, 以及网络自动驾驶、意图网络等网络创新技术的应用, 提升网络的自动化和智能化水平.
2. 数字孪生网络定义和架构
2.1 数字孪生网络定义
数字孪生网络业界尚无统一的定义, 本文将 “数字孪生网络” 定义为: 一个具有物理网络实体及虚拟孪生体, 且二者可进行实时交互映射的网络系统.
在此系统中, 各种网络管理和应用可利用数字孪生技术构建的网络虚拟孪生体, 基于数据和模型对物理网络进行高效的分析、诊断、仿真和控制. 基于此定义, 数字孪生网络应当具备4个核心要素: 数据、模型、映射和交互, 如图1所示.
图1 数字孪生网络的核心要素
Fig.1 The core elements of digital twin networks
下载: 全尺寸图片 幻灯片
1) 数据是构建数字孪生网络的基石, 通过构建统一的数据共享仓库作为数字孪生网络的单一事实源, 高效存储物理网络的配置、拓扑、状态、日志、用户业务等历史和实时数据, 为网络孪生体提供数据支撑.
2) 模型是数字孪生网络的能力源, 功能丰富的数据模型可通过灵活组合的方式创建多种模型实例, 服务于各种网络应用.
3) 映射是物理网络实体通过网络孪生体的高保真可视化呈现, 是数字孪生网络区别于网络仿真系统的最典型特征.
4) 交互是达成虚实同步的关键, 网络孪生体通过标准化的接口连接网络服务应用和物理网络实体, 完成对于物理网络的实时信息采集和控制, 并提供及时诊断和分析.
基于四要素构建的网络孪生体可借助优化算法、管理方法、专家知识等对物理网络进行全生命周期的分析、诊断、仿真和控制, 实现物理网络与孪生网络的实时交互映射, 帮助网络以更低成本、更高效率、更小的现网影响部署各种网络应用, 助力网络实现极简化和智慧化运维.
2.2 数字孪生网络架构
根据数字孪生网络的定义和四个核心要素, 数字孪生网络可以设计为如图2所示的 “三层三域双闭环” 架构: 三层指构成数字孪生网络系统的物理网络层、孪生网络层和网络应用层; 三域指孪生网络层数据域、模型域和管理域, 分别对应数据共享仓库、服务映射模型和网络孪生体管理三个子系统; “双闭环” 是指孪生网络层内基于服务映射模型的 “内闭环” 仿真和优化, 以及基于三层架构的 “外闭环” 对网络应用的控制、反馈和优化.
图2 数字孪生网络架构
Fig.2 Digital twin network architecture
下载: 全尺寸图片 幻灯片
1) 物理网络层. 物理实体网络中的各种网元通过孪生南向接口同网络孪生体交互网络数据和网络控制信息. 作为网络孪生体的实体对象, 物理网络既可以是蜂窝接入网、蜂窝核心网, 也可以是数据中心网络、园区企业网、工业物联网等; 既可以是单一网络域(例如, 无线或有线接入网、传输网、核心网、承载网等)子网, 也可以是端到端的跨域网络. 既可以是网络域内所有的基础设施, 也可以是网络域内特定的基础设施(例如, 无线频谱资源、核心网用户面网元等).
2) 孪生网络层. 孪生网络层是数字孪生网络系统的标志, 包含数据共享仓库、服务映射模型和网络孪生体管理三个关键子系统. 数据共享仓库子系统负责采集和存储各种网络数据, 并向数据映射模型子系统提供数据服务和统一接口; 服务映射模型子系统完成基于数据的建模, 为各种网络应用提供数据模型实例, 最大化网络业务的敏捷性和可编程性; 网络孪生体管理子系统负责网络孪生体的全生命周期管理以及可视化呈现.
3) 网络应用层. 网络应用通过孪生北向接口向孪生网络层输入需求, 并通过模型化实例在孪生网络层进行业务的部署. 充分验证后, 孪生网络层通过南向接口将控制更新下发至物理实体网络. 网络运维和优化、网络可视化、意图验证、网络自动驾驶等网络创新技术及各种应用能够以更低的成本、更高的效率和更小的现网业务影响实现快速部署.
从数字孪生网络的架构可以看出, 数字孪生网络不局限于软件定义网络SDN的架构; 同平行网络相似, 数字孪生网络能够基于虚拟层的仿真, 实现SDN管理和控制层无法实现的复杂网络动态控制和优化. 表1进一步对比了数字孪生网络、软件定义网络和平行网络在物理对象、架构层次、虚实映射和分析方法等方面的区别.
表1 DTN、SDN和平行网络对比
Table1 Comparison of DTN, SDN and parallel networks
维度 数字孪生网络 DTN 软件定义网络 SDN 平行网络
物理对象 各种类型的物理网元 具备 SDN 特性的物理网元 各种类型的物理网元
架构层次 物理层、孪生层和网络应用层 物理层、控制层和管理层 物理层、人工网络 + 计算实验层
虚拟网络 物理网络的孪生镜像, 孪生层通过
统一数据建模构建 N/A 基于人工系统生成物理网络对应的人工网络;
人工网络基于 SDN 架构构建
虚实映射 通过功能映射模型对网络应用进行仿真和迭代
优化; 注重虚实映射的实时性和精确性 N/A 通过人工网络逼近物理网络; 更加强调
计算实验和外在行为的干预
分析方法 基于孪生层的共享数据仓库, 充分利用大数据
分析、人工智能技术, 通过模型化实例的迭代
仿真, 实现网络的全局动态实时控制和优化 只具备基本的网络控制和管
理能力, 缺乏对于复杂网络
的动态控制和优化能力 通过对人工网络(以及人工数据)进行各种实
验, 对网络行为进行分析和预测, 进而平
行执行至物理网络并根据反馈迭代优化
2.3 孪生网络层三大子系统
2.3.1 数据共享仓库
数据共享仓库通过南向接口采集并存储网络实体的各种配置和运行数据, 形成数字孪生网络的单一事实源, 为各种服务于应用的网络模型提供准确完备的数据, 包括但不限于网络配置信息、网络运行状态和用户业务数据等. 数据共享仓库主要有以下四项职责.
1)数据采集. 完成网络数据的抽取、转换、加载, 以及清洗和加工, 便于大规模的数据实现高效分布式存储.
2)数据存储. 结合网络数据的多样化特性, 利用多种数据存储技术, 完成海量网络数据的高效存储.
3)数据服务. 为服务映射模型子系统提供包括快速检索、并发冲突、批量服务、统一接口等多种数据服务.
4)数据管理. 完成数据的资产管理、安全管理、质量管理和元数据管理.
作为数字孪生网络的基石, 数据共享仓库中的数据越完备越准确, 数据模型的丰富性和准确性就越高.
2.3.2 服务映射模型
服务映射模型包括基础模型和功能模型两部分.
基础模型是指基于网元基本配置、环境信息、运行状态、链路拓扑等信息, 建立的对应于物理实体网络的网元模型和拓扑模型, 实现对物理网络的实时精确描述.
功能模型是指针对特定的应用场景, 充分利用数据仓库中的网络数据, 建立的网络分析、仿真、诊断、预测、保障等各种数据模型. 功能模型可以通过多个维度构建和扩展: 按照网络类型构建, 可以有服务于单网络域(如移动接入网、传输网、核心网、承载网等)的模型或者服务于多网络域的模型; 按照功能类型划分, 可分为状态监测、流量分析、安全演练、故障诊断、质量保障等模型; 按照适用范围划分, 可以划分为通用模型和专用模型; 按照网络生命周期管理划分, 可分为规划、建设、维护、优化和运营等模型. 将多个维度结合在一起, 可以创建面向更为具体应用场景的数据模型, 例如, 可以建立园区网络核心交换机上的流量均衡优化模型, 通过模型实例服务于相应的网络应用.
基础模型和功能模型通过实例或者实例的组合向上层网络应用提供服务, 最大化网络业务的敏捷性和可编程性. 同时, 模型实例需要通过程序驱动在虚拟孪生网元或网络拓扑中对预测、调度、配置、优化等目标完成充分的仿真和验证, 保证变更控制下发到物理网络时的有效性和可靠性.
2.3.3 网络孪生体管理
网络孪生体管理完成数字孪生网络的管理功能, 全生命周期记录, 可视化呈现和管控网络孪生体的各种元素, 包括拓扑管理、模型管理和安全管理.
1)拓扑管理基于基础模型, 生成物理网络对应的虚拟拓扑, 并对拓扑进行多维度、多层次的可视化展现.
2)模型管理服务于各种数据模型实例的创建、存储、更新以及模型组合、应用关联的管理. 同时, 可视化地呈现模型实例的数据加载、模型仿真验证过程和结果.
3)安全管理与共享数据仓库中的数据管理一起, 负责数字孪生网络数据和模型安全保障相关的鉴权、认证、授权、加密和完整性保护.
2.4 应用示例: 基于DTN实现意图网络
意图网络[3]是可以使用 “用户意图” 进行管理的网络, 它能够识别和接收操作员或用户的意图, 并根据用户意图自主地配置和调整自己, 从而实现预期的结果, 而无需用户指定用于如何实现结果的详细技术步骤. 图3所示为一种基于数字孪生网络架构实现意图网络的参考框架. 其中意图网络的基础设施对应于DTN架构中的物理网络层, 意图网络的配置验证、意图保障和自动修复等关键功能可基于孪生网络层的多种服务映射模型实现, 实时保障来自网络应用层的用户意图.
图3 基于DTN的意图网络框架
Fig.3 Intent network architecture
下载: 全尺寸图片 幻灯片
1) 基于服务映射模型的配置验证. 用户意图经过意图翻译后, 生成大量物理网络能执行的网络配置, 如果将这些配置直接下发到物理网络上可能影响其他业务正常处理, 所产生的影响无法预估. 利用数字孪生网络的服务映射模型, 提前校验和模拟配置下发, 提前发现配置中的一些异常问题, 例如地址冲突、路由环路、路由不可达等. 验证配置既能满足用户业务意图, 又对其他已有业务没有影响后, 再将配置下发到物理网络.
2) 基于服务映射模型的意图保障和自动修复. 通过数据采集将物理网络运行状态传递到孪生网络层的数据共享仓库, 服务映射模型不断验证用户意图是否被满足. 当发现网络偏离了用户业务意图, 可利用AI等智能化技术做根因分析, 生成修复策略. 因为当前AI技术还不能保证修复策略完全可靠且能解决问题, 所以一般需要人工确认无误后再下发到物理网络, 拉低了故障修复效率. 利用数字孪生网络的服务映射模型先验证修复策略, 保证正确无误后, 再通过自动化配置模块下发到物理网络, 既提高了运维效率, 又推动了AI技术的应用落地.
综上, 意图网络可基于数字孪生网络架构, 实现网络配置的提前验证和用户业务意图的实时保障等关键功能, 这将有助于意图网络的有效落地部署.
3. 数字孪生网络的关键技术
3.1 问题和挑战
构建数字孪生网络系统面临以下主要问题和挑战:
1) 兼容性问题. 网络中不同厂商设备的技术实现和支持的功能不一致, 因此建立面向全网络域的数据共享仓库, 设计适配异厂家设备的接口以进行统一数据采集和处理的难度较高.
2) 建模难度大. 基于大规模网络数据, 数据建模既要保证模型功能的丰富性, 也需考虑模型的灵活性和可扩展性, 这些需求进一步加大了构建高效的、层次化的基础模型和功能模型的难度.
3) 实时性挑战. 对于实时性要求较高的业务, 模型仿真和验证在数字孪生网络上的处理会增加延迟, 所以模型的功能和流程需要增加多种网络应用场景下的处理机制; 同时, 实时性要求也会进一步增加系统的软硬件性能需求.
4) 规模性难题. 通信网络通常网元数量多、覆盖地域广、服务时间长, 因此网络数字孪生体必将是一个规模庞大的复杂巨系统, 这会显著增加数据的采集和存储、模型的设计和运用等方面的复杂度, 对系统的软硬件要求也会非常高.
为了解决以上问题和挑战, 本文将基于第2.2节提出数字孪生网络参考架构, 拟采用目标驱动的网络数据采集、多元网络数据存储和服务、多维全生命周期网络建模、交互式可视化呈现、以及接口协议体系五大关键使能技术, 完成数字孪生网络系统的构建.
3.2 目标驱动的网络数据采集
数据采集是构建数据仓库的基础, 作为物理网络的数字镜像, 数据越全面、准确, 数字孪生网络越能高保真的还原物理网络. 数据采集应当采用目标驱动模式, 数据采集的类型、频率和方法以满足数字孪生网络的应用为目标, 兼具全面、高效的特征. 当对特定网络应用进行数据建模时, 所需的数据均可以从网络孪生层的数据共享仓库中高效获取. 以目标应用为驱动, 只有全面、高效地采集模型所需数据, 才能构建精准数据模型, 为目标应用提供良好服务.
网络数据采集方式有很多, 例如技术成熟、应用广泛的SNMP (Simple network management protocol)、Netconf, 可采集原始码流的NetFlow、sFlow, 支持数据源端推送模式的网络遥测(Network telemetry)等; 不同的数据采集方案具备不同的特点, 适用于不同的应用场景. 结合数字孪生网络对数据采集全面、高效的要求, 本文认为可选择网络遥测技术作为数据采集的解决方案.
目前, 业界通常认为, 网络遥测是指自动化远程收集网络多源异构状态信息, 进行网络测量数据存储、分析及使用的技术. 网络遥测系统具备如下主要特征[40]:
1)推送模式. 设备支持通过推送(Push)模式主动向遥测服务器发送采集数据.
2)大容量和实时性. 网络遥测数据可直接被系统使用, 因此支持大容量和实时数据.
3)模型驱动. 数据使用YANG模型描述, 可扩展性好.
4)定制化. 支持网络管理员基于特定应用需求定制网络采集方案.
图4所示为网络遥测系统的数据结构关系. 数字孪生网络的数据主要包括用户业务数据、网络配置及运行状态数据三大类数据, 依据网络遥测系统的数据结构, 各类数据源使用统一的数据建模语言YANG, 而数据流编码格式、数据流输出协议和传输承载协议根据不同的数据源按需择优选择.
图4 网络遥测系统数据结构
Fig.4 Data structure of network telemetry system
下载: 全尺寸图片 幻灯片
按照测量与转发是否分离, 网络遥测可分为带外遥测和带内遥测. 带外遥测具有网络开销较小、测量信息种类较多的优点, 但很难满足对用户数据流检测的实时性和准确性要求, 同时可编程性也较弱, 包括NetFlow、IPFIX[41]、PBT[42]等方案; 带内遥测的随路检测特性能够保证获取业务测量的准确性, 能够对网络拓扑、网络性能和网络流量实现更细粒度的测量, 同时具有较好的可编程性, 包括INT[43]、In-situ OAM[44]、iFIT[45]等方案.
针对不同网络建模需求可按需选择最适合的网络遥测方案. 以网络运行状态数据中的时延数据为例, 可使用带内网络遥测(Inband network telemetry, INT)技术进行采集: 数据报文经过每一台交换机时都将设备时延数据插入数据包, 插入的位置依据报文封装格式不同而不同, 最后一跳交换机将收集所有的转发时延, 通过gRPC协议输出至数字孪生数据共享仓库.
3.3 多元网络数据存储和服务
数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合, 用于对管理决策过程的支持[46]. 数据共享仓库是数字孪生网络的单一事实源, 存储海量的网络历史数据和实时数据, 并将各种数据集成到统一的环境中, 为数据建模提供统一的数据接口和服务. 针对网络数据规模大、种类多、速度快等特点, 可综合应用多元存储和服务技术构建数字孪生网络的数据共享仓库, 参考功能框架如图5所示.
图5 数据共享仓库功能框架
Fig.5 Data sharing warehouse functional framework
下载: 全尺寸图片 幻灯片
1) 数据采集层. 负责将网络采集的源数据进行抽取、转换和加载(Extract-Transform-Load, ETL), 完成数据清洗和优化, 以尽可能小的代价将数据导入分布式数据仓库.
2) 数据存储层. 根据网络数据的应用场景、数据格式和实时性要求等特性的不同, 选用多种数据存储技术构建多源异构数据库, 分别存储结构化、非结构化的网络数据. 结合数字孪生网络的建模数据以结构化数据为主的特点, 可基于大规模并行处理MPP (Massive parallel processing)数据库构建DTN的主数据仓库. Hadoop云平台存储和处理技术可用于管理非/半结构化数据, 采用分布式文件系统HDFS (Hadoop distributed file system)存储文件, 使用分布式并行计算框架MapReduce并行执行计算操作. NoSQL数据库支持半结构化或者非结构化数据的海量存储、高扩展性、高可用及并发要求, 其中的图形数据库和列存储数据库适用于网络特定场景下的数据处理, 可作为传统数据库的有效补充.
3) 数据服务层. 面向数字孪生网络的服务映射模型, 通过统一的数据服务接口提供建模所需数据, 同时提供包括快速搜索、数据联邦、并发冲突、批量服务、服务组合、历史快照与回退等各种服务.
4)数据管理. 负责数据采集、存储和服务过程中的数据准确性、安全性和完整性, 具体包括元数据管理、数据安全管理、数据质量管理和数据资产管理.
3.4 多维全生命周期网络建模
3.4.1 基于本体的基础模型建模
数字孪生网络的基础模型通过定义基于本体[47]的统一数据模型, 实现多源异构网络数据的一致性融合表征, 为构建数字孪生网络奠定基础. 基础模型中网元模型和拓扑模型的构建包括如下三个步骤: 构建本体模型、构建 “统一表征数据库” 及构建网元模型和拓扑模型. 具体流程如图6所示.
图6 基于本体的网元和拓扑模型构建流程
Fig.6 The process of constructing network element and topology model based on ontology
下载: 全尺寸图片 幻灯片
1)本体模型构建. 孪生网络本体模型是实现多源异构网络数据一致性表征的基础, 可指导生成 “统一表征数据库”. 具体实现方式可结合网络领域知识, 定义本体的组成要素〈类, 属性, 关系, 公理, 实例〉 , 继而通过本体对多源异构数据进行一致性表征[48]. 以交换机为例, 其本体模型的组成要素可以设计如下:
〈类: 对应交换机的种类, 如二层、三层、四层等类型交换机.
属性: 对应交换机的基本属性: 物理属性包括交换机的尺寸、功耗、端口数量等; 功能属性包括交换机支持的各种转发功能、管理功能等.
关系: 对应交换机实例之间或者交换机同其他网元之间的关系, 例如物理直连、逻辑互联、IP可达等.
公理: 交换机公知的规则及原理, 例如存储转发需要耗时、互联互通时需要统一的接口和协议等.
实例: 基于交换机种类创建的多个个体.〉
2)统一表征数据库的构建. 基于孪生网络本体模型构建, 通过语义反求工程、语义映射过程和多源异构数据一致性融合表征实例化操作, 形成具有统一格式的数据, 完成从多源异构数据到统一表征数据的映射.
3)网元模型和拓扑模型的构建. 根据不同网元模型的功能或拓扑模型的结构, 可基于统一表征的数据库, 按需组合构建网络基础模型, 从而实现孪生网络和物理网络的虚实映射.
3.4.2 全生命周期功能模型建模
功能模型面向实际网络功能需求, 通过全生命周期的多种功能模块, 实现动态演进的网络推理决策. 如第2.3.2节所述, 功能模型可以根据各种网络应用的需求, 通过多个维度构建和扩展. 本文从数字孪生网络的功能模型服务于物理网络的全生命周期运维的维度, 描述规划、建设、维护、优化及运营五个方面数据建模时分别适用的关键算法.
1)网络规划和建设的建模. 基于数据仓库中的网络及业务相关的数据, 利用深度学习、机器学习(随机森林[49]、梯度提升决策树 (Gradient boosting decision tree, GBDT)[50])等人工智能算法对业务预测、网络性能预测、覆盖优化、容量规划及站址规划等场景进行一一建模, 通过数据仓库不断补充、更新训练数据到模型中, 进行模型更新迭代, 形成一种AI模型的自适应机制, 以实现更加精确的模型推理.
2)网络维护的建模. 网络维护是一项庞大而复杂的工程, 面对网络维护中存在的各种故障定位及定界问题, 当前已有的抽象出来的数学算法还不具备对现存问题全面准确的表达能力. 面向网络维护的建模, 基于经验知识的推理规则通常更加有效. 因此, 我们引入知识图谱[51]作为数字孪生体中一种重要的核心技术, 人类的经验知识通过知识图谱固化下来. 知识图谱的规模随着不同的场景域相关经验知识的不断沉淀, 构建的事物之间的关联关系体系愈发庞大, 所累积的背景知识亦不断增加. 将网络专家自身的经验转换为推理规则集成于知识图谱, 可实现对故障诊断及定位等网络维护场景的精准推理.
3)网络优化的建模. 网络优化包括诸如资源调配、流量工程、内容分发网络调度等多种场景. 对于网络优化模型的建模, 由于其问题的非凸性、非平稳性、随机性等困难, 可采用进化类算法, 如遗传算法[52]、差分进化算法[53]、免疫算法[54]等, 或者采用群智能算法, 如蚁群算法[55]、粒子群算法[56]等. 另外, 对于复杂的动态调度优化场景, 可引入强化学习[57]. 基于强化学习的智能调度方法组合了动态规划、随机逼近和函数逼近的思想, 与传统调度方法相比, 无需建立精确的问题模型, 适合解决基于动态调度的网络优化问题.
4)网络运营的建模. 网络运营包括基于网络所提供的多种服务, 如话音、数据流量等基础业务以及多媒体社交和娱乐等富媒体业务. 建模过程中需要有针对性的采集相关网络与业务数据, 借助深度学习、集成算法等进行模型训练, 为了节省计算资源, 对于不同领域之间或者相似领域内的不同场景的建模, 可借助迁移学习[58], 针对不同情况利用基于实例的迁移、特征的迁移及共享参数的迁移等方法进行快速精准建模. 以视频用户体验评估 (Quality of experience) 为例, 采集网络侧关键性能指标数据和用户侧视频体验数据(如初缓时延、卡顿等)进行关联, 利用深度学习算法构建视频用户体验的评估模型, 实现运营商对用户体验的智能感知评估. 鉴于视频业务的相似性, 可将一个视频业务训练好的模型利用迁移学习应用于另外的视频业务, 以达到快速精准建模.
3.5 交互式可视化呈现
利用网络可视化技术, 高保真地可视化呈现网络孪生体中的数据和模型 直观反映物理网络实体和网络孪生体的交互映射, 是数字孪生网络系统的内在要求. 图形化展示网络数据和模型, 一方面可以辅助用户认识网络的内部结构, 另一方面有助于挖掘隐藏在网络内部的有价值信息. 数字孪生网络的可视化面临孪生网络规模大、虚实映射实时性要求高、数据模型的可解释性偏低等挑战, 需要探索高效、实时、精确、互动性强的可视化呈现方法. 根据需求范围不同, 网络孪生体可视化呈现分为以下三类:
1)网络拓扑可视化. 网络拓扑结构是通信网络各种元素(链路、节点等)的排列, 是图论的应用, 其中通信设备被建模为节点, 设备之间的连接被建模为节点之间的链路. 作为数字孪生网络可视化的基础, 网络拓扑可视化将网络节点和链路以点和线构成图形进行呈现, 清晰直观地反映网络运行状况, 辅助人们对网络进行评估和分析.可视化布局算法是拓扑可视化的核心. 一个好的拓扑布局算法需要满足3个条件: a)有效避免拓扑图中节点的重叠; b)拓扑结构图中边的交叉尽可能减少; c)网络拓扑满足基本美学标准, 如区域最小原则、边交叉最小原则、节点密度均匀原则[59]. 文献[60]列举了常用的拓扑布局算法, 结合通信网络规模大、隧道多、分域自治等特点, 数字孪生网络的拓扑可视化可选用层次型布局、启发式布局或力导向布局等算法(或者几种算法的组合)进行拓扑布局. 同时, 网络拓扑可视化需要反映网络数据时间的动态变化, 连续显示网络拓扑的状态或者按需显示任意时刻的网络拓扑快照.
2)功能模型可视化. 数字孪生网络功能模型的可视化是指将模型实例的创建、数据的加载、模型的仿真验证过程和结果利用网络可视化技术呈现出来, 帮助用户更好理解、探索和推演模型. 近些年来, 诸多网络领域包括网络流量和资源规划、安全威胁描述[61]、网络异常分析[62]、网络攻击检测[63]等已实现了网络功能的可视化呈现. 将相关的可视化技术运用到数字孪生网络的流量建模、故障诊断、质量保障、安全建模等功能模型中, 基于网络孪生体完成功能验证的同时实现可视化呈现, 可进一步直观体现统一数据模型作为数字孪生网络能力源所发挥的作用.
3) 可视化动态交互. 动态交互是用户通过与系统之间的对话和互动操作理解数据的过程. 交互操作可有效缓解有限的可视化空间和数据过载之间的矛盾, 拓展可视化中信息表达的空间. 数字孪生网络的网络拓扑和数据模型需要尽可能提供动态交互功能, 让用户更好地参与对网络数据和模型的理解和分析, 帮助用户探索数据、提高视觉认知. 常用的网络可视化动态交互方法有直接交互、焦点+上下文交互、关联性交互和沉浸式模拟[60], 数字孪生网络系统可根据不同的应用场景选用不同的交互方法或通过多种交互方法的组合实现虚实网络的可视化动态交互映射.
3.6 接口协议体系
面对构建大规模数字孪生网络的兼容性和扩展性需求, 数字孪生网络系统需要设计标准化的接口和协议体系. 基于本文数字孪生网络的参考架构, 系统主要包含三种接口:
1) 孪生南向接口. 包括孪生网络层和物理网络层之间的数据采集接口和控制下发接口. 数据采集接口负责完成孪生网络层数据共享仓库的数据采集, 控制下发接口负责将服务映射模型仿真验证后的控制指令下发至物理网络层的网元.
2) 孪生北向接口. 包括网络应用层和孪生网络层之间的意图翻译接口和能力调用接口. 网络应用层可以通过意图翻译接口, 将应用层意图传递给孪生网络层, 为功能模型提供抽象化的需求输入. 孪生网络层可以通过能力调用接口, 把其内部的数据和算法模型能力, 提供给上层的各式各样的应用调用, 满足网络应用对数字孪生体的数据和模型的调用, 简易实现对实体状态的监控、诊断和预测等功能.
3) 孪生内部接口. 包括孪生网络层内部数据仓库和功能模型之间的接口、功能模型和数字孪生体管理之间的接口、功能模型之间的接口等一簇接口. 孪生层内部基于功能模型对网络应用进行闭环控制和持续验证, 内部数据的交互数量和频率将非常高, 因此内部接口通过标准化定义保证扩展性的同时, 需要使用高效的协议保证数据传输的效率.
随着网络规模的发展, 上层应用系统越来越多, 下层的物理网元数量也会逐步增加, 导致网络接口的实际数量将会迅速增加. 为了新应用、新功能的快速引入和集成, 需要在孪生网络接口设计时考虑采用统一的、扩展性强的、易用的标准化接口.
1) 孪生北向可以考虑使用轻量级的、易扩展的RESTful接口. 表现层状态转移 (Representational state transfer, restful)以资源为核心[64], 将资源的CRUD (create, read, update, delete)操作映射为HTTP的GET、PUT、POST、DELETE等方法. 由于REST式的web服务提供了统一的接口和资源定位, 简化了服务接口的设计和实现, 降低了服务调用的复杂度.
2) 孪生南向接口由于需要频繁、高速的数据采集, 可以考虑使用RDMA协议. 远程直接数据访问 (Remote direct memory access, RDMA)是一种远端内存直接访问技术[65], 数据收发时通过网络把数据直接写入内存, 可以大大节约节点间数据搬移时对CPU算力的消耗, 并显著降低业务的传输时延, 提高传输效率.
3) 网络应用层和孪生网络层之间的意图翻译接口和能力调用接口可以考虑使用基于QUIC的HTTP/3.0协议. QUIC (Quick UDP internet connections)协议[66]是一种新的多路复用和安全传输 UDP 协议, 具有连接快、延迟低、前向纠错、自适应拥塞控制等特点. HTTP/3.0[67]是HTTP协议的第3个版本, 采用QUIC作为传输层, 解决了很多之前采用TCP作为传输层存在的问题.
4. 数字孪生网络的价值
面向未来网络持续增加的多维度、全场景的泛在连接, 本文认为数字孪生网络将成为未来网络规划、运行、管理和运营的新方向, 成为实现网络智能化、自动化的重要手段. 数字孪生网络在以下四个方面将体现其在现网应用的核心价值.
1) 拓扑透视和流量全息. 基于交互式的网络可视化技术, 数字孪生网络可大大提升网络全息化呈现水平. 不仅网络中各种网元、拓扑信息能够动态可视化呈现, 网络全生命周期的动态变化过程、实时状态、演化方向等信息也能够随数字孪生网络的模型以全息化的方式呈现给用户. 全息化呈现网络虚实交互映射, 将帮助用户更清晰地感知网络状态、更高效地挖掘网络有价值信息、以更友好的沉浸交互界面探索网络创新应用, 将物理网络由 “黑盒” 变成 “白盒”.
2) 从设备到组网的全生命周期管理. 网络设备的生命周期包括 “设计、开发、测试、试产及发布”, 主要由设备供应商管理; 网络的生命周期包括 “规划、建设、维护及优化”, 主要由网络运营商管理. 网络和设备的责任主体不同, 生命周期管理并没有很好的融合, 不利于网络故障回溯、故障预测、网络优化设计等. 数字孪生网络不仅包括网络功能模型, 也包括网元模型, 通过对网元模型的特征分析可预测设备在网络中的运行状态; 当网络运维中出现故障, 不仅能回溯到网络的 “过去”, 也能通过网元模型回溯到网络设备的 “过去”, 从而实现了网络和设备的生命周期关联分析. 通过数字孪生网络将网络和设备的生命周期紧密结合, 可实现网络和设备的全流程精细化管理.
3) 网络实时闭环控制. 基于数字孪生网络具备的仿真、分析和预测功能, 生成相应的网络配置, 实现网络实时闭环控制. 网络配置既可在孪生网络层内进行 “内闭环” 调整与优化, 又可实现数字孪生网络三层 “外闭环” 实时控制、反馈与优化. 通过 “内闭环” 与 “外闭环”, 最终实现网络的自学习、自验证、自演进的实时闭环控制.
4) 网络风险和成本降低. 基于数字孪生网络对网络优化方案高效仿真, 充分验证后部署至实体网络, 可以大大降低现网部署的试错风险和成本, 提高方案部署的效率. 同时, 借助数字孪生网络平台, 可实现低成本、高效率的网络创新技术研究. 借助数字孪生网络平台, 更多错误代价较高的网络智能应用可以在数字孪生平台上充分训练、高效仿真, 从而大大降低新技术在现网中验证时产生的风险, 减小部署到现网中发生错误的可能性.
5. 总结展望
本文系统化对“数字孪生网络(DTN)”的概念进行了定义, 对意图网络、平行网络等相关工作进行了探讨分析, 并给出了DTN的系统架构设计. 同时, 本文描述了构建DTN系统所面临的规模大、兼容难、建模难、实时性高等主要问题和挑战, 探讨了解决DTN主要问题和挑战所需的五大关键技术, 即目标驱动的网络数据采集、多元网络数据存储和服务、多维全生命周期网络建模、交互式可视化呈现技术、以及接口协议体系.
目前业界数字孪生网络相关的研究刚刚起步, 产业界和学术界需要进一步探讨数字孪生网络的场景和需求, 明确数字孪生网络的定义和统一架构. 基于本文参考系统架构, 下一步工作将在关键技术上持续深入研究, 选取典型应用场景(如智能路由、网络业务质量保障等)开发数字孪生网络验证系统, 验证数字孪生网络的架构、流程、功能和接口. 同时, 进一步研究数字孪生网络体现物理网络的信息完备性, 保证其仿真验证的有效性, 促进数字孪生网络技术的成熟和应用, 推动数字孪生网络在国内外行业组织的标准化工作.
