多代理系统在异构无线网络资源管理中的应用

    未来的B3G或4G的无线接入技术将沿着多种网络相互融和的方向发展，其融和的源动力在于实现无线网络资源的高效利用。为达到此目的，就需要各异构无线网络能够相互联合地进行资源管理。目前已提出的一些联合资源管理方式多是基于集中式的资源管理架构[1-2]，在这种管理框架下系统中有一个或是几个核心的管理实体对所负责的管辖区域内的无线资源进行统一的管理。这种集中式资源管理架构在传统单一无线接入网络中能很好的满足资源管理需求，但已不再能满足未来异构无线网络环境下资源管理方式的需求，未来的资源管理是以一种分布式的方式进行[3]。本文借鉴了计算机网络中的多代理系统[4]的思想设计了一种适用于未来分布式异构网络的无线资源管理架构[5]，分析了该多代理架构的应用领域。

1 分布式异构网络无线资源管理架构
    未来网络发展的趋势是以分布式的方式进行融合，以分布式的方式进行异构无线网络资源管理对于传统蜂窝网的集中式无线资源管理而言是一种革命性的挑战。借鉴计算机网络中的分布式多代理系统，代理能够依据周边环境自动调整自身的策略以实现自动控制。设计时除了需要移植多代理系统这个最重要的特性外，还需要考虑以下两个原则以获得更广泛的适用性。

    (1) 本地化目标
    在分布式系统中，没有集中的实体可以综合衡量各网络的能力并设定相应目标，因此分布式多代理资源管理架构的每个代理仅能设定其网络的资源管理目标，全局目标可以通过详细设计每个网络的各自目标来实现。

    同时，网络间的资源管理策略是相互影响的，某个网络资源管理策略的变动将影响其相邻网络资源管理策略的实施。例如，各网络的代理通过调整各自网络的运营参数来指导用户的接入行为，而该调整是基于邻居网络的状态信息来调整本网络的运营参数的，当某个网络改变自己的运营策略时，相邻网络的代理将据此更新自己的运营参数以实现预先设定的资源管理目标。

    从这里也能看出各网络资源优化的过程实际上也是多网络相互博弈的过程，其最终的结果就是每个网络依据其邻居网络提供的信息都不再能提升自己的目标。

    (2) 灵活的部署
    首先，完成分布式资源管理的各代理还应该有足够的灵活性，使之能够方便地扩展到各异构网络中；其次，代理的加载应该不受具体的无线接入技术的限制；最后，代理的加载不应修改已有网络的硬件，只需要对软件进行适当的升级。

2 基于多代理系统的资源管理架构

2.1 基本实体
    基于多代理系统的联合资源管理体系架构如图1所示，以WCDMA和WLAN网络为例进行说明。其中进行联合资源管理的核心实体是代理，负责将已有的或是未来的无线接入技术融入到多代理资源管理系统中。在多代理系统中，只有当无线接入技术在地理位置上有重叠覆盖的时候才需要部署代理。因此，只有在同一个重叠覆盖范围内的多个代理具有对等关系。

    代理是一个逻辑实体，在实现的时候它可以是一个独立的服务器，也可以是集成到已有的一些管理实体如无线网络控制器(RNC)中。以WCDMA的商用部署为例，一个代理根据地理区域内的业务量可以管辖一个或是多个无线网络子系统(RNS)。在管理的粒度上，代理以小区为最小单位执行宏观的无线资源管理操作。

    为了使代理的部署尽量灵活，在设计多代理系统时应尽量避免对原有网络做较大的修改。然而，代理需要和已有的无线网络进行通信，代理之间也需要交互信息，因此在代理和原有的资源管理协议栈之间增设了Hr接口，代理之间增设了Ha接口。通过这两个新增接口，代理能够收集到其下的无线接入网络的状态信息和其他相邻网络代理的状态信息。因此可以这么说，代理的功能是位于控制平面的。

    在多代理异构无线资源管理体系架构中，代理通过宏观的资源控制来完成异构无线网络间的联合资源管理，这意味着代理并不会在相应无线接入网络中进行诸如功率控制或是分组调度等的细粒度无线资源管理操作，而主要是集中在实现无线接入技术之间的负载均衡、频谱资源调整等方面。

    另外，代理是一个智能实体，它可以主动搜索重叠小区并依据收集到的状态信息决定是否需要触发宏观的无线资源管理。在执行资源管理的情况下，代理需要综合考虑本网络和邻居网络的状态信息。
多代理系统中的每个代理都尝试最大化本网络的既定目标。同时，代理之间的相互合作可以实现异构网络的一些全局目标。在更多的情况下可以达到一种全局次优的结果，即在邻居网络所提供的状态信息的基础上，所有的代理都不能再提高他们各自的目标值。

2.2 新增接口
    多代理架构新增了两个接口，一个是连接代理和其下的具体无线接入技术相关的接入点间的Hr接口，另一个是代理之间的Ha接口。

    Hr接口承载代理和其下的无线接入技术(RAT)之间所需要传输的信息。通过这个接口，代理能够收集无线网络侧相关的信息，包括资源相关的信息和网络性能相关的信息。Ha接口承载代理之间的网间资源调整信息以及各自的代理所代理的无线网络的状态信息。该接口是一个逻辑接口，在实现时两个代理可以通过Internet进行互连。

2.3 工作流程
    多代理系统的基本工作流程如图2所示。以下是流程的简要说明：

    代理基于门限触发或者是基于时间触发从其管理的无线网络收集网络状态信息并和邻居网络交互状态信息(如图2中的步骤1和步骤2)。一旦触发调控，代理可以决定进入调整网络的运行参数阶段(如图2中的步骤3)。

    代理调整本网的网络参数以提高既定的目标值，并将调整后的参数传递给邻居代理(图2中的步骤3和步骤4)。在收到初始代理的调整结果后，邻居代理也会执行类似的调整过程，并将调整后的结果回送给初始的代理。

    这一过程一直持续到所有的代理都不能在依据邻居网络的调整结果来改变自己的目标时结束。在完成调整后，代理将调整结果传送到下面的无线接入网络(图2中的步骤5)。

    当无线网络收到新的参数信息后，无线网络会在其覆盖范围内广播这些新的参数(图2中步骤6)。
用户终端依据广播信息来执行接入行为(图2中步骤7)。同时，代理还应该一直监视无线网络的运行状态并且在必要的情况下重新调整网络状态参数(图2中步骤8)。

    可以看出，该基于多代理系统的联合无线资源管理架构是通过网络调整参数以影响用户的接入行为进而达到资源分配的目的，是一种间接资源管理控制的方法。而已有的集中式联合无线资源管理则是单个集中管理实体负责收集所有的相关信息，然后负责统一计算出资源分配结果并以此来指导用户的接入，是一种直接资源分配的方法。

3 代理功能划分
    为了更好的支持所述的多代理系统的功能以及工作机制流程，同时体现代理的智能控制性，可以将代理划分为3层：观测层、反应层和记忆层，如图3所示。

3.1 观测层
    该层主要负责以下两个功能。一个是收集网络状态信息，包括从所管理的无线网络收集信息和从相邻网络代理收集信息。另一个功能是判断是否需要将所收集的状态信息报告给上层，判断准则可以是基于特定门限或是基于一定的时间周期。为了实现这些功能，在观测层中有两个功能模块，分别是无线观测模块和协作观测模块。

    无线观测模块通过Hr接口从所控制的无线网络收集状态信息并且自动判断是否有必要向上层报告。在无线观测模块内部，上层配置了一组触发门限，例如最大负载、最大时延、最大呼叫阻塞率等。一旦任何一个统计信息超过对应的门限，无线观测模块就会把对应的状态信息报告给上层。除此以外，还有一种是定时上报给上层。这种好处是可以使上层的信息可以得到及时的更新。在另一个传输方向上，无线观测模块还将上层更新的状态信息通过Hr接口传送给下面所管理的无线接入网络。下面的无线接入网路收到更新的状态信息后，会在所在的覆盖区域内进行广播以辅助移动终端进行网络接入选择。

    协作观测模块类似于无线观测模块，也收集状态信息并向上层报告。区别在于协作观测模块通过Ha接口收集邻居网络的状态信息。特别地，协作观测模块必须具有能够发现邻居代理的能力，因为这是收集信息的先决条件。

3.2 反应层
    反应层是代理的核心部分，调整网络的状态参数、设置触发门限以及和记忆层进行交互。
控制模块的第一个任务是调整网络的状态参数。依据从观测层上报来的无线网络状态信息和邻网的状态信息，控制模块调整本网的状态信息以提升自己的既定目标。在这里注意的是本网的代理只能调整本网的状态信息而不能调整邻居网络的状态信息。

    控制模块的第二个任务是设定观测层的触发门限。触发门限和无线环境相关并且随时间的改变而变化。这些触发门限一般存储在记忆层中并且能够由反应层自动的设置。

    控制模块的第三个任务是将调整结果传送给记忆层。对于每个成功的调整结果，控制模块会将该网络此时的状态信息传送到记忆层。但遇到类似的情况时，控制模块可以直接从记忆层获得调控结果而不需要重新依据既定目标来计算调整结果。

3.3 记忆层
    记忆层是代理智能的体现。对于相似的无线网络的状态参数的输入，代理不必每次都启动调控算法来进行宏观的调控，记忆层可以通过将以往的调控策略直接传递到控制模块，控制模块可以利用已有的调控策略来进行宏观调控。这样做法的好处是可以提高调控的速度。
   

4 多代理系统应用领域
    WWRF对于未来无线世界的描绘是“到2017年，7万亿个无线设备将为70亿人提供服务[6]”。面对如此众多的无线设备，由专人进行事无巨细的管理和控制是不现实同时也是低效的。因此，未来异构无线网络资源管理的研究重点是考虑网络控制管理的分布式自主化趋势。这就需要采用基于多代理的网络资源管理架构，使网络能够在需要时根据环境变化自发调整自己的行为，最大程度地自配置、自调整和自优化。

    基于所提出的多代理分布式联合无线资源管理架构，文献[7]设计了一种非合作分布式网络资源分配算法。其中，分布于各异构网络的代理负责监测网络负载情况，以最大化网络收益为目的实时调整网络接入参数，终端用户则通过该参数进行网络选择。通过这种代理对网络负载的宏观控制，一方面终端用户能根据各自的业务偏好选择网络，另一方面网络则能最大化其网络资源使用率同时最大化网络收益。
多代理系统也可被用来进行异构网络中动态频谱资源管理的实施。文献[8]借鉴了博弈理论中的无限期讨价还价理论，以最大化频谱资源使用率为目的，采用多代理结构由各异构网络中的代理通过预测本网内的频谱使用情况做出频谱的租赁决定。通过动态频谱交易机制，网络频谱资源的使用率得到了极大的提升，同时网络收益也有所提高。

    此外，为进一步达到网络资源管理的自主化目标，基于策略的资源管理理念将和基于多代理的资源管理部署方式相结合[9]，共同完成未来异构网络联合资源管理的目标。

5 结束语
    异构网络融合的一个关键挑战是设计与之相匹配的联合无线资源管理架构。本文提出基于多代理结构的分布式联合无线资源管理架构，旨在通过引入代理来融合各种异构的无线接入技术。各代理分布式地收集本网和邻居网络的状态信息并依据收集来的信息调整本网的状态参数。通过代理之间相互交互调控结果，可以使得该宏观的调整结果满足所有网络的需求。最后，通过对未来异构网络资源管理的趋势分析，提出了采用多代理架构的应用领域。

6 参考文献
[1] 3GPP TR 25.881 v5.0.0. Improvement of RRM across RNS and RNS/BSS (Release 5) [S]. 2001.
[2] LUO Jijun, MUKERJEE R, DILLINGER M, et al. Investigation of radio resource scheduling in WLANs coupled with 3G cellular network [J]. IEEE Communications Magazine, 2003, 41(6):108-115.
[3] ALDERSON D, WILLINGE R W. A contrasting look at self-organization in the internet and next-generation communication networks [J]. IEEE Communications Magazine, 2005, 43(7): 94-100.
[4] WOOLDRIDGE M. An introduction to multi agent system [M].New York, NY, USA: John Wiley, 2003.
[5] FENG Z, YU K, JI Y, et al. Multi-access radio resource management using multi-agent system [C]// Proceedings of IEEE Wireless Communications and Networking Conference, Apr 3-6, 2006, Las Vegas, CA, USA. Piscataway, NJ, USA: IEEE, 2006: 63-68.
[6] Wireless World Research Forum (WWRF) Web site [EB/OL]. http:// www.wireless-world-research.org, 2004.
[7] CHEN Jie, YU Kai, ZHANG Ping. Non-cooperative distributed network resource allocation in heterogeneous wireless data networks [C]//Proceedings of IST Mobile Summit, Jun 5-7, 2006, Mykonos, Greece. 2006.
[8] CHEN Jie, ZHANG Ping. Game theoretic framework for autonomic spectrum management in heterogeneous wireless networks [C]//Special Issue of the Whitestein Series in Software Agent Technologies and Autonomic Computing, 2007.
[9] CHEN J, ZHAO Z, QU D, et al. A policy-based approach for reconfiguration management and enforcement in autonomic communication systems [J]. Wireless Personal Communication, 2008, 45(2): 145-161.

收稿日期：2007-11-15

[摘要] 在网络向着高速化、宽带化、泛在化发展的过程中，出现了多种多样的无线通信系统，给网络带来了丰富的异构性。然而异构网络缺少互通机制，缺乏有效的协调，具有系统间的干扰、单一网络业务提供能力有限、频谱资源稀缺等问题，网络资源利用率低下。为使网络资源能够高效使用，联合资源管理必不可少。而传统的集中式资源管理架构不能满足异构网络环境的需求，分布式基于多代理的网络资源管理架构将是未来异构无线网络联合资源管理的主要形式。

[关键词] 多代理系统；分布式联合无线资源管理；异构无线网络

[Abstract] With the development towards high speed, wideband and ubiquity, various wireless access technologies are emerging, which brings heterogeneity to wireless communications systems. However, heterogeneous networks lack interactive mechanisms and effective co-ordination, and have many problems such as the inter-system interference, limited service providing capability and spectrum resource scarcity, which result in the low network resource utilization. To take full advantage of network resources, joint resource management is absolutely necessary. Whereas, under heterogeneous network environment, traditional central resource management architecture can not satisfy the requirements, distributed multi-agent based network resource management architecture will be the main mechanism in the future for joint resource management.

[Keywords] multi-agent system; distributed joint radio resource management; heterogeneous wireless network