(12)发明专利申请
(10)申请公布号 CN 112330043 A(43)申请公布日 2021.02.05
(21)申请号 202011284240.0(22)申请日 2020.11.17
(71)申请人 山东师范大学
地址 250014 山东省济南市历下区文化东
路88号(72)发明人 刘弘 赵缘 李信金 孟祥栋 (74)专利代理机构 济南圣达知识产权代理有限
公司 37221
代理人 李琳(51)Int.Cl.
G06Q 10/04(2012.01)G06Q 50/26(2012.01)G06N 3/00(2006.01)
权利要求书2页 说明书10页 附图4页
(54)发明名称
一种结合Q-learning与多蜂群算法的疏散路径规划方法及系统(57)摘要
本发明公开了一种结合Q‑learning与多蜂群算法的疏散路径规划方法及系统，包括：对构建的疏散场景模型初始化疏散人群和疏散出口；采用多蜂群算法进行宏观路径规划，结合微观人群运动指导驱动个体到达疏散出口，直至疏散出口的疏散人数等于总人数，疏散过程结束。将原始单一种群划分为多个子种群，引入多种搜索策略构建搜索策略池，结合Q表对搜索策略进行反馈调节，构建搜索策略的自适应选择机制，实现全局范围的搜索；通过不断缩小跟随蜂的邻域的范围，使其在顶部E个优秀解的指导下进行搜索，提高更新成功率；自适应调整侦查蜂的搜索方向向着更有希望更新成功的一侧进行，避免搜索的盲目性，结合社会力模型产生无碰撞的人群运动，提高疏散效率。
CN 112330043 ACN 112330043 A
权 利 要 求 书
1/2页
1.一种结合Q-learning与多蜂群算法的疏散路径规划方法，其特征在于，包括：对构建的疏散场景模型初始化疏散人群和疏散出口；采用多蜂群算法进行宏观路径规划，结合微观人群运动指导驱动个体到达疏散出口，直至疏散出口的疏散人数等于总人数，疏散过程结束；
所述多蜂群算法包括将疏散人群分为多个群组，根据群组内个体所在位置与疏散出口的距离和疏散出口的拥挤度计算适应度，根据适应度值和Q表中待选择搜索策略的质量值确定搜索策略，以此确定下一位置，群组中跟随者可选择的领导者范围为群组中适应度值最好的E个领导者，且领导者转化为侦察者后，采用改进的侦查者搜索策略得到新位置。
2.如权利要求1所述的一种结合Q-learning与多蜂群算法的疏散路径规划方法，其特征在于，所述将疏散人群分为多个群组包括：
以第一个个体作为第一个中心点，选择与第一个中心点最远的个体作为第二个中心点，以同样方法依次确定其他中心点，直至无新的中心点；
将其余个体按最小距离原则归入最近的中心点；计算群组中每个个体的适应度值，对适应度值进行排序后选择领导者，其余作为跟随者。
3.如权利要求1所述的一种结合Q-learning与多蜂群算法的疏散路径规划方法，其特征在于，确定下一位置后，根据新位置的适应度值和Q表中待选择搜索策略的质量值重新确定搜索策略并更新位置。
4.如权利要求1所述的一种结合Q-learning与多蜂群算法的疏散路径规划方法，其特征在于，在构建的搜索策略池中匹配待选择搜索策略，所述搜索策略池包括：
根据个体当前位置和在当前群组内随机选择的一个邻居个体位置得到新位置；以领导者当前位置为搜索起点，在两个随机选择的群组内的邻居个体位置的指导下更新位置；
以群组内随机选择的一个邻居个体位置为搜索起点，根据群组内随机选择的两个邻居个体位置和最优个体位置得到新位置；
以最优个体位置为搜索起点，根据群组内随机选择的两个邻居个体位置得到新位置。5.如权利要求1所述的一种结合Q-learning与多蜂群算法的疏散路径规划方法，其特征在于，群组内跟随者选择与跟随的领导者相同的搜索策略，所述跟随者随着疏散过程的进行，缩小可选择的领导者范围为群组中适应度值最好的E个领导者；E的计算方式如下：
其中，NP为群组内领导者个数，iter为当前迭代次数，随着迭代的进行，E的范围不断减小。
6.如权利要求1所述的一种结合Q-learning与多蜂群算法的疏散路径规划方法，其特征在于，所述改进的侦查者搜索策略为自适应调整侦查者的搜索方向，向适应度值更好的一方移动。
7.如权利要求1所述的一种结合Q-learning与多蜂群算法的疏散路径规划方法，其特
2
CN 112330043 A
权 利 要 求 书
2/2页
征在于，采用社会力模型进行微观人群运动指导，根据个体期望力、障碍物对个体的排斥力以及个体间的相互作用力，驱动个体到达下一位置，直至个体到达疏散出口。
8.一种结合Q-learning与多蜂群算法的疏散路径规划系统，其特征在于，包括：模型初始化模块，用于对构建的疏散场景模型初始化疏散人群和疏散出口；疏散仿真模块，用于采用多蜂群算法进行宏观路径规划，结合微观人群运动指导驱动个体到达疏散出口，直至疏散出口的疏散人数等于总人数，疏散过程结束；
路径规划模块，用于多蜂群算法将疏散人群分为多个群组，根据群组内个体所在位置与疏散出口的距离和疏散出口的拥挤度计算适应度，根据适应度值和Q表中待选择搜索策略的质量值确定搜索策略，以此确定下一位置，群组中跟随者可选择的领导者范围为群组中适应度值最好的E个领导者，且领导者转化为侦察者后，采用改进的侦查者搜索策略得到新位置。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
3
CN 112330043 A
说 明 书
1/10页
一种结合Q-learning与多蜂群算法的疏散路径规划方法及
系统
技术领域
[0001]本发明涉及人群疏散路径规划技术领域，特别是涉及一种结合Q-learning与多蜂群算法的疏散路径规划方法及系统。
背景技术
[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
[0003]随着社会的发展，各大旅游景点、影院和超市等室内场所常常会发生人群聚集现象，存在安全隐患。在人群密集环境中，危险事故一旦发生，行人在慌乱的情况下避开危险源，寻找安全出口，但是疏散的无序性不仅会降低疏散效率，而且可能会造成碰撞、踩踏事故，对疏散人员形成二次伤害。因此，在人群密集场所如何有效地指导人群疏散，提高疏散速度，同时降低危险的发生率，成为一个热点问题。人群疏散中，人们往往处于慌乱和盲目状态，通常情况下不知道最有利于疏散的出口，也不知道到达这个出口的最合适的路径。因此人群疏散需要路径规划的指导。[0004]人工蜂群算法(Artificial Bee Colony algorithm,ABC)作为一种群体智能算法，因为其解决优化问题的优秀能力以及人工蜂群表现出的自组织性、自学习性与人群类似，因此被应用于人群疏散中路径规划中，表现出比较好的效果。人工蜂群算法是一种受蜜蜂觅食行为启发而得到的智能优化算法。一个蜂群内部分为雇佣蜂、跟随蜂、侦查蜂三种蜜蜂，雇佣蜂偏好于探索、跟随蜂偏好于开发，侦查蜂负责在全局范围内寻找新的位置，模仿蜜蜂的觅食行为进行搜索寻优。由于其概念简单，易于实现，人工蜂群算法已被成功地用于路径规划、影像分类、图像分割等应用领域的相关问题；[0005]然而，发明人发现，目前将人工蜂群算法应用于人群疏散仿真还存在一些不足，即，对人群疏散路径规划时对路径搜索的盲目性问题，对于不同状态的个体，无法满足匹配不同的路径搜索需要的问题以及算法在路径规划计算时的收敛速度慢的问题，不利于高效有序的整体疏散人群，以及不利于真实地再现现实生活中的人群疏散状态。发明内容
[0006]为了解决上述问题，本发明提出了一种结合Q-learning与多蜂群算法的疏散路径规划方法及系统，将原始单一种群划分为多个子种群，通过引入多种搜索策略构建搜索策略池，结合Q表对搜索策略进行反馈调节，构建搜索策略的自适应选择机制，实现全局范围的搜索；通过不断缩小跟随蜂的邻域的范围，使其在顶部E个优秀解的指导下进行搜索，提高更新成功率；通过自适应调整侦查蜂的搜索方向向着更有希望更新成功的一侧进行，避免搜索的盲目性；结合社会力模型的微观人群运动指导，产生无碰撞的人群运动，提高疏散效率，缩短疏散时间。
[0007]为了实现上述目的，本发明采用如下技术方案：
4
CN 112330043 A[0008]
说 明 书
2/10页
第一方面，本发明提供一种结合Q-learning与多蜂群算法的疏散路径规划方法，
包括：
对构建的疏散场景模型初始化疏散人群和疏散出口；
[0010]采用多蜂群算法进行宏观路径规划，结合微观人群运动指导驱动个体到达疏散出口，直至疏散出口的疏散人数等于总人数，疏散过程结束；[0011]所述多蜂群算法包括将疏散人群分为多个群组，根据群组内个体所在位置与疏散出口的距离和疏散出口的拥挤度计算适应度，根据适应度值和Q表中待选择搜索策略的质量值确定搜索策略，以此确定下一位置，群组中跟随者可选择的领导者范围为群组中适应度值最好的E个领导者，且领导者转化为侦察者后，采用改进的侦查者搜索策略得到新位置。
[0012]第二方面，本发明提供一种结合Q-learning与多蜂群算法的疏散路径规划系统，包括：
[0013]模型初始化模块，用于对构建的疏散场景模型初始化疏散人群和疏散出口；[0014]疏散仿真模块，用于采用多蜂群算法进行宏观路径规划，结合微观人群运动指导驱动个体到达疏散出口，直至疏散出口的疏散人数等于总人数，疏散过程结束；[0015]路径规划模块，用于多蜂群算法将疏散人群分为多个群组，根据群组内个体所在位置与疏散出口的距离和疏散出口的拥挤度计算适应度，根据适应度值和Q表中待选择搜索策略的质量值确定搜索策略，以此确定下一位置，群组中跟随者可选择的领导者范围为群组中适应度值最好的E个领导者，且领导者转化为侦察者后，采用改进的侦查者搜索策略得到新位置。
[0016]第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
[0017]第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。[0018]与现有技术相比，本发明的有益效果为：[0019]本发明针对人工蜂群算法存在收敛速度慢，搜索存在盲目性等问题，提出一种改进的多蜂群算法(Multi-population Artificial Bee Colony algorithm combined with Q-learning,MABCQ)，将原始单一种群划分为多个子种群，多个子种群并行搜索，加快搜索速度；通过引入多种搜索策略构建搜索策略池，结合Q-learning中的Q表采用自适应的方式建立搜索策略，为处于不同位置的个体自适应地选择搜索方案，满足不同阶段个体的搜索要求，实现全局范围的充分搜索。
[0020]本发明不断缩小跟随蜂的邻域的范围，使其在顶部E个优秀解的指导下进行搜索，通过对跟随蜂邻域范围的改进和对侦查蜂搜索方程的改进，提高更新的成功率，避免盲目的搜索，有效提高人工蜂群算法的性能。
[0021]本发明通过自适应调整侦查蜂的搜索方向向着更有希望更新成功的一侧进行，避免搜索的盲目性。
[0022]本发明将改进的多蜂群MABCQ算法应用于人群疏散路径规划，确定行人的下一个位置，利用社会力模型的微观人群运动指导驱动行人运动，模拟不同场景中人群的疏散，真
5
[0009]
CN 112330043 A
说 明 书
3/10页
实直观地再现疏散场景，提高人群疏散的效率，缩短疏散时间，对人群疏散路径规划方案的制定具有一定指导意义。
[0023]本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明
[0024]构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0025]图1为本发明实施例1提供的结合Q-learning与多蜂群算法的疏散路径规划方法流程图；
[0026]图2(a)-2(b)为本发明实施例1提供的两种疏散场景示意图；[0027]图3为本发明实施例1提供的Q表结构示意图；
[0028]图4(a)-4(c)为本发明实施例1提供的在三个门的场景中疏散各阶段示意图；[0029]图5(a)-5(c)为本发明实施例1提供的在有障碍物场景中疏散各阶段示意图。具体实施方式：
[0030]下面结合附图与实施例对本发明做进一步说明。[0031]应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0032]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。[0033]在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。[0034]实施例1
[0035]如图1所示，本实施例提供一种结合Q-learning与多蜂群算法的疏散路径规划方法，包括：[0036]S1：对构建的疏散场景模型初始化疏散人群和疏散出口；[0037]S2：采用多蜂群算法进行宏观路径规划，结合微观人群运动指导驱动个体到达疏散出口，直至疏散出口的疏散人数等于总人数，疏散过程结束；[0038]所述多蜂群算法包括将疏散人群分为多个群组，根据群组内个体所在位置与疏散出口的距离和疏散出口的拥挤度计算适应度，根据适应度值和Q表中待选择搜索策略的质量值确定搜索策略，以此确定下一位置，群组中跟随者可选择的领导者范围为群组中适应度值最好的E个领导者，且领导者转化为侦察者后，采用改进的侦查者搜索策略得到新位置。
[0039]所述步骤S1中，本实施例获取真实疏散场景参数和人群参数构建疏散场景模型，
6
CN 112330043 A
说 明 书
4/10页
如图2(a)-2(b)所示，本实施例采用三个门的无障碍疏散场景和两个门的有障碍疏散场景，且在初始化的疏散场景模型的每一个疏散出口处设置计数器，用于统计每个疏散出口疏散的人群个体数，判断疏散出口的拥挤度。
[0040]路径规划是人群疏散中极为重要的一部分，需根据行人所处的位置和环境为行人制定出适合通过的路线。疏散的场景往往比较复杂，有各种动态和静态因素的影响，人工蜂群算法ABC是路径规划的一种有效方法，能考虑疏散场景中障碍物、拥堵等情况，供行人做出及时的路线选择，虽然ABC算法已经表现出良好的搜索性能，但也存在收敛速度慢，搜索具有盲目性等问题。
[0041]针对以上缺点，本实施例提出一种多蜂群算法MABCQ，基于MABCQ算法为行人进行路径规划，确定行人的下一个位置；具体包括：[0042]S2-1-1：根据个体的位置将疏散人群划分为多个群组，保证每个群组内个体数目相近，并选择群组领导者；[0043]具体地：将原始ABC算法中的单一种群划分为多个子种群，每个子种群在其内部完成个体角色的转换，实现并行搜索。子种群的划分方式以欧氏距离为基础采用最大最小距离法；[0044](1)以第一个个体作为第1个中心点，选择一个与第1个中心点最远的个体作为第2个中心点，以同样方法依次确定其他的中心点，直到无新的中心点产生，最后将其余个体按最小距离原则归入最近的中心点；[0045]执行归类的伪代码为：
[0046]
7
CN 112330043 A
说 明 书
5/10页
[0047]
(2)划分群组后，计算群组中每个个体的适应度值，选取适应度值较高的前一半个
体作为领导者，其余作为跟随者；
[0049]适应度值fitness的计算方式为：[0050]fitness＝1/(α·distance+β·crowd) (1)[0051]其中，distance为个体位置到所选疏散出口的距离，crowd为疏散出口的拥挤度，α，β为权重因子。[0052]S2-1-2：根据四种不同的搜索策略构建搜索策略池，增加搜索的多样性，同时结合Q-learning的Q表，对搜索策略的优劣进行反馈调节，构建搜索策略的自适应选择机制，以选择的最优搜索策略完成位置的更新；[0053]具体地：本实施例采用Q表设计搜索策略选择机制，如图3所示，Q表的行和列分别代表领导者的适应度等级和可选择的搜索策略；借助Q学习中“以状态选择动作，以动作产生的结果反作用于状态”的过程，对搜索策略不断强化，从而得到不同适应度等级的个体最适合的搜索策略，以满足不同个体的不同搜索需求；具体步骤为：[0054](1)对每个群组中始化一个n行t列的Q表，其中，n为群组中领导者的个数，t是搜索策略的个数；[0055](2)根据领导者当前位置计算其适应度值，将领导者按照适应度值从大到小进行排序，并对应于Q表的每一行，得到处于状态Sr的个体，即位于第r行的个体，有t个搜索策略可以选择；[0056](3)每个搜索策略l被选择的概率与搜索策略的质量函数Q值Q(Sr,al)相关，如下式(2)，搜索策略的Q值越高，表示被选择的概率越大；
[0057]
[0048]
(4)根据所选择的搜索策略更新位置，并在新位置和旧位置之间保留较好的一个，同时根据更新的位置再次计算Q值：[0059]Q(st,at)＝Q(st,at)+α·[Rt+γmaxQ(st+1,a)-Q(st,at)] (3)[0060]其中，Q(st,at)代表Q值，α为学习率，γ为奖励性系数，R为回报值，maxQ(st+1,a)是下一个状态St+1中最大的Q值；回报值R为：[0061]R＝fitnessnew-fitnessold (4)[0062]其中，fitnessnew与fitnessold分别为新位置的适应度与旧位置的适应度。[0063](5)跟随者选择与自己跟随的领导者一致的搜索策略，依次确定下一位置；[0064](6)每一次迭代后，所有领导者在群组内按照新位置的适应度值大小重新排序，每个领导者获得新的排序状态，在下一次迭代中每个个体按照新的状态行中Q值选择搜索策
8
[0058]
CN 112330043 A
说 明 书
6/10页
略并更新位置。
[0065]在本实施例中，除原始的搜索策略外，还增加三类搜索方法以构建搜索策略池，具体包括：[0066](1)ABC原始搜索策略，如式(5)所示，该策略采用当前个体位置和在当前群组内随机选择的一个邻居个体位置得到新位置；
[0067][0068]
其中，xi,j是当前个体位置，xk,j是当前群组内随机选择的一个邻居个体位置，vi,j(2)采用式(6)作为领导者的更新策略，该策略以当前位置xi,j为搜索起点，在两个
是更新得到的新位置，是一个随机数，且
[0069]
随机选择的群组内的邻居个体位置xk1,j、xk2,j的指导下更新位置vi,j，两个随机数φ和的范围分别是φ∈[-1,1]，
[0070][0071]
跟随者的搜索方程如式(7)所示，通过增加全局最优个体位置引导部分改进邻域
搜索方程：
[0072][0073]
其中，vi,j是搜索得到的新位置，xi,j是当前位置，xbest,j是全局最优位置，xk1,j是随(3)领导者采用式(8)更新位置：
机选择的群组内的邻居个体位置，随机数的范围是φ∈[-1,1]，
[0074][0075][0076]
其中，vi,j是搜索得到的新位置，xk,j、xk2,j是在群组内随机选择的邻居个体位置，对应的跟随者的搜索策略为：
xbest,j是全局最优个体位置，随机数
[0077][0078][0079]
其中，vi,j是搜索得到的新位置，xi,j是当前位置，xk2,j是在群组内随机选择的邻居
个体位置，xbest,j是全局最优个体位置，随机数
[0080]
(4)领导者在群组内随机选择两个邻居，以最优的个体作为搜索的起点，改进邻域
搜索公式，如式(10)所示，候选解产生在当前最优个体附近，具有很强的开发能力，在全局最优个体的引导下，加速收敛速度；
[0081][0082]
其中，vi,j是搜索得到的新位置，xbest,j是全局最优个体位置，xk,j、xk2,j是在群组内相应地，跟随者的搜索策略为：
随机选择的邻居个体位置，随机数
[0083][0084][0085]
其中，vi,j是搜索得到的新位置，xi,j是当前位置，xbest,j是全局最优个体位置，xk,j
9
CN 112330043 A
说 明 书
7/10页
是在群组内随机选择的邻居个体位置，随机数
本实施例通过引入Q表设计搜索策略的选择机制，综合考虑搜索策略对当前个体位置适应度提高的作用和搜索策略在以往的搜索中的表现情况，对搜索策略的优劣进行比较充分的评价和衡量，得到的反馈值能客观地评价搜索策略的优劣，从而能帮助后续的个体更好地选择搜索策略；同时，每次迭代后更新领导者的等级状态，个体根据该状态的反馈值选择搜索策略，满足个体处于不同状态时的搜索需要。[0087]S2-1-3：对于组内的跟随者，随着疏散的进行，逐渐缩小可选择的领导者的范围为顶部的E个领导者，提高位置更新的成功率。[0088]在原始ABC中，跟随者在所选择的领导者附近进一步搜索，同时在全局范围内选择一个邻居指导更新，但是这些邻居的质量是良莠不齐的，以往的研究表明，在优秀的邻居附近搜索可能会得到更好的位置；[0089]故，所述步骤S2-1-3中，本实施例限定跟随者所选择的邻居个体范围为适应度排序中顶部的E个；E的计算方式如下：
[0086]
[0090]
其中，NP为组内领导者个数，iter为当前迭代次数；随着迭代的进行，E的范围不断减小，搜索的区域集中到几个优秀领导者周围，对领导者附近进行充分的搜索，提高更新的成功率。
[0092]S2-1-4：当群组内的领导者不能有效领导其余个体时，将领导者转化为侦察者，采用改进的搜索方程重新寻找优秀位置。[0093]在原始ABC中，领导者放弃不好的位置后变为侦查者，按照公式(5)在全局范围内搜索新位置，但是这种搜索是随机的，具有一定的盲目性；[0094]故，所述步骤S2-1-4中，本实施例改进侦查者的搜索策略，在上限和下限之间，使其自适应地调整搜索方向，向适应度更好的一方移动，从而更有可能更新到好的位置，避免不必要的搜索和搜索的盲目性；改进的侦查者的搜索策略为：
[0095]
[0091]
其中，vi,j是搜索得到的新位置，lj和uj分别为第j维的上限和下限，fitnessl和fitnessj分别代表适应度；新的搜索策略确保侦查蜂的更新朝着更有希望的方向进行，从而更有可能适应度好的位置。[0097]在所述步骤S2中，还通过结合微观人群运动指导驱动个体到达疏散出口，采用社会力模型模拟个体运动，避免个体间的碰撞，驱动个体到达路径规划确定的下一位置，直至到达疏散出口；[0098]具体地：在社会力模型中，质量为mi的个体i改变自己的速度：
[0099]
[0096]
10
CN 112330043 A[0100]
说 明 书
8/10页
其中，是个体的实际行走速度，速度的方向由一个向量给出，向量从个体i当
由个体对目标的期望力
和相互作用力
两部分组成。
前的位置指向下一个位置，力
[0101]
疏散场景中的个体都有一个目标地点，因此都有相应的期望方向，该方向由一个
向量给出，从个体i当前的位置指向目标位置；在个体主观期望的驱动下，个体倾向于以期望速度vwi(t)向目标地点行走，由于疏散中人群的相互作用因素，个体的实际运动速度会与期望速度有所差距；故，[0102]S2-2-1：个体的期望力表述为：
[0103][0104][0105]
其中，是个体的实际行走速度，τi是反应时间，和个体之间的相互作用力
是个体的期望方向。
S2-2-2：相互作用力避免个体在运动中与墙壁或者其他物体碰撞，包括障碍物与
个体的作用力
[0106]
个体之间的相互作用力表现为引力或者斥力，个体如果与其他个体靠的过近，个体间的相互作用力为斥力，以此保证自身空间需求；而当个体间距离较大时，个体之间的作用力变为引力；如图4(a)-4(c)所示给出三个门的无障碍场景中疏散各阶段示意图；[0108]个体之间的相互作用力公式为：
[0109][0110]
[0107]
其中，是个体α与个体β间的相互作用力，与是作用力的强度，与为
作用力的影响范围，rα-dα是个体之间的距离，ββ
[0111]
是从β指向α的单位向量，fα为状态因子。β
S2-2-3：个体在行走过程中，为保证自身的安全与舒适，会与障碍物保持一定的距
离，因此个体会受到障碍物的一个作用力，如图5(a)-5(c)所示给出有障碍物场景中疏散各阶段示意图；
[0112]该作用力表示为：
[0113][0114]
其中，是障碍物对个体α的作用力，AαB是障碍物对个体α的作用力强度，BαB是障
碍物作用力的影响范围，rα-dαB是个体到障碍物的距离，是由边界指向α的单位向量。综上，在期望力、障碍物对个体的排斥力以及个体间的相互作用力的基础上，指导
个体运行，避免碰撞并向目标点移动，展现出“快即是慢”、“出口成拱”等运动现象。[0116]本实施例采用社会力模型模拟个体运动，社会力模型是用个人动机和环境约束描述个体运动动力学模型。由Helbing等人受“行为变化是由社会领域的社会力量引导的”启发提出，将影响个体运动的主要因素归结为：个体到达某个目的地的期望力，这种力使个体倾向于选择一条尽可能近的路；个体与陌生个体和墙之间的排斥力，这种力使个体间保持
11
[0115]
CN 112330043 A
说 明 书
9/10页
一定的安全距离；个体受到朋友间的吸引力以及位于不同视角的事物产生的影响。尽管所提的社会力模型的概念简单，但却有效地模拟许多观察到的现象，再现个体的自组织行为。[0117]实施例2
[0118]本实施例提供一种结合Q-learning与多蜂群算法的疏散路径规划系统，包括：[0119]模型初始化模块，用于对构建的疏散场景模型初始化疏散人群和疏散出口；[0120]疏散仿真模块，用于采用多蜂群算法进行宏观路径规划，结合微观人群运动指导驱动个体到达疏散出口，直至疏散出口的疏散人数等于总人数，疏散过程结束；[0121]路径规划模块，用于多蜂群算法将疏散人群分为多个群组，根据群组内个体所在位置与疏散出口的距离和疏散出口的拥挤度计算适应度，根据适应度值和Q表中待选择搜索策略的质量值确定搜索策略，以此确定下一位置，群组中跟随者可选择的领导者范围为群组中适应度值最好的E个领导者，且领导者转化为侦察者后，采用改进的侦查者搜索策略得到新位置。
[0122]此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。[0123]在更多实施例中，还提供：[0124]一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
[0125]应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0126]存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。[0127]一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
[0128]实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0129]本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0130]以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、
12
CN 112330043 A
说 明 书
10/10页
等同替换、改进等，均应包含在本发明的保护范围之内。
[0131]上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
13
CN 112330043 A
说 明 书 附 图
1/4页
图1
14
CN 112330043 A
说 明 书 附 图
2/4页
图2(a)
图2(b)
图3
15
CN 112330043 A
说 明 书 附 图
3/4页
图4(a)
图4(b)
图4(c)
图5(a)
16
CN 112330043 A
说 明 书 附 图
4/4页
图5(b)
图5(c)
17
因篇幅问题不能全部显示，请点此查看更多更全内容