粒子群算法
粒子群算法是在1995年由Eberhart博士和Kennedy博士一起提出的，它源于对鸟群捕食行为的研究。它的基本核心是利用群体中的个体对信息的共享从而使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得问题的最优解。设想这么一个场景：一群鸟进行觅食，而远处有一片玉米地，所有的鸟都不知道玉米地到底在哪里，但是它们知道自己当前的位置距离玉米地有多远。那么找到玉米地的最佳策略，也是最简单有效的策略就是搜寻目前距离玉米地最近的鸟群的周围区域。
在PSO中，每个优化问题的解都是搜索空间中的一只鸟，称之为"粒子"，而问题的最优解就对应于鸟群中寻找的"玉米地"。所有的粒子都具有一个位置向量（粒子在解空间的位置）和速度向量（决定下次飞行的方向和速度），并可以根据目标函数来计算当前的所在位置的适应值（fitness value）,可以将其理解为距离"玉米地"的距离。在每次的迭代中，种群中的例子除了根据自身的经验（历史位置）进行学习以外，还可以根据种群中最优粒子的"经验"来学习，从而确定下一次迭代时需要如何调整和改变飞行的方向和速度。就这样逐步迭代，最终整个种群的例子就会逐步趋于最优解。
上面的解释可能还比较抽象，下面通过一个简单的例子来进行说明
在一个湖中有两个人他们之间可以通信，并且可以探测到自己所在位置的最低点。初始位置如上图所示，由于右边比较深，因此左边的人会往右边移动一下小船。
现在左边比较深，因此右边的人会往左边移动一下小船
一直重复该过程，最后两个小船会相遇
得到一个局部的最优解
将每个个体表示为粒子。每个个体在某一时刻的位置表示为，x(t),方向表示为v(t)
p（t）为在t时刻x个体的自己的最优解，g(t)为在t时刻所有个体的最优解，v(t)为个体在t时刻的方向，x(t)为个体在t时刻的位置
下一个位置为上图所示由x,p,g共同决定了
种群中的粒子通过不断地向自身和种群的历史信息进行学习，从而可以找到问题的最优解。
但是，在后续的研究中表表明，上述原始的公式中存在一个问题：公式中V的更新太具有随机性，从而使整个PSO算法的全局优化能力很强，但是局部搜索能力较差。而实际上，我们需要在算法迭代初期PSO有着较强的全局优化能力，而在算法的后期，整个种群应该具有更强的局部搜索能力。所以根据上述的弊端，shi和Eberhart通过引入惯性权重修改了公式，从而提出了PSO的惯性权重模型：
每一个向量的分量表示如下
其中w称为是PSO的惯性权重，它的取值介于【0,1】区间，一般应用中均采用自适应的取值方法，即一开始令w=0.9，使得PSO全局优化能力较强，随着迭代的深入，参数w进行递减，从而使的PSO具有较强的局部优化能力，当迭代结束时，w=0.1。参数c1和c2称为学习因子，一般设置为1,4961；而r1和r2为介于[0,1]之间的随机概率值。
整个粒子群优化算法的算法框架如下：
step1种群初始化，可以进行随机初始化或者根据被优化的问题设计特定的初始化方法，然后计算个体的适应值，从而选择出个体的局部最优位置向量和种群的全局最优位置向量。
step2 迭代设置：设置迭代次数，并令当前迭代次数为1
step3 速度更新：更新每个个体的速度向量
step4 位置更新：更新每个个体的位置向量
step5 局部位置和全局位置向量更新：更新每个个体的局部最优解和种群的全局最优解
step6 终止条件判断：判断迭代次数时都达到最大迭代次数，如果满足，输出全局最优解，否则继续进行迭代，跳转至step 3。
对于粒子群优化算法的运用，主要是对速度和位置向量迭代算子的设计。迭代算子是否有效将决定整个PSO算法性能的优劣，所以如何设计PSO的迭代算子是PSO算法应用的研究重点和难点。
4. 对粒子群优化算法中惯性权重的认识
参数w被称之为是惯性权重，顾名思义w实际反映了粒子过去的运动状态对当前行为的影响，就像是我们物理中提到的惯性。如果w<<1，从前的运动状态很少能影响当前的行为，粒子的速度会很快的改变；相反，w较大，虽然会有很大的搜索空间，但是粒子很难改变其运动方向，很难向较优位置收敛，由于算法速度的因素，在实际运用中很少这样设置。也就是说，较高的w设置促进全局搜索，较低的w设置促进快速的局部搜索。
1 function z = Sphere(x) 2 z = sum(x.^2); 3 end 4 5 6 7 function out = PSO(problem, params) 8 %% Problem Definiton 9 CostFunction = problem.CostFunction; % Cost Function 10 nVar = problem.nVar; % Number of Unknown (Decision) Variables 11 VarSize = [1 nVar]; % Matrix Size of Decision Variables 12 VarMin = problem.VarMin; % Lower Bound of Decision Variables 13 VarMax = problem.VarMax; % Upper Bound of Decision Variables 14 %% Parameters of PSO 15 MaxIt = params.MaxIt; % Maximum Number of Iterations 16 nPop = params.nPop; % Population Size (Swarm Size) 17 w = params.w; % Intertia Coefficient 18 wdamp = params.wdamp; % Damping Ratio of Inertia Coefficient 19 c1 = params.c1; % Personal Acceleration Coefficient 20 c2 = params.c2; % Social Acceleration Coefficient 21 % The Flag for Showing Iteration Information 22 ShowIterInfo = params.ShowIterInfo; 23 MaxVelocity = 0.2*(VarMax-VarMin); 24 MinVelocity = -MaxVelocity; 25 %% Initialization 26 % The Particle Template 27 empty_particle.Position = []; 28 empty_particle.Velocity = []; 29 empty_particle.Cost = []; 30 empty_particle.Best.Position = []; 31 empty_particle.Best.Cost = []; 32 % Create Population Array 33 particle = repmat(empty_particle, nPop, 1); 34 % Initialize Global Best 35 GlobalBest.Cost = inf; 36 % Initialize Population Members 37 for i=1:nPop 38 % Generate Random Solution 39 particle(i).Position = unifrnd(VarMin, VarMax, VarSize); 40 % Initialize Velocity 41 particle(i).Velocity = zeros(VarSize); 42 % Evaluation 43 particle(i).Cost = CostFunction(particle(i).Position); 44 % Update the Personal Best 45 particle(i).Best.Position = particle(i).Position; 46 particle(i).Best.Cost = particle(i).Cost; 47 % Update Global Best 48 if particle(i).Best.Cost < GlobalBest.Cost 49 GlobalBest = particle(i).Best; 50 end 51 end 52 % Array to Hold Best Cost Value on Each Iteration 53 BestCosts = zeros(MaxIt, 1); 54 %% Main Loop of PSO 55 for it=1:MaxIt 56 for i=1:nPop 57 % Update Velocity 58 particle(i).Velocity = w*particle(i).Velocity ... 59 + c1*rand(VarSize).*(particle(i).Best.Position - particle(i).Position) ... 60 + c2*rand(VarSize).*(GlobalBest.Position - particle(i).Position); 61 % Apply Velocity Limits 62 particle(i).Velocity = max(particle(i).Velocity, MinVelocity); 63 particle(i).Velocity = min(particle(i).Velocity, MaxVelocity); 64 65 % Update Position 66 particle(i).Position = particle(i).Position + particle(i).Velocity; 67 % Apply Lower and Upper Bound Limits 68 particle(i).Position = max(particle(i).Position, VarMin); 69 particle(i).Position = min(particle(i).Position, VarMax); 70 % Evaluation 71 particle(i).Cost = CostFunction(particle(i).Position); 72 % Update Personal Best 73 if particle(i).Cost < particle(i).Best.Cost 74 particle(i).Best.Position = particle(i).Position; 75 particle(i).Best.Cost = particle(i).Cost; 76 % Update Global Best 77 if particle(i).Best.Cost < GlobalBest.Cost 78 GlobalBest = particle(i).Best; 79 end 80 end 81 end 82 % Store the Best Cost Value 83 BestCosts(it) = GlobalBest.Cost; 84 % Display Iteration Information 85 if ShowIterInfo 86 disp(['Iteration ' num2str(it) ': Best Cost = ' num2str(BestCosts(it))]); 87 end 88 % Damping Inertia Coefficient 89 w = w * wdamp; 90 end 91 92 out.pop = particle; 93 out.BestSol = GlobalBest; 94 out.BestCosts = BestCosts; 95 96 end 97 98 99 %% Problem Definiton 100 problem.CostFunction = @(x) Sphere(x); % Cost Function 101 problem.nVar = 5; % Number of Unknown (Decision) Variables 102 problem.VarMin = -10; % Lower Bound of Decision Variables 103 problem.VarMax = 10; % Upper Bound of Decision Variables 104 105 %% Parameters of PSO 106 params.MaxIt = 1000; % Maximum Number of Iterations 107 params.nPop = 50; % Population Size (Swarm Size) 108 params.w = 1; % Intertia Coefficient 109 params.wdamp = 0.99; % Damping Ratio of Inertia Coefficient 110 params.c1 = 2; % Personal Acceleration Coefficient 111 params.c2 = 2; % Social Acceleration Coefficient 112 params.ShowIterInfo = true; % Flag for Showing Iteration Informatin 113 114 %% Calling PSO 115 out = PSO(problem, params); 116 117 BestSol = out.BestSol; 118 BestCosts = out.BestCosts; 119 120 %% Results 121 figure; 122 % plot(BestCosts, 'LineWidth', 2); 123 semilogy(BestCosts, 'LineWidth', 2); 124 xlabel('Iteration'); 125 ylabel('Best Cost'); 126 grid on;
粒子群优化
引入收敛因子，不要惯性权重
Clerc引入收敛因子（contriction factor）保证收敛性
与使用惯性权重的PSO算法相比，使用收敛因子的PSO有更快的收敛速度。其实只要恰当的选取,两种算法是一样的。因此使用收敛因子的PSO可以看作使用惯性权重PSO的特例。恰当的选取算法的参数值可以改善算法的性能。
