ハードマージンとは？ わかりやすく解説

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/05 23:41 UTC 版)

「サポートベクターマシン」の記事における「ハードマージン」の解説

学習データが線形分離可能であるとき、なるべくその距離が大きくなるように、2つのクラスのデータを分離するような、2つの平行な超平面を選択することができる。2つの超平面の間はマージン、2つの超平面の中間に位置する超平面は最大マージン超平面と呼ばれる。 正規化ないし標準化されたデータセットでは、これらの超平面は次の式で表される。 w T x − b = 1 {\displaystyle \mathbf {w} ^{T}\mathbf {x} -b=1} （この境界以上の点は、全てラベル1） と w T x − b = − 1 {\displaystyle \mathbf {w} ^{T}\mathbf {x} -b=-1} （この境界以下の点は、全てラベル−1） この2つの超平面の間の距離は、幾何学的には、点と平面の距離（英語版）の公式を用いて、 2 ‖ w ‖ {\displaystyle {\tfrac {2}{\|\mathbf {w} \|}}} となる。だから、超平面の間の距離を最大化するためには、 ‖ w ‖ {\displaystyle \|\mathbf {w} \|} を最小化したい。 点がマージンに入らず、正しい側にいるための制約条件は、全ての i {\displaystyle i} に対し、以下の式が成立することである。 { w T x i − b ≥ 1 if y i = 1 w T x i − b ≤ − 1 if y i = − 1 {\displaystyle {\begin{cases}\mathbf {w} ^{T}\mathbf {x} _{i}-b\geq 1&{\text{if}}\quad y_{i}=1\\\mathbf {w} ^{T}\mathbf {x} _{i}-b\leq -1&{\text{if}}\quad y_{i}=-1\end{cases}}} つまり、全て i {\displaystyle i} に対し、次のようになる。 y i ( w T x i − b ) ≥ 1 ⋯ ⋯ ( 1 ) {\displaystyle y_{i}(\mathbf {w} ^{T}\mathbf {x} _{i}-b)\geq 1\qquad \cdots \cdots \,(1)} 以上をまとめると、次の最適化問題が得られる。 "Minimize ‖ w ‖ {\displaystyle \|\mathbf {w} \|} subject to y i ( w T x i − b ) ≥ 1 {\displaystyle y_{i}(\mathbf {w} ^{T}\mathbf {x} _{i}-b)\geq 1} for i = 1 , … , n {\displaystyle i=1,\ldots ,n} ." これを解いて得られる w {\displaystyle \mathbf {w} } と b {\displaystyle b} を用いて、分類器 x ↦ sgn ⁡ ( w T x − b ) {\displaystyle \mathbf {x} \mapsto \operatorname {sgn}(\mathbf {w} ^{T}\mathbf {x} -b)} を決定することができる。ここで、 sgn ⁡ ( ⋅ ) {\displaystyle \operatorname {sgn}(\cdot )} は符号関数である。 この幾何学的記述から、最大マージン超平面は、それと最も近い位置にある x i {\displaystyle \mathbf {x} _{i}} によって定まるという重要な帰結が得られる。 x i {\displaystyle \mathbf {x} _{i}} をサポートベクターと呼ぶ。

※この「ハードマージン」の解説は、「サポートベクターマシン」の解説の一部です。
「ハードマージン」を含む「サポートベクターマシン」の記事については、「サポートベクターマシン」の概要を参照ください。