グラフィカルモデル

一般に確率的グラフィカルモデルは、多次元空間上の分布を符号化するための基盤として、特定の分布で成立する独立性の集合をコンパクトまたは因数分解して表現したグラフを用います。 分布のグラフ表現には、ベイジアンネットワークとマルコフ確率場の2つの枝がよく使われる。 両者とも因数分解と独立性の特性を包含しているが、符号化できる独立性の集合や誘導する分布の因数分解が異なる。

Bayesian networkEdit

モデルのネットワーク構造が有向無サイクルグラフである場合、モデルはすべての確率変数の結合確率の因数分解を表す。 より正確には、事象がX 1 , … , X n {displaystyle X_{1},\ldots ,X_{n}} である場合。

ならば結合確率は P = ∏ i = 1 n P {displaystyle P=THERE PROD _{i=1}^{n}P} を満たしていることになる。

where pa ( X i ) {}displaystyle {}text{pa}}(X_{i})} }.

is set of parents of node X i {displaystyle X_{i}}…

(Xiに向かう辺を持つノード {displaystyle X_{i}})

) とする。 つまり、共同分布は条件付き分布の積に因数分解される。 例えば、上図のグラフモデル（実際には有向無サイクルグラフではなく、祖形グラフ）は、確率変数A , B , C , D {displaystyle A,B,C,D} から構成される。

の結合確率密度は P = P ⋅ P ⋅ P {displaystyle P=Pttpdot Pttpdot P} として因子化される。

Any two nodes are conditionally independent given of their parents. 一般に、グラフにおいてd-separationと呼ばれる基準が成立すれば、ノードの任意の2つの集合は第3の集合を与えられると条件付きで独立となる。 ベイジアンネットワークでは、局所独立と大域独立が等価である。

この種のグラフモデルは、有向グラフモデル、ベイジアンネットワーク、または信念ネットワークとして知られている。 隠れマルコフモデル、ニューラルネットワークなどの古典的な機械学習モデルや、可変長マルコフモデルなどの新しいモデルは、ベイジアンネットワークの特殊なケースと考えることができる。

その他のタイプ編集

• Naive Bayes分類器（単一のルートを持つ木を使用）
• 依存関係ネットワーク（サイクルが許可される）
• Tree-augmented classifier or TAN model
• factor graphとは変数と要因を結んだ無向2分割のグラフのことで、このグラフは「因子グラフ」と呼ばれる。 各因子は接続された変数に対する関数を表す。
• A clique tree or junction tree is a tree of cliques, used in the junction tree algorithm.
• A chain graph is a graph that may have both directed and undirected edges, but without any directed cycles （すなわち、任意の頂点からスタートして、グラフに沿って任意の矢印の方向を尊重して移動すると、矢印を通っても出発した頂点に戻れない）. 有向無サイクルグラフと無向グラフはともに連鎖グラフの特殊例であり、ベイジアンネットワークとマルコフネットワークを統一的に一般化する方法を提供することができる。
• 祖先グラフはさらに拡張され、有向、双向、無向のエッジを持つ。
• Random field techniques
  • Markov random fieldはMarkov networkとしても知られ、無向グラフの上のモデルである。
  • 条件付き確率場は、無向グラフ上で指定された識別モデルである。
• 制限付きボルツマンマシンは、無向グラフ上で指定された二部生成モデルである。