期待値最大化法(2章)

バイオインフォマティクス

• Jensenの不等式：g(x)は下に凸である関数。確率変数Xに対して、確率密度関数がf(x)であるとする。このとき、g[E(X)] ≦ E[g(X)]である。さらにh(x)を可測関数とすれば、g[h(x)]も凸関数となり(?)、g(E[h(x)]) ≦ E(g[h(X)]) ※凸関数gと期待値操作(平均化)の順序による大小関係について、示している。
• カルバック・ライブラー距離：二つの離散確率変数 XとYに関して、どちらも1, 2, …, nの有限な値をとり、Xについて p1+p2+…+pn=1, Yについて q1+q2+…+qn=1Kx,y = ーΣ qi ln pi/qi。確率密度関数の場合はKx,y = ー∫ fy(z) log(fx(z)/fy(z)) dz
• EM(Expectation maximization)アルゴリズム：パラメータpの更新を繰り返し、対数尤度ln f(x,p)の値を増加させるアルゴリズム。EステップとMステップの2ステップがある。Eステップ：Q(p, pold)＝（pold, 観測値xに対する完全観測xcの対数尤度の期待値）を計算。Mステップ：pnew = arg maxp Q(p, pold)を計算。（Qを増加させるような新しいpnewを(見つかれば)計算する。そのようなpnewがあれば ln f(x, pnew) > ln f(x, pold)となり、対数尤度が増加する。このアルゴリズムはJensenの不等式／カルバック・ライブラー距離が前提となっている。また、多くの場合、EMの繰り返しで対数尤度は唯一の最大値に達するが、複数の極大値に導くことやいかなる極大値に到達しないような例もある。