最尤推定(2章)

バイオインフォマティクス

• 尤度：観測値x1,x2,…,xnは、それぞれが独立に観測された、同じ分布f(x,p)に従う確率変数Xの実現値とする。f()は離散分布、密度分布、あるいは累積分布のいずれかとする。ある固定された確率変数X=xnに対して、関数f(xn,p)をパラメータpの関数とみなす場合、f(xn,p)を観測値xnの尤度と呼ぶ。
• 最尤原理：高い確率の事象は低い確率の事象よりも頻繁に起きるので「実際に起きた事象はもっとも高確率の事象であった」と仮定する。pのもっともよい推定量は観測値の尤度を最大にするような値p^である。尤度はL(p,x) = L(p) = f(x1, x2, …, xN, p) = Πn=1 N f(xn,p) ここでx=x1, x2, …, xN。積の形は観測の独立性から導かれる。推定量p^は次の式により表される。p^ = arg maxΠn=1 N f(xn, p)。※wikipedia:arg maxはargument of the maximumを意味する。つまり、関数値が最大となるような定義域の元の集合である。対象となる関数が多変数関数或いは媒介変数を持つ場合には、変数の幾つかを固定してもよい。最尤法はパラメータ推定の"決定版"。
• ラグランジュの未定乗数法：http://d.hatena.ne.jp/rikunora/20110210/p1　がわかりやすい。制約条件付きの極値問題をパラメータ付の重ね合わせによって微分により解を探せる状態に調整する方法。
• 最尤推定法 vs モーメント法など：観測値に対して、(対数)尤度が最大となるようなパラメータを求める方法が最尤推定法。観測値のモーメント(期待値,分散など)を求め、それが期待値・分散の定義式と一致することを推定してパラメータを求める方法がモーメント法。なお、標本サイズを無限大に近づけた極限において、最尤推定量は最小分散となる。ただし、有限の標本サイズに対しては、最尤推定量よりも小さい分散をもつ統計量が存在することもある。コーシー分布（1/Π{1+(x-a)^2}）がその一例。
• フィッシャー情報量：対数尤度をパラメータに関して微分したものをスコアという。スコアの期待値は0。フィッシャー情報量とは、スコアの分散のこと。フィッシャー情報量は独立な測定の繰り返しに対して加法的。
• クラメール・ラオの定理：Var(p^) ≧ 1/I(p) pはパラメータ。I(p)はフィッシャー情報量。数値解析的に尤度関数を最大化させるpを求められない場合、等号を成立させるpの値を、モンテカルロ的にリサンプリングを繰り返してフィッシャー情報量を求めることにより、求めることが出来る。
• 十分統計量(フィッシャーの因子分解定理)：Xの確率密度をf(X;θ)とする。ある関数gとhが次の関係にある場合、かつその場合に限りTはθに関して十分である。f(X;θ) = h(X) g(T(X); θ)　尤度関数fが分解出来て、1つの因子h(X)がθに依存せずまたもう1つの因子がT(X)を通してのみXに依存するように出来るということ。T(X)の値を保ちながらXの値を変え、このような変化がθに関する推定に影響するかどうかを考える。
• ラオ・ブラックウェルの定理：f(X;θ) = h(X) g(T(X); θ) 　十分統計量T(X)が与えられればXの条件付き分布はθによらないので、T(X)が与えられた条件での任意の関数g(X)の条件付き期待値も母数θによらない。？？　※考え中