混合ガウスモデルとNormal-Wishart分布（事前分布）に対してVariational inferenceしてみる. 要するにPRMLの10.2. である. 以下はつまるところその引き写しである. モデル データ （の次元は ）について, 混合数 の混合ガウスモデルを考える. 過去何度かやっ…

前回1変数をやったので多変量もやりたい. 導出 分布の定義 まずは多変量正規分布である. は の次元数. つづいてWishart分布である. について 統計モデル データ は多変量正規分布に従う. 事前分布をNormal-Wishart分布とする. が事前分布のパラメータである.…

1変数ガウス分布(尤度関数)とNormal-gamma分布(事前分布)から事後分布をvariational inferenceで解くという行為について 前回の1変数正規分布モデルのvariational inferenceでは事後予測分布が導出できなかった. 途中で計算を間違えたのかもしれないし, 解析…

1変数ガウス分布の推定式の導出 http://statmodeling.hatenablog.com/entry/variational-bayesian-inference-1 http://statmodeling.hatenablog.com/entry/variational-bayesian-inference-with-sympy 上の記事を読んだ。variational inferenceという手法が…

これの続き。多変量の正規分布でギブスサンプリングしたい。 あるデータ点 とそのサイズ 、平均 、分散共分散行列 がある。確率密度関数 は以下となる。 今、データ とそのサイズ がある。ギブスサンプリングでパラメータを推定するには、パラメータ 、 の条…

特に東京に行ったこともないのですが、東京で一番緑が多いのはどこかがふと気になった次第です。将来引っ越しすることがあったら参考になるかもしれないので調べます。 やりかた 行政区域データを集める 土地利用データを集める 各行政区域について土地利用…

階層ベイズモデルで勝敗データからプロ棋士の強さを推定する,StatModeling Memorandumという実験があります。大変面白いので私もやってみました。 データ収集 まず将棋のプロ棋士の対局結果を将棋連盟 棋士別成績一覧から収集しました。こちらのサイトは1964…

ドラゴンボールの勝敗結果から戦闘力を推定する, StatModeling Memorandumという実験記事があります。面白そうなのでやってみました。 準備 RとStanを使いました。tidyrとdplyrはRで使われる変な名前のデータ整形ライブラリです。 set.seed(1) library(rstan…

ギブスサンプリングは確率分布からのサンプリング手法の一つ、各変数について条件付き確率さえわかればサンプリングできる。ベイズ推定での事後分布サンプリングに使われることが有る(Just another Gibbs samplerというそのものズバリなベイズ推定のオープン…