EMアルゴリズム。

火曜は起きたのが、９時。実に１１時間睡眠で完全復活。

朝は、家の掃除などをし、少し勉強をしていたらいつもの出張の時間になったので、出発。

その後、研究室に戻り、パソコンのセッティングなどをしながら、EMアルゴリズムの勉強。

いやー、本当嫌になるくらい適当に理解しています。

もうそろそろ、こういう気持ちになるのは嫌なのですが、しょうがないですね。

ちなみにこの日は朝６時ごろまでやってました。

結局夜型。

うーん。

回帰

で、月曜日は、結婚式は楽しかったのですが、少し疲れがとれないまま、すでに木曜日くらいの体力で開始。

新PCが来たものの、セッティングする体力がなく、結局勉強だけで終わってしまいました。

授業では、回帰のあたりをもう少し。

回帰の時、説明変数のほうも動く場合はどのような式になるか。

自由度調整はなぜ必要か。

ガウスマルコフの定理

BLUE

その辺を復習していただきました。

で、その授業が６時までで、そのあと先生にお願いさせた仕事を済ませたらバタンキュー。

でした。

産官学

週末は友達の結婚式でした。

大学の同期です。本当におめでとうございます。

また、またほかの同期がある製薬会社の研究職で働いているので、いろいろと話をしました。

岡山との環境の違い。

会社と研究所の違い。

やりたいことが同じでも全然違うのだなと思いました。

正直、３月まで、研究を続けるのならアカデミックと決めつけていました。

でも、隣に、会社で働きながら研究をしている人がいます。

産官学。

そういう意味で少し今迷っています。

結婚式のことも書きたいですが、こちらは研究関係のブログなので、この辺で。

週末の日記

書こうと思ったらメンテが始まっていて、書けなかった分。

そこで微妙に継続が途切れていました。


昨日は結局夜10時くらいに雨がやんだので帰宅。

とりあえず月曜までのレポートがどうにか形になってきた。

というか、13章のレポートを書くのに結局全部よまなあかんとかｗ

まぁすごくレポートの出し方が上手いというか、うん。ベテランの匂い！
簡単なようで実は時間かかるレポート。いいです。

で、帰宅後意外と疲れていたので、就寝。

朝は雑務があったので、少し長めに寝る。

9時行動開始。

で学校に12時過ぎに到着。

で、13時半からのゼミに向けていろいろと準備して、

望む。

2週間前に全く答えられなかったことを答えることができて良かった。

14日分進んだかどうかはわかんないけど、少しは知識量増えてます。

で、その後論文とかも読もうかって言われて、いろいろ検索してました。

来週は勉強としてEMアルゴリズムの式の理解から出来れば実装まで。

論文は3日で1報、その後2日で2報（無理な目標）

こんな感じで。

今日はこれから用があるので、家に帰ります。

週末はいろんな人と会えるので楽しみです。

自由度調整済み決定係数についてアウトプット

なぜ自由度調整済み決定係数でないとだめなのか？
まず、決定係数とは、総変動のうち回帰式で説明できる変動の割合です。
ちなみに総変動は(予測値による変動)+(残差による変動)
変動とはその値からの散らばり具合。


で、決定係数を計算すると、０から１までの値が出てきます。
厳密には０とか１は考えなくていいのですが、とりあえず書きやすいのでそう書きます。

で、回帰は変数の数＋１個のデータの組があればできるので、変数の数をｐ、データの組の数をｎとします。
しかし、少しまずいことが起こるのです。

例えばｐ＝２として、ｎ＝３とします。つまり、これはn=p+1という状況なのですが、

このとき従属変数のｙも含めて、変数は２＋１＝３つ、データの組は3組つまり、これは回帰をしようと思っているのに、
3元の連立方程式とすれば、決まってしまうのです。ここで決定係数は上のようなものであったので、１となります。
回帰しようと思っているのに、これは違います。

これは何を意味しているかというと、例えばもう少し数字を大きくして、ｎ＝30を考えましょう。
学校のクラスと考えればよいです。

このとき、変数の数を例えば5とかにします。クラスの勉強の出来をそれで回帰するとしましょう。
このとき、ある数字が決定係数としてかえってきます。
で、決定係数が少し低いなと思って、変数を増やしてみます。
すると、残差が減るので、確実に決定係数が上がります。

そして、数字が上がればよいということをいいことにどんどん増やします。
そして、変数を29個にします。
すると、n=p+1となり、先ほどと同じ状況になります。
Rも１となります。

こういう状況では変数を増やすという行為は数字を大きくするという意味以上の意味はなさない。

このとき決定係数は１－（残差平方和÷総平方和）となっているので、分散に対して普遍分散を考えたときのように、
残差平方和n-p-1で割り、総平方和はn-1で割ったような数値とすれば自由度が調整される。
ここで、データの数は変わらないので、
動く数値は分子のpであるが、pは分子の中では分母にあり、変数を追加すれば平方和は小さくなる.
分母も変数を追加すれば小さくなる.
ので、これを大きくするためには、関係のありそうな（残差を大きく減らしてくれそうな）変数のみを入れることが望まれる。
そして、自由度調整済み決定係数とは、決定係数に自由度を大きくすることでトレードオフの関係を作るという意味で、
自然に導かれる数値であります。

実際には、自由度調整済み決定係数は、１－（自由度調整済み残差平方和÷自由度調整済み総平方和）となるので、それぞれ分子をn-p-1、分母をn-1で割ったものとなる。
これを解釈すると、データの数は変わらないとするならば、モデル選択中に変更できるのは、残差平方和のほうである。
つまり、変数を増やせば、残差は減るが、自由度が大きくなり、全体としてバランスをとることが求められます。
つまり、変数はできるだけ少なく、残差を大きく減らしてくれる変数を入れるべきだという事になります。

何も見ずにでの今の理解です。あってるのかなー。

歓迎会

昨日は朝勉強して昼から出張。

検定とか推定とかを引き続き洗い直している。
体にしみこむように練習問題とかしつつ、学部生に授業が出来るレベルまで引き上げたい。
カンペなしで。

で、夜は飲み。新入生歓迎ということで先輩に奢っていただきました。
研究の話とかもいろいろできて、ネットワークも増えた感じです。

２次会も少しあり、結構飲んでしまいました。まぁたまには！

で、今日、案の定９時過ぎに目が覚め、あーーーーと思って、急いで用意をして外に出ようとすると雨。。。

やまないかなと思いつつ昼過ぎまで家で勉強をしていました。

今日は研究のバックグラウンドの勉強を少し。

いろんな文献を読んで、なんとなくだが、人に話せるくらいにはなってきたかなぁ・・・厳密な話は出来ないけど、俺こんなことやろうとしているんですよ。という感じには。
いつでもアウトプットを想定するによってインプットの効率が上がると思うので、その辺意識して。

で、昼過ぎても雨は止まず、セミナーがあったので、モノレールで学校へ。
話はT先生のはずれ値の話とSさんのインフルエンザの話。
T先生の話を聞いて、対数変換をすることがどれ大事かということがわかった。
あとSさんの話は多分連合で同じ組で話していたような内容だったような。
その時は自分にいっぱいいっぱいだったのですが。
SEIRモデルの拡張の話で、岡山のI先生の話ともろかぶりだったので、よく理解できました。

正直、統計理論を研究されている方の発表は難解でキーワードを控えて部屋に帰って調べるという作業しかできないのですが、今日の発表は凄くわかりやすかったです。

もっと知識を増やしたいです。

その後、今日は、週末に向けてちょっと雑務があったので、そのまま帰宅。今家で続きをやっているところです。

風呂を入れて、入ってからもう少ししなくてはなりませんが、とりあえずこれを書いてから入ることにします。

というわけでもう少し頑張りますが、お疲れ様でした。

アイデアいっぱい！

６時半起床７時１５分出発
週末に溜まっていたメールを返信して勉強開始。

今日の授業のレポートがまだ微妙に詰めれそうだったので、その辺を中心に。

自分の使ったことあるデータを再考察せよっていうものだったけど、今ならいろいろまた思いつくなぁ・・・。

たとえば、マラリアで使ってたデータだけど、乾季と雨季を分けて解析したらどうなってたかな。とか、サンプリングのことを学んだり、はずれ値の事を学んだり、ちょちょっと多重性のこととかを教えていただいて、自分でフォローしたりしていろいろ知っていくことがあって・・・結構今、なんかパニックていうか、もう少しやりたいんだけど、継続のためにそろそろ帰ろうかなって感じなところです。

思考の整理学って本にも書いてたけど、少し考えるのをやめることによって、寝かせることによって、いろいろなアイデアは整理されるというのは本当だなぁと思った今日でした。

明日は出張の日で、学生飲みもあるので、いろんな人と話せて楽しみである。

ということでお疲れ様でした。