計画ミス？

本日９時起床。結局８時過ぎに親睦会は終わったのですが、同期のN君と家の近くの店で１２時くらいまで飲んでまして、いろいろと統計な話ができてよかったです。

ということで、寝たのが１時過ぎで、起きたのが、９時半。ちゃっかり８時間睡眠をとれたということで、今日は頑張って読み進めました。

といいたいことろですが、論文を探したり、しているうちにあれよあれよと時間は過ぎてしまい、もうこの時間です。計画がまずかったのか・・・？

とりあえず明日ゼミなので、今日はもう少し頑張ります。

ではお疲れ様でした。

因子分析など

水曜日は意を決して１０時に起きる。

そのままシャワー→学校で１１時に到着。

論文を読み、公開講座へ。

授業の一環で受けました。主に因子分析のこと。
学部の時に何度か聞いた話でしたが、数式を極限にまで減らした講座でしたので、すごく直感的に理解できた気がします。

というか、この公開講座は、年に何回かの予定でやっているようなのですが、関東の学生はいいですね。こうやって、統計が学べない学生にも統計の門戸が開かれている。会社のマーケティングアプリケーションとして統計を学べる環境がある。

関西でもあるのでしょうか。ちょっと調べてみたいです。

で、少しそれが伸びてしまい、統計数理セミナーは聞けず。

少し論文を読み進めていると月１恒例の親睦会が始まったので、そちらに参加。

いろいろな先生方と話すことができました。

EMアルゴリズム。

火曜は起きたのが、９時。実に１１時間睡眠で完全復活。

朝は、家の掃除などをし、少し勉強をしていたらいつもの出張の時間になったので、出発。

その後、研究室に戻り、パソコンのセッティングなどをしながら、EMアルゴリズムの勉強。

いやー、本当嫌になるくらい適当に理解しています。

もうそろそろ、こういう気持ちになるのは嫌なのですが、しょうがないですね。

ちなみにこの日は朝６時ごろまでやってました。

結局夜型。

うーん。

回帰

で、月曜日は、結婚式は楽しかったのですが、少し疲れがとれないまま、すでに木曜日くらいの体力で開始。

新PCが来たものの、セッティングする体力がなく、結局勉強だけで終わってしまいました。

授業では、回帰のあたりをもう少し。

回帰の時、説明変数のほうも動く場合はどのような式になるか。

自由度調整はなぜ必要か。

ガウスマルコフの定理

BLUE

その辺を復習していただきました。

で、その授業が６時までで、そのあと先生にお願いさせた仕事を済ませたらバタンキュー。

でした。

産官学

週末は友達の結婚式でした。

大学の同期です。本当におめでとうございます。

また、またほかの同期がある製薬会社の研究職で働いているので、いろいろと話をしました。

岡山との環境の違い。

会社と研究所の違い。

やりたいことが同じでも全然違うのだなと思いました。

正直、３月まで、研究を続けるのならアカデミックと決めつけていました。

でも、隣に、会社で働きながら研究をしている人がいます。

産官学。

そういう意味で少し今迷っています。

結婚式のことも書きたいですが、こちらは研究関係のブログなので、この辺で。

週末の日記

書こうと思ったらメンテが始まっていて、書けなかった分。

そこで微妙に継続が途切れていました。


昨日は結局夜10時くらいに雨がやんだので帰宅。

とりあえず月曜までのレポートがどうにか形になってきた。

というか、13章のレポートを書くのに結局全部よまなあかんとかｗ

まぁすごくレポートの出し方が上手いというか、うん。ベテランの匂い！
簡単なようで実は時間かかるレポート。いいです。

で、帰宅後意外と疲れていたので、就寝。

朝は雑務があったので、少し長めに寝る。

9時行動開始。

で学校に12時過ぎに到着。

で、13時半からのゼミに向けていろいろと準備して、

望む。

2週間前に全く答えられなかったことを答えることができて良かった。

14日分進んだかどうかはわかんないけど、少しは知識量増えてます。

で、その後論文とかも読もうかって言われて、いろいろ検索してました。

来週は勉強としてEMアルゴリズムの式の理解から出来れば実装まで。

論文は3日で1報、その後2日で2報（無理な目標）

こんな感じで。

今日はこれから用があるので、家に帰ります。

週末はいろんな人と会えるので楽しみです。

自由度調整済み決定係数についてアウトプット

なぜ自由度調整済み決定係数でないとだめなのか？
まず、決定係数とは、総変動のうち回帰式で説明できる変動の割合です。
ちなみに総変動は(予測値による変動)+(残差による変動)
変動とはその値からの散らばり具合。


で、決定係数を計算すると、０から１までの値が出てきます。
厳密には０とか１は考えなくていいのですが、とりあえず書きやすいのでそう書きます。

で、回帰は変数の数＋１個のデータの組があればできるので、変数の数をｐ、データの組の数をｎとします。
しかし、少しまずいことが起こるのです。

例えばｐ＝２として、ｎ＝３とします。つまり、これはn=p+1という状況なのですが、

このとき従属変数のｙも含めて、変数は２＋１＝３つ、データの組は3組つまり、これは回帰をしようと思っているのに、
3元の連立方程式とすれば、決まってしまうのです。ここで決定係数は上のようなものであったので、１となります。
回帰しようと思っているのに、これは違います。

これは何を意味しているかというと、例えばもう少し数字を大きくして、ｎ＝30を考えましょう。
学校のクラスと考えればよいです。

このとき、変数の数を例えば5とかにします。クラスの勉強の出来をそれで回帰するとしましょう。
このとき、ある数字が決定係数としてかえってきます。
で、決定係数が少し低いなと思って、変数を増やしてみます。
すると、残差が減るので、確実に決定係数が上がります。

そして、数字が上がればよいということをいいことにどんどん増やします。
そして、変数を29個にします。
すると、n=p+1となり、先ほどと同じ状況になります。
Rも１となります。

こういう状況では変数を増やすという行為は数字を大きくするという意味以上の意味はなさない。

このとき決定係数は１－（残差平方和÷総平方和）となっているので、分散に対して普遍分散を考えたときのように、
残差平方和n-p-1で割り、総平方和はn-1で割ったような数値とすれば自由度が調整される。
ここで、データの数は変わらないので、
動く数値は分子のpであるが、pは分子の中では分母にあり、変数を追加すれば平方和は小さくなる.
分母も変数を追加すれば小さくなる.
ので、これを大きくするためには、関係のありそうな（残差を大きく減らしてくれそうな）変数のみを入れることが望まれる。
そして、自由度調整済み決定係数とは、決定係数に自由度を大きくすることでトレードオフの関係を作るという意味で、
自然に導かれる数値であります。

実際には、自由度調整済み決定係数は、１－（自由度調整済み残差平方和÷自由度調整済み総平方和）となるので、それぞれ分子をn-p-1、分母をn-1で割ったものとなる。
これを解釈すると、データの数は変わらないとするならば、モデル選択中に変更できるのは、残差平方和のほうである。
つまり、変数を増やせば、残差は減るが、自由度が大きくなり、全体としてバランスをとることが求められます。
つまり、変数はできるだけ少なく、残差を大きく減らしてくれる変数を入れるべきだという事になります。

何も見ずにでの今の理解です。あってるのかなー。