試しながら学ぶ統計・機械学習メモ

統計、機械学習、数理最適化の理論や実装に関する疑問について、実際に試しながら学んでいく過程を残したメモ

ロジスティック回帰はなぜ分散処理できる?

重回帰はなぜ分散処理できる? - qz70224の統計学メモのロジスティック回帰版です。根本の考え方は基本的に重回帰と同じなので、詳しくはそちらをご覧ください。段取りは以下の通りです。ニュートン法については、以下の資料を参考にさせていただきました。 …

重回帰はなぜ分散処理できる?

大規模データで 重回帰などのいわゆる多変量解析を行う際、 複数のマシンで計算を分担することで処理が早くなるらしい。分担の際は、各マシンでデータの一部を持っておき、 途中まで計算を行い、最後に足し合わせるらしい。ただ、なんでそんな事ができるのか…

散布図行列

順序カテゴリカルデータの視覚化方法について スクリプトまで紹介しているすごい便利なホームページがあったので 使ってみたCorrelation scatter-plot matrix for ordered-categorical data | R-statistics blog scratch-R: scatterplotsver1:散布図と相関係…

person-year型の架空データ(その2)の結果を使ってお絵かき

w<-t(matrix(b[1:6],2,3)) rho<-b[7] X<-cbind(1,seq(1, 20, 1),min(birthY)) U<-cbind(X%*%w,0) ival<-log(exp(U[,1]/rho)+exp(U[,2]/rho)) #クラスター選択確率 CL1<-exp(rho*ival)/(exp(rho*ival)+exp(U[,3])) CL2<-exp(U[,3])/(exp(rho*ival)+exp(U[,3])…

人名ビンゴ - 抽選回数は何回必要か?

とある飲み会で人名ビンゴをやることになった。飲み会の人数は12人なので、参加者は12人の中から9人選び、3×3のマスの中に名前を記入していく。12人のうち2人は人名ビンゴの企画者なので、ビンゴには参加しない。 (つまり参加者は10人)何回か抽選を行い、…

person-year型の架空データ(その2)

person-year型の架空データ(その1)をベースに、 仮定するデータ発生メカニズムを変更就業選択に階層構造を仮定する ①就業するか否か ②就業するとしたら、正規雇用か、非正規雇用か *単純化のために、ここでは就業形態を正規、非正規の2つにしているその他の…

person-year型の架空データ(その1)

パーソン・イヤー型の架空データをRを使用し作成架空データなので、 とりあえずざっくりと以下のような状況を仮定してみる再就業の分析 ・正規雇用からの離職を20-29歳の間に経験した女性が分析対象 ・分析対象となるイベントは「再就業」 ・就業状態は「正…