starpentagon さん プロフィール

  •  
starpentagonさん: 有意に無意味な話
ハンドル名starpentagon さん
ブログタイトル有意に無意味な話
ブログURLhttp://starpentagon.net/analytics/
サイト紹介文統計、データマイニング、最適化など世の中の95%以上の人は関心を持たなさそうな話を書ています
参加カテゴリー
更新頻度(1年)情報提供89回 / 323日(平均1.9回/週) - 参加 2016/12/03 00:56

starpentagon さんのブログ記事

  • AlphaGoの衝撃再び!「自己学習」で神の領域へ
  • 李世?九段、柯潔九段に勝利したアルファ碁(AlphaGo)を開発したDeep Mind社が人間の棋譜を一切使わず「自己学習」したAlphaGo Zeroが従来のAlphaGoに圧勝したという衝撃的な論文”Mastering the game of Go without human knowledge”をNatureで発表1)論文はDeep Mind社のブログ記事の”View Publication”から見ることができます。しました。論文によると李世?九段と対戦したAlphaGoから大きく3つ進化しています。指し手の評価 [続きを読む]
  • 画像認識タスクの違い
  • 深層学習(Deep Learning)の登場により画像認識の性能が劇的に向上し、時には「人間の認識能力を超えた」とまで言われるようになりました。ただ、画像認識のタスクにはいくつか種類があり難易度が大きく異なります。ここでは画像認識のコンペで競われることの多い4つのタスククラス分類(classification)位置特定(localization)物体検知(detection)セグメンテーション(segmentation)の違いについて説明します。クラス分類 [続きを読む]
  • Python(NumPy)による正規乱数の生成
  • 数値実験やシミュレーションを行う際に正規分布[math]mathcal{N}(mu, sigma^2)[/math]や多次元正規分布[math]mathcal{N}(mathbf{mu},Sigma)[/math]に従う乱数が必要になることが良くあります。Pythonの標準ライブラリであるrandomモジュールにもrandom.gauss(mu, sigma)という平均mu、標準偏差sigmaの正規乱数を返してくれる関数がありますが、多次元正規分布を生成できない多数の正規乱数をまとめて生成できないと、本格的に使う [続きを読む]
  • よくわかる人工知能(清水 亮 著)
  • よくわかる人工知能 最先端の人だけが知っているディープラーニングのひみつ天才プログラマー/スーパークリエイターとして有名な清水さんがディープラーニング(深層学習)の最先端を行く人達との対談をまとめた書です。「最先端」と謳うだけあって対談相手に東大 松尾先生トヨタ・リサーチ・インスティテュート 岡島さんNVIDIA 村上さんヤフージャパン研究所 田島さん慶應大 前野先生慶應大 満倉先生ドワンゴ人工知能研究所 山 [続きを読む]
  • ニューラルネットワークの構造とその歴史
  • 脳は神経細胞(ニューロン)のネットワークで出来ていることが知られています。そこで、ニューロンをモデル化した「ユニット」1)詳細は「ニューラルネットワークの基本要素: ユニット」を参照くださいをつないでネットワーク化することで脳が持つ機能(物体認識や判別など)を実現することが期待できます。ネットワークの作り方は色々知られていますが本記事では最も基本的な階層型ニューラルネットワーク(Hierarchical Neural Net [続きを読む]
  • 単純パーセプトロンの収束定理と限界
  • ニューラルネットワーク(Neural Network, NN)の基本形と言える単純パーセプトロン(simple perceptron)が持つ能力とその限界について紹介します。単純パーセプトロンの定義まず単純パーセプトロンで取り扱う「2値分類問題」について定義します。[math]N[/math]個の教師例[math]{(mathbf{x}_i, y_i)}, mathbf{x}_iinmathbb{R}^n, y_iin{-1, 1}, i=1,dots,N[/math]が与えられた時に2つの分類[math]y=-1, 1[/math]を判別する基準を求め [続きを読む]
  • ニューラルネットワークの基本要素:ユニット
  • ニューラルネットワーク(Neural Network, NN)とは脳の神経細胞(ニューロン, Neuron)の挙動をモデル化し、物体認識や判別などの脳機能を計算機上でシミュレーションすることを目指したモデルです。もう少し具体的にはユニット(unit): 神経細胞を数学的にモデル化ニューラルネットワーク: ユニットをつなぎ合わせて神経回路網をモデル化という構成になっており、まずは最も基本的な要素である「ユニット」と呼ばれるニューロンの数学 [続きを読む]
  • 【統計検定1級過去問】2015年(理工学)大問3 解答例
  • コメント大問3は指数分布族を少し限定したクラスに対するモーメント法をテーマとした問題が出題されました。モーメント法は頻出分野ですが問2でモデルMに含まれる確率密度関数の全積分に帰着するところ問3で混合モデルに対するモーメント母関数を求めるところなど思わず手が止まってしまうポイントが用意されており他の大問と比べて難易度が高いと思います。問題確率変数[math]Y[/math]は以下の確率密度関数[math]f(y;theta, psi) [続きを読む]
  • 【統計検定1級過去問】2015年(理工学)大問3
  • 2015年 統計検定1級(理工学)大問3確率変数[math]Y[/math]は以下の確率密度関数[math]f(y;theta, psi) = expleft[dfrac{ytheta-b(theta)}{psi}+c(y;psi)right][/math]に従うとする。ここで[math]theta, psi>0[/math]はパラメータで[math]b(theta), c(y;psi)[/math]は適当な関数とする。このモデルを「モデルM」と呼ぶとき、以下の問に答えよ。平均[math]frac{1}{beta}[/math]の指数分布はモデルMに含まれることを示せ。モーメント [続きを読む]
  • 【統計検定1級過去問】2015年(理工学)大問2 解答例
  • コメント大問2は生存時間解析から出題されました。応用的なトピックは素直な問題が多いという傾向の通り有名事実の証明(問1, 2)具体的な分布を仮定し条件付き平均値の算出(問3〜5)と生存時間解析を学んだことがある人には解きやすい問題セットだと思います。問題生存時間を表す確率変数[math]T[/math]に対してハザード関数[math]lambda(t)[/math]を[math]lambda(t)=displaystylelim_{Delta tto 0}dfrac{P(t t)}{Delta t},quad [続きを読む]
  • 【統計検定1級過去問】2015年(理工学)大問2
  • 2015年 統計検定1級(理工学)大問2生存時間を表す確率変数[math]T[/math]に対してハザード関数[math]lambda(t)[/math]を[math]lambda(t)=displaystylelim_{Delta tto 0}dfrac{P(t t)}{Delta t},quad tgeq 0[/math]とし、[math]Lambda(t)=int_{0}^{t}lambda(u)du(tgeq 0)[/math]とおく。また、[math]F(t)[/math]: [math]T[/math]の累積分布関数[math]f(t)[/math]: [math]T[/math]の確率密度関数[math]phi(t)[/math]: [math]N(0, 1 [続きを読む]
  • 【統計検定1級過去問】2015年(理工学)大問1 解答例
  • コメント大問1はぱっと見は確率の問題のようで中身は畳み込み級数の和の計算がほとんどで統計色の薄い問題セットでした。小問が6つありますが[math]f(k)[/math]を部分分数分解して[math]f(k)=g(k)-g(k+1)[/math]の形に変形[math]displaystyle sum_{k=1}^infty f(k)=lim_{ntoinfty}left(g(1)-g(n+1)right)[/math]を評価を繰り返すだけで特に難しい問題もないので完答できた人も多かったと思います。問題壷の中に赤い球と白い球が1つ [続きを読む]
  • 【統計検定1級過去問】2015年(理工学)大問1
  • 2015年 統計検定1級(理工学)大問1壷の中に赤い球と白い球が1つずつ入っている。次のゲームを考える。壷から球を1つランダムに取り出す。取り出した球が白ならば白い球を1つ壷に加え1に戻る。取り出した球が赤ならば壷の中の白い球の数を数え、その数を得点[math]X[/math]としゲームを終了する。以下の問に答えよ。得点[math]X[/math]が[math]kinmathbb{N}[/math]になる確率[math]P(X=k)[/math]を求めよ。関数[math]f(k)=P(X=k)[/ [続きを読む]
  • 【統計検定1級過去問】2015年(統計数理)大問2 解答例
  • コメント大問2は仮説検定の検出力に関する問題が出題されました。内容はP値検出力一様最強検出力検定(ネイマン・ピアソンの補題)と特に奇をてらったものはないですが、いずれも問題文中に定義が与えられておらず覚えていなければ土俵にすら立てないという怖さを持った問題セットです。検定はついつい「平均の差の検定」など個別の検定手法を優先し、検出力/一様最強検出力検定は後手になりがちで試験会場で思わず天を仰いだ人も [続きを読む]
  • 【統計検定1級過去問】2015年(統計数理)大問2
  • 2015年 統計検定1級(統計数理)大問2無作為標本[math]X_1,dots,X_nsim N(mu, 1)[/math]を抽出する。[math]bar{X}=frac{1}{n}sum_{i=1}^n X_i[/math]とし帰無仮説[math]H_0: mu=0[/math]対立仮説[math]H_1: mu>0[/math]を考え、棄却域を[math]R=left{bar{X} | bar{X} > dfrac{z_alpha}{sqrt{n}}right}[/math]とする。ここで[math]z_alpha[/math]は標準正規分布の上側[math]100alpha%[/math]点である。この時、以下の問に答えよ。[m [続きを読む]
  • 単調尤度比とKarlin-Rubinの定理
  • 前回の記事「一様最強検出力検定とネイマン・ピアソンの補題」では、帰無仮説、対立仮説ともパラメータが1つのみという非常にシンプルな構造をした仮説検定を考え尤度比検定が一様最強検出力検定になることを示しました。確率密度関数が単調尤度比という性質を持つ場合、片側検定[math]H_0: theta leq theta_0[/math][math]H_1: theta > theta_0[/math]に対して十分統計量を使って一様最強検出力検定を構成できること(Karlin-Rubi [続きを読む]
  • 一様最強検出力検定とネイマン・ピアソンの補題
  • 前回の記事「仮説検定の過誤と検出力関数」では仮説検定には第一種過誤/第二種過誤があり、その二つを考慮した評価尺度として検出力関数を導入しました。通常、第一種過誤と第二種過誤はトレードオフの関係があるので第一種過誤の発生確率を高々[math]alpha[/math]に押さえた検定(有意水準[math]alpha[/math]の検定)に限定有意水準[math]alpha[/math]の検定の中で第二種過誤の発生確率が低い、つまり検出力関数が大きい検定を探 [続きを読む]
  • 【R言語】実行時引数の取得方法
  • Rスクリプトをパラメタを変えながら大量にバッチ実行したい時などはRスクリプトで実行時引数(コマンドライン引数)を取れるようにしておくと便利です。例えば、処理対象のファイル名とパラメタを実行時引数として取れるようにしておくと同じデータをパラメタを0.01〜0.03に変えながら実行するといった処理をRscript program.R data.csv 0.01Rscript program.R data.csv 0.02Rscript program.R data.csv 0.03と簡単に処理できるよ [続きを読む]
  • 仮説検定の過誤と検出力関数
  • 仮説検定で帰無仮説の棄却/採択をする際、次の2種類の誤りをする可能性があります。[math]thetain Theta_0[/math]つまり帰無仮説が真であったが、誤って帰無仮説を棄却してしまう[math]thetanotin Theta_0[/math]つまり対立仮説が真であったが、誤って帰無仮説を採択してしまうそれぞれ「第一種過誤(Type I Error)」「第二種過誤(Type II Error)」と呼びます。検定結果[math]H_0[/math]を採択[math]H_0[/math]を棄却真 [続きを読む]
  • 尤度比検定
  • 日本の統計学の教科書では「正規分布に従う2標本の差の検定」など特定状況に適した検定方法を解説していくスタイルが多いですが、教科書”Statistical Inference“では適用範囲が広く汎用的な手法として「尤度比検定」が最初に紹介されています。尤度比の定義ここでは、一般的な状況としてあるパラメータ[math]thetainTheta[/math]を持つ分布[math]D(theta)[/math]に従う無作為標本[math]X_1, X_2, dots, X_n[/math]を抽出して、パ [続きを読む]
  • 【統計検定1級過去問】2015年(統計数理)大問3 解答例
  • コメント大問3は重回帰モデルの最小二乗推定量に関する問題が出題されました。相関係数との関連や推定量の分散など教科書で登場する内容なので重回帰分析を勉強してきた人には難しくないと思います。ただ、問題量が多く時間内に完答するのは意外と大変な問題セットだと思います。問題重回帰モデル[math]mathbf{y}=beta_0+beta_1 mathbf{x_1}+beta_2 mathbf{x_2}+mathbf{epsilon}[/math]を考える。ここで[math]mathbf{y}, mathbf{x_ [続きを読む]
  • 【統計検定1級過去問】2015年(統計数理)大問3
  • 2015年 統計検定1級(統計数理)大問3重回帰モデル[math]mathbf{y}=beta_0+beta_1 mathbf{x_1}+beta_2 mathbf{x_2}+mathbf{epsilon}[/math]を考える。ここで[math]mathbf{y}, mathbf{x_1}, mathbf{x_2}in mathbb{R}^n[/math]であり、標本平均はともに[math]0[/math]、つまり[math]mathbf{e}^Tmathbf{x_1}=mathbf{e}^Tmathbf{x_2}=0 [/math][math]E[epsilon_i]=0[/math][math]Cov[epsilon_i, epsilon_j]=sigma^2delta_{ij}[/math][m [続きを読む]
  • 仮説検定
  • 「仮説検定」と聞くとなんらかの仮説を検証して白黒をはっきりとさせるようなイメージがありますが、統計的な「仮説検定」は示したい命題を否定した命題を確率的に否定するというなんとも歯切れの悪い論理になっており苦手な人も多いのではと思います。「仮説検定」は確かにとっつきにくいですが売上を予測するモデルを作ったが「意味のあるモデル」が出来たと言えそうか?開発した新薬は既存薬より効果が高いと言えそうか?将棋プ [続きを読む]