starpentagon さん プロフィール

  •  
starpentagonさん: 有意に無意味な話
ハンドル名starpentagon さん
ブログタイトル有意に無意味な話
ブログURLhttp://starpentagon.net/analytics/
サイト紹介文統計、データマイニング、最適化など世の中の95%以上の人は関心を持たなさそうな話を書ています
参加カテゴリー
更新頻度(1年)情報提供25回 / 90日(平均1.9回/週) - 参加 2016/12/03 00:56

starpentagon さんのブログ記事

  • 過去の記事 …
  • モンティ・ホール問題
  • モンティ・ホール問題アメリカのゲームショー1)「モンティ・ホール」はこの番組の司会者です。の中で行われたゲームに由来する問題で大きな論争になったことで有名な問題です。回答者であるあなたの前に3つのドアA,B,Cがあり、1つには景品の新車が、残り2つにはハズレを意味するヤギがいる。あなたが1つのドアを選択した後、司会者は残りのドアのうちヤギがいるドアを開けて見せ、残っている開けられていないドアに変更しても良い [続きを読む]
  • 1.5 ベイズの定理
  • ベイズの定理ある二つの事象[math]A, B[/math]が独立でない時、事象[math]B[/math]が生じたという情報を知ることで確率[math]P(A)[/math]は[math]P(A|B)[/math]に更新されます。各事象の確率と条件付き確率の関係を結びつけたのがベイズの定理(Bayes’ theorem)です。事象[math]A, B[/math]の確率は正とする。この時、次の式が成立する。[math]P(A|B)=dfrac{P(B|A)}{P(B)}P(A)[/math]証明は条件付き確率の定義式の分母を払うと[m [続きを読む]
  • 1.5 ベイズの定理とモンティ・ホール問題
  • ある二つの事象[math]A, B[/math]が独立でない時、事象[math]B[/math]が生じたという情報を知ることで確率[math]P(A)[/math]は[math]P(A|B)[/math]に更新されます。各事象の確率と条件付き確率の関係を結びつけたのがベイズの定理(Bayes’ theorem)です。事象[math]A, B[/math]の確率は正とする。この時、次の式が成立する。[math]P(A|B)=dfrac{P(B|A)}{P(B)}P(A)[/math]証明は条件付き確率の定義式の分母を払うと[math]P(Acap B [続きを読む]
  • 学力の経済学(中室 牧子 著)
  • 概要「学力」の経済学教育を経済学の考え方や統計の手法で分析する「教育経済学」について一般向けにわかりやすく書かれている。「賛否両論があるみたいだけど、今話題の本だよ」と妻に勧められて読んでみました。冒頭、「データが覆す教育の定石」と刺激的な書き出しから始まっている通り「データ(エビデンス)に基づいて教育を評価、実施しよう」という主張が貫かれており、データ分析を生業1)余談ですが隣のチームが通信教育系 [続きを読む]
  • 将棋とコンピュータ(松原 仁 著)
  • 概要松原先生によるコンピュータ将棋の(1994年時点での)最新動向をまとめたもの1)本書とは直接関係ないかもしれないが、編集委員に上林先生のお名前がある。上林先生がいかに多岐にわたる仕事をされていたのかを示していると思う。ご冥福をお祈りします。。モンテカルロ法、Bonanzaメソッド、DeepLearningなどが登場する前なので少し古い内容だが、それでも紹介されている内容はコンピュータ将棋に限らずAI全般で今なお重要な概 [続きを読む]
  • 1.4. 条件付き確率と事象の独立
  • これまでは標本空間[math]S[/math]の部分集合に対して確率を定義しました。新しい情報が得られた場合に標本空間、事象を取り直して確率を評価するのが条件付き確率(conditional probability)です。まず定義を紹介します。[math]A, B[/math]を標本空間[math]S[/math]の事象とし、[math]P(B)>0[/math]とする。事象[math]B[/math]の下での事象[math]A[/math]の条件付き確率を[math]P(A|B)[/math]と書き、以下で定義する。 [ P(A|B)ove [続きを読む]
  • 2人の子供問題(Boy or Girl paradox)
  • 「2人の子供問題(Boy or Girl paradox)」として知られる有名な確率問題です。問題はある家庭に2人の子供がいる。1人が男の子の時、もう1人の子が男の子である確率はいくつか?です。この問題が有名なのは解答として1人が男の子であることと、もう1人の子の性別は独立なので確率は1/2子供2人の性別は(男,男)(女,男)(男,女)(女,女)の4通りある。1人が男の子なのであり得るのは(男,男)(女,男)(男,女)の3通りで、その内もう1人も男の [続きを読む]
  • 大人のピタゴラスイッチ「ピーマンと鳩と数学」
  • 年末に録画していた大人のピタゴラスイッチ「ピーマンと鳩と数学」を見ました。「大人の」とついてますが、子供にも面白さ、凄さが伝わる番組だと思います。「ビーだまビーすけの大冒険」もピタゴラ装置もさることながらストーリーも面白かったですね。さて、サブタイトルの「ピーマンと鳩と数学」のピーマンって一体??と思っていたら「重さにばらつきがあるピーマン(20〜50g/個)をうまく組合せて特定の重さ(150g)に袋詰めするに [続きを読む]
  • 1.3. 確率の基本的性質
  • 確率の性質コルモゴロフの公理から確率の各種性質を導くことができます。まず、集合とその補集合の関係についてです。[math]P[/math]を[math]sigma[/math]加法族[math]mathcal{B}[/math]上の確率関数とする。任意の[math]Ain mathcal{B}[/math]に対し以下が成立する。[math]P(A)+P(A^c)=1[/math][math]P(A)leq 1[/math][math]P(emptyset)=0[/math]1つ目は[math]A,A^c[/math]は互いに排反であり、[math]S=Acup A^c[/math]であること [続きを読む]
  • 1.2. コルモゴロフの公理
  • 確率は降水確率や当選確率など生活の中でも用いられ、中学数学でも出現頻度をもとにした確率を学びます。しかし、出現頻度をもとにしたアプローチでは可算無限個の事象の取り扱いが難しいためここではコルモゴロフの公理(Kolmogorov Axioms)として知られる公理的なアプローチで確率を定義1)生活の中で感覚的に理解した気になる分、公理的アプローチの必要性を理解しづらいのも確率を勉強する際のハードルになっている気がします。 [続きを読む]
  • 1.1. 集合論
  • 集合論統計学は確率論をベースに構築されており、確率論は集合論をベースに構築1)公理的確率論を理解するには公理的集合論、測度論、ルベーグ積分の理解が必要と言われていますが私の能力を超えているので「Statistical Inference」の構成に沿って整理します。されているためまずは集合論(特に統計学での概念、用語の定義)から始めます。関心のある実験、状況において起こりうるすべての結果で構成される集合[math]S[/math]を標 [続きを読む]
  • オペレーションズ・リサーチ vol.52 no.01(2007/01)
  • 概要人工知能特集。編集がTACOSの飯田 弘之 氏、執筆者がTACOSの橋本 剛 氏、YSS&AYAの山下 宏 氏、GPS将棋の田中 哲郎 氏、IS将棋の岸本 章宏 氏、不完全情報ゲームの作田 誠 氏、ロボカップの野田 五十樹 氏と錚々たるメンバー。よくこのメンツの原稿を揃えられたなぁと思う。内容はコンピュータ将棋(橋本 剛)コンピュータ将棋の概説。出版時期がちょうどBonanzaの出現直後だということもあり、随所にBonanza登場前後の違いが [続きを読む]
  • オペレーションズ・リサーチ vol.53 no.02(2008/02)
  • 概要データ解析コンペティション特集。データは(株)環のウェブ解析ツール「シビラ」サイトのWebアクセスログ。前半二つの記事は「特徴シークエンス」抽出を用いてコンバージョンユーザ特有の行動を抽出しようと試みた内容。行動ログからあるグループに特徴的な行動を抽出するというのは仕事で出会ったテーマ(購買行動に至ったユーザの特徴抽出、作業が速いユーザの行動特性など)なので興味深い内容だった。ちなみにうちの会社 [続きを読む]
  • 【統計検定対策】平均(解法2. 変数を分離し、より簡単な平均に帰着)
  • 変数を分離する和・差の分離まず、平均の基本的な性質として線形性があります。[math]X[/math]を確率変数とし、[math]a, b[/math]を定数とする。この時、[math]E[aX+b]=aE[X]+b[/math]が成立する。つまり、線形変換[math]Y=aX+b[/math]した確率変数の平均[math]E[Y][/math]は[math]E[X][/math]から容易にわかります。また、確率変数同士の線形和の平均もそれぞれの確率変数の平均の和に分離できます。[math]X,Y[/math]を確率変数と [続きを読む]
  • オペレーションズ・リサーチ vol.51 no.11(2006/11)
  • 概要1クラスSVMの特集号。まず、冒頭の「特集に当たって」(香田 正人先生)の1クラスSVMの説明が本質を的確に表現していると思う。1クラスSVMの名を筆者が1999年に最初に耳にした時,本質的に2クラス分類手法であるSVMとは概念矛盾だと違和感を覚えた.1クラスならばクラス・ラベルを必要とせず,クラスタリングに他ならないからである.その後,サボートベクターを拡張した近傍サポート(Support Neighbor)の概念を聞くに [続きを読む]
  • 【統計検定対策】平均(解法1. 定義に基づいて計算)
  • 解法1:定義に基づいて計算定跡「確率密度関数の定義域上での積分に帰着」定義式に基づいて平均を導出することは数理統計を学ぶ上ではぜひ一度自分の手で確認しておくことが良いと思いますが、他の手法と比べると積分(or [math]Sigma[/math])計算が煩雑になることが多く、試験では最後の手段として使うことが望ましいです。計算時間の短縮の観点からは「〇〇分布に従う確率変数の平均は△△になる。」など証明なしで事実として使 [続きを読む]
  • 【統計検定対策】出題傾向(統計応用)
  • 2013〜2016年の出題分野出題方式変更後の2013〜2016年の統計応用の出題傾向をまとめました。なお、私が受験したのが理工学分野だったので理工学分野のみまとめています。2015・2016年の出題範囲大項目2016年2015年問1問2問3問4問5問1問2問3問4問5統計数理○○○○○○○○多変量解析確率過程○線形推測○漸近理論品質管理○ [続きを読む]
  • 【統計検定対策】出題傾向(統計数理)
  • 2013〜2016年の出題分野出題方式変更後の2013〜2016年の統計数理の出題傾向をまとめました。2015・2016年の出題範囲大項目2016年2015年問1問2問3問4問5問1問2問3問4問5確率と確率変数○○○○○○種々の確率分布○○○○○○統計的推定○○○○統計的検定○○データ解析法○○○○○ 2014・2013年の出題範囲大項目2014年2013年問1問2問3問4問5問1 [続きを読む]
  • 【参考図書】統計検定1級・RSS/JSS試験 公式問題集
  • 概要日本統計学会認定の公式問題集(2012〜2013年の2年分を収録)です。統計検定1級受験時に買ったものの結局は2014〜2015年の問題を収録した新しい公式問題集を解くので精一杯であまり使いませんでした。日本統計学会公式認定 統計検定 1級・RSS/JSS試験 公式問題集[2012~2013年]構成統計検定1級 2013年11月分の問題/解答例統計検定1級 2012年11月分の問題/解答例RSS/JSS試験 2013年5月分の問題/解答例RSS/JSS試験 2012年5月分 [続きを読む]
  • 【参考図書】統計検定1級・準1級 公式問題集
  • 概要日本統計学会認定の公式問題集(2014〜2015年の2年分を収録)です。統計検定1級はとにかく問題量が多いので受験前に過去問で練習しておくことが合格への近道だと思います。日本統計学会公式認定 統計検定 1級・準1級 公式問題集[2014〜2015年]構成統計検定1級 2014年11月分の問題/解答例統計検定1級 2015年11月分の問題/解答例統計検定準1級 2014年11月分の問題/解答例統計検定準1級 2015年11月分の問題/解答例良かった点 [続きを読む]
  • 【参考書籍】Statistical Inference (Second Edition)
  • 教科書に選んだ理由統計を勉強し直す際に使った教科書が「Statistical Inference」(Casella, G and Berger, R.L.著)です。Statistical Inference この本にたどり着く前にもいくつか入門書は手に取ったのですが「正規分布に従う確率変数の二乗は自由度1の[math]chi^2[/math]分布に従う」など事実のみ書かれており、証明が載っていない「詳細な説明は上級の教科書に譲りたい」など細かな内容が書かれていないことが多くきちんと理解 [続きを読む]
  • 【統計検定対策】平均
  • 平均はもっとも代表的な統計量であるとともにモーメント母関数、不偏推定量、平均最小二乗誤差などの定義にも登場し、まさに統計学の中心といっても良い概念です。統計検定1級でも有名分布(二項分布)などの平均値を導出過程を含めて解答させる問題モーメント母関数を求める問題や不偏推定量を証明させる問題など実質的に平均を求めさせる問題分散や検定統計量を出す過程で平均が必要になる問題など平均を求める問題は頻出です。 [続きを読む]
  • 【統計検定対策】一様最小分散不偏推定量
  • 推定量の評価尺度一様最小分散不偏推定量の定義に入る前に推定量の評価尺度について説明します。ある分布のパラメータ[math]theta[/math]の推定量[math]hat{theta}(X)[/math]の評価尺度として平均二乗誤差[math]E_thetaleft[left(hat{theta}(X)-thetaright)^2right][/math]がよく用いられます。このとき、確率変数の平均周りのモーメントで展開するという定跡に従い[math]bar{hat{theta}}=Eleft[hat{theta}right][/math]とすると[m [続きを読む]
  • 【統計検定対策】十分統計量
  • 定義ある分布のパラメータ[math]theta[/math]の統計量[math]T(X)[/math]が以下の式を満たすとき十分統計量と呼ぶ。[math]P(X=x|T(x)=t,theta)=P(X=x|T(x)=t)[/math]十分統計量の意味統計量[math]T(X)[/math]の情報が与えられると[math]X[/math]の条件付き分布はもはや[math]theta[/math]に依存しないことを意味しています。尤度法に基づくパラメータ[math]theta[/math]の推定では、標本[math]X[/math]に関するすべての情報がなくて [続きを読む]
  • 過去の記事 …