starpentagon さん プロフィール

  •  
starpentagonさん: 有意に無意味な話
ハンドル名starpentagon さん
ブログタイトル有意に無意味な話
ブログURLhttp://starpentagon.net/analytics/
サイト紹介文統計、データマイニング、最適化など世の中の95%以上の人は関心を持たなさそうな話を書ています
参加カテゴリー
更新頻度(1年)情報提供90回 / 365日(平均1.7回/週) - 参加 2016/12/03 00:56

starpentagon さんのブログ記事

  • Jupyter notebookをリモートで利用する
  • 分析環境の定番であるJupyter notebookで分析処理を実行するマシン(サーバ側)分析結果を確認するマシン(クライアント側)と分けて運用する方法を紹介します。私の場合だとパラメタチューニングで大量の並列処理をする時やGPU処理をする時に自室に置いてある分析用マシンで処理ノートPCから処理の指示/結果確認ということをしています。ちょっとした設定をするだけで重い計算を別マシンで実行し、結果を手元のPCで確認できると [続きを読む]
  • Condaの仮想環境をJupyter Notebookから利用する
  • Anacondaにはcondaという環境管理機能が用意されており用途に応じてPython環境を使い分けることができます。(仮想環境の構築/管理方法は「AnacondaでのPython仮想環境の構築」を参照ください。)ここではcondaで作った仮想環境をJupyter notebookで利用する方法を紹介します。前提Anacondaはインストール済みとします。動作はMac(OS: High Sierra)とWindows 7で確認しています。なお、コマンド操作はそれぞれ以下で行います。Mac [続きを読む]
  • ILSVRC論文(全体編)
  • 良質かつ大規模な画像データセットの代名詞でもあるImageNetを使った画像認識コンペティションがImageNet Large Scale Visual Recognition Challenge(ILSVRC)です。2010年から開催されており2012年にHinton先生らのチームがAlexNetで圧勝し大きな注目集めたのを皮切りに毎年のように新しいモデルが登場しDeep Learning躍進の舞台となったコンペです。本論文はその名も「ImageNet Large Scale Visual Recognition Challenge」という [続きを読む]
  • Macでセグメンテーション技術Mask R-CNNを動かす
  • 画像セグメンテーション(Semantic segmentation)技術として注目を集めている「Mask R-CNN」をMacで動かす機会があったのでその手順を紹介します。Python3, TensorFlow, Kerasを使った実装(「Mask R-CNN for Object Detection and Segmentation」)を利用し、学習済みのパラメタを使うことで簡単にセグメンテーションを試すことができました。実行環境以下の環境で動作をさせています。Mac: MacBook Air 2013 MidOS: High Sierra [続きを読む]
  • Macで物体検知アルゴリズムYOLO V3を動かす
  • 物体検知(object detection)アルゴリズムとして有名なYOLO(You Only Look Once)のバージョンが上がりYOLO V3がリリースされました。YOLO V2も高速/高精度でしたがさらなる高速化、高精度化がなされています。MacでYOLO V3を使って画像の物体検知動画の物体検知内蔵カメラを使ったリアルタイム物体検知を行う機会があったのでその手順を紹介します。実行環境以下の環境で動作をさせています。Mac: MacBook Air 2013 MidOS: High [続きを読む]
  • AnacondaでのPython仮想環境の構築
  • Anacondaにはcondaという環境管理機能が用意されており用途に応じてPython環境を使い分けることができます。特にDeep Learning系のフレームワークは関連モジュールを特定バージョンに揃えておく必要があり、Pythonの仮想環境化は必須といっても良いでしょう。ここでは、よく使うPython仮想環境の作成/管理機能を紹介します。Anacondaのインストールまず、Anacondaをインストールします。AnacondaのダウンロードページからPython 3 [続きを読む]
  • 標本抽出法
  • 統計検定2級では毎回のように標本抽出法の問題が出題されています。ここでは主要な標本抽出法の概要と特徴をまとめ、統計検定2級での出題例を解説します。標本抽出について推測統計学では母集団から一部を抽出し、抽出した集団の性質から母集団の性質を推測します。母集団から標本を抽出する方法として以下の手法単純無作為抽出法系統抽出法層化無作為抽出法多段抽出法クラスター抽出法が知られておりそれぞれメリット、デメリット [続きを読む]
  • CIFAR-10データセット
  • CIFAR-101)「サイファー・テン」や「シーファー・テン」と呼びます。はAlexNetで有名なAlexさんらが構築したもので80 million tiny imagesから飛行機、犬など10クラス学習用データ5万枚評価用データ1万枚を抽出したデータセットです。TensorFlowのチュートリアルにも含まれており触ってみる機会の多いデータセットだと思います。手書き数字を集めたMNISTと比べ「飛行機」や「犬」など一般の物体が写った画像が対象になり画像認識ら [続きを読む]
  • MNISTデータセット
  • MNIST1)「エムニスト」と呼びます。はDeep Learningや機械学習のチュートリアルで頻繁に登場するデータセットで、28×28ピクセルのグレースケール(8bit)の手書き数字(0-9)画像が学習用: 6万枚評価用: 1万枚収録されています。元々はNISTと呼ばれる手書き文字を集めたデータセットから数字データを抜き出したものになっています。入手方法Yann LeCun先生の「THE MNIST DATABASE of handwritten digits」が公式ページで学習用/評価 [続きを読む]
  • MNISTデータセット
  • MNIST1)「エムニスト」と呼びます。はDeep Learningや機械学習のチュートリアルで頻繁に登場するデータセットで、28×28ピクセルのグレースケール(8bit)の手書き数字(0-9)画像が学習用: 6万枚評価用: 1万枚収録されています。元々はNISTと呼ばれる手書き文字を集めたデータセットから数字データを抜き出したものになっています。入手方法Yann LeCun先生の「THE MNIST DATABASE of handwritten digits」が公式ページで学習用/評価 [続きを読む]
  • OneVsRestClassifierのチューニング方法
  • Pythonの機械学習ライブラリscikit-learnには2クラス分類モデルを複数用いて多クラス分類を行うOneVsRestClassifierが用意されています。また、パラメタチューニングの仕組みとしてGridSearchCVが提供されていますが、そのまま使うとOneVsRestClassifierのパラメタしか動かせません。ここではOneVsRestClassifier内部で使われる2クラス分類モデルをGridSearchCVでチューニングする方法を紹介します。実行例としてDigitsデータセッ [続きを読む]
  • GridSearchCV(scikit-learn)によるチューニング
  • Pythonの機械学習ライブラリscikit-learnにはモデルのパラメタをチューニングする仕組みとしてGridSearchCVが用意されています。ここではGridSearchCVの使い方を紹介し、実行例としてscikit-learnに用意されているBoston house-pricesデータセットを題材にGridSearchCVを使ってElasticNetのパラメタチューニングをしてみます。なお、PythonのスクリプトはGitHubにあげているのでそちらをご参照ください。GridSearchCVの使い方GridS [続きを読む]
  • TensorFlow(CPU mode)のWindowsへのインストール
  • TensorFlowはVer. 0.12からWindows1)Windows 7以降の64bit版をサポートしています。を公式サポートしています。今回はWindows 7(64bit)環境でAnacondaでPython 3.6環境を構築TensorFlow 1.7.0, Keras 2.1.5をインストールJupyter notebookでTensorFlow用のkernelを設定を行う機会があったのでその手順を紹介します。Anacondaのインストールまず、PythonディストリビューションであるAnacondaをインストールします。Anacondaのダウ [続きを読む]
  • ImageNet(ILSVRC2012)データセット クラス別画像
  • ImageNetからコンペ・ベンチマーク用に作成されたILSVRC2012データセットのクラス別画像を収集しまとめました。各クラスにどういった画像が含まれているのか具体的に理解できると思います。全部で1000クラスあり量が多いので100クラスずつまとめています。クラス000〜099: 動物(犬、猫、猿など)が大半を占めています。クラス100〜199: 動物の他、車・船・飛行機などの乗り物が含まれています。クラス200〜299: 家具、果物、楽器 [続きを読む]
  • ILSVRC2012データセット クラス別画像(10/10)
  • ILSVRC2012データセットの900番目〜999番目のクラスの画像です。中盤以降はすべて犬です。クラス別画像900 beaker(ビーカー)901 bubble(泡)902 cheeseburger(チーズバーガー)903 parallel bars, bars(平行棒)904 flagpole, flagstaff(フラッグポール)905 coffee mug(コーヒーマグカップ)906 rubber eraser, rubber, pencil eraser(消しゴム)907 stole(ストール)908 carbonara(カルボナーラ)909 dumbbell(ダンベ [続きを読む]
  • ILSVRC2012データセット クラス別画像(09/10)
  • ILSVRC2012データセットの800番目〜899番目のクラスの画像です。衣類、小物などが含まれています。クラス別画像800 stinkhorn, carrion fungus(スッポンタケ)801 lotion(ローション)802 hair spray(ヘアスプレー)803 academic gown, academic robe, judge’s robe(アカデミックガウン)804 dome(ドーム)805 crate(木箱)806 wig(かつら)807 burrito(ブリート)808 pill bottle(薬瓶)809 chain mail, ring mail, mai [続きを読む]
  • ILSVRC2012データセット クラス別画像(08/10)
  • ILSVRC2012データセットの700番目〜799番目のクラスの画像です。衣類、食器類などが含まれています。クラス別画像700 golf ball(ゴルフボール)701 trifle(トライフル)702 suit, suit of clothes(スーツ)703 water tower(給水塔)704 feather boa, boa(ボア)705 cloak(マント)706 red wine(赤ワイン)707 drumstick(ドラムスティック)708 shield, buckler(盾)709 Christmas stocking(クリスマス・ストッキング)71 [続きを読む]
  • ILSVRC2012データセット クラス別画像(07/10)
  • ILSVRC2012データセットの600番目〜699番目のクラスの画像です。建築物、商店、野菜、衣類、楽器などが含まれています。クラス別画像600 cinema, movie theater, movie theatre, movie house, picture palace(映画館)601 home theater, home theatre(ホームシアター)602 lumbermill, sawmill(製材所)603 coil, spiral, volute, whorl, helix(らせん階段)604 obelisk(オベリスク)605 totem pole(トーテムポール)606 cas [続きを読む]
  • ILSVRC2012データセット クラス別画像(06/10)
  • ILSVRC2012データセットの500番目〜599番目のクラスの画像です。器具、クモ、カニ、昆虫、調理器具、建築物などが含まれています。前半にクモやムカデなどが出てくるので苦手な方はご注意ください。クラス別画像500 pier(埠頭)501 tripod(三脚)502 maypole(メイポール)503 hand blower, blow dryer, blow drier, hair dryer, hair drier(ヘアドライヤー)504 mousetrap(ネズミ捕り)505 spider web, spider’s web(クモの [続きを読む]
  • ILSVRC2012データセット クラス別画像(04/10)
  • ILSVRC2012データセットの300番目〜399番目のクラスの画像です。鳥類、魚類、は虫類が含まれています。後半にはトカゲやヘビが出てきますので苦手な方はご注意ください。クラス別画像300 magpie(カササギ)301 chickadee(クロイロコガラ)302 water ouzel, dipper(メキシコカワガラス)303 kite(トビ)304 bald eagle, American eagle, Haliaeetus leucocephalus(ワシ)305 vulture(コンドル)306 great grey owl, great gra [続きを読む]