tereka さん プロフィール

  •  
terekaさん: のんびりしているエンジニアの日記
ハンドル名tereka さん
ブログタイトルのんびりしているエンジニアの日記
ブログURLhttp://nonbiri-tereka.hatenablog.com/
サイト紹介文C++やPython、機械学習の勉強のメモを書いたりしている技術系のブログです。よければ見てください
参加カテゴリー
更新頻度(1年)情報提供15回 / 365日(平均0.3回/週) - 参加 2014/10/21 08:12

tereka さんのブログ記事

  • 私がわかりにくいと思った「Faster RCNN」のポイントの解説
  • 皆さんこんにちはお元気ですか。ちゃっかりKaggleで物体検出のコンペもはじまりました。Deep Learningは相変わらず日進月歩で凄まじい勢いで進化しています。特に画像が顕著ですが、他でも色々と進歩が著しいです。ところで色々感覚的にやりたいことが理解できるものがありますが、あまり勉強していなかった分野として物体検出系のアルゴリズムがあります。所謂、Faster RCNN, SSD, Yolo、最近、Mask R-CNNが該当します。ただ、今 [続きを読む]
  • Jupyter Labのbetaが公開されました。操作性が向上していい感じ!
  • 皆さんこんにちは。お元気ですか。Advent Calendar執筆して以来、久々です。今更ですが、あけましておめでとうございます。今年もよろしくお願いいたします。いつものようにTwitterを見ていると以前紹介したJupyter Labのbetaがリリースとのことで、次の記事が回ってきました。blog.jupyter.orgせっかくなのでまた、お試しで使ってみました。※Alpha版を試した記事はこちらnonbiri-tereka.hatenablog.com 使ってみた イ [続きを読む]
  • クリスマスにChainerを使って妄想力を可視化した。
  • 皆さんこんにちはお元気ですか。やっと書き切りました。実は今年ももう少しです。昨年度はカノジョを作成し、その前は友利奈緒を真面目に解析しています。いやぁ時の流れは早いものです。これを踏まえ、今年は何をしようか考えました。Chainer Advent Calendar 25日目で、皆様の妄想力を具現化したいと思います。qiita.com 妄想について モザイク処理外し モザイク処理とは モザイク処理の種類 [続きを読む]
  • 画像のDataAugmentationで最速のライブラリを探してみた
  • 皆さんこんにちはお元気ですか。年末に向けて燃え尽きようとしています。OpenCVアドベントカレンダー第22日です。qiita.com今回、PythonのDataAugmentationで最速の方法を探してみます。画像処理のDeepLearningでは、頻繁にDataAugmentationが使われています。このData Augmentationは画像に結果がない程度に変換を加え、ニューラルネットワークに入力する手法です。以前、こんな資料を作りました。 How to use scikit-image fo [続きを読む]
  • 日本語自然言語処理のData Augmentation
  • 皆さんこんにちはお元気ですか。週末の発表資料も作っています。本記事は自然言語処理アドベントカレンダー第13日です。qiita.com画像処理ではデータをアフィン変換などで変形して、画像を拡張する処理(=Data Augmentation)が知られています。変換などをかけて過学習を防ぐ役割が1つとしてあります。今回は、自然言語処理でもData Augmentationを実現したいと思います。 テキストのData Augmentationの意義 自分でデータ [続きを読む]
  • WebDNNのサンプルとコードの解説に挑戦
  • 皆さんこんにちは。お元気ですか。師走の12月らしく締め切りに追われています。この記事は「Deep Learning フレームワークざっくり紹介 Advent Calendar 2017」第7日目です。qiita.comDeepLearningフレームワークの1つ、WebDNNのご紹介をします。このフレームワークを調べたきっかけとして、「MakeGirls.moe」があります。MakeGirls.moeは萌画像生成のWebサービスで、WebDNNを使用して提供しているようです。make.girls.moe We [続きを読む]
  • Pythonで自然言語処理のタスクをやってみる。
  • 皆さんこんにちはお元気ですか。アドベントカレンダー真っ盛りですね。本日は「python Advent Calendar 2017」のアドベントカレンダー第5日です。qiita.com自然言語処理には様々なライブラリ(NLTKやCoreNLP)があります。せっかくの機会として、本記事では紹介が少ないspaCyを紹介します。 spaCy spaCyとは spaCyはPythonの発展的な自然言語処理のライブラリです。実際に使われていることを想定しており、英語、ドイ [続きを読む]
  • ZabbixでGPUを監視する
  • 皆さんこんにちはお元気ですか。私はISUCONで負けました。前回はCPUの温度監視をしました。だが、まだ情報が足りません。そう、GPUの監視情報です。一般的にはnvidia-smiから情報を取得できますがこれをZabbixで見たいと思います。同じようなことを考える人は古今東西にいるもので、Zabbix Agentの設定、テンプレートまで公開されています。それに沿って可視化しましょう。github.com Zabbix Agentの設定 Zabbix AgentにUser [続きを読む]
  • ZabbixでサーバマシンのCPU温度を監視する
  • 皆さんこんにちは。お元気ですか。旧友に最近太ったといわれて少々、落ち込んでます。ちょっと食べる量減ったんですよね。ここ数年。負荷がかかるとリモートPCの調子が時々悪くなると言った事象が発生し、勝手に落ちるするといった状況なのでちょっと対策を打ちたいなぁと思っていました。CPU温度が怪しいと思っていましたが、自分の目でsensorsを監視し続けるのは大変でした。また、非常にエンジニア的ではなく気に入らないので別 [続きを読む]
  • CatBoostを5分程度で動かしてみた
  • 皆さんこんにちはお元気ですか?私は年末の師走フラグが立っています。少し前(この界隈ではだいぶ前っぽい)にYandex社からCatBoostが発表されました。これが発表されたことは知っていたのですが、時間が取れなくて利用してなかったソフトウェアの1つです。 CatBoost CatBoostはYandex社が開発した勾配ブースティングをベースとした機械学習のライブラリです。catboost.yandex公式サイトには次の特徴が記載されています。 [続きを読む]
  • Pandasで特徴量取得する場合に使う操作をまとめてみた
  • 皆さんこんにちはお元気ですか。私は元気です。分析は基本的にPythonを使って行います。(大体Pandasですが・・・)Pandasを利用すると色々できます。が、ふとどうするんだっけ処理が増えていきました。自分のメモがてらカテゴリを分けて記録に残したいと思います。最後のほうは特徴量の作り方集になっています。Kaggleで実際に使ったことがある処理も数多く掲載しました。思いついたら随時、追加しようと思います。 準備 フ [続きを読む]
  • PyTorchでCIFAR10を既存のCIFAR10のDataset Classを使わずに分類する
  • 皆さんこんにちは。お元気ですか。雨天が増えてきて、出かけるのが億劫になっています。PyTorchを使って画像認識データセットCIFAR10を分類しました。KaggleでPyTorchユーザが増えてきたこともあり、勉強しました。最近、この手のチュートリアルやExamplesに良しなにできるデータ処理専用クラスを予め作っていることがあります。この状態は新しいデータセットを試したい場合に不便なので、そのような内容が含まれないCIFAR10のコー [続きを読む]
  • Rundeckを使ってリッチに定期ジョブを作った
  • 皆さんこんにちはお元気ですか。昨日食べた中華そばおいしかったです。定期的に実行するJobを作成・実行する場合何を使っているでしょうか?メジャーなツールであれば、cronがあります。しかし、このツールはCUI、かつ、他に色々追加したいこと(リトライ、通知)などを設定したい場合に大変で、面倒です。そこで、Rundeckです。RCO&RLSさんの勉強会に触発されて使ってみました。 Rundeckとは? 一言で表すとジョブスケジュ [続きを読む]
  • Chainerの学習の様子をリモートで確認するExtensionを作った
  • 皆さんこんにちはお元気ですか。私はGWでリフレッシュして、生き返りました。Kaggleをやっているとき(特に画像などの長い場合)にリモートで今学習されているかどうか、誤差はどうかなどのモデルの様子が気になることはありませんか?私は画像認識系のコンペを実際に行っている時に、気になることがあります。これどうしようかと考えていたのですが、歩いている時にふと思いついたので実装しました。このアイデアの実装のために、 [続きを読む]
  • CUDAを使ってGPUプログラミングに挑戦してみた。
  • 皆さんこんにちはお元気ですか。私は家の近くに一風堂ができて感動しています。本日はCUDAを使ったGPUプログラミングに挑戦します。最近、ふと思うことがあります。GPUをよく使いますが、GPUの心みたいなものがわからない状態です。そこで、GPUプログラミングに挑戦し、コードを書きながらGPUのことを知ることができたらと思って書いてみました。GPUわからないとTwitter呟いていたら、@dandelion1124さんにおすすめの書籍を紹介し [続きを読む]
  • Anacondaを使ったPythonの環境構築
  • 皆さんこんにちはお元気ですか。私は暇です(だと信じています)。最近ブログタイトルと本人の忙しさが一致していないと言われるのでとりあえず暇ですといってみます。本日は、Anacondaについて書きます。 Anacondaについて Anacondaとは インストール方法 condaを使って環境を構築・確認する ライブラリのインストール condaで入れたライブラリの一覧 [続きを読む]
  • Cookiecutterを使ってテンプレートからプロジェクトを作成する
  • 皆さんこんにちはお元気ですか。ユニクロの極暖Tシャツ着ているとかなり暑い。。。冬なのに今日は、Cookiecutterを使ったテンプレートからの複製生成を試みます。テンプレートからちょっと変えたい部分を用意することで、簡単に似たプロジェクトを作成できます。 Cookiecutterについて Cookiecutterは雛形となるテンプレートプロジェクトからプロジェクトを生成するツールです。雛形となるプロジェクトを作ってしまえば、少 [続きを読む]
  • Visual Studio CodeでC++の環境構築をやってみる
  • 皆さんこんにちはお元気ですか。私は元気です。VIsual Studio CodeでC++の環境を構築します。C++のコードを書く時に案外いいエディタがなくて結構困ります。今まではsublime text+ pluginを使っていましたが、デバッガ厳しい、補完難しいなど色々困っていました。そこで、試しにVisual Studio CodeでC++の環境を作ってみました。 Visual Studio Code Microsoftが作っているWindows, MacOS, Linuxで動作する軽量高速な高機能 [続きを読む]
  • Dockerを使ってGPUも使える分析環境を構築してみた
  • 皆さんこんにちはお元気ですか。Kaggle Meetup面白かったです!またあいましょう。今日はDockerを使った分析環境構築の話をしようと思います。Dockerを使って何を作ろうかと思ったら、分析環境さっさと作りたい・・・cudnn等の更新が面倒であることが思い浮かびました。なんとなく、Dockerを使えば解消できるのではないかといったことを思いつき遊んでみました。 Dockerとは Dockerはコードやシステムライブラリ、システムで [続きを読む]
  • 2017年の挨拶とやりたいこと
  • あけましておめでとうございます。今年もよろしくお願いします。ふりかえりはしませんが、昨年はエキサイティングな1年間で色々なことに挑戦していった年でした。色々と課題も見えてきましたが・・・今年はKaggleもしかりお仕事もしかり色々やっていったかなと思います。結局、Kaggle Masterになれず、Competitions Expertにいます。今年こそはなりたいなぁ やりたいこと 今年度もやりたいことは沢山あります。強化学習の勉 [続きを読む]
  • Chainerの抽象化に挑戦してみた
  • 皆さんこんにちはお元気ですか?年末ってこんなに忙しくなるものですね。本記事はChainer Advent Calendar 16日目の記事です。qiita.com本日はScikit-learn likeなChainerを作った記事です。なぜ、作ったのかは後述します。 はじめに なぜ、抽象化コードを作ってみたのか Scikit-learnのWrapperを実装するメリット 「うまくいかないこと」を早く知る 使いやすい [続きを読む]
  • Pythonを使った音楽解析をやってみる
  • 皆さんこんにちはお元気ですか。私は元気です。本記事はPythonのアドベントカレンダー第6日です。qiita.com本日はPythonを使った音楽解析に挑戦します。偶然にも音楽解析に便利なライブラリを発見したので、試してみたいと思います! 音楽解析 librosa librosaとは 音楽を解析してみた。 音楽を取得する。 データ読み込み 音楽情報を取得する。 [続きを読む]
  • グレーの画像に色をつけるネットワークについて発表しました。
  • 皆さんこんにちはお元気ですか。どきどき。本記事はDeepLearning Advent Calendar 3日目の記事です。qiita.com今日は画像に色を付与するネットワークについて発表します。せっかくなので、そのタイミングを見計らって公開しています。 発表スライド 慌てて使った。 Colorful image colorization from Hiroki Yamamoto www.slideshare.net グレー画像に色をつけること はじめに、グレー画像から元のRGB画像へ変換す [続きを読む]