tereka さん プロフィール

  •  
terekaさん: のんびりしているエンジニアの日記
ハンドル名tereka さん
ブログタイトルのんびりしているエンジニアの日記
ブログURLhttp://nonbiri-tereka.hatenablog.com/
サイト紹介文C++やPython、機械学習の勉強のメモを書いたりしている技術系のブログです。よければ見てください
参加カテゴリー
更新頻度(1年)情報提供18回 / 365日(平均0.3回/週) - 参加 2014/10/21 08:12

tereka さんのブログ記事

  • ZabbixでGPUを監視する
  • 皆さんこんにちはお元気ですか。私はISUCONで負けました。前回はCPUの温度監視をしました。だが、まだ情報が足りません。そう、GPUの監視情報です。一般的にはnvidia-smiから情報を取得できますがこれをZabbixで見たいと思います。同じようなことを考える人は古今東西にいるもので、Zabbix Agentの設定、テンプレートまで公開されています。それに沿って可視化しましょう。github.com Zabbix Agentの設定 Zabbix AgentにUser [続きを読む]
  • ZabbixでサーバマシンのCPU温度を監視する
  • 皆さんこんにちは。お元気ですか。旧友に最近太ったといわれて少々、落ち込んでます。ちょっと食べる量減ったんですよね。ここ数年。負荷がかかるとリモートPCの調子が時々悪くなると言った事象が発生し、勝手に落ちるするといった状況なのでちょっと対策を打ちたいなぁと思っていました。CPU温度が怪しいと思っていましたが、自分の目でsensorsを監視し続けるのは大変でした。また、非常にエンジニア的ではなく気に入らないので別 [続きを読む]
  • CatBoostを5分程度で動かしてみた
  • 皆さんこんにちはお元気ですか?私は年末の師走フラグが立っています。少し前(この界隈ではだいぶ前っぽい)にYandex社からCatBoostが発表されました。これが発表されたことは知っていたのですが、時間が取れなくて利用してなかったソフトウェアの1つです。 CatBoost CatBoostはYandex社が開発した勾配ブースティングをベースとした機械学習のライブラリです。catboost.yandex公式サイトには次の特徴が記載されています。 [続きを読む]
  • Pandasで特徴量取得する場合に使う操作をまとめてみた
  • 皆さんこんにちはお元気ですか。私は元気です。分析は基本的にPythonを使って行います。(大体Pandasですが・・・)Pandasを利用すると色々できます。が、ふとどうするんだっけ処理が増えていきました。自分のメモがてらカテゴリを分けて記録に残したいと思います。最後のほうは特徴量の作り方集になっています。Kaggleで実際に使ったことがある処理も数多く掲載しました。思いついたら随時、追加しようと思います。 準備 フ [続きを読む]
  • PyTorchでCIFAR10を既存のCIFAR10のDataset Classを使わずに分類する
  • 皆さんこんにちは。お元気ですか。雨天が増えてきて、出かけるのが億劫になっています。PyTorchを使って画像認識データセットCIFAR10を分類しました。KaggleでPyTorchユーザが増えてきたこともあり、勉強しました。最近、この手のチュートリアルやExamplesに良しなにできるデータ処理専用クラスを予め作っていることがあります。この状態は新しいデータセットを試したい場合に不便なので、そのような内容が含まれないCIFAR10のコー [続きを読む]
  • Rundeckを使ってリッチに定期ジョブを作った
  • 皆さんこんにちはお元気ですか。昨日食べた中華そばおいしかったです。定期的に実行するJobを作成・実行する場合何を使っているでしょうか?メジャーなツールであれば、cronがあります。しかし、このツールはCUI、かつ、他に色々追加したいこと(リトライ、通知)などを設定したい場合に大変で、面倒です。そこで、Rundeckです。RCO&RLSさんの勉強会に触発されて使ってみました。 Rundeckとは? 一言で表すとジョブスケジュ [続きを読む]
  • Chainerの学習の様子をリモートで確認するExtensionを作った
  • 皆さんこんにちはお元気ですか。私はGWでリフレッシュして、生き返りました。Kaggleをやっているとき(特に画像などの長い場合)にリモートで今学習されているかどうか、誤差はどうかなどのモデルの様子が気になることはありませんか?私は画像認識系のコンペを実際に行っている時に、気になることがあります。これどうしようかと考えていたのですが、歩いている時にふと思いついたので実装しました。このアイデアの実装のために、 [続きを読む]
  • CUDAを使ってGPUプログラミングに挑戦してみた。
  • 皆さんこんにちはお元気ですか。私は家の近くに一風堂ができて感動しています。本日はCUDAを使ったGPUプログラミングに挑戦します。最近、ふと思うことがあります。GPUをよく使いますが、GPUの心みたいなものがわからない状態です。そこで、GPUプログラミングに挑戦し、コードを書きながらGPUのことを知ることができたらと思って書いてみました。GPUわからないとTwitter呟いていたら、@dandelion1124さんにおすすめの書籍を紹介し [続きを読む]
  • Anacondaを使ったPythonの環境構築
  • 皆さんこんにちはお元気ですか。私は暇です(だと信じています)。最近ブログタイトルと本人の忙しさが一致していないと言われるのでとりあえず暇ですといってみます。本日は、Anacondaについて書きます。 Anacondaについて Anacondaとは インストール方法 condaを使って環境を構築・確認する ライブラリのインストール condaで入れたライブラリの一覧 [続きを読む]
  • Cookiecutterを使ってテンプレートからプロジェクトを作成する
  • 皆さんこんにちはお元気ですか。ユニクロの極暖Tシャツ着ているとかなり暑い。。。冬なのに今日は、Cookiecutterを使ったテンプレートからの複製生成を試みます。テンプレートからちょっと変えたい部分を用意することで、簡単に似たプロジェクトを作成できます。 Cookiecutterについて Cookiecutterは雛形となるテンプレートプロジェクトからプロジェクトを生成するツールです。雛形となるプロジェクトを作ってしまえば、少 [続きを読む]
  • Visual Studio CodeでC++の環境構築をやってみる
  • 皆さんこんにちはお元気ですか。私は元気です。VIsual Studio CodeでC++の環境を構築します。C++のコードを書く時に案外いいエディタがなくて結構困ります。今まではsublime text+ pluginを使っていましたが、デバッガ厳しい、補完難しいなど色々困っていました。そこで、試しにVisual Studio CodeでC++の環境を作ってみました。 Visual Studio Code Microsoftが作っているWindows, MacOS, Linuxで動作する軽量高速な高機能 [続きを読む]
  • Dockerを使ってGPUも使える分析環境を構築してみた
  • 皆さんこんにちはお元気ですか。Kaggle Meetup面白かったです!またあいましょう。今日はDockerを使った分析環境構築の話をしようと思います。Dockerを使って何を作ろうかと思ったら、分析環境さっさと作りたい・・・cudnn等の更新が面倒であることが思い浮かびました。なんとなく、Dockerを使えば解消できるのではないかといったことを思いつき遊んでみました。 Dockerとは Dockerはコードやシステムライブラリ、システムで [続きを読む]
  • 2017年の挨拶とやりたいこと
  • あけましておめでとうございます。今年もよろしくお願いします。ふりかえりはしませんが、昨年はエキサイティングな1年間で色々なことに挑戦していった年でした。色々と課題も見えてきましたが・・・今年はKaggleもしかりお仕事もしかり色々やっていったかなと思います。結局、Kaggle Masterになれず、Competitions Expertにいます。今年こそはなりたいなぁ やりたいこと 今年度もやりたいことは沢山あります。強化学習の勉 [続きを読む]
  • Chainerの抽象化に挑戦してみた
  • 皆さんこんにちはお元気ですか?年末ってこんなに忙しくなるものですね。本記事はChainer Advent Calendar 16日目の記事です。qiita.com本日はScikit-learn likeなChainerを作った記事です。なぜ、作ったのかは後述します。 はじめに なぜ、抽象化コードを作ってみたのか Scikit-learnのWrapperを実装するメリット 「うまくいかないこと」を早く知る 使いやすい [続きを読む]
  • Pythonを使った音楽解析をやってみる
  • 皆さんこんにちはお元気ですか。私は元気です。本記事はPythonのアドベントカレンダー第6日です。qiita.com本日はPythonを使った音楽解析に挑戦します。偶然にも音楽解析に便利なライブラリを発見したので、試してみたいと思います! 音楽解析 librosa librosaとは 音楽を解析してみた。 音楽を取得する。 データ読み込み 音楽情報を取得する。 [続きを読む]
  • グレーの画像に色をつけるネットワークについて発表しました。
  • 皆さんこんにちはお元気ですか。どきどき。本記事はDeepLearning Advent Calendar 3日目の記事です。qiita.com今日は画像に色を付与するネットワークについて発表します。せっかくなので、そのタイミングを見計らって公開しています。 発表スライド 慌てて使った。 Colorful image colorization from Hiroki Yamamoto www.slideshare.net グレー画像に色をつけること はじめに、グレー画像から元のRGB画像へ変換す [続きを読む]
  • ChainerのTrainerを使ってみた
  • 皆さんこんにちはお元気ですか。最近、Chainer便利でびっくりしたような頃合いです。頻繁に更新することで有名なChainerですが、久々にupgradeすると以前よりもシンプルなタスクについて、簡単に学習ができます。 Trainer Chainer version 1.11.0よりTrainerと呼ばれる機能が実装されています。以前まで学習用バッチ処理を自前で書くようなことが必要でしたが、これを使うことによってバッチ処理を書く必要がなくなります。 [続きを読む]
  • 高速化のためのPython Tips
  • 皆さんこんにちはお元気ですか?私は元気です。Pythonにおける高速化手法を掲載してみます。簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。本日の目次です。 Pythonにおける高速化の必要性 Pythonの高速化 高速化の手順 Profiling 基本的な条件 計測コード Pythonの基本的な書き方部分 rangeよりxrangeを(Python2. [続きを読む]
  • dlibで画像を認識させて、遊んでみた。
  • 皆さんこんにちはお元気ですか。私は元気です。ついに、今回はdlibで遊んでみました。※dlibとは何だ?と思う方は以下のページへnonbiri-tereka.hatenablog.com 基本的な構成 画像の読み込みと表示 画像の処理をかけてみる。 画像特徴に使われる処理を実施してみる。 Selective Search OpenCV連携 感想 基本的な構成 基本的の構成は以下のように [続きを読む]