深層学習とその他

機械学習したいマン

Python

scikit-learnでConfusion Matrixを見やすく表示する

アドベントカレンダー11日目です。 今日はscikit-learnでConfusion Matrixを表示したいと思います。 adventar.org Confusion Matrixの書き方 基本的な書き方は以下に乗っているコードをほぼそのまま動かすだけです。 https://scikit-learn.org/stable/auto_e…

word2vecで学習済みfastTextを読み込んで単語類似度を表示する

アドベントカレンダー9日目です。今日は、word2vecで学習済みfastTextを読み込んで類似度を出してみたいと思います。 adventar.org 学習済みfastTextのデータをダウンロードする 学習済みfastTextのデータはこちらからダウンロードできます。 fastTextの学習…

Cannot uninstall 'scipy'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.というエラーが出る

gensimをインストールするときに、scipyについてこのエラーが出ました。 Cannot uninstall 'scipy'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall…

seabornで折れ線グラフを描く

アドベントカレンダー8日目です。今日は、seabornを使って折れ線グラフを書いていきたいと思います。 matplotlibでの折れ線グラフ matplotlibではplot関数で折れ線が描画できます。この際に、yの値は渡さなくても一応描画できます。figure(figsize)で図のサ…

GoogleColaboratoryでChainerを使う

アドベントカレンダー7日目です。 adventar.org コラボラトリーでChainerを使う際のコマンドをいつも忘れるのでメモ。また、先にランタイムをGPUに切り替えることを忘れないようにしましょう。 Chainerのインストール この一行を動かすだけで大丈夫です。 !c…

jupyterthemesでjupyterの見た目をよくする

アドベントカレンダー6日目です。 adventar.org今日はjupyterthemesについて書いていきたいと思います。 jupyter-themesとは jupyter notebookのデザインをいじることができて、背景の色の変更やフォントの指定、フォントサイズの変更などができます。 githu…

tqdmで精神衛生を保つ

アドベントカレンダー5日目です。 adventar.org 今日はプログレスバーを表示するtqdmについて書いていきます。 tqdmとは tqdm means “progress” in Arabic (taqadum, تقدّم) and is an abbreviation for “I love you so much” in Spanish (te quiero demasia…

pythonでバイナリを扱う

一人アドベントカレンダー4日目です。 たまたまpythonでバイナリを扱ったのでそれに関してのメモを書いていきます。adventar.org 基本的な扱い 基本的にはstructで扱えばいいと思います。 パックするときはpackを使い、フォーマット文字列を指定します。 ア…

chainerのexamplesについて

一人アドベントカレンダー1日目です。 adventar.org昨年に引き続きやっていきますが、 去年よりは忙しいのですべて埋まるかは怪しいです。今日はChainerのexamplesについて書いていきたいと思います。 github.comChainerのexamplesは少しずつ数が増えていて…

複数のファイルをunzipする

複数のファイルをunzipする場合、こういう書き方が思い浮かぶと思います。 unzip *.zip実際にこのコマンドを打ち込んでも解凍はできません。 以下のようなエラーが出ました。 End-of-central-directory signature not found. Either this file is not a zipf…

日本のWikipediaのデータを使ったWord2vecでの類似語表示とngramで文生成 (1)

まともに使ったことがなかったWord2vecを使っていきます。 データを手に入れる まず、Wikipediaのデータはここから拾ってきます。 Wikipedia:データベースダウンロード - Wikipedia 基本は最新の全ページを拾ってくればいいと思います。 英語を使いたい人は…

trainerのextensionsについて

アドベントカレンダー20日目です。 adventar.org 今日はchainerのtrainer extensionsについて書いていきたいと思います。 Trainerについて chainerのバージョン1.10.0でTrainerが実装されました。 従来は学習ループをがしがし記述していたのですが、Trainer…

pythonのCounterについて

アドベントカレンダー18日目です。 adventar.org 今日はPythonのCounterについて書いていきます。 Counterとは? 与えられた要素について数を数えます。公式の例がわかりやすいです。 c = Counter() # a new, empty counter c = Counter('gallahad') # a new …

imagenetとその使い方について

アドベントカレンダー17日目です。https://blog.hatena.ne.jp/looseleaf0727/looseleaf0727.hatenablog.jp/edit?entry=8599973812327479500 adventar.org 今日はimagenetの説明と、使い方について書いていきたいと思います。 imagenetについて こちらのこと…

scikit-learnのgrid_search使ってみた

アドベントカレンダー11日目です。 adventar.org 今日はgrid_searchについて書いていきたいと思います。 grid_searchとは? 最適なパラメータの探索を行うメソッドです。 探索を行いたいパラメータをセットしておくと、最適なパラメータを見つけ出してくれま…

chainerのto_cpuについて

アドベントカレンダー9日目です。 adventar.org 今日はchainerのmodel.to_cpuについて書いていきます。 to_cpuについて chainerで学習する際には、ネットワークを定義した後、モデルをto_gpuすると思います。これによりGPUで処理をすることができるからです…