機械学習とその他

機械学習したいマン

複数のファイルをunzipする

複数のファイルをunzipする場合、こういう書き方が思い浮かぶと思います。 unzip *.zip実際にこのコマンドを打ち込んでも解凍はできません。 以下のようなエラーが出ました。 End-of-central-directory signature not found. Either this file is not a zipf…

XGBoostでInvalid Parameter format for max_depth expect int but valueが出る

XGBoostでパラメータを設定する際にエラーが出ました。 model = xgb.XGBRegressor(params) XGBoostError: b"Invalid Parameter format for max_depth expect int but value='{'eval_metric': 'rmse', 'learning_rate': 0.1}'" こちらを参考にしたところ、動…

日本のWikipediaのデータを使ったWord2vecでの類似語表示とngramで文生成 (1)

まともに使ったことがなかったWord2vecを使っていきます。 データを手に入れる まず、Wikipediaのデータはここから拾ってきます。 Wikipedia:データベースダウンロード - Wikipedia 基本は最新の全ページを拾ってくればいいと思います。 英語を使いたい人は…

command not found エラーが出てしまう

clearコマンドを使おうとすると、以下のようなエラーが出てしまうようになりました。 clear: command not found 調べたところ、/usr/binにパスが通っていないのが問題のようです。 .bash_profileのexportが不味いと予想されますが、とりあえず/usr/binにパス…

2017年に作った食べ物を振り返る

2017年を食べ物で振り返る 一年の振り返りかたは色々あると思いますが、今年はたくさん食べ物(特にお菓子)を作ったので写真を添えて見ていくことで、一年を振り返りたいと思います。 卵サンドレシピ見てたら作りたくなったので作りました。からしがきいてて…

はてなブログのデザインについて

今日ははてなブログのデザインについて書いていきます。 好みのブログのデザインに変えることで、ブログを書くモチベーションにも繋がるので大切です。 テーマ選び 個人的には公式テーマの中から比較的好みのものを見つけるのがいいと思います。デザイン選び…

アドベントカレンダーを終えて

アドベントカレンダー25日目です。 adventar.org 今日はアドベントカレンダーの総まとめをしたいと思います。 書いた内容一覧 jupyter notebookについて - 機械学習とその他 numpyのよく使う関数について - 機械学習とその他 scikit-learnのSVMを使ってみた …

大学院について

アドベントカレンダー24日目です。 adventar.org 今日は少し毛色を変えて、本学の大学院について書いていきたいと思います。 大学院について 大学院入学までの流れ 内部進学であれば、推薦を出すだけでスッと終わります。支給されるタイプの奨学金が欲しい場…

よく使うコマンドについて

アドベントカレンダー23日目です。 adventar.org 今日はよく使うコマンドについて書いていきたいと思います。 よく使うコマンド ls ディレクトリに何のファイルがあるか見れます。常に打ちます。 clear ターミナルのスクリーンを一度きれいにします。これも…

意識高い系お菓子作り

アドベントカレンダー22日目です。 adventar.org 今日はクリスマス会のためにザッハトルテを作ったのでその話を書いていきます。 作ろうと思ったきっかけ クリスマス会の前日に後輩がケーキを持ってきてて、先輩もケーキ持ってくるから~という強めのフリを…

kaggleの始め方

アドベントカレンダー21日目です。 adventar.org 今日はリクエストみたいなことされたので、kaggleの始め方について書きたいとおもいます。 kaggleとは つい先日軽く触れたのでここを少し参照してください。 looseleaf0727.hatenablog.jp コンペに参加 kaggl…

trainerのextensionsについて

アドベントカレンダー20日目です。 adventar.org 今日はchainerのtrainer extensionsについて書いていきたいと思います。 Trainerについて chainerのバージョン1.10.0でTrainerが実装されました。 従来は学習ループをがしがし記述していたのですが、Trainer…

kaggleでお勉強

アドベントカレンダー19日目です。 adventar.org 今日はkaggleについて少々、あとkaggleを使ったお勉強について書きたいと思います。 kaggleとは データサイエンスで現実の問題を解決するようなコンペが行われてるサイトです。 Kaggle: Your Home for Data S…

pythonのCounterについて

アドベントカレンダー18日目です。 adventar.org 今日はPythonのCounterについて書いていきます。 Counterとは? 与えられた要素について数を数えます。公式の例がわかりやすいです。 c = Counter() # a new, empty counter c = Counter('gallahad') # a new …

imagenetとその使い方について

アドベントカレンダー17日目です。 adventar.org 今日はimagenetの説明と、使い方について書いていきたいと思います。 imagenetについて こちらのことです。 ImageNet 画像のデータベースで、分類などの学習に使うデータを集めたりすることが出来ます。具体…

水平棒グラフの作成をした

アドベントカレンダー16日目です。 adventar.org 今日はmatplotlibで水平棒グラフを作成しました。 水平棒グラフとは 通常イメージする棒グラフは縦方向ですが、水平棒グラフは横に棒グラフが伸びていきます。こんな感じのが水平棒グラフです。 今回は、水平…

ubuntu14.04 + python3 でopencvをいれて動画をいじろうとしたら苦戦した話

アドベントカレンダー15日目です。 adventar.org 今日はopencvをインストールしようとして苦戦した話を書いていきます。 成功するまでにやったこと pip install opencv-pythonで普通にインストール opencv-3.0.0 をビルド ffmpegを入れてもう一度ビルド Cont…

意識中くらいのお菓子作り

アドベントカレンダー14日目です。 前回は意識低い系お菓子作りをしましたが、今回は意識中くらいはあるお菓子作りをしていきたいと思います。 今回作るもの スノーボールクッキーを作ります。あの白くて丸いやつです。 作ろうと思った理由として、以前にた…

chainerのSerial_Iteratorについて

アドベントカレンダー13日目です。大幅に超過してますが許してください。 adventar.org 今日はchainerのSerial Iteratorについて書いていきます。 Serial_Iteratorとは まずはIteratorの説明を見ていきます。 Base class of all dataset iterators.Iterator …

ChainerのTupleDatasetについて

アドベントカレンダー12日目です。 adventar.org 今日はChainerのTupleDatasetについて書いていきます。 TupleDatasetとは 複数のデータセットからTupleのデータセットを作成します。 https://docs.chainer.org/en/stable/reference/generated/chainer.datas…

scikit-learnのgrid_search使ってみた

アドベントカレンダー11日目です。 adventar.org 今日はgrid_searchについて書いていきたいと思います。 grid_searchとは? 最適なパラメータの探索を行うメソッドです。 探索を行いたいパラメータをセットしておくと、最適なパラメータを見つけ出してくれま…

意識低い系お菓子作り

アドベントカレンダー10日目です。今日は意識低めのお菓子作りについて書いていきたいと思います。 これを書こうと思った理由 お菓子作りは少しハードルが高く見えるせいで、お菓子作りするひとが少ないのかな? そうだったら、意識低めのお菓子作りの記事を…

chainerのto_cpuについて

アドベントカレンダー9日目です。 adventar.org 今日はchainerのmodel.to_cpuについて書いていきます。 to_cpuについて chainerで学習する際には、ネットワークを定義した後、モデルをto_gpuすると思います。これによりGPUで処理をすることができるからです…

chainer以外でのcupyの使用について

アドベントカレンダー8日目です。 今日はcupyについて書いていきたいと思います。 速度比較 今回は、0~300000000までの配列を生成し、それをシグモイド関数に通します。その時の速度を以下の3つで比較します。 pythonのrangeとmath.exp def sigmoid(x): temp…

jupyter notebookのextensionのgist-itについて

アドベントカレンダー7日目の内容です。今回は、jupyter notebookのextesionにあるgist-itについて書いていきます。 Jupyter notebook extensionsについて jupyter notebookの拡張機能です。 ソースコードを畳めたり、autopepが使えたりします。 インストー…

matplotlibで円グラフを描画する

アドベントカレンダー6日目です。 adventar.org matplotlibで円グラフを描画する pythonで円グラフを描画したくて、matplotlibを使いました。 その際にいろいろいじって試したりしたのでそれについて書きます。 ソースコードは以下にあります。 描画の準備 …

gitlabのissue templatesについて

アドベントカレンダー五日目です。 adventar.org今日はgitlabのissue templatesについて書いていきます。 issue templatesについて issue templateがあると、templateを選択してissueを書くことが出来ます。 今回はBugというテンプレートを追加しました。 選…

scikit-learnのconfusion matrixとclassification reportについて

アドベントカレンダー四日目です。 昨日に引き続き、scikit-learnの話をしていきましょう。 confusion matrix 必要なライブラリのimport 前回同様numpyと、 訓練データとテストデータを分ける train_test_split、 学習に使うデータの load_digits、 SVM、 新…

scikit-learnのSVMを使ってみた

アドベントカレンダー三日目です。 出かけてて投稿できなかったので同日投稿です。 最近scikit-learnのSVMを使ってみたので、それについて書いていきます scikit-learnのSVM 必要なライブラリのimport 今回は、 いつも通りnumpyと、 訓練データとテストデー…

numpyのよく使う関数について

アドベントカレンダー二日目です! みなさんnumpyつかってますか?使ってなければめちゃめちゃ使っていきましょう! 今日は自分がよく使うnumpyのメソッドについて書いていきます! まずはimportからします。 import numpy as np array numpy配列を作成する…