アドベントカレンダー25日目です。 adventar.org アドベントカレンダーを終えて 今年もなんとかアドベントカレンダーを完走することができました。一人でアドベントカレンダーを書くことには、メリットとデメリットがあると思います。 メリットとしては、毎…

アドベントカレンダー24日目です。 今日はscikit-learnでNaive Bayesを使ってみたいと思います。 adventar.org Naive Bayesについて 今回はGaussian Naive Bayesを使います。 GaussianNB implements the Gaussian Naive Bayes algorithm for classification.…

アドベントカレンダー23日目です。今日は通学時間での勉強について書いていきたいと思います。 adventar.org 通学時間の勉強 英語の勉強英語の勉強は通学時間でとても手軽にできますね。一番簡単なのは、単語学習アプリなんかをやることです。個人的に好きな…

アドベントカレンダー22日目です。 今日はkaggle-apiの使い方を書いていきたいと思います。 adventar.org リモートで出力されたcsvをいちいちダウンロードしてsubmitするのは面倒ですよね。 コンペのファイルをダウンロードするのも面倒ですね。 そういうと…

アドベントカレンダー21日目です。今日は画像を圧縮するサービスSquooshを使ってみたいと思います。 adventar.org Squooshとは お手軽に、ブラウザのみで、画像を圧縮してくれるサービスです。このブログでも、一眼レフの紹介記事を書いた時には使用していま…

アドベントカレンダー20日目です。今日は、Googleスプレッドシートで列ごとにテキストを分割する方法を書いていきたいと思います。 adventar.org テキストを分割する 昨日作成した、 scikit-learnのclassification_reportでlabelを設定する - 深層学習とその…

アドベントカレンダー19日目です。 今日はclassification_reportでラベルを設定する方法を書いていきたいと思います。 adventar.org ラベルの設定の仕方 scikit-learnのドキュメントはこちらです。 sklearn.metrics.classification_report — scikit-learn 0.…

アドベントカレンダー18日目です。 今日はchainerのexampleにあるtext_classificationを使って文書分類していきたいと思います。 adventar.org examplesのtext_classificationを動かす このソースコードを動かします。 chainer/examples/text_classification…

アドベントカレンダー17日目です。今日はscikit-learnのSVMの処理時間を比較してみたいと思います。 adventar.org kernelごとの速度を計測する 今回は、「linear」「rbf」「poly」「sigmoid」の処理時間を計測してみます。計測に使用するデータは、当初sklea…

アドベントカレンダー16日目です。今日は技術的なことではなく、カメラについて書いていきたいと思います。 adventar.org カメラ選び 普段からよくスマホで写真を撮っていたのですが、夜景を撮るときや遠くものを撮るときに不満があり、それで思い切って一眼…

アドベントカレンダー15日目です。今日は、チェックせずに埋もれていくのを防ぐという意味合いも含めて、最近ブックマークした深層学習関連の記事を貼っていきたいと思います。 adventar.org 最近ブックマークした記事 ツイッターとかで結構話題になっていた…

アドベントカレンダー13日目です。 今日ははてな記法で数式を書く方法を紹介したいと思います。 adventar.org 数式の書き方 数式の関数自体はlatexの書き方が使えるようです。 以下のように書くことで数式として表示されます。 [tex:x+2]実際の表示例： ディ…

アドベントカレンダー12日目です。 今回はメモ的な意味も含めて、自然言語処理における評価尺度を書いていこうと思います。 adventar.org WER Hunt's WER BLEU GLEU Generalized BLEU ROUGE METEOR TER CIDEr まとめ 参考 WER WERは(Word Error Rate)の略で…

アドベントカレンダー11日目です。 今日はscikit-learnでConfusion Matrixを表示したいと思います。 adventar.org Confusion Matrixの書き方 基本的な書き方は以下に乗っているコードをほぼそのまま動かすだけです。 https://scikit-learn.org/stable/auto_e…

アドベントカレンダー10日目です。 今日はChainerのTextDatasetを使ってみたいと思います。 adventar.org TextDatasetとは Dataset of a line-oriented text file. This dataset reads each line of text file(s) on every call of the getitem() operator. …

アドベントカレンダー14日目です。今日はGoogleColaboratoryで書いたipynbをGistに公開する方法を書いていきたいと思います。 Gistへの公開方法 Colaboratoryでノートを開いたら、ファイルタブから赤枠の「コピーをGitHub Gistとして保存」をクリックします…

アドベントカレンダー9日目です。今日は、word2vecで学習済みfastTextを読み込んで類似度を出してみたいと思います。 adventar.org 学習済みfastTextのデータをダウンロードする 学習済みfastTextのデータはこちらからダウンロードできます。 fastTextの学習…

gensimをインストールするときに、scipyについてこのエラーが出ました。 Cannot uninstall 'scipy'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall…

アドベントカレンダー8日目です。今日は、seabornを使って折れ線グラフを書いていきたいと思います。 matplotlibでの折れ線グラフ matplotlibではplot関数で折れ線が描画できます。この際に、yの値は渡さなくても一応描画できます。figure(figsize)で図のサ…

アドベントカレンダー7日目です。 adventar.org コラボラトリーでChainerを使う際のコマンドをいつも忘れるのでメモ。また、先にランタイムをGPUに切り替えることを忘れないようにしましょう。 Chainerのインストール この一行を動かすだけで大丈夫です。 !c…

アドベントカレンダー6日目です。 adventar.org今日はjupyterthemesについて書いていきたいと思います。 jupyter-themesとは jupyter notebookのデザインをいじることができて、背景の色の変更やフォントの指定、フォントサイズの変更などができます。 githu…

アドベントカレンダー5日目です。 adventar.org 今日はプログレスバーを表示するtqdmについて書いていきます。 tqdmとは tqdm means “progress” in Arabic (taqadum, تقدّم) and is an abbreviation for “I love you so much” in Spanish (te quiero demasia…

一人アドベントカレンダー4日目です。 たまたまpythonでバイナリを扱ったのでそれに関してのメモを書いていきます。adventar.org 基本的な扱い 基本的にはstructで扱えばいいと思います。 パックするときはpackを使い、フォーマット文字列を指定します。 ア…

アドベントカレンダー3日目です。 adventar.org 今日は技術的な話ではなく、Amazonで買ってよかったものを紹介したいと思います。 今年は比較的Amazonで購入した金額が多く、157417円ほど使っていたようです。 調査方法は以下のブログを参考にしました。 Ama…

アドベントカレンダー2日目です。 adventar.org 深層学習について学んだり、新しい情報をキャッチアップすることは結構大変です。毎日新しい論文を確認したり、海外の英語の情報を見てる人もいますが、誰しもが行えるわけではありません。 そこで今回は、で…

一人アドベントカレンダー1日目です。 adventar.org昨年に引き続きやっていきますが、 去年よりは忙しいのですべて埋まるかは怪しいです。今日はChainerのexamplesについて書いていきたいと思います。 github.comChainerのexamplesは少しずつ数が増えていて…

複数のファイルをunzipする場合、こういう書き方が思い浮かぶと思います。 unzip *.zip実際にこのコマンドを打ち込んでも解凍はできません。 以下のようなエラーが出ました。 End-of-central-directory signature not found. Either this file is not a zipf…

XGBoostでパラメータを設定する際にエラーが出ました。 model = xgb.XGBRegressor(params) XGBoostError: b"Invalid Parameter format for max_depth expect int but value='{'eval_metric': 'rmse', 'learning_rate': 0.1}'" こちらを参考にしたところ、動…

まともに使ったことがなかったWord2vecを使っていきます。 データを手に入れる まず、Wikipediaのデータはここから拾ってきます。 Wikipedia:データベースダウンロード - Wikipedia 基本は最新の全ページを拾ってくればいいと思います。 英語を使いたい人は…

clearコマンドを使おうとすると、以下のようなエラーが出てしまうようになりました。 clear: command not found 調べたところ、/usr/binにパスが通っていないのが問題のようです。 .bash_profileのexportが不味いと予想されますが、とりあえず/usr/binにパス…