peiprog’s blog

情報科学を学ぶ大学4年生。主にプログラミング、情報系の話題を書いていきます。

機械学習

Pythonで相互情報量に基づく特徴ベクトル抽出

お久しぶりです。peiprogです。 今回は、ドキュメント群から生成したベクトルから、機械学習で重要な特徴ベクトルを抽出する内容です。テキストをベクトル化したものは何万次元にもなりますが、中には10000個あるドキュメントの中で1回しか出てこない単語な…

Pythonでsklearn+janomeを使って特徴ベクトル抽出

お久しぶりです。peiprogです。 機械学習において入力データの形式はとても大事ですよね。分類手法と同じかそれ以上に大事かもしれないですね。今回はその重要な入力データの作り方(加工の仕方)についてです。テキストから機械学習に適した形の入力データ…

numpyのMemory Error

こんにちは!peiProgです! 今回はnumpyのMemory Errorの解決というか妥協策について書きます。 numpyを使って画像識別の機械学習プログラムを書いてたときにnumpyでMemory Errorが起こりました。そこで私は以下の取り組みをしてみました。 ・Pycharmのメモ…