peiprog’s blog

情報科学を学ぶ大学4年生。主にプログラミング、情報系の話題を書いていきます。

プログラミング

pythonで機械学習(kerasのOneHotレイヤーの作り方)

こんにちは、peiprogです。 今回はkerasで学習時にOneHotベクトル化するレイヤーの作り方を書きます。テキスト分類などでは、学習の前に特徴ベクトル化するとメモリを大量に消費してしまい、メモリ不足で動かなくなることがあります。それなら学習前はOneHot…

IT系就活についての話

こんにちは、peiprogです。私と友達の話や経験を元にIT系(主に独立系SIer、Web企業)の就活に向けてやっておくといいことをまとめてみました。目次 この記事の対象とする人 軽く自己紹介 なにをしておくといい? まとめ この記事の対象とする人 この記事は …

Pythonでテキストの機械学習(相互情報量を使った特徴ベクトル選定)

お久しぶりです。peiprogです。 今回は、ドキュメント群から生成したベクトルから、機械学習で重要な特徴ベクトルを抽出する内容です。テキストをベクトル化したものは何万次元にもなりますが、中には10000個あるドキュメントの中で1回しか出てこない単語な…

Pythonでsklearn+janomeを使って特徴ベクトル抽出

お久しぶりです。peiprogです。 機械学習において入力データの形式はとても大事ですよね。分類手法と同じかそれ以上に大事かもしれないですね。今回はその重要な入力データの作り方(加工の仕方)についてです。テキストから機械学習に適した形の入力データ…

Pythonでワードクラウド作ってみた

お久しぶりです、peiprogです。今回はPythonでワードクラウドを作ってみました。ワードクラウドとは 追記:英語のみ対応です。ライブラリ(pytagcloud)が日本語に対応していないので...。日本語に対応させたいなら描画のところは自前で書く必要がありますね(^…