peiprog’s blog

情報科学を学ぶ大学4年生。主にプログラミング、情報系の話題を書いていきます。

numpyのMemory Error

こんにちは!peiProgです!

 

今回はnumpyのMemory Errorの解決というか妥協策について書きます。

numpyを使って画像識別の機械学習プログラムを書いてたときにnumpyでMemory Errorが起こりました。そこで私は以下の取り組みをしてみました。

 

・Pycharmのメモリ設定を変える

 これは効果なし。1度設定ミスってPycharm起動しなくなったためインストールし直し...

 

・バッチサイズ下げる

 これは学習対象のデータサイズによっては解決します。下げるとエラーが起きなくなることもありますが、私は直りませんでした...。

 

・対象の画像(データ)をリサイズ

 50x50くらいにしたらエラーが起きなくなりました。当然ですがバッチサイズ以上にメモリの節約になるためでしょう。

  まあエラー時の1枚の画像のサイズが200x200とかアホみたいに大きかったのが悪いです(^^;

 

結論

 結局メモリ使いすぎなので節約しろってことですね(^^;。この例だと画像をリサイズで解決しました。メモリ節約するのはバッチサイズ下げるより画像リサイズのほうが効果的ですね。学習時間も減りますが性能に影響するので考えて調整しましょう!