Data Science

DATA_SCIENCE

データ分析する上で避けては通れない道、それが文字列操作です。膨大なデータの中から、自分の求めるデータを見つけ出し抽出する、それを可能にするのが「正規表現」です。ただ、少し癖があるため自在に使いこなすためには慣れが必要です。ただし、使いこなせるようになれば、スクレイピングでもファイル検索でもデータの改変でも自在に行えるようになります。そういった利点を考えると今勉強しておくのが良いのではないでしょうか。 また、今回はUNIXのgrepコマンドを使用して正規表現の実行を行います。正規表現で使用されるメタ文字には「基本正規表現」と「拡張正規表現」の2種類あり、「拡張正規表現」を使用するためにはgrep -E とオプションをつける必要があります。（オプションを指定しなくても、メタ文字の前に \ （バックスラッシュ）をつけることでgrepのみでの実行は可能です。）

DATA_SCIENCE

Excelは使いやすく、直感的で便利なソフトですが、とにかく手作業が多い。フィルターをかけたり、欠損値を消したり、ピボットテーブルを作成したりとすべてかなりの手数がかかります。pythonのライブラリのpandasを使えば、そんな操作を1行のコマンドだけですぐに実行することができます。また、NumpyやMatplotlib、SciPy、BeautifulSoup、TensorFlowなど様々なライブラリと連携を行い、回帰分析・決定木やクラスタリング・スクレイピング・ディープラーニングまで複雑な分析や予測モデルの構築まで対応することができます。今回は自分の備忘録も兼ねてpandas公式サイトのdocumentationを参考に基本となる操作をまとめてみました。