DATA_SCIENCE

DATA_SCIENCE

ホームオートメーションは家庭内機器の自動制御や遠隔操作を可能にし、照明、温度管理、セキュリティ、省エネ、利便性を提供します。導入時には互換性、セキュリティ、ネットワーク環境、コストを考慮する必要があります。将来的にはAI技術によるさらなる自動化と環境負荷の低減が期待されています。

DATA_SCIENCE

Pythonのライブラリmatplotlibはデータを可視化するのに最適なツールですが、初期設定では日本語が対応しておらず、日本語をグラフ内で使用すると「□□□」のような豆腐文字になってしまいます。私もこの日本語設定に手こずってしまったこともあり、またWindowやMac、Linuxなど様々なOSに適用する必要もあり、いちいち調べ直すのも面倒なため、全体的な処理の流れをまとめておくことにしました。

DATA_SCIENCE

データ分析において膨大な数値の羅列から、規則性や関連性を人力で見つけ出すのは至難の技です。データをきれいに視覚化できれば、規則性や関連性を見つけるだけでなく、プレゼンテーションで分析に詳しくない人を説得させるのにも使用することができます。今回説明したいmatplotlibはpythonの視覚化に特化したライブラリです。もちろん同じようなグラフをExcelでも作成できます。しかし、プログラミングを使っているので、マニュアルクリック操作による手間を省くことができます。さらに同じグラフを他のデータに適用することも簡単にできたり、元データの変更にも柔軟に対応できるという利点があります。公式サイトの説明もわかりやすいのですが、情報が多岐に渡っているため、今回は私なりに基本的に必要と思われる情報をピックアップし、簡単な例を使いながらjupyter notebook上で多彩な表現方法を試してみます。

DATA_SCIENCE

データ分析する上で避けては通れない道、それが文字列操作です。膨大なデータの中から、自分の求めるデータを見つけ出し抽出する、それを可能にするのが「正規表現」です。ただ、少し癖があるため自在に使いこなすためには慣れが必要です。ただし、使いこなせるようになれば、スクレイピングでもファイル検索でもデータの改変でも自在に行えるようになります。そういった利点を考えると今勉強しておくのが良いのではないでしょうか。 また、今回はUNIXのgrepコマンドを使用して正規表現の実行を行います。正規表現で使用されるメタ文字には「基本正規表現」と「拡張正規表現」の2種類あり、「拡張正規表現」を使用するためにはgrep -E とオプションをつける必要があります。（オプションを指定しなくても、メタ文字の前に \ （バックスラッシュ）をつけることでgrepのみでの実行は可能です。）

DATA_SCIENCE

Excel は使いやすく、直感的で便利なソフトですが、とにかく手作業が多い。フィルターをかけたり、欠損値を消したり、ピボットテーブルを作成したりとすべてかなりの手数がかかります。 python のライブラリの pandas を使えば、そんな操作を1行のコマンドだけですぐに実行することができます。また、 Numpy や Matplotlib 、 SciPy 、 BeautifulSoup 、 TensorFlow など様々なライブラリと連携を行い、回帰分析・決定木やクラスタリング・スクレイピング・ディープラーニングまで複雑な分析や予測モデルの構築まで対応することができます。今回は自分の備忘録も兼ねて pandas 公式サイトのdocumentationを参考に基本となる操作をまとめてみました。