今回は、Androidの地図アプリ OsmAnd を使って 経路座標の取得 Pythonによるそのデータ加工 を行います。オフラインで簡単に座標データが取得できます。 実行環境 はじめに OsmAndによる座標データの取得 OsmAndの使い方(ザックリ) 経路データ(gpxファイル)…

今回は、Pandasを使ってデータフレームの「あいまい検索」。 実行環境 データを取得しSQLiteへ挿入 テーブルの取得 SQL文でテーブル作成 データベースにDataFrameをto_sqlで追加 DBテーブルを確認 あいまい検索 SQL文であいまい検索 Pandasであいまい検索 st…

今回は、PandasのデータフレームをWebページに表示させます。 売上データから担当者を指定して表示させるアプリ。 実行環境 アプリの仕様・操作手順など アプリの操作手順 ディレクトリ構成とファイルの中身 app.py (Flaskを動かす用) uriage_data.py (デー…

はじめに たとえばNumPyで最小値や最大値を取得したいとき、numpy配列オブジェクト.min()やnumpy配列オブジェクト.max()を使うと出来ます。 import numpy as np # 配列 arr = np.array([1,2,3,4,5]) print(arr) # 配列の最小値 print(arr.min()) # 配列の最…

この投稿で行う事 Googleプレイ版Termuxのアンインストール F-Droidのインストール F-Droid版Termuxのインストール Python3.10のインストール Numpy、Pandas、lxml、Pillow、Jupyter Notebook、Scipy(失敗)、その他、依存ライブラリのインストール 実行環境 …

Pandasを使って文字列のカテゴリーデータを「ダミー変数化」または「one-hotエンコーディング」と呼ばれる0か1に変換する方法。 pandas.get_dummies()を使います。簡単。 はじめに 前回は、sklearnに付属するアヤメの分類データを使って、アヤメの種類の正解…

Pandasを使って、データのラベルを文字列から数値に変換する方法。pd.factorize(配列)というメソッドを使います。凄い簡単便利。 実行環境 Androidスマホ Termux Jupyter Notebook6.4.0 Python3.9.6 外部ライブラリ Pandas はじめに 機械学習ライブラリのskl…

今回は、地図作成ライブラリfoliumの数あるPluginsの中の１つHeatMapを使ってみる。 HeatMap(ヒートマップ)とは 二次元データの数値の高低を、色やその濃淡で表したもの。「マップ」と付いてますが必ずしも地図で表現する訳ではなく、テーブルを値で色分けし…

今回は、foliumで作成した地図のマーカーpopupにPandasのデータフレームを表示させる方法。 【実行環境】 Android Termux Python3.9 Jupyter Notebook 使用ライブラリ folium、pandas、branca 目次 データフレームをpopupに載せる 画像入りデータフレーム そ…

厚生労働省のオープンデータというページに置いてあったコロナのPCR検査の陽性者数のcsvファイルが、別のファイルに置き換わったのでメモしておきます。 変更前 ファイル名 : pcr_positive_daily.csv 2021/07/27で更新ストップ 変更後 ファイル名 : newly_co…

今回は、foliumで作成した地図のマーカーpopupにグラフを載せる方法メモ。 前回【folium】マーカーのPopupにWebページのリンクの貼り付け、TwitterやYouTubeなどを埋め込む - よちよちpythonの続きです。 グラフ描画にaltair（アルタイル）というライブラリ…

今回は、年代別で新型コロナの死亡者数と年間の死亡者数をグラフの作成をしながら比較して見る。 matplotlibでの棒グラフと円グラフ、pandasでの積み上げ棒グラフの練習を兼ねて。 新型コロナは騒動当初から「重症化傾向や死亡者は高齢者、さらには基礎疾患…

今回は、地図作成ライブラリfoliumの大量にあるPluginsの１つ「FeatureGroup」と、層を分けて表示できるようにする「LayerControl」の使い方。 FeatureGroup のfeatureは特徴という意味で、地図を特徴ごとに層で別けて地図に追加します。 LayerControlは、ラ…

今回は、地図作成ライブラリfoliumに大量にあるプラグインの中から「AntPath」の使い方をやります。蟻の道。 AntPath 【実行環境】 Android Termux Jupyter Notebook6.4.0 Python 3.9.6 Pandas1.2.5、folium0.12.1 座標を用意 経路的に連続した感じの座標(緯…

今回は、地図作成ライブラリfoliumで複数地点の中心座標を算出する方法をやります。 参考リンク foliumオフィシャル folium — Folium 0.12.1 documentation 今回はプラグインのBeautyIconを使います。 plugins — Folium 0.12.1 documentation foliumでは最初…

今回は、Pandasを使った日付の条件抽出の練習です。 【実行環境】 Android Termux Python 3.9.6 Jupyter Notebook 6.4.0 Pandas 1.2.5 目次 目次 データフレームを日付で条件抽出 query()の条件抽出の練習 df.query()で日付から条件抽出 日付プラス他で条件…

今回は、Pandasで日付の連続データを作る方法。 連続する日付の入ったデータフレームを適当に生成したいようなとき、pandas.date_range()を使うと簡単にできます。 【実行環境】 Android Termux Python 3.9.6 Jupyter Notebook 6.4.0 Pandas 1.2.5 目次 目次…

今回は↑のように、日付の列を結合したり分割したりする方法です。 【実行環境】 Android Termux Python 3.9.6 Jupyter Notebook 6.4.0 Pandas 1.2.5 目次 目次 年・月・日で3列を1列の日付型にまとめる pd.to_datetime()で日付に変換 時刻まで入っている場合…

今回は、都道府県別の人口を表と棒グラフにします。 内容的には、apply関数とlambda関数を使ってSeriesの文字列を加工している点と、棒グラフを描く方法と、大したことやってません。初心者向けです。 元のデータは総務省統計局のもので、令和元年の国勢調査…

np.polyfit()とnp.poly1d()でコロナ陽性者数を単回帰分析予測 今回は、コロナの検査数と陽性者数のデータから、Numpyを使って単回帰分析を行ってみます。久しぶりでやり方忘れてるので復習。 独立変数xを検査件数、目的変数yを陽性者数として回帰分析をし、 …

成績表をもとに学力が平均的になるようにグループ分けする最終回 成績表をもとに学力が平均化するようにグループ分けするシリーズ、今回は最終回。 任意の教科数と人数の入った成績表を指定クラス数に分け、バラツキ最小と最大のクラス分けを返す関数を作る…

pandas.DataFrameをmarkdownテーブルに変換する Jupyterでデータフレームを表示させると表になる。これはhtmlのtableが生成されているためですが、Pandasのto_markdown()をデータフレーム・オブジェクトの後ろに付けると、markdown形式のテーブル文字列に変…

新型コロナのデータ 2021-07-03まで どんな具合か久しぶりに見てみる。書き散らかしメモ。 目次 新型コロナのデータ 2021-07-03まで データファイル no.0 cases_total.csv no.1 current_situation.csv no.2 death_total.csv no.2.2 death_daily （death_tota…

DataFrameオブジェクトをそのままリストに放り込む そんなことできるなんて、今さら知りまして。やってみましょ。 この投稿は、前回の課題のつづきとします。 import numpy as np import pandas as pd # 適当にデータフレームを生成 data1 = np.arange(1,11)…

標準偏差でクラス間のバラツキを見る 今回は、クラス分けしたグループ間のバラツキ具合を、標準偏差を用いて見ます。 5教科の成績表をもとに100人を4つにクラス分けする方法を考えています。1回目、2回目、3回目につづく、シリーズ4回目。 クラス分けをする…

pandas.DataFrameの行をシャッフルし、クラス分けする 今回は、NumpyとPandasとScikit-learnを使って、2次元配列やDataFrameを行でシャッフルする方法と、Numpyで配列要素の繰り返し配列を生成する方法です。 DataFrameを行でシャッフル numpy.random.permut…

k-means法(k-平均法)による、お任せクラス編成 前回の投稿では、Pandasで学校のテストの成績表のようなものを適当に作り、その合計点を算出して順位付けを行いました。 また、Pandasのグラフ作成機能を使って、積み上げ棒グラフを作成しました。 その合計100…

Pandasで成績表を順位付けし、df.plot.bar()で棒グラフを作成する 学校のテストの成績表のようなものを適当に作ります。その合計点を算出してPandasで順位付けを行います。 Pandasのグラフ作成機能を使って、積み上げ棒グラフを作成します。 【実行環境】 Wi…

こちらで折れ線グラフの縦2軸の描き方が分かったので、調子に乗ってもう一個書いてみた。 【実行環境】 Windows10 WSL:Ubuntu Jupyter Notebook Python3.8 外部ライブラリ pandas numpy matplotlib import pandas as pd import numpy as np import matplotli…

今回は、matplotlibで左右に軸があるグラフを作成します。 実行環境 Windows10 WSL:Ubuntu Anaconda VScodeでjupyter拡張 Python3.8 外部ライブラリ pandas 1.1.3、matplotlib 3.3.2 使用データファイル 厚生労働省オープンデータのPCR陽性者数、PCR検査実施…