よちよちpython

独習 python/Qpython/Pydroid3/termux/Linux

pandas

【PythonとAndroid地図アプリOsmAnd】経路座標デー タを取得・加工する

今回は、Androidの地図アプリ OsmAnd を使って 経路座標の取得 Pythonによるそのデータ加工 を行います。オフラインで簡単に座標データが取得できます。 実行環境 はじめに OsmAndによる座標データの取得 OsmAndの使い方(ザックリ) 経路データ(gpxファイル)…

【JupyterでSQLとPandas】あいまい検索の超基本

今回は、Pandasを使ってデータフレームの「あいまい検索」。 実行環境 データを取得しSQLiteへ挿入 テーブルの取得 SQL文でテーブル作成 データベースにDataFrameをto_sqlで追加 DBテーブルを確認 あいまい検索 SQL文であいまい検索 Pandasであいまい検索 st…

【Flask Pandas】売上データからドロップダウンメニューで担当者を指定して抽出、ページに表示する

今回は、PandasのデータフレームをWebページに表示させます。 売上データから担当者を指定して表示させるアプリ。 実行環境 アプリの仕様・操作手順など アプリの操作手順 ディレクトリ構成とファイルの中身 app.py (Flaskを動かす用) uriage_data.py (デー…

【dirとinspect】Pythonライブラリの属性、メソッド一覧を調べる方法

はじめに たとえばNumPyで最小値や最大値を取得したいとき、numpy配列オブジェクト.min()やnumpy配列オブジェクト.max()を使うと出来ます。 import numpy as np # 配列 arr = np.array([1,2,3,4,5]) print(arr) # 配列の最小値 print(arr.min()) # 配列の最…

AndroidにF-Droid版TermuxとPython3.10を再インストールした(2021年12月

この投稿で行う事 Googleプレイ版Termuxのアンインストール F-Droidのインストール F-Droid版Termuxのインストール Python3.10のインストール Numpy、Pandas、lxml、Pillow、Jupyter Notebook、Scipy(失敗)、その他、依存ライブラリのインストール 実行環境 …

【Pandas】カテゴリカルデータのダミー変数化(one-hot)する pandas.get_dummies()

Pandasを使って文字列のカテゴリーデータを「ダミー変数化」または「one-hotエンコーディング」と呼ばれる0か1に変換する方法。 pandas.get_dummies()を使います。簡単。 はじめに 前回は、sklearnに付属するアヤメの分類データを使って、アヤメの種類の正解…

【Pandas】文字列のラベルを自動で数値化するpd.factorize(文字列配列)

Pandasを使って、データのラベルを文字列から数値に変換する方法。pd.factorize(配列)というメソッドを使います。凄い簡単便利。 実行環境 Androidスマホ Termux Jupyter Notebook6.4.0 Python3.9.6 外部ライブラリ Pandas はじめに 機械学習ライブラリのskl…

【foliumのPlugins】HeatMap(ヒートマップ)の使い方

今回は、地図作成ライブラリfoliumの数あるPluginsの中の1つHeatMapを使ってみる。 HeatMap(ヒートマップ)とは 二次元データの数値の高低を、色やその濃淡で表したもの。「マップ」と付いてますが必ずしも地図で表現する訳ではなく、テーブルを値で色分けし…

【folium】地図のマーカーpopupにPandasデータフレームで作成したテーブルを貼る方法

今回は、foliumで作成した地図のマーカーpopupにPandasのデータフレームを表示させる方法。 【実行環境】 Android Termux Python3.9 Jupyter Notebook 使用ライブラリ folium、pandas、branca 目次 データフレームをpopupに載せる 画像入りデータフレーム そ…

厚労省のコロナ陽性者数データが変わったのでメモ

厚生労働省のオープンデータというページに置いてあったコロナのPCR検査の陽性者数のcsvファイルが、別のファイルに置き換わったのでメモしておきます。 変更前 ファイル名 : pcr_positive_daily.csv 2021/07/27で更新ストップ 変更後 ファイル名 : newly_co…

【folium】地図のマーカーpopupにAltairで作成したグラフを載せる

今回は、foliumで作成した地図のマーカーpopupにグラフを載せる方法メモ。 前回【folium】マーカーのPopupにWebページのリンクの貼り付け、TwitterやYouTubeなどを埋め込む - よちよちpythonの続きです。 グラフ描画にaltair(アルタイル)というライブラリ…

【matplotlib】年代別の年間死亡者数とコロナ死亡者数を棒グラフと円グラフで描く

今回は、年代別で新型コロナの死亡者数と年間の死亡者数をグラフの作成をしながら比較して見る。 matplotlibでの棒グラフと円グラフ、pandasでの積み上げ棒グラフの練習を兼ねて。 新型コロナは騒動当初から「重症化傾向や死亡者は高齢者、さらには基礎疾患…

【foliumのPlugins】FeatureGroupとLayerControlで層を重ねた地図を作成する

今回は、地図作成ライブラリfoliumの大量にあるPluginsの1つ「FeatureGroup」と、層を分けて表示できるようにする「LayerControl」の使い方。 FeatureGroup のfeatureは特徴という意味で、地図を特徴ごとに層で別けて地図に追加します。 LayerControlは、ラ…

【foliumのPlugins】地図にAntPath(蟻の道)を描く

今回は、地図作成ライブラリfoliumに大量にあるプラグインの中から「AntPath」の使い方をやります。蟻の道。 AntPath 【実行環境】 Android Termux Jupyter Notebook6.4.0 Python 3.9.6 Pandas1.2.5、folium0.12.1 座標を用意 経路的に連続した感じの座標(緯…

【folium】複数の座標から中心座標を算出して地図を作成する

今回は、地図作成ライブラリfoliumで複数地点の中心座標を算出する方法をやります。 参考リンク foliumオフィシャル folium — Folium 0.12.1 documentation 今回はプラグインのBeautyIconを使います。 plugins — Folium 0.12.1 documentation foliumでは最初…

【Pandas】データフレームの日付による条件抽出の方法

今回は、Pandasを使った日付の条件抽出の練習です。 【実行環境】 Android Termux Python 3.9.6 Jupyter Notebook 6.4.0 Pandas 1.2.5 目次 目次 データフレームを日付で条件抽出 query()の条件抽出の練習 df.query()で日付から条件抽出 日付プラス他で条件…

【Pandas】連続日付データを生成するdate_range()の使い方

今回は、Pandasで日付の連続データを作る方法。 連続する日付の入ったデータフレームを適当に生成したいようなとき、pandas.date_range()を使うと簡単にできます。 【実行環境】 Android Termux Python 3.9.6 Jupyter Notebook 6.4.0 Pandas 1.2.5 目次 目次…

【Pandas】日付の列を結合または分割する方法

今回は↑のように、日付の列を結合したり分割したりする方法です。 【実行環境】 Android Termux Python 3.9.6 Jupyter Notebook 6.4.0 Pandas 1.2.5 目次 目次 年・月・日で3列を1列の日付型にまとめる pd.to_datetime()で日付に変換 時刻まで入っている場合…

【Pandas】都道府県別の人口統計(総務省統計局令和元年国勢調査)

今回は、都道府県別の人口を表と棒グラフにします。 内容的には、apply関数とlambda関数を使ってSeriesの文字列を加工している点と、棒グラフを描く方法と、大したことやってません。初心者向けです。 元のデータは総務省統計局のもので、令和元年の国勢調査…

【Numpyだけで単回帰分析】np.polyfit()とnp.poly1d()でコロナ検査数から陽性者数を予測する

np.polyfit()とnp.poly1d()でコロナ陽性者数を単回帰分析予測 今回は、コロナの検査数と陽性者数のデータから、Numpyを使って単回帰分析を行ってみます。久しぶりでやり方忘れてるので復習。 独立変数xを検査件数、目的変数yを陽性者数として回帰分析をし、 …

【Pandas】任意の教科数と人数の成績表から学力を平均的に指定数でクラス分けする

成績表をもとに学力が平均的になるようにグループ分けする最終回 成績表をもとに学力が平均化するようにグループ分けするシリーズ、今回は最終回。 任意の教科数と人数の入った成績表を指定クラス数に分け、バラツキ最小と最大のクラス分けを返す関数を作る…

【Pandas】dfをto_markdown()でmd形式のテーブルに変換する

pandas.DataFrameをmarkdownテーブルに変換する Jupyterでデータフレームを表示させると表になる。これはhtmlのtableが生成されているためですが、Pandasのto_markdown()をデータフレーム・オブジェクトの後ろに付けると、markdown形式のテーブル文字列に変…

新型コロナのデータを見る

新型コロナのデータ 2021-07-03まで どんな具合か久しぶりに見てみる。書き散らかしメモ。 目次 新型コロナのデータ 2021-07-03まで データファイル no.0 cases_total.csv no.1 current_situation.csv no.2 death_total.csv no.2.2 death_daily (death_tota…

【Pandas】DataFrameオブジェクトをそのままリストに放り込める、ですと?

DataFrameオブジェクトをそのままリストに放り込む そんなことできるなんて、今さら知りまして。やってみましょ。 この投稿は、前回の課題のつづきとします。 import numpy as np import pandas as pd # 適当にデータフレームを生成 data1 = np.arange(1,11)…

【Numpy・Pandas・Scikit-learn】成績表からランダムにクラス分けしたバラツキ具合を標準偏差で確認する

標準偏差でクラス間のバラツキを見る 今回は、クラス分けしたグループ間のバラツキ具合を、標準偏差を用いて見ます。 5教科の成績表をもとに100人を4つにクラス分けする方法を考えています。1回目、2回目、3回目につづく、シリーズ4回目。 クラス分けをする…

【Numpy・Pandas・Scikit-learn】成績表のDataFrameを行でシャッフルし、クラス分けする

pandas.DataFrameの行をシャッフルし、クラス分けする 今回は、NumpyとPandasとScikit-learnを使って、2次元配列やDataFrameを行でシャッフルする方法と、Numpyで配列要素の繰り返し配列を生成する方法です。 DataFrameを行でシャッフル numpy.random.permut…

【Scikit-learn】k-平均法(k-means)を使って成績表からおまかせクラス編成する

k-means法(k-平均法)による、お任せクラス編成 前回の投稿では、Pandasで学校のテストの成績表のようなものを適当に作り、その合計点を算出して順位付けを行いました。 また、Pandasのグラフ作成機能を使って、積み上げ棒グラフを作成しました。 その合計100…

【Pandas】成績表を順位付けし、積み上げ棒グラフを作成する

Pandasで成績表を順位付けし、df.plot.bar()で棒グラフを作成する 学校のテストの成績表のようなものを適当に作ります。その合計点を算出してPandasで順位付けを行います。 Pandasのグラフ作成機能を使って、積み上げ棒グラフを作成します。 【実行環境】 Wi…

【matplotlib】縦2軸の折れ線グラフの描き方2_コロナ陽性者_死亡者

こちらで折れ線グラフの縦2軸の描き方が分かったので、調子に乗ってもう一個書いてみた。 【実行環境】 Windows10 WSL:Ubuntu Jupyter Notebook Python3.8 外部ライブラリ pandas numpy matplotlib import pandas as pd import numpy as np import matplotli…

【matplotlib】左右に軸があるグラフを描く

今回は、matplotlibで左右に軸があるグラフを作成します。 実行環境 Windows10 WSL:Ubuntu Anaconda VScodeでjupyter拡張 Python3.8 外部ライブラリ pandas 1.1.3、matplotlib 3.3.2 使用データファイル 厚生労働省オープンデータのPCR陽性者数、PCR検査実施…