よちよちpython

独習 python/Qpython/Pydroid3/termux/Linux

PandasとNumpyでの相関関係の出し方

相関関係について。 NumpyとPandasを使ったそれぞれの方法。 目次 目次 相関関係とは 相関係数とは Pandasでの相関係数の出し方 グラフで見てみる 方法1: df.corr() 3列でも出来るか確認しておきます。 方法2: SeriesA.corr(SeriesB) Seriesではなくリストで…

ライブドア天気の終了

天気情報 ヘルプ - livedoor ヘルプ 2020/7/31をもってライブドア天気が終了したようです。同時に天気APIも使えなくなっています。 登録なしの無料でAPIが使えたので、プログラミングの練習などで利用されていた方も多いかと思います。 お世話になりました。…

【クラスの書き方練習】厚労省コロナデータを使ったグラフ作成

クラスの書き方を、グラフ作成で練習します。 正しい書き方なのかどうか分かりません。やったら動いたのでw クラス内のメソッドから、同一クラス内の別メソッドを実行する方法を学びます。 先に、こちら→オープンデータ|厚生労働省 に置いてある新型コロナ…

厚労省新型コロナ7月27日迄のデータによるグラフ作成

厚労省のサイト オープンデータ|厚生労働省 に掲載の新型コロナのデータCSVファイルからグラフを作成します。 7/28更新で27日までのデータが配信されております。 前回は7/22までのデータ 厚労省の新型コロナデータでグラフ作成 - よちよちpython 目次 目次…

画像ファイルを回転させ保存するコマンドラインツール

ブログに画像をアップするとき、Pythonで自作したコマンドラインツールでExif情報を削除しています。削除する理由はプライバシー保護と画像サイズを軽くする為です。 (参考/ スマホ撮影の画像は約10MB→Exif削除→3MB) しかし困ったことに、Exif情報を削除する…

厚労省の新型コロナデータでグラフ作成

半年ぶりの投稿。 モジュールの使い方等いろいろ忘れているので調べながら思いだしつつ。 この投稿では、厚労省のサイトオープンデータ|厚生労働省 に置いてある新型コロナのデータセットcsvファイルをそのまま用いてグラフを描いてみます。 目次 目次 実行…

【呟き】回帰分析の多項式とテイラー展開とエジプト数学

線形回帰分析をする際に、単回帰分析の直線の近似にy=ax+bを用いるのはわかる。算数で一番最初に習う数式ですので馴染み深いこともあって。 だが、曲線の近似式を仮定するときに、直線の式を積分したような、次数が増えた項を次々と追加していく式を採用する…

Numpyだけでロジスティック回帰分析テスト。アクセルorブレーキ?

Numpyだけでロジスティック回帰分析。その8。 動作確認。説明的なものは無し。 実行環境 Androidスマホ termux Python3.8 JupyterNotebook Pythonライブラリ Numpy 実験手順 2値分類用に実験データをつくる。目的変数を アクセル=1 ブレーキ=0とおく。説明変…

Numpyだけで回帰分析その7。自動車の燃費を重回帰分析する。

Numpyだけで回帰分析その7。 自動車の燃費の重回帰分析を行う。 実行環境 Androidスマホ termux Python3.8 JupyterNotebook Pythonライブラリ Pandas Numpy 目次 実行環境 目次 データの入手 入手したデータの中身・項目 Pandasで読み込み 情報の確認 Numpy …

Numpyだけで回帰分析その6。ワイン成分の重回帰分析実践

Numpyだけで回帰分析その6。 実戦投入!ワインをスマホに飲ませるの巻 実行環境 Androidスマホ termux Python3.8 JupyterNotebook 使用するPythonライブラリ Numpy linalg.lstsq() Pandas read_csv() スマホで機械学習をやろうとする無茶な試み。termuxからs…

Numpyだけで回帰分析その5。linalgのlstsqで重回帰分析

Numpyだけで回帰分析その5。 どうやら重回帰分析もできるの巻。 Numpyのlinalg.lstsq()、線形代数的に最小2乗法を扱うメソッドを使う。polyfit()・poly1d()と何が違うかは後の課題としておこ。 参考 scipyのofficial document numpy.linalg.lstsq — NumPy v1…

Numpyだけで回帰分析その4。polyfit()について。

Numpyだけを使って回帰分析をする悪あがきシリーズ。 今回はpolyfit()について。 参考 polyfit numpy.polyfit — NumPy v1.17 Manual 実行環境 Androidスマホ termux Python3.8 JupyterNotebook polyfit() 多項式係数生成マシーン 各点(x,y)を結ぶ線に近似す…

Numpyだけで回帰分析その3。poly1d()について

今回は、これまでNumpyだけで回帰分析(単回帰)するときに使ってきたpolyfit()とpoly1d()のうちのpoly1d()にしぼって軽くみていく。 なお、回帰分析の数学的説明、poly1d()のプログラムのアルゴリズム的な説明等は一切ありません。全然理解していません。 参…

matplotlibで三次元立体グラフを描くテスト

グラフ描画用のPythonモジュールmatplotlibで三次元の立体的なグラフの描き方を学ぶ。写経とも言われる。 説明等は無し。 実行環境 Androidスマホ termux Python3.8 JupyterNotebook from mpl_toolkits.mplot3d import Axes3D import matplotlib.pyplot as p…

Numpyだけで気温と降水量の回帰分析【Python機械学習】

今回もまたNumpyだけを使った(sklearnなどを使わない)回帰分析。 実際の株価気象のデータを分析する。 実行環境 Androidスマホ termux Python3.8 JupyterNotebook Pythonライブラリ Numpy Pandas matplotlib 目次 実行環境 目次 目的 CSVデータの入手と注意 …

Numpyだけで回帰分析その2。株価グラフにフィット【Python機械学習】

Numpyだけで回帰分析その2。 株価の変動を追っかけるテスト。 説明的なもの無し。 実行環境 Androidスマホ termux Python3.8 JupyterNotebook 使用するPythonライブラリ Numpy Pandas matplotlib 目的 Numpy.polyfit()、Numpy.poly1d()の使い方にとりあえず…

【Python機械学習】Numpyだけで回帰分析

Numpyだけで回帰分析を行う。 参考 NumPyで回帰分析(線形回帰)する - DeepAge numpy.poly1d():1次元多項式オブジェクト 実行環境 Androidスマホ termux Python3.8 JupyterNotebook はじめに はじめに実行環境についてなど。 Pythonでの機械学習に必須とよ…

スマホで手書き数字画像を作成しNumpyで加工するメモ

何の役に立つか分かりませんが、スマホで手書きの数字画像を作成し、Numpyで28×28ピクセルにサイズ縮小して保存する方法をメモする。機械学習の勉強でなんか使えそうだろう。 実行環境 ソニー製Androidスマホ termux Python3.8 JupyterNotebook お絵描きスマ…

Numpyで画像処理するメモ

今回もNumpyで画像をいじる。 実行環境 AndroidスマホtermuxPython3.8 JupyterNotebook一番最後の画像処理でネット接続がいります。 はじめに from IPython.display import Imageというコードを何回も書いておりますが、書かないと実行時にエラーが出た為に…

Numpyで配列要素の位置を移動させる時のメモ

配列要素の位置の並び替え遊び 配列をつくって、要素の場所を並び替えて遊びます。 二次元配列の要素位置の移動 適当に3×3の行列を作ります。 import numpy as np # Numpy配列の生成 a = np.arange(1,10).reshape(3,3) a array([[1, 2, 3], [4, 5, 6], [7, 8…

画像ファイルとNumpy配列の形状

画像をNumpy配列に変換したときの配列の形状についてのメモ。JupyterNotebookで実行中。 作業フォルダ内のpng画像ファイルを全取得します。 import glob # 拡張子pngファイルをリストで取得 im_file_list = glob.glob("*.png") # リストを表示 im_file_list …

JupyterNotebookで画像を表示する方法

JupyterNotebookで画像を表示させる方法メモ。 目次 (追記) 一番簡単な方法(Pillow) 1. IPython.displayを使う 複数表示 ネット上の画像urlからそのまま表示 (追記) ネット画像の保存 2.matplotlibを使う 2.2 画像の複数表示 (追記) markdownセルに画像を貼…

Numpyだけで画像処理を行い画像処理の仕組みを学ぶ

今回は、数値演算に使うPythonライブラリNumpyを使って画像処理にチャレンジ。 PillowやOpenCVなど画像処理ライブラリの処理用メソッドは使いません! そんなこと出来るのでしょうか!? はじめに Pythonで画像処理を行う定番のライブラリにはPillowやOpenCV…

【Python機械学習】pandasの基本的な使い方2

Pandasの使い方その2。 前回その1のつづきです。 機械学習でよく使いそうなものを。 目次 目次 実行環境 Pandasでデータファイルを読み込みDataFrameにする read_csv()の使い方 csvファイルのパス encoding 日本語を含むファイルの文字化けやエラー header …

【Python機械学習】pandasの基本的な使い方1

pandasの使い方メモ。 機械学習でほぼ必須といわれるライブラリのひとつ。機械学習でよく使うらしいメソッドにしぼっています。 目次 目次 実行環境 Pandasとは? Pandasのインポート データ形式 SeriesとDataFrame Seriesクラスの生成 Series()の頭は大文字…

【Python機械学習】numpyの基本的使い方

numpyの使い方メモ。 内容は機械学習でよく使うらしいメソッドのものにしぼりました。 はじめに このブログで以前にOpenCVを使って画像から顔や目の検出をやりました。 画像が顔なのか目の写真なのか等を判別できるのは機械学習の技術が応用されているからで…

温暖化防止、脱二酸化炭素の理屈について調べる

「温暖化防止のための脱二酸化炭素排出」派の科学的な理屈をネットでチョロっと調べた。 太陽から降り注ぐ日射エネルギーは地表に当たって熱に変わったり、また一部は反射して宇宙に帰る。 光線の中で近赤外線と呼ばれる波長のエネルギーは地表の反射時に遠…

NHKスペシャル 温暖化の番組

今から約19000前に氷河期が終わり、ピークの約6000年前まで地球の気温が上昇する。それに伴い海面が上昇。日本ではこれを縄文海進という名前で知られている。 当時は東京湾も大阪湾も有明海も現在より奥地まで深く海が入り込んでおり、弥生時代でも海や湿地…

numpyとmatplotlibで簡単ヒストグラム作図

2020年の年が明けました。 おめでとうございます。 今年最初の投稿は、ヒストグラムを図示することをやってみます。 実行環境 Androidスマホ termux Python3.8 Jupyter Notebook ヒストグラムとは? ヒストグラム(英語: histogram[1])とは、縦軸に度数、横…

コマンドでYouTube動画をダウンロード保存する方法

コマンドでYouTube動画をダウンロードする方法のメモ。 実行環境 Androidスマホ termux 準備するもの youtube-dlというCUIソフトを使いますのでインストールします。 pip install youtube-dl これで準備完了。 実行の前に ダウンロードは法に触れないの? 幾…