スニーカーについて

気に入っているスニーカーメーカーが、SPINGLE って名前なのに今更知った。。メーカーとかそんな興味なかったんやけどな。 似てる靴なのに型番が違うのは何かが違うんだけど、違いがわからない。 多分、前はSPM-356履いてて、今はSPM-443履いてる。どっちも…

ZIPファイルから、skimage と PIL で 画像を読み込む

zip を解凍せずに処理していきたい(Diskを圧迫するため)。 import pandas as pd import numpy as np import skimage.io from PIL import Image, ImageFile import io def get_pil_inzip(_zip_path, image_idx): image_id = files_in_zip_dic[image_idx][0]…

pytorch の gather と scatter の理解

gather と scatter の理解 が難しかったので、まとめた。 input を dim の方向に、arg 指定ごとに取得するイメージ。 # gather # torch.gather(input, dim, index, out=None, sparse_grad=False) → Tensor out[i][j][k] = input[index[i][j][k]][j][k] # if …

pandas groupby した後のカラム

grouypby agg した後の、columns を 階層1に統合。 tmp_kigo2.columns = ['_'.join(col) if col[1]!='' else col[0] for col in tmp_kigo2.columns]

seaborn の figsize

seaborn で figsize 変更するには以下のメソッドが使いやすい。 g = sns.catplot( x='year', y='金額', hue='フラグ', data=df, kind='bar' ) g.fig.set_size_inches(15, 4) plt.show() www.drawingfromdata.com

jupyter notebook の src から画像を復元する方法

最初の data:image/png;base64 の文言は BOMみたいなもんなので、抜いてください。 import base64 from PIL import Image from io import BytesIO text = "" def base642image(data): try: ddata = base64.b64decode(data) img = Image.open(BytesIO(ddata))…

時系列の python 実装例

www.dataquest.io www.machinelearningplus.com

git でファイルを残しつつ管理対象から消したいとき

Git

cachedオプションつけなくて、ファイル消してしまった... # --cachedオプションを付けることにより、ファイルを残したまま管理対象から外すことができます。 $ git rm --cached [削除したいファイル] qiita.com

時系列の特徴量に三角関数が有効

sin などを使うことで、周期性を特徴量に入れれるらしい。 tbnsilveira.info isadoranun.github.io pandas.pydata.org

pandas dataframe の single brackets の指定方法

single bracket の dataframe の使用方法の知らないやつ df[lambda x: x[1]==1] pandas.pydata.org

国際カンファレンス(ML)

行かなくても論文追ってみたい。 NIPS nips.cc ICML icml.cc

分類機を loss=BCE で予測するとき

0, 1 の分類器について、BCE で loss を計算すると、未来の確率の最尤は予測値となる。 def likelifood(x, n, n_1): return (x**(n_1)) * ((1- x) ** (n - n_1)) N = 100 N_1 = 80 x_list = [] for i in np.arange(0, 1.01, 0.01): xx = likelifood(i, N, N_…

model の param がちゃんと更新されなかった時

a = list(self.parameters())[0].clone() loss.backward() self.optimizer.step() b = list(self.parameters())[0].clone() torch.equal(a.data, b.data) discuss.pytorch.org

attention 記事まとめ

github.com github.com deeplearning.hatenablog.com self attention によるLSTMの精度向上 ai-scholar.tech github.com Pytorch の transformer 実装 towardsdatascience.com nlp.seas.harvard.edu

flip の引数について

peaceandhilightandpython.hatenablog.com

linux の serviceについて

service [name] status などのコマンドの設定ファイルは以下のディレクトリに格納されている事がある。 $ service --status-all /etc/systemd/system/* /run/systemd/system/* /lib/systemd/system/* askubuntu.com

Mask-rcnn のベンチマーク

この人いい感じにまとめてくれている。faster-rcnn と mask-rcnn いい感じに整理したい。 github.com

OpenCV 小ネタ集4

Object detections matchTemplate import cv2 import numpy as np import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by default, we …

無相関検定

独立 --> 無相関だが、無相関 -x-> 独立となっている。無相関検定の方法は以下。 tomoshige-n.hatenablog.com SSEやSSRは、分散分析の言葉を使って説明してある。 en.wikipedia.org

interpret が便利そう

explainable AI で便利そうなOSS。以下で、どれだけ項目が効いているか確認。 from interpret.glassbox import ExplainableBoostingClassifier ebm = ExplainableBoostingClassifier() ebm.fit(x_train, y_train) ebm_local = ebm.explain_local(x_test, y_t…

Python の method の params を知る方法

from inspect import signature from sklearn.ensemble import IsolationForest signature(IsolationForest) <Signature (n_estimators=100, max_samples='auto', contamination=0.1, max_features=1.0, bootstrap=False, n_jobs=1, random_state=None, verbose=0)></signature>

異常検知の実装 tips

以下を見て、方法をまとめたい。明日移行。 scikit-learn.org https://fisproject.jp/2019/03/deep-learning-for-anomaly-detection-1/ deeplearning4j.org contamination: ノイズの割合を指定できるので、訓練データにノイズが有る場合は指定する。OneClass…

微分方程式の公式ブログ発見

微分方程式の公式ブログ。 physnotes.jp

OpenCV 小ネタ集3

Approximating Contour + Convex Hull Approximating Contour import numpy as np import cv2 import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.figure(figsize=(8, 8)) plt.imshow(cv2.cvtColor(image.astype(np.uint8), cv2.COLOR_BGR2…

OpenCV 小ネタ集2 (cv2 の Contour 抽出手順)

Sorting Contours import cv2 import numpy as np import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image.astype(np.uint8), cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by default, w…

情報検索について

なんか FST辞書とか言うのがあるらしい。。Lucene ちゃんと見てみないと。 developer.hatenastaff.com あと、自然言語処理についてのよさげなスライドシェア。 大規模データ時代に求められる自然言語処理 from Preferred Networks www.slideshare.net

OpenCV 小ネタ集1

はじめに image 描写 gray color convert RGB or GBR or HSV ... import cv2 import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by de…

Regression の p-value と R2 score について

p-value は、説明変数の 係数が0である帰無仮説が棄却されるかどうか検定するもの。 なので、 - p-value が 0.05 (alpha) 以下の場合は、重要な特徴 - R2 score は、回帰モデル自体がデータをどれくらい性格に予測できているかを示す指標 blog.minitab.com

pandas の dtype 判定

pandas の dtype 判定ように apiがある。 from pandas.api.types import is_string_dtype from pandas.api.types import is_numeric_dtype is_string_dtype(df['A']) >>>> True is_numeric_dtype(df['B']) >>>> True stackoverflow.com

HTMLのテーブルからコピペして、Markdown 書式に変換する方法

tmp = '''Variable Description Id A unique identifier associated with an application. Product_Info_1-7 A set of normalized variables relating to the product applied for Ins_Age Normalized age of applicant Ht Normalized height of applicant W…