dispplot の y軸 log scale sns.distplot(..., hist_kws={'log':True}) github.com
気に入っているスニーカーメーカーが、SPINGLE って名前なのに今更知った。。メーカーとかそんな興味なかったんやけどな。 似てる靴なのに型番が違うのは何かが違うんだけど、違いがわからない。 多分、前はSPM-356履いてて、今はSPM-443履いてる。どっちも…
zip を解凍せずに処理していきたい（Diskを圧迫するため）。 import pandas as pd import numpy as np import skimage.io from PIL import Image, ImageFile import io def get_pil_inzip(_zip_path, image_idx): image_id = files_in_zip_dic[image_idx][0]…
gather と scatter の理解 が難しかったので、まとめた。 input を dim の方向に、arg 指定ごとに取得するイメージ。 # gather # torch.gather(input, dim, index, out=None, sparse_grad=False) → Tensor out[i][j][k] = input[index[i][j][k]][j][k] # if …
grouypby agg した後の、columns を 階層1に統合。 tmp_kigo2.columns = ['_'.join(col) if col[1]!='' else col[0] for col in tmp_kigo2.columns]
seaborn で figsize 変更するには以下のメソッドが使いやすい。 g = sns.catplot( x='year', y='金額', hue='フラグ', data=df, kind='bar' ) g.fig.set_size_inches(15, 4) plt.show() www.drawingfromdata.com
最初の data:image/png;base64 の文言は BOMみたいなもんなので、抜いてください。 import base64 from PIL import Image from io import BytesIO text = "" def base642image(data): try: ddata = base64.b64decode(data) img = Image.open(BytesIO(ddata))…
www.dataquest.io www.machinelearningplus.com
cachedオプションつけなくて、ファイル消してしまった... # --cachedオプションを付けることにより、ファイルを残したまま管理対象から外すことができます。 $ git rm --cached [削除したいファイル] qiita.com
sin などを使うことで、周期性を特徴量に入れれるらしい。 tbnsilveira.info isadoranun.github.io pandas.pydata.org
single bracket の dataframe の使用方法の知らないやつ df[lambda x: x[1]==1] pandas.pydata.org
行かなくても論文追ってみたい。 NIPS nips.cc ICML icml.cc
0, 1 の分類器について、BCE で loss を計算すると、未来の確率の最尤は予測値となる。 def likelifood(x, n, n_1): return (x**(n_1)) * ((1- x) ** (n - n_1)) N = 100 N_1 = 80 x_list = [] for i in np.arange(0, 1.01, 0.01): xx = likelifood(i, N, N_…
a = list(self.parameters())[0].clone() loss.backward() self.optimizer.step() b = list(self.parameters())[0].clone() torch.equal(a.data, b.data) discuss.pytorch.org
github.com github.com deeplearning.hatenablog.com self attention によるLSTMの精度向上 ai-scholar.tech github.com Pytorch の transformer 実装 towardsdatascience.com nlp.seas.harvard.edu
peaceandhilightandpython.hatenablog.com
service [name] status などのコマンドの設定ファイルは以下のディレクトリに格納されている事がある。 $ service --status-all /etc/systemd/system/* /run/systemd/system/* /lib/systemd/system/* askubuntu.com
この人いい感じにまとめてくれている。faster-rcnn と mask-rcnn いい感じに整理したい。 github.com
Object detections matchTemplate import cv2 import numpy as np import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by default, we …
独立 --> 無相関だが、無相関 -x-> 独立となっている。無相関検定の方法は以下。 tomoshige-n.hatenablog.com SSEやSSRは、分散分析の言葉を使って説明してある。 en.wikipedia.org
explainable AI で便利そうなOSS。以下で、どれだけ項目が効いているか確認。 from interpret.glassbox import ExplainableBoostingClassifier ebm = ExplainableBoostingClassifier() ebm.fit(x_train, y_train) ebm_local = ebm.explain_local(x_test, y_t…
from inspect import signature from sklearn.ensemble import IsolationForest signature(IsolationForest) <Signature (n_estimators=100, max_samples='auto', contamination=0.1, max_features=1.0, bootstrap=False, n_jobs=1, random_state=None, verbose=0)></signature>
以下を見て、方法をまとめたい。明日移行。 scikit-learn.org https://fisproject.jp/2019/03/deep-learning-for-anomaly-detection-1/ deeplearning4j.org contamination: ノイズの割合を指定できるので、訓練データにノイズが有る場合は指定する。OneClass…
微分方程式の公式ブログ。 physnotes.jp
Approximating Contour + Convex Hull Approximating Contour import numpy as np import cv2 import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.figure(figsize=(8, 8)) plt.imshow(cv2.cvtColor(image.astype(np.uint8), cv2.COLOR_BGR2…
Sorting Contours import cv2 import numpy as np import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image.astype(np.uint8), cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by default, w…
なんか FST辞書とか言うのがあるらしい。。Lucene ちゃんと見てみないと。 developer.hatenastaff.com あと、自然言語処理についてのよさげなスライドシェア。 大規模データ時代に求められる自然言語処理 from Preferred Networks www.slideshare.net
はじめに image 描写 gray color convert RGB or GBR or HSV ... import cv2 import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by de…
p-value は、説明変数の 係数が0である帰無仮説が棄却されるかどうか検定するもの。 なので、 - p-value が 0.05 (alpha) 以下の場合は、重要な特徴 - R2 score は、回帰モデル自体がデータをどれくらい性格に予測できているかを示す指標 blog.minitab.com
pandas の dtype 判定ように apiがある。 from pandas.api.types import is_string_dtype from pandas.api.types import is_numeric_dtype is_string_dtype(df['A']) >>>> True is_numeric_dtype(df['B']) >>>> True stackoverflow.com
