2019-01-01から1年間の記事一覧

model の param がちゃんと更新されなかった時

a = list(self.parameters())[0].clone() loss.backward() self.optimizer.step() b = list(self.parameters())[0].clone() torch.equal(a.data, b.data) discuss.pytorch.org

attention 記事まとめ

github.com github.com deeplearning.hatenablog.com self attention によるLSTMの精度向上 ai-scholar.tech github.com Pytorch の transformer 実装 towardsdatascience.com nlp.seas.harvard.edu

flip の引数について

peaceandhilightandpython.hatenablog.com

linux の serviceについて

service [name] status などのコマンドの設定ファイルは以下のディレクトリに格納されている事がある。 $ service --status-all /etc/systemd/system/* /run/systemd/system/* /lib/systemd/system/* askubuntu.com

Mask-rcnn のベンチマーク

この人いい感じにまとめてくれている。faster-rcnn と mask-rcnn いい感じに整理したい。 github.com

OpenCV 小ネタ集4

Object detections matchTemplate import cv2 import numpy as np import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by default, we …

無相関検定

独立 --> 無相関だが、無相関 -x-> 独立となっている。無相関検定の方法は以下。 tomoshige-n.hatenablog.com SSEやSSRは、分散分析の言葉を使って説明してある。 en.wikipedia.org

interpret が便利そう

explainable AI で便利そうなOSS。以下で、どれだけ項目が効いているか確認。 from interpret.glassbox import ExplainableBoostingClassifier ebm = ExplainableBoostingClassifier() ebm.fit(x_train, y_train) ebm_local = ebm.explain_local(x_test, y_t…

Python の method の params を知る方法

from inspect import signature from sklearn.ensemble import IsolationForest signature(IsolationForest) <Signature (n_estimators=100, max_samples='auto', contamination=0.1, max_features=1.0, bootstrap=False, n_jobs=1, random_state=None, verbose=0)></signature>

異常検知の実装 tips

以下を見て、方法をまとめたい。明日移行。 scikit-learn.org https://fisproject.jp/2019/03/deep-learning-for-anomaly-detection-1/ deeplearning4j.org contamination: ノイズの割合を指定できるので、訓練データにノイズが有る場合は指定する。OneClass…

微分方程式の公式ブログ発見

微分方程式の公式ブログ。 physnotes.jp

OpenCV 小ネタ集3

Approximating Contour + Convex Hull Approximating Contour import numpy as np import cv2 import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.figure(figsize=(8, 8)) plt.imshow(cv2.cvtColor(image.astype(np.uint8), cv2.COLOR_BGR2…

OpenCV 小ネタ集2 (cv2 の Contour 抽出手順)

Sorting Contours import cv2 import numpy as np import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image.astype(np.uint8), cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by default, w…

情報検索について

なんか FST辞書とか言うのがあるらしい。。Lucene ちゃんと見てみないと。 developer.hatenastaff.com あと、自然言語処理についてのよさげなスライドシェア。 大規模データ時代に求められる自然言語処理 from Preferred Networks www.slideshare.net

OpenCV 小ネタ集1

はじめに image 描写 gray color convert RGB or GBR or HSV ... import cv2 import matplotlib.pyplot as plt def cv2_imshow(title, image): plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) plt.title(title) # as opencv loads in BGR format by de…

Regression の p-value と R2 score について

p-value は、説明変数の 係数が0である帰無仮説が棄却されるかどうか検定するもの。 なので、 - p-value が 0.05 (alpha) 以下の場合は、重要な特徴 - R2 score は、回帰モデル自体がデータをどれくらい性格に予測できているかを示す指標 blog.minitab.com

pandas の dtype 判定

pandas の dtype 判定ように apiがある。 from pandas.api.types import is_string_dtype from pandas.api.types import is_numeric_dtype is_string_dtype(df['A']) >>>> True is_numeric_dtype(df['B']) >>>> True stackoverflow.com

HTMLのテーブルからコピペして、Markdown 書式に変換する方法

tmp = '''Variable Description Id A unique identifier associated with an application. Product_Info_1-7 A set of normalized variables relating to the product applied for Ins_Age Normalized age of applicant Ht Normalized height of applicant W…

cohen_kappa_score について

以下のサイトが分かりやすい。他クラスのスコアのとり方で使用できる。 順序ごとに target label が貼られている場合、target をより ground truth より遠く推論したものにペナルティが加わる。 from sklearn.metrics import cohen_kappa_score from sklearn…

HSV空間について

HSV は、「色相(Hue)」「彩度(Saturation)」「明度(Value・Brightness)」の3要素 で、色相は虹みたいな感じ。 www.peko-step.com import PIL from PIL import Image from matplotlib import pyplot as plt import cv2 path = './data/horses.jpg' im = Image…

Yolo v3 での物体検出

Yolo v3 での物体検出を Pytorch で実装している。Kaggle 等で使えそう。 github.com pjreddie.com

Pytorch のコールバック関数

pytorch のcallback が実装されている。 pytorch.org 2年前の更新で止まっているが、便利。 github.com

機械学習・深層学習便利サイト

めちゃくちゃまとまっている。分かりやすい github.com

Kaggle の クジラコンペで参考にした kernel

www.kaggle.com 細かい内容に心折れそう...。結構、詳しく書いてあったので参考に。 参考にした kernel www.kaggle.com www.kaggle.com www.kaggle.com

linear assignment problem について

Hungarian algorithm が有名所。scipy はこのアルゴリズムで実装されている。 >>> cost = np.array([[4, 1, 3], [2, 0, 5], [3, 2, 2]]) >>> from scipy.optimize import linear_sum_assignment >>> row_ind, col_ind = linear_sum_assignment(cost) >>> col…

phash について

phash で画像ファイルを 64bit で表現する。ハミング距離から、画像の類似性を判定できる。 from imagehash import phash from PIL import Image as pil_image img = pil_image.open(path) h = phash(img) h """ array([[ True, False, True, True, True, Tr…

keras の callback関数の指定方法

EarlyStopping: min_delta 以下の improvement しか、見られない時に patience 回しか耐えない。monitor より確認 ReduceLROnPlateau: min_delta 以下の改善しか見られない時に、学習率 (lr) に factor を掛ける。 ModelCheckpoint: model_name で保存する。…

アフィン変換記事

わかりやすい。scipy の matrix は output --> input としているので、T @ vec のアフィン変換をする場合は、matrix=mat_inv(T)と逆行列を指定する必要がある。 from scipy.ndimage import affine_transform from numpy.linalg import inv as mat_inv def ce…

matplotlib の日本語変更

以下のコマンドでフォントがあれば、入れてみる。 print([f.name for f in matplotlib.font_manager.fontManager.ttflist]) 例えば from matplotlib import rcParams rcParams['font.family'] = 'IPAPGothic'

uwisgi の設定はここから確認すればいいっぽい

docker で django のアプリを作ろうとして詰まった。 uwsgi-docs.readthedocs.io qiita.com