2019-04-01から1ヶ月間の記事一覧

keras の history plot と 移動平均

history plot acc = history.history['acc'] val_acc = history.history['val_acc'] loss = history.history['loss'] val_loss = history.history['val_loss'] epochs = range(1, len(acc) + 1) plt.plot(epochs, acc, 'bo', label='Training acc') plt.plot…

statsmodels で季節性のトレンドを見る

import warnings import itertools import numpy as np import matplotlib.pyplot as plt warnings.filterwarnings("ignore") plt.style.use('fivethirtyeight') import pandas as pd import statsmodels.api as sm import matplotlib matplotlib.rcParams['…

dig コマンドの詳細

dig コマンドについて、nslookup の代替ぐらいに考えていたけど、詳細を調べてみた。 japanrock-pg.hatenablog.com

statsmodels の summary の t について

どうやら、tは 標本分布を t分布と仮定した際の coef=0 の T の値っぽい。 t が 0から遠ければ遠いほど、coef が 0でない確率が高い。要は相関がある。 from patsy import dmatrices import statsmodels.api as sm df = sm.datasets.get_rdataset("Guerry", …

バイナリ分類器の訓練と検証

ロジスティック回帰とXGB分類器のホールドアウト from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.neighbors import KNeighborsClassifier from sklearn.neural_network import MLPClas…

ga の report api

developers.google.com www.lifedesignedit.com

Sparse データの次元圧縮

どうやら、普通のPCAは使えないっぽい。MFとかTruncartedSVD とか使えばいいのか。 >>> from sklearn.decomposition import TruncatedSVD >>> from scipy import sparse as sp >>> X = sp.rand(1000, 1000, density=0.0001) >>> clf = TruncatedSVD(100) >>>…

MySQL5.7 の truncate テーブルでのバグ

truncate が止まる。system lock で止まって以下が出る。 ... ------------------------------------- INSERT BUFFER AND ADAPTIVE HASH INDEX ------------------------------------- ... InnoDB: ###### Diagnostic info printed to the standard error st…

Python の keras で画像を見る

pillow と plt と keras より。 import pandas as pd import numpy as np from IPython.display import display, HTML from pandas.tools.plotting import table import matplotlib.pyplot as plt import seaborn as sns import scipy.stats as st import wa…

MySQLのテーブル情報一覧

コレで確認。INFORMATION_SCHEMA を探せばいろいろ何とかなりそう。 SELECT * FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = 'db_name';

stacking 分類用

# 複数のモデルの計算結果の傾向より、分類を予測するメタモデル from sklearn.base import BaseEstimator, TransformerMixin, ClassifierMixin, clone from sklearn.model_selection import StratifiedKFold class StackingAveragedModels(BaseEstimator, C…

MySQLの レプリケーション遅延について

SQL

MySQL が System lock で kill しても KILLEDから繊維しなかった。 # slave の状況 show slave status\G # transaction SHOW ENGINE INNODB STATUS\G # pid の確認 SELECT trx_started,trx_query,trx_rows_locked FROM information_schema.INNODB_TRX; souda…

pandas で Excel をimport する時、文字列が数字になった

以下で実装 項目名 型 code str score float df = pd.read_excel('./score.xlsx', dtype={'code': str,'score':float}) dic = pd.Series(df['score'].values, index=df['code']).to_dict() dic['123'] # --> 1.5