$ ls /home/mnt ls: /home/mnt にアクセスできません: そのようなファイルやディレクトリはありません このあたりを確認すればいいのか。。 $ strace -tt ls /home/mnt ... 07:40:12.552870 ioctl(1, TCGETS, {B38400 opost isig icanon echo ...}) = 0 07:4…
nvidia-smi で複数のgpuが存在するとき import os os.environ["CUDA_VISIBLE_DEVICES"] = "1" from keras import backend as K K.tensorflow_backend._get_available_gpus() ['/device:GPU:0'] nvidia-smi
以下のre.search では、 / と . 以外の文字列を検探し、group ( () ) の1番目について抽出している。 s = '../input/train.csv' re.search('/([^/\.]*)\.csv', s).group(1) # [^~] は ~以外の文字列
a = Nan assert pd.isna(a)
keras のクラス名に準拠 GlobalAveragePooling は 各チャネルごとの平均値を 軸 0として1次元に出力 AveragePooingとの違いから、Global は 全特徴マップを一つに pooling するみたいな Flatten はただ、軸0 として1次元に並べる SeparableConv は、各チャネ…
$ conda config --set auto_activate_base false stackoverflow.com
設定から、Pythonのsettings.json を追加編集することで回避できる "python.linting.pylintArgs": [ "--max-line-length=80", "--disable=W0142,W0403,W0613,W0232,R0903,R0913,C0103,R0914,C0304,F0401,W0402,E1101,W0614,C0111,C0301" ] stackoverflow.com
brew の使い方もちょっと勉強になった brew info python3 # Python3.7をbrewの管理下から外す brew unlink python3 # 最新のPython3.6 をダウンロード (依存関係は無視) brew install --ignore-dependencies https://raw.githubusercontent.com/Homebrew/hom…
history plot acc = history.history['acc'] val_acc = history.history['val_acc'] loss = history.history['loss'] val_loss = history.history['val_loss'] epochs = range(1, len(acc) + 1) plt.plot(epochs, acc, 'bo', label='Training acc') plt.plot…
import warnings import itertools import numpy as np import matplotlib.pyplot as plt warnings.filterwarnings("ignore") plt.style.use('fivethirtyeight') import pandas as pd import statsmodels.api as sm import matplotlib matplotlib.rcParams['…
dig コマンドについて、nslookup の代替ぐらいに考えていたけど、詳細を調べてみた。 japanrock-pg.hatenablog.com
どうやら、tは 標本分布を t分布と仮定した際の coef=0 の T の値っぽい。 t が 0から遠ければ遠いほど、coef が 0でない確率が高い。要は相関がある。 from patsy import dmatrices import statsmodels.api as sm df = sm.datasets.get_rdataset("Guerry", …
ロジスティック回帰とXGB分類器のホールドアウト from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.neighbors import KNeighborsClassifier from sklearn.neural_network import MLPClas…
developers.google.com www.lifedesignedit.com
どうやら、普通のPCAは使えないっぽい。MFとかTruncartedSVD とか使えばいいのか。 >>> from sklearn.decomposition import TruncatedSVD >>> from scipy import sparse as sp >>> X = sp.rand(1000, 1000, density=0.0001) >>> clf = TruncatedSVD(100) >>>…
truncate が止まる。system lock で止まって以下が出る。 ... ------------------------------------- INSERT BUFFER AND ADAPTIVE HASH INDEX ------------------------------------- ... InnoDB: ###### Diagnostic info printed to the standard error st…
pillow と plt と keras より。 import pandas as pd import numpy as np from IPython.display import display, HTML from pandas.tools.plotting import table import matplotlib.pyplot as plt import seaborn as sns import scipy.stats as st import wa…
コレで確認。INFORMATION_SCHEMA を探せばいろいろ何とかなりそう。 SELECT * FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = 'db_name';
# 複数のモデルの計算結果の傾向より、分類を予測するメタモデル from sklearn.base import BaseEstimator, TransformerMixin, ClassifierMixin, clone from sklearn.model_selection import StratifiedKFold class StackingAveragedModels(BaseEstimator, C…
MySQL が System lock で kill しても KILLEDから繊維しなかった。 # slave の状況 show slave status\G # transaction SHOW ENGINE INNODB STATUS\G # pid の確認 SELECT trx_started,trx_query,trx_rows_locked FROM information_schema.INNODB_TRX; souda…
以下で実装 項目名 型 code str score float df = pd.read_excel('./score.xlsx', dtype={'code': str,'score':float}) dic = pd.Series(df['score'].values, index=df['code']).to_dict() dic['123'] # --> 1.5
# Y = alpha + beta * x # 下の式を上に変換 # y = a * exp(b * x) # Y = log(y), a = exp(alpha), b = beta x = np.array([-2.1, -1.3, -0.4, 0.1, 0.6, 1.2, 1.6, 1.9]) y = np.array([0.5, 0.7, 1.0, 1.5, 3.2, 4.6, 5.0, 6.8]) Y = np.log(y) s_cov = np…
アットマーク@ は .dot() の代わりらしい(内積)。 np.array([1,2]) @ np.array([2,3]) 単回帰について from sklearn.linear_model import LinearRegression X = np.array([167, 168, 168, 183, 170, 165, 163, 173, 177, 170]) y = np.array([59, 58, 65, …
from scipy import stats, integrate l = np.array([4,4,22,26,36,45,39,21,16,4]) score_l = np.arange(5, 105, 10) # 標本平均と不変標本分散 mu = (l * score_l).sum() / l.sum() sigma2 = ((l * ((score_l-mu)**2)).sum() / (l.sum()-1)) # 確率プロット…
a = np.array([70, 69, 72, 74, 66, 68, 69, 70, 71, 69, 73, 72, 68, 72, 67]) b = np.array([69, 72, 71, 74, 68, 67, 72, 72, 72, 70, 75, 73, 71, 72, 69]) a.mean(), b.mean() # (70.0, 71.13333333333334) sgm = (a.var() * len(a) + b.var() * len(b)…
import numpy as np from scipy import stats import statsmodels as sms # 例 a = np.array([12.7,6.6,5.6,14.3,11.4,10.8,13.8,11.2,10.0,12.8,7.1,14.0]) # 正規分布の標本と仮定したときの、母平均の信頼区間 sigma = np.sqrt(dev / len(a)) stats.norm.…
クラス別の割合について、seaborn のこれ使ったら便利 import pandas as pd import seaborn as sns # バイオリンプロット sns.violinplot(x = 'target', y = 'rate', data = df) # 箱髭プロット(直感的な図だが、詳細が不明) sns.boxplot(x = 'target', y …
longtext にインデックスを貼ろうとしていた。 alter table `table` add index `index_name` (`name`(256)); 以下がでなかった Specified key was too long; max key length is 767 bytes なるほど mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_large_prefix%…
コサイン類似度を求めるためには、 sklearn.metrics.pairwise.cosine_similarity の方。 sklearn.metrics.pairwise.cosine_similarity — scikit-learn 0.20.3 documentation docs.scipy.org
psutil は標準ライブラリではないので、pip install する。 from psutil import virtual_memory def get_mem_available(): mem = virtual_memory() print("{} GB".format(mem.available / (1024 ** 3))) get_mem_available() stackoverflow.com