2016-12-01から1ヶ月間の記事一覧

Curlコマンド便利ツール

pythonのsocketやsubprocessを勉強していくにあたり、curlでアクセスすることが重要だったので載せる。 qiita.com

Linuxのサーバ負荷や使用率を調査する

DiskのIOを確認するとき便利(fioなど) nbisco.hatenablog.com tasuku.hatenablog.jp ついでにメモリも www.math.kobe-u.ac.jp コマンド集(CPU、メモリ、DISK) easyramble.com

tsv処理高速化の並列処理

この前のマルチプロセスバージョン kidnohr.hatenadiary.com kidnohr.hatenadiary.com #!/usr/bin/env python3 # coding:utf-8 import signal import sys import os import glob import logging import logging.handlers import datetime import click impor…

高速化tsv読み取り(単一プロセス)

以前紹介した、大量の高速化tsvをpickle、structの二つでバイナリかしたデータを書き換えた。 Python3を用いている。 kidnohr.hatenadiary.com 高速化の余地はまだまだあるが、現状進捗状況まで。。 ポイントは以下のようになる。 一時ディレクトリを作成す…

pip install Pillowができなかった話

ただ、pillowが何かわかっていないが必要だったので $ pip install Pillow しようとしたところ、 ValueError: jpeg is required unless explicitly disabled using --disable-jpeg, aborting の表示が出た。解決法は以下のStackOverflowに乗っていた。 stack…

大量行のtsvファイル作成について更新

前回まで 前回まで作成したものに訂正を加えた。主な修正点は以下になる。 ランダム処理を一回にし、一番範囲の広いintの結果を再利用する。 処理について長かったので、各処理を分ける。 例外処理について、ログを取るようにする。 シグナルの例外処理の独…

Djangoの大量のモデル作成方法

概要 models.pyのクラス名とクラス変数をそれぞれcsvファイルにする。 $ python mkmodel_django.py models/クラス名.csvをする。 完成。 csvファイルの作成 クラス名.cvs オブジェクト名 オブジェクトの説明 備考 OBJECT_NAME 説明〜 備考〜 OBJECT_NAME.csv…

画面キャプチャした画像編集アプリ

evernote.com gyazo.com めちゃ便利! あと、Cmd + shift + G でMacのFinderで色々探せる。 この下はpythonのデバック! import pdb; pdb.set_trace()

githubの初回登録時、鍵の登録をする。(忘れてた)

Git

以下のサイトを参考にした。あとはgithubにプロジェクトを作成して。 monsat.hatenablog.com $ pbcopy < ~/.ssh/id_rsa.pub →クリップボードに貼り付ける。settingに登録する。add $ ssh -T git@github.com →確認する $ git clone git@~~~ →github接続(ここ…

VBAによるtsvファイルのExcel変換(Mac編)

FileFormat numbers in Mac Excel These are the main file formats in Windows Excel 2007-2016: 51 = xlOpenXMLWorkbook (without macro's in 2007-2016, xlsx) 52 = xlOpenXMLWorkbookMacroEnabled (with or without macro's in 2007-2016, xlsm) 50 = xl…

Pythonで一億行のtsvファイルを作成する(高速化)

以下の課題に対して、コードを作成した。ちなみにargparseはまどろっこしいので、Clickを使用している。 百万行のファイルでおよそ39秒かかった。ここからの改善のしようがわからない。 1億行のrowを持つtsvファイルを出力するプログラムを作成せよ。 カラム…

git cloneのブランチ指定とSQL集約とline_profiler(バラバラ)

git cloneのブランチ指定 $ git clone -b ブランチ名 https://リポジトリのアドレス $ git commit -a -m "任意のコメント" //コミット (-aオプションは変更を自動検出してくれる) $ git branch //今いるブランチを確認 $ git checkout ブランチ名 *ブランチ…

SQLの複製

SQL

sqldump→CREATE構文→ファイル反映 この流れ