日に日に分からんことが増えていく…

プログラマー初心者としての日々を学んでいることを記録していく。

Python3

CentOS7とかにPython3.6.1をinstallする方法

この方法だと /usr/local/bin配下にインストールしてくれる。 tecadmin.net https://stackoverflow.com/questions/38913502/how-do-i-install-a-python-package-to-usr-local-bin unix.stackexchange.com

scikit-learnとかいうライブラリ(機械学習)

pythonのSVMにはこれを使うらしい。 qiita.com

Python3とsystemd-tmpfiles.dの便利なサイト

Python3ではsendとthrowについてわからなかったので参考にしたサイト。 iteratorについてはこんな使い方があるのかと感動した。 あと、systemd-tmpfiles.dにて /tmp/ or /var/の定期的削除に関して、 systemd-tmpfiles-clean.serviceで削除をしている。その…

ファイルが置かれた瞬間にimport開始する

課題 (1) ファイルが置かれた瞬間にimport開始する(今回は空処理)仕組みの作成 /var/data/xxx.logみたいな場所に元ファイルが複数存在する。 db_importerバッチが、複数同時動作しても大丈夫なように(同じ元ファイルを重複してimportしないように)する。…

WebアクセスSQL挿入について考える(課題)。

(1) webページへのアクセスを、mysqlに保存するとしたら、どんなcreate tableにするか。 principal的なのものはcookie、対象はurl、あとはアクセス時間が、このドメインで必要な情報 アクセステーブルには、この3つの情報とテーブルへのinsert日時を保存。あ…

Excelをpythonで操作めちゃ便利(unicodeに変換してくれる)

以下のように使えて、めちゃ便利。 ただし、cell(0, 0) がexcelのA1に対応しており、そこの注意のみ必要。 import csvのようにunicode変換に悩むこともない。 import xlrd book = xlrd.open_workbook('test.xls') print book.name sheet1 = book.sheet_by_in…

tsv処理高速化の並列処理

この前のマルチプロセスバージョン kidnohr.hatenadiary.com kidnohr.hatenadiary.com #!/usr/bin/env python3 # coding:utf-8 import signal import sys import os import glob import logging import logging.handlers import datetime import click impor…

高速化tsv読み取り(単一プロセス)

以前紹介した、大量の高速化tsvをpickle、structの二つでバイナリかしたデータを書き換えた。 Python3を用いている。 kidnohr.hatenadiary.com 高速化の余地はまだまだあるが、現状進捗状況まで。。 ポイントは以下のようになる。 一時ディレクトリを作成す…