2016-11-01から1ヶ月間の記事一覧

日本語のURLのスクレイピング方法(Python2.7)

Python2.7の日本語スクレイピング方法があったので、使ってみた。 qiita.com 引数は読み込み用のcsvファイルを使用する。(1列目はURL) openをcloseする必要がある気がする。 # coding:utf-8 import requests from bs4 import BeautifulSoup import csv impo…

改行の削除とテーブルの結合(SQL)

SQL

改行の削除(SQL) UPDATE TAB_A SET COL01 = REPLACE(REPLACE(COL01 , CHAR(13), ""), CHAR(10) , "") ; テーブルの結合 SELECT * FROM TAB_A INNER JOIN TAB_B ON TAB_B.columnb = TAB_A.columna;

signedとtsvについて

SQL

ただ、わからなかったことを書いていく signed データ型の修飾子らしい。intやlongの上に省略されているが、signed int となることで、 符号つき…負の値も扱えるということらしい。 tsv これはcsvがカンマだとしたら、tsvはtabで区切られているファイルらし…

Basic認証を通したURLのテキスト取得

Python2にてrequestsとbs4使用する あるcsvファイルからurlを取得し、別のcsvファイルにGetしたhtml結果を出力する。 .find("a")でも、.aでも取得可能らしい。

Pythonの規約保持とプロジェクト管理(Atom)

atom.io atom.io 今日の収穫。。あと、Invisibleはチェックすべき!

LibreOfficeやSequel

SQL

GUIにて管理できる。

API繰り返し出力

#bin/sh for i in `seq 0 N`; do curl "http://~~?l=100&o=${i}" | jq .result.classify_list[] | jq -r "to_entries | [.[].value] | @csv" >> output.csv done

JSON API→CSVにて

jqを用いてAPI取得から curl 'url名' | jq .項目名1.項目名2[] | jq -r "to_entries | [.[].value] | @csv" >> test.csv これでいける!

CentOS7 仮想環境構築

CentOS7(minimal)をインストールした USB挿入 $ su # diskutil list # diskutil unmountDisk /dev/disk4 $ cd ~ $ ls $ cd Downloads/ $ ls $ sudo dd if=./CentOS-7-x86_64-Minimal-1511.iso of=/dev/disk2 bs=4028 $ sudo dd if=./CentOS-7-x86_64-Minimal…