2018-04-01から1ヶ月間の記事一覧

LDA(Latent Dirichlet Allocation) でのトピック抽出

以下の形式のsample.csvからデータを取得し、sklean の LDA でトピック抽出する。 id text 1 今日は晴れ。明日は雨 2 今日はカープが優勝した。 ... ... text2topic.py #!/usr/bin/env python # coding:utf-8 from __future__ import print_function from ti…

SolrのTermVectorsComponentでキーワード抽出してみる

tfidfを用いてなにかできないかと模索。 結果、検索で引っかかつキーワードが出てきただけ。。 The Term Vector Component | Apache Solr Reference Guide 7.1 #!/usr/bin/env python # coding:utf-8 import requests import json from heapq import heappus…

統計学の勉強するのに便利そう

bellcurve.jp

AWS にて、 dockerの立ち上げがうまく行かなかった

AWSにて、「データ分析基盤構築入門」を見て、立ち上げたけどエラーが出た。。 https://www.amazon.co.jp/dp/B075RTZ141 $ git clone https://github.com/efkbook/blog-sample $ cd blog-sample/ $ docker-compose up -d Building go Step 1/5 : FROM golang…

CurlのSFTPにて、サーバにアクセスするためには...

--insecure にするといける。 $ curl --insecure -u sftp_user:pass sftp://domain/directory1/

MacからプリンターのIPを探す方法

dns-sdは、Macに接続しているデバイスのIPアドレスを探すのに、便利 対応内容 1. dns-sdの対応しているサービスを表示 $ dns-sd -B _services._dns-sd._udp local. Browsing for _services._dns-sd._udp.local. DATE: ---Fri 20 May 2016--- 23:54:37.797 ..…

djangoのtest(django-nose, coverage)を使用する時

djangoでtestをするとき、django-nose、coverageが使える。 $ pip install nose $ pip install django-nose $ pip install coverage settigns.py INSTALLED_APPS += ['django_nose', ] TEST_RUNNER = 'django_nose.NoseTestSuiteRunner' NOSE_ARGS = [ '--wi…

1億行のファイルを読み込む方法

ファイルを書き出す manyrowstsv.py #!/usr/bin/env python # coding:utf-8 import signal import sys import os import glob import logging import logging.handlers import shutil import tempfile import random import datetime import string import c…

Linuxのリソース確認にgrafanaとか言うのが大変便利

blog.serverworks.co.jp

最大流について

問題 s => t に最大量のデータを流す場合、最大どれだけのデータを送信できるか。 class MaxTraffic(object): def __init__(self, N=5): self.N = N self.edge = [[] for i in range(N)] self.used = [0 for i in range(N)] self.inf = 10 ** 9 def append(s…

最小値の最大化(二分探索)と、反転操作回数の最小化

面白い問題があったのでPythonで記載。 問題 1 N個の牛小屋について、M頭の牛を買っている。 x・・・牛小屋の位置 最も近い牛の間隔を最大化するためにどうするか 解法 最小・最大化問題について、収束判定するために二分探索が用いられるらしい --> 総当た…