PUT /index { "mappings": { "doc": { "properties": { "id": {"type": "integer"}, "count": {"type": "integer"} } } } } GET /_cat/indices?v $ grep -rF 'pipeline.workers' config/logstash.yml # pipeline.workers: 2 pipeline.workers: 1 csv_pipelin…

AWSにて、「データ分析基盤構築入門」を見て、立ち上げたけどエラーが出た。。 https://www.amazon.co.jp/dp/B075RTZ141 $ git clone https://github.com/efkbook/blog-sample $ cd blog-sample/ $ docker-compose up -d Building go Step 1/5 : FROM golang…

そもそもAWSのポートが空いてなかった。 $ netstat -na | grep LISTEN ... tcp 0 0 ::1:9200 :::* LISTEN ... ## elasticsearch install $ curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.0.tar.gz $ tar -xvzf elasti…

ElasticSearchで分析するやり方があるらしい。 データの投入はSparkを使ったりするっぽいよ。 $ ES_JAVA_OPTS="-Xms512m -Xmx512m" ./bin/elasticsearch qiita.com 楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社