長生村本郷Engineers'Blog

千葉県長生村本郷育ちのエンジニアが書いているブログ

ElasticSearch

docker-compose で開発環境構築 〜Nginx アクセスログ(ltsv) を fluentd + elasticsearch + kibana で可視化〜

概要 前回構築した Vagrant 環境上で docker-compose による開発環境構築をします。 kenzo0107.hatenablog.com 今回は前回の続きで Nginx のアクセスログを Elasticsearch + Fluentd + Kibana で可視化してみます。 アプリ 簡単構築手順 macOS% $ git clone …

ElasticSearch curatorで不要Indexをまとめて削除

概要 fluentd + ElasticSearch + kibana を運用していますが ある日ElasticSearchが動作しなくなる事象が発生しました。 過去indexが溜まりに溜まってメモリ不足というエラー。 logはS3にアップロードしているし、 不要なIndexは適宜削除して対策しました。 …

ElasticSearch インデックス一覧・マッピング一覧・マッピング設定

前提 ElasticSearch のインストールされているサーバ内での作業を想定しています。 インデックス一覧 curl -XGET localhost:9200/_aliases?pretty { "logstash-2015.09.22" : { "aliases" : { } }, "logstash-2015.09.21" : { "aliases" : { } }, } prettyを…

Kibana エラー対応 - Discover: An error occurred with your request. Reset your inputs and try again.

問題 ある日、Kibana > Discover にアクセスすると以下のようなエラー表示で Searchingが完了できない状態に陥った。 ElasticSearchログ確認 tail -f /var/log/elasticsearch/elasticsearch.log Failed to execute [org.elasticsearch.action.search.SearchR…

ElasticSearchインストール on CentOS7

環境 CentOS Linux release 7.0.1406 (Core) ElasticSearch 1.7.1 必要モジュールダウンロード # yum install -y curl-devel java-1.8.0-openjdk java バージョン確認 # java version "1.7.0_85" OpenJDK Runtime Environment (rhel-2.6.1.2.el7_1-x86_64 u8…

さくらVPS fluentd + elasticsearch + kibana3

ElasticSearch インストール 公式サイト http://www.elasticsearch.org/blog/apt-and-yum-repositories/ yumリポジトリ追加 rpm --import http://packages.elasticsearch.org/GPG-KEY-elasticsearch elasticsearchリポジトリ設定ファイル追加 cat >> /etc/yu…