読者です 読者をやめる 読者になる 読者になる

長生村本郷Engineers'Blog

千葉県長生村本郷育ちのエンジニアが書いているブログ

ElasticSearch curatorで不要Indexをまとめて削除

ElasticSearch

概要

fluentd + ElasticSearch + kibana を運用していますが ある日ElasticSearchが動作しなくなる事象が発生しました。

過去indexが溜まりに溜まってメモリ不足というエラー。

logはS3にアップロードしているし、 不要なIndexは適宜削除して対策しました。

環境

curator インストール

  • ElasticSearchをインストールしているサーバにて以下実施
# pip install curator

curator コマンド実行

  • ElasticSearchをインストールしているサーバにて以下実施
# 14日(2週間)経過でclose
curator --host localhost close indices --prefix logstash --older-than 14 --time-unit days --timestring %Y.%m.%d

# 35日(4週間)経過でdelete
curator --host localhost delete indices --prefix logstash --older-than 35 --time-unit days --timestring %Y.%m.%d

# 2日経過でbloom filter無効化
curator --host localhost bloom indices --prefix logstash --older-than 2 --time-unit days --timestring %Y.%m.%d

上記をjenkinsで SSH plugin で リモートサーバにログインして実行するよう、 設定して定期ポーリングで1日1回実行させてます。

f:id:kenzo0107:20151112142836p:plain

以上

高速スケーラブル検索エンジン ElasticSearch Server

高速スケーラブル検索エンジン ElasticSearch Server