5.6 - Politicas de Retenção Elasticsearch
Retenção de dados
Ao configurar um sistema de análise de log e métricas, é extremamente importante definir sua política de retenção de dados, pois o Elasticsearch não pode armazenar todos os dados que você possui, o que pode resultar em perda de dados. Deve haver um processo para excluir automaticamente os índices antigos após um determinado período definido.
Com qualquer crescimento, principalmente nos espaços de observabilidade e segurança, a infraestrutura necessária para armazenar e analisar logs, métricas, rastreamentos de APM e eventos de segurança gerados pelas suas aplicações aumenta, implicando custos adicionais.
Configurando uma politica de ciclo de vida
Para configurar uma política de ciclo de vida para índices contínuos , você cria a política e a adiciona ao modelo de índice .
Para usar uma política para gerenciar um índice que não reverte, você pode especificar uma política de ciclo de vida ao criar o índice ou aplicar uma política diretamente a um índice existente.
As políticas de ILM são armazenadas no estado de cluster global e podem ser incluídas em snapshot definindo include_global_statequando truevocê tira o snasphot . Quando o instantâneo é restaurado, todas as políticas no estado global são restauradas e todas as políticas locais com os mesmos nomes são substituídas.
Neste artigo abordaremos as etapas de como gerenciar uma politica de ciclo de vida já existente em seu cluster, caso queira criar uma nova politica, consulte o guia Elasticsearch.
Gerenciar política de ciclo de vida
Para gerenciar uma política de ciclo de vida do Kibana, abra o menu e vá para Stack Management > Index Lifecycle Policies .
Gerencie seus índices à medida que crescem e envelhecem. Anexe uma política de ciclo de vida para automatizar quando e como fazer a transição de um índice por meio de seu ciclo de vida.
Selecione o índice a ser configurado, e defina através fases da política e as ações a serem executadas em cada fase.
A definição de um período de retenção é uma estratégia que as equipes usam atualmente para gerenciar dados.
Armazene seus dados mais recentes e pesquisados com mais frequência na camada Hot Phase e configure para ser deletado em 3 dias. O objetivo desta configuração, é limpar as informações ja coletadas de tempos em tempos, e gerenciar o tamanho dos índices otimizando espaço em seu disco.
Caso queira estender o período de retenção dos dados, configure conforme sua necessidade, porém lembre-se que, as aplicações exigirão mais armazenamento para abrigar as métricas geradas, ou seja, esta ação implicara em consumir uma quantidade considerável de espaço em disco, implicando em custos adicionais.
Pode-se configurar todos os demais índices existentes, para obter mais informações, consulte a documentação oficial nos links abaixo.
Ciclo de vida - https://www.elastic.co/guide/en/elasticsearch/reference/8.2/ilm-index-lifecycle.html#ilm-phase-transitions
Configurar politica - https://www.elastic.co/guide/en/elasticsearch/reference/8.3/set-up-lifecycle-policy.html
Defina período de retenção - https://www.elastic.co/guide/en/cloud-enterprise/current/ece-monitoring-ece-set-retention.html
Estratégias de espaço/economia - https://www.elastic.co/pt/blog/cost-saving-strategies-for-the-elasticsearch-service-data-storage-efficiency
Related Articles
5.1 - Boas Práticas e Desempenho Elasticsearch
Elasticsearch é um software open source, que provê uma interface RESTful de pesquisa e análise de dados capaz de solucionar um número crescente de casos de uso. Ele suporta um grande volume de dados sem perder performance, pode ser implementado em ...5 - Elasticsearch - Mecanismo de Busca
Introdução É uma ferramenta de busca altamente escalável, gratuita e Open Source, construída em linguagem Java sobre o Lucine, é uma API de indenização de documentos. Mais especificamente usado para armazenar, buscar, analisar grandes volumes de ...3.3 - Configurar Pagina Inicial
O PlantSuite possui um recurso que facilita a vida do usuário neste sentido, onde é possível personalizar localmente sua página inicial conforme sua preferência. Para personalizar a página inicial, acesse o menu Configurações >Pagina Inicial: Escolha ...8.4 - Como configurar uma variável
As variáveis são a principal fonte de dados do PlantSuite Server, podendo obter valores à partir de qualquer servidor OPC e são utilizadas em relatórios e eventos do sistema. Para que variáveis OPC possam ser criadas é necessário que se configure ...5.8 - Antivírus Elasticsearch
O Elastic Stack fornece recursos de análise de segurança que são amplamente usados para detecção de ameaças, visibilidade e resposta a incidentes. A velocidade e escala com que o Elasticsearch pode indexar e pesquisar informações relativas à ...