ZibuのHippocampus

人生天地间,忽如远行客

Snapshot And Restore

Snapshot(快照)是正在运行的 ES Cluster 的一个备份。你可以选择部分 index,也可以选择整个集群来打 Snapshot,并将其存储在共享文件系统中,ES 支持例如S3,HDFS,Azure, Google Cloud Storage等等的远程仓库,只需要安装对应的 Plugin 就可以轻松集成。

Snapshot 是增量备份的,当我们为一个已经在仓库中存储过的 index做备份时,数据会在原有的基础上递增,因此我们可以为我们的集群频繁备份,不会产生冗余数据。

我们可以通过 restore API 来恢复Snapshot,当恢复 indices时,我们可以修改 index的名字和配置,十分灵活。

不建议通过直接拷贝 Data 文件夹的方式来拷贝数据,由于 ES Data 目录,是不断变更的,直接恢复可能会丢失数据或者恢复失败等等。唯一可靠的备份数据的方式就是 Snaphot and Restore functionality

阅读全文 »

Introduction

Elasticsearch cross-cluster replication (CCR) 在 ES6.7版本正式发布,ccr允许 index 跨集群复制,复制Index 数据到其他 ES Cluster,有助于实现例如high availability (HA) across datacenters, disaster recovery (DR)和 CDN-like architectures等用户场景。

CCR是基于 Leader/Follower 架构。

Leader Index用于接收操作,并复制数据到N 个 Follower Index 中。

Follower Index则无法接收写请求(除了来自于 Leader Index 的数据)。

CCR无法处理Conflict Resolutin(我理解为数据同时写入多个 Index 中),这意味着数据只会被写入到 Leader Index, 并被复制到 Follower Index 上。我们可以将一个 Follower Index 升级为 Regular Index(Leader Index 其实就是一个 Regualr Index),但我们无法将一个存在数据的 Leader Index 转为 Follower Index。

阅读全文 »

Introduction

ILM(Index Lifecycle Managment)是 ES6.6.版本发布的新的特性,用于管理索引的生命周期。

时序型数据的场景中,比如 Metricbeat 持续不断的发送 metric 到 ES ,以日期为单位创建 Daily Index。我们会希望,单个 Index 的大小不要超过一个合适值,比如50GB,我们也不希望过时的数据,继续占用磁盘空间,那么就要指定一个规则删除无效 Index。这就是 ILM 可以帮助我们做到的。

在这篇 Blog 中,我们会介绍 ILM 所涉及的相关概念,并通过 ILM 来实现时序型日志的定时删除功能,这在之前的版本中往往是需要 由 Crontab 定期触发 curator 来实现的,相对复杂。

阅读全文 »

一拳超人 琦玉老师的训练计划

在动漫一拳超人中琦玉老师在设定中是个无敌的存在,当然除了蚊子以外。但是当被问起他是如何变强的呢,他回答到,我每天做100个仰卧起坐,100个俯卧撑,100个深蹲和跑10KM。这自然是一个梗了,当然这些训练是否合理呢,我们又如何修改训练计划来契合自身的健身计划呢。

本文主要内容来自于戴夫健身的回答,见下述链接。

[在现实中,普通人仿照漫画《一拳超人》中琦玉老师的锻炼方法锻炼三年会怎么样?]https://www.zhihu.com/question/27800026/answer/801535233

阅读全文 »

本文记录Nginx相关配置信息和其实现相关技巧。

Nginx作为web服务器来实现反向代理和负载均衡已经是为人所熟悉的操作了,本文会介绍Nginx的配置文件和基本命令,然后引入Nginx实现负载均衡的方式,加深对Nginx的理解。

阅读全文 »

🚧

Ansible , 一个集群管理部署的工具。

一台机器批量管理机器集群。传统的方式,我们需要编写shell Script,上传到对应服务器集群,然后执行部署,比较麻烦,而且为了做到幂等性,我们需要对Script仔细的审查,测试。

在Playbook中,我们可以使用Playbook, 使用其自带的众多Module,这些Module都是幂等的。只要对于模块足够的熟悉,毫无疑问,Ansible能起到极大的作用。

阅读全文 »
0%