ZibuのHippocampus

人生天地间,忽如远行客

本文思路来自于博主铭毅天下的博文 项目实战 01:将唐诗三百首写入 Elasticsearch 会发生什么?

本文将唐诗三百首索引进入ES,并针对分词进行可视化处理,从这个实战项目可以了解以下一系列知识点和整体数据处理流程。

  • Elasticsearch 数据建模
  • Elasticsearch bulk批量写入
  • Elasticsearch 预处理
  • Elasticsearch检索
  • Elasticsearch聚合
  • kibana Visualize 使用
  • kibana Dashboard 使用
阅读全文 »

涉及知识点:

  • Template Mapping所支持Type
  • 对于不同的查询需求,设置什么 Type
阅读全文 »

涉及知识点:

  • ES 分词器工作原理
  • ES 内置分词器
  • IK 中文分词器
  • 在Template Mapping中对不同field 配置分词器
阅读全文 »

Redis 具备如下多种数据结构,对于不同的数据结构又有具体不同的底层实现,本文将具体深入到各个数据结构中,给予更深入的了解。

阅读全文 »

Mysql依靠锁来实现事务隔离。

如何设置事务隔离级别

事务 ACID特性

ACID:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)

  1. 原子性:事务是一个不可分割的工作单位,事务中的操作要么都发生,要么都不发生。
  2. 一致性:事务前后数据的完整性保持一致。例如转账后,双方总额不变。
  3. 隔离性:多个用户并发访问时,一个用户的事务不被其他用户事务干扰,多个并发事务数据相互隔离。
  4. 持久性:一个事务一旦提交,它对数据库的改变就是永久性,即便数据库发生故障也应该有任何影响。
阅读全文 »

“In computer science, write-ahead logging (WAL) is a family of techniques for providing atomicity and durability (two of the ACID properties) in database systems.”——维基百科

阅读全文 »

在提起 Kafka 的时候,我们都会说 Kafka 很快,那快是一个抽象的形容词,对于快的定义是多方面的,吞吐量,延迟,抖动等等都是形容和描述快的指标。这也受限于,人们对于一个产品的使用期望。

Apache Kafka 以抖动和延迟为代价,针对吞吐量进行了优化。同时具备了耐用性,严格的记录顺序和最少一次的传递语义。

因此人们说 Kafka 很快,指的是 Kafka 在短时间内能安全地积累和分发大量消息的能力。

从历史上说,Kafka 诞生之初是 LinkedInd的需求,即有效地传输大量消息地能力,每小时的数据总量达到数TB。单个消息传播延迟被认为是次要的。毕竟,LinkedIn不是从事高频交易的金融机构,也不是在确定的期限内运行的工业控制系统。 Kafka可用于实现近实时(也称为软实时)系统。

Real-Time 实时系统是什么意思:每一个操作,每一个请求都能在指定的时间内完成并返回,也就是我们常说的 Deadline,那么这个系统就是实时系统。

Near-Real-Time 近实时系统:系统能在一定范围地时间内给予返回,那就是NRT。举例而言,ES 就是 NRT 搜索系统,在默认配置下, 新插入的数据能在一秒钟后被搜索到。

通常而言,NRT系统吞吐量远大于 RT 系统。

阅读全文 »
0%