ZooKeeper:分布式过程协同技术详解 pdf

ZooKeeper:分布式过程协同技术详解

内容简介

本书分三部分,共10章。第一部分(第1~2章)阐述ApacheZooKeeper这类系统的设计目的和动机,并介绍分布式系统的一些必要背景知识。第1章介绍ZooKeeper可以做什么,以及其设计如何支撑这些任务。第2章介绍基本概念和基本组成模块,并通过命令行工具的具体操作介绍了ZooKeeper可以做什么。

第二部分(第3~8章)阐述开发人员所需要掌握的ZooKeeper库调用方法和编程技巧。第3章介绍Java语言的API.第4章解释如何跟踪和处理ZooKeeper中的状态变更情况。第5章介绍如何在系统或网络故障时恢复应用。第6章介绍需要注意来避免故障的一些繁杂却很重要的场景。第7章介绍C语言版的API接口,也可以作为非Java语言实现的ZooKeeperAPI的基础,对非Java语言的开发人员非常有帮助。第8章介绍一款更高层级的封装的ZooKeeper接口。

第三部分(第9~10章)主要介绍ZooKeeper内部原理及如何运行ZooKeeper.第9章介绍ZooKeeper的作者们在设计时所采用的方案。第10章介绍如何对ZooKeeper进行配置。

作者简介

Flavio Junqueira,是微软研究院在英国剑桥大学的研究人员之一。他拥有美国加州大学圣地亚哥分校计算机科学博士学位。他的研究范围涉及分布式系统的各个方面,包括分布式算法、并发性和可扩展性。他是Apache项目如Apache ZooKeeper(PMC主席和提交者)和Apache BookKeeper(提交者)的积极贡献者。他一有空就喜欢睡觉。

Benjamin Reed,是一位负责Facebook中所有细节工作的软件工程师。他以前的职位包括雅虎研究院首席研究科学家(负责所有大的方向)和IBM Almaden Research的研究人员(负责所有事情,无论大小)。他拥有加州大学圣克鲁斯分校计算机科学博士学位。他从事的工作涉及分布式计算、大数据处理、分布式存储、系统管理和嵌入式框架等领域。他参加了各种开源项目,如Hadoop和Linux操作系统等。他帮助启动了由Apache软件基金会主办的项目如Pig、ZooKeeper和BookKeeper。

目录

前言 1
第一部分 ZooKeeper的概念和基础
第1章 简介 7
1.1 ZooKeeper的使命 8
1.1.1 ZooKeeper改变了什么 10
1.1.2 ZooKeeper不适用的场景 10
1.1.3 关于Apache项目 11
1.1.4 通过ZooKeeper构建分布式系统 11
1.2 示例:主-从应用 12
1.2.1 主节点失效 13
1.2.2 从节点失效 14
1.2.3 通信故障 14
1.2.4 任务总结 15
1.3 分布式协作的难点 16
1.4 ZooKeeper的成功和注意事项 18
第2章 了解ZooKeeper 19
2.1 ZooKeeper基础 19
2.1.1 API概述 20
2.1.2 znode的不同类型 21
2.1.3 监视与通知 22
2.1.4 版本 24
2.2 ZooKeeper架构 25
2.2.1 ZooKeeper仲裁 26
2.2.2 会话 27
2.3 开始使用ZooKeeper 28
2.3.1 第一个ZooKeeper会话 28
2.3.2 会话的状态和声明周期 31
2.3.3 ZooKeeper与仲裁模式 33
2.3.4 实现一个原语:通过ZooKeeper实现锁 36
2.4 一个主-从模式例子的实现 37
2.4.1 主节点角色 37
2.4.2 从节点、任务和分配 40
2.4.3 从节点角色 40
2.4.4 客户端角色 41
2.5 小结 43
第二部分 使用ZooKeeper进行开发
第3章 开始使用ZooKeeper的API 47
3.1 设置ZooKeeper的CLASSPATH 47
3.2 建立ZooKeeper会话 47
3.2.1 实现一个Watcher 49
3.2.2 运行Watcher的示例 51
3.3 获取管理权 53
3.3.1 异步获取管理权 57
3.3.2 设置元数据 60
3.4 注册从节点 62
3.5 任务队列化 65
3.6 管理客户端 66
3.7 小结 68
第4章 处理状态变化 70
4.1 单次触发器 71
4.2 如何设置监视点 72
4.3 普遍模型 73
4.4 主-从模式的例子 74
4.4.1 管理权变化 74
4.4.2 主节点等待从节点列表的变化 77
4.4.3 主节点等待新任务进行分配 80
4.4.4 从节点等待分配新任务 83
4.4.5 客户端等待任务的执行结果 86
4.5 另一种调用方式:Multiop 88
4.6 通过监视点代替显式缓存管理 90
4.7 顺序的保障 91
4.7.1 写操作的顺序 91
4.7.2 读操作的顺序 91
4.7.3 通知的顺序 92
4.8 监视点的羊群效应和可扩展性 93
4.9 小结 94
第5章 故障处理 96
5.1 可恢复的故障 98
5.2 不可恢复的故障 102
5.3 群首选举和外部资源 103
5.4 小结 106
第6章 ZooKeeper注意事项 107
6.1 使用ACL 107
6.1.1 内置的鉴权模式 108
6.1.2 SASL和Kerberos 111
6.1.3 增加新鉴权模式 111
6.2 恢复会话 111
6.3 当znode节点重新创建时,重置版本号 112
6.4 sync方法 112
6.5 顺序性保障 114
6.5.1连接丢失时的顺序性 114
6.5.2 同步API和多线程的顺序性 115
6.5.3 同步和异步混合调用的顺序性 115
6.6 数据字段和子节点的限制 116
6.7 嵌入式ZooKeeper服务器 116
6.8 小结 117
第7章 C语言客户端 118
7.1 配置开发环境 118
7.2 开始会话 119
7.3 引导主节点 121
7.4 行使管理权 126
7.5 任务分配 129
7.6 单线程与多线程客户端 132
7.7 小结 135
第8章 Curator:ZooKeeper API的高级封装库 136
8.1 Curator客户端程序 136
8.2 流畅式API 137
8.3 监听器 138
8.4 Curator中状态的转换 140
8.5 两种边界情况 141
8.6 菜谱 141
8.6.1 群首闩 142
8.6.2 群首选举器 143
8.6.3 子节点缓存器 146
8.7 小结 148
第三部分 ZooKeeper的管理
第9章 ZooKeeper内部原理 151
9.1 请求、事务和标识符 152
9.2 群首选举 153
9.3 Zab:状态更新的广播协议 157
9.4 观察者 161
9.5 服务器的构成 162
9.5.1 独立服务器 163
9.5.2 群首服务器 164
9.5.3 追随者和观察者服务器 165
9.6 本地存储 166
9.6.1 日志和磁盘的使用 166
9.6.2 快照 167
9.7 服务器与会话 169
9.8 服务器与监视点 170
9.9 客户端 170
9.10 序列化 171
9.11 小结 171
第10章 运行ZooKeeper 173
10.1 配置ZooKeeper服务器 174
10.1.1 基本配置 175
10.1.2 存储配置 175
10.1.3 网络配置 177
10.1.4 集群配置 179
10.1.5 认证和授权选项 181
10.1.6 非安全配置 182
10.1.7 日志 183
10.1.8 专用资源 185
10.2 配置ZooKeeper集群 185
10.2.1 多数原则 186
10.2.2 法定人数的可配置性 186
10.2.3 观察者 188
10.3 重配置 188
10.4 配额管理 194
10.5 多租赁配置 196
10.6 文件系统布局和格式 197
10.6.1 事务日志 198
10.6.2 快照 199
10.6.3 时间戳文件 200
10.6.4 已保存的ZooKeeper数据的应用 200
10.7 四字母命令 201
10.8 通过JMX进行监控 202
10.9 工具 209
10.10 小结 209

感悟与笔记

Zookeeper 的系统功能

探讨其功能需要围绕的一个主线:它可以在分布式系统中协作多个任务

一个协作任务指一个包含多进程的任务。这个任务可以是为了协作或者是为了管理竞争。协作意味着多个进程需要同时处理某些事情,一些进程采取某些行动使得其它进程可以继续工作

分布式系统中进程通信通常两种选择:直接通过网络进行信息交换,或读写某些共享存储。

zookeeper使用共享存储模型(是借鉴了这个模型)来实现应用间的协作和同步原语。对于共享存储本身,又需要在进程和存储间进行网络通信

网络通信的一些真实问题:

  1. 消息延迟
  2. 处理器的性能
  3. 处理器时钟偏移

Zookeeper 仲裁选举

采用仲裁方式的复制集群中,由于具备高可用的镜像复写功能,如果客户端需要等待每个服务器完成数据的螺钉后在继续,则延时的问题会变得比较突出,要知道,延时,在大流量的访问中,是不可接收的,但不代表能消灭延时。此时,在ZK的设计思路中,为了规避这个问题,则衍生了法定人数的思想,即我们只需要保证我们的集群中,由若干算法模式下实现的人数能完成对应的信息落地之后,则认为客户端可以继续下一波的操作,而不是等到所有集群完全落实才继续下去。例如,我们由5个zk服务器,而法定人数为3人,则我们只需要确保其中的3台服务器保存了对应的数据,客户端就可以继续,而其他两个服务器在正常的状态下,最终也是能获取到数据,并保存下来

监听(watch)原理

  1. 一个main()
  2. main()线程创建zookeeper客户端,这时会创建两个线程,1个负责网络连接通信(connect),一个负责监听(listener)
  3. 通过connect线程将注册的监听事件发送给Zookeeper
  4. 在zookeeper的注册监听列表中,将注册的监听事件添加到列表中
  5. zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程
  6. listener线程内部调用process()方法

会员免费下载

链接:https://pan.baidu.com/s/1j5K7B9vN3bm2nkHF5tcfqA

提取码: ****** 查看

¥69/年 开通VIP会员

成为本站VIP会员即可无限下载。 请先点击百度网盘,看资源是否还在,不在请点击链接通知站长补资源。

资源标签点击标签可查看对应分类的资源

其他软件架构

资源推荐

免费 图解数据结构:使用Java

C++ 程序设计语言:第4部分 标准库(原书第4版)

C++编程思想(两卷合订本)

CSS世界

JavaScript DOM编程艺术(第2版)

C++ Primer Plus(第6版) 中文版

Vue.js快速入门

Java编程思想(第4版) [thinking in java]

Copyright © 2021-2022 知识猫. All Rights Reserved.