Redis 分区/分片

Redis 分区也叫分片,是把数据分割到多个 Redis 实例的处理过程,因此每个 Redis 实例只保存 key 的一个子集。

如果只使用一个 Redis 实例时,其中保存了服务器中全部的缓存数据,这样会有很大风险,如果单台 Redis 服务宕机了将会影响到整个服务。解决的方法就是我们可以采用分片/分区的技术,将原来一台服务器维护的整个缓存,现在换为由多台服务器共同维护内存空间。

 

1. 分区的优势

  • 通过利用多台计算机内存的和值,允许我们构造更大的数据库。
  • 通过多核和多台计算机,允许我们扩展计算能力;通过多台计算机和网络适配器,允许我们扩展网络带宽。

 

2. 分区的不足

redis的一些特性在分区方面表现的不是很好:

  • 涉及多个key的操作通常是不被支持的。举例来说,当两个set映射到不同的redis范例上时,你就不能对这两个set执行交集操作。
  • 涉及多个key的redis事务不能使用。
  • 当使用分区时,数据处理较为复杂,比如你需要处理多个rdb/aof文件,并且从多个范例和主机备份持久化文件。
  • 增加或删除容量也比较复杂。redis集群大多数支持在运行时增加、删除节点的透明数据平衡的能力,但是类似于客户端分区、代理等其他系统则不支持这项特性。然而,一种叫做presharding的技术对此是有帮助的。

 

3. 分区类型

Redis 有两种类型分区。 假设有4个Redis范例 R0,R1,R2,R3,和类似user:1,user:2这样的表示用户的多个key,对既定的key有多种不同方式来选择这个key存放在哪个范例中。也就是说,有不同的系统来映射某个key到某个Redis服务。

1)范围法分区

最简单的分区方式是按范围分区,就是映射一定范围的对象到特定的Redis范例。

比如,ID从0到10000的用户会保存到范例R0,ID从10001到 20000的用户会保存到R1,以此类推。

这种方式是可行的,并且在实际中使用,不足就是要有一个区间范围到范例的映射表。这个表要被管理,同时还需要各 种对象的映射表,通常对Redis来说并非是好的方法。

2)哈希法分区

另外一种分区方法是hash分区。这对任何key都适用,也无需是object_name:这种形式,像下面描述的一样简单:

  • 用一个hash函数将key转换为一个数字,比如使用crc32 hash函数。对key foobar执行crc32(foobar)会输出类似93024922的整数。
  • 对这个整数取模,将其转化为0-3之间的数字,就可以将这个整数映射到4个Redis范例中的一个了。93024922 % 4 = 2,就是说key foobar应该被存到R2范例中。注意:取模操作是取除的余数,通常在多种编程语言中用%操作符实现。

安装 Redis驱动包:我们需要确保已经安装了 redis 服务及 Java redis 驱动,且你的机器上能正常使用 Java。 Java的安装配置可以参考我们的 Java 开发环境配置。连接到 Redis 服务, Java 存取 Redis String 范例,Java 存取 Redis List 范例,Java 存取 Redis Keys 范例。