BitMap

什么是 BitMap

BitMap，即位图，其实也就是 byte 数组，用二进制表示，只有 0 和 1 两个数字。

如图所示：

重要 API

命令含义
getbit key offset对key所存储的字符串值，获取指定偏移量上的位（bit）
setbit key offset value对key所存储的字符串值，设置或清除指定偏移量上的位（bit）
1. 返回值为该位在setbit之前的值
2. value只能取0或1
3. offset从0开始，即使原位图只能10位，offset可以取1000
bitcount key [start end]获取位图指定范围中位值为1的个数
如果不指定start与end，则取所有
bitop op destKey key1 [key2...]做多个BitMap的and（交集）、or（并集）、not（非）、xor（异或）操作并将结果保存在destKey中
bitpos key tartgetBit [start end]计算位图指定范围第一个偏移量对应的的值等于targetBit的位置
1. 找不到返回-1
2. start与end没有设置，则取全部
3. targetBit只能取0或者1

演示

应用场景

统计每日用户的登录数。每一位标识一个用户ID，当某个用户访问我们的网页或执行了某个操作，就在bitmap中把标识此用户的位设置为1。

这里做了一个 使用 set 和 BitMap 存储的对比。

场景1：1 亿用户，5千万独立

数据类型每个 userid 占用空间需要存储的用户量全部内存量
set32位（假设userid用的是整型，实际很多网站用的是长整型）50,000,00032位 * 50,000,000 = 200 MB
BitMap1 位100,000,0001 位 * 100,000,000 = 12.5 MB
一天一个月一年
set200M6G72G
BitMap12.5M375M4.5G

场景2：只有 10 万独立用户

数据类型每个 userid 占用空间需要存储的用户量全部内存量
set32位（假设userid用的是整型，实际很多网站用的是长整型）1,000,00032位 * 1,000,000 = 4 MB
BitMap1 位100,000,0001 位 * 100,000,000 = 12.5 MB

通过上面的对比，我们可以看到，如果独立用户数量很多，使用 BitMap 明显更有优势，能节省大量的内存。但如果独立用户数量较少，还是建议使用 set 存储，BitMap 会产生多余的存储开销。

使用经验

  1. type = string，BitMap 是 sting 类型，最大 512 MB。
  2. 注意 setbit 时的偏移量，可能有较大耗时
  3. 位图不是绝对好。
统计指定日期范围内的DAU 和UV (IP排重统计数据)

        // 统计指定日期范围内的UV
        public long calculateUV(Date start, Date end) {
            if (start == null || end == null) {
                throw new IllegalArgumentException("参数不能为空!");
            }
    
            // 整理该日期范围内的key
            List<String> keyList = new ArrayList<>();
            Calendar calendar = Calendar.getInstance();
            calendar.setTime(start);
            while (!calendar.getTime().after(end)) {
                String key = RedisKeyUtil.getUVKey(df.format(calendar.getTime()));
                keyList.add(key);
                calendar.add(Calendar.DATE, 1);
            }
    
            // 合并这些数据
            String redisKey = RedisKeyUtil.getUVKey(df.format(start), df.format(end));
            redisTemplate.opsForHyperLogLog().union(redisKey, keyList.toArray()); //HyperLogLog的使用
    
            // 返回统计的结果
            return redisTemplate.opsForHyperLogLog().size(redisKey);
        }

     // 统计指定日期范围内的DAU
        public long calculateDAU(Date start, Date end) {
            if (start == null || end == null) {
                throw new IllegalArgumentException("参数不能为空!");
            }
    
            // 整理该日期范围内的key
            List<byte[]> keyList = new ArrayList<>();
            Calendar calendar = Calendar.getInstance();
            calendar.setTime(start);
            while (!calendar.getTime().after(end)) {
                String key = RedisKeyUtil.getDAUKey(df.format(calendar.getTime()));
                keyList.add(key.getBytes());
                calendar.add(Calendar.DATE, 1);
            }
    
            // 进行OR运算
            return (long) redisTemplate.execute(new RedisCallback() {
                @Override
                public Object doInRedis(RedisConnection connection) throws DataAccessException {
                    String redisKey = RedisKeyUtil.getDAUKey(df.format(start), df.format(end));
                    connection.bitOp(RedisStringCommands.BitOperation.OR,
                            redisKey.getBytes(), keyList.toArray(new byte[0][0]));
                    return connection.bitCount(redisKey.getBytes());
                }
            });
        }
# redis # 数据库 # nosql # java
Logo
CSDN学习社区

CSDN联合极客时间，共同打造面向开发者的精品内容学习社区，助力成长！

更多推荐

嵌入式作业（七）：基于Ardunio的STM32串口通信

嵌入式作业（七）0作业要求1Ardunio 完成STM32的串口通信（1）安装Ardunio IDE（2）stm32串口通信2关于 stduino IDE0作业要求安装 Ardunio IDE 和相关软件支持库，在Ardunio 完成STM32板子的串口通信程序：（1）持续向串口输出“Hello world！”；（2）当接收到“stop!”时，停止输出。网上有一个国人版的MCU集成开发平台， st

avatar CSDN学习社区

JDBC详解

JDBC文章目录JDBC什么是JDBC?JDBC驱动程序:Java使用JDBC访问数据库的步骤:设置classpath:Oracle连接字符串的书写格式:简单的例子:常用数据库的驱动程序及JDBC URL:Oracle数据库:SQL Server数据库MySQL数据库Access数据库PreparedStatement接口:JNDI-数据源（Data Source）与连接池（Connection

avatar CSDN学习社区

“模式识别与机器学习”学习笔记no2.再谈感知机

接**上篇：上篇主要进行了PLA，Pocket算法的理论过程分析和在给定数据集上利用pocket算法对数据集进行分类学习，得到错分数量最少的分类面。上篇中pocket算法的过程已经进行了编程和测试，框架已经建立了起来，这一篇主要上篇中没有提到或涉及不深的几个问题。1.数据集的构造。上篇是直接使用了题目给的向量，这次来根据正态分布来产生数据集。np.random.normal函数可以根据均值和方差生

avatar CSDN学习社区