go语言实现布隆过滤器

原创

mob649e815bbe69 2024-09-28 04:09:20 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e815bbe69的原创作品，请联系作者获取转载授权，否则将追究法律责任

Go语言实现布隆过滤器

布隆过滤器是一种空间效率高的概率型数据结构，用于测试一个元素是否在一个集合中。由于其高效性和低误判率，布隆过滤器被广泛应用于缓存、去重、数据库等场景。本文将通过Go语言实现一个简单的布隆过滤器，并通过示例代码加以说明。

一、布隆过滤器的基本概念

布隆过滤器通过多个哈希函数将元素映射到一个固定大小的位数组中。如果所有相关的位都设置为1，则该元素可能在集合中；如果至少有一位为0，则该元素一定不在集合中。这种特性使得布隆过滤器可以快速判断一个元素是否存在，但存在一定的误判率，即可能会错误地认为一个不存在的元素存在。

1.1 布隆过滤器的基本流程

以下是布隆过滤器的基本工作流程：

flowchart TD
    A[添加元素] --> B[计算哈希值]
    B --> C[设置位数组]
    D[检查元素] --> E[计算哈希值]
    E --> F[查询位数组]
    C --> G{所有位是否为1?}
    F --> G
    G -- 是 --> H[元素可能存在]
    G -- 否 --> I[元素一定不存在]

二、Go语言实现布隆过滤器

2.1 布隆过滤器的结构

我们首先定义一个布隆过滤器的结构体。在Go中，布隆过滤器可以用一个位数组和多个哈希函数来表示。

package main

import (
    "fmt"
    "hash/fnv"
)

// BloomFilter 结构体
type BloomFilter struct {
    bitset []bool // 位数组
    size   int    // 位数组大小
    hashes []func([]byte) uint64 // 哈希函数
}

// NewBloomFilter 构造函数
func NewBloomFilter(size int, numHashes int) *BloomFilter {
    bf := &BloomFilter{
        bitset: make([]bool, size),
        size:   size,
        hashes: make([]func([]byte) uint64, numHashes),
    }
    for i := 0; i < numHashes; i++ {
        bf.hashes[i] = generateHashFunction(i)
    }
    return bf
}

2.2 哈希函数的生成

我们需要生成多个哈希函数。这里，我们采用简单的FNV哈希算法。

// generateHashFunction 生成哈希函数
func generateHashFunction(seed int) func([]byte) uint64 {
    return func(data []byte) uint64 {
        hash := fnv.New64a()
        hash.Write(data)
        return (hash.Sum64() + uint64(seed)) % uint64(len(data))
    }
}

2.3 添加元素

添加元素时，我们计算哈希值并在位数组中标记相应的位置。

// Add 添加元素到布隆过滤器
func (bf *BloomFilter) Add(item []byte) {
    for _, hashFunc := range bf.hashes {
        index := hashFunc(item) % uint64(bf.size)
        bf.bitset[index] = true
    }
}

2.4 检查元素

检查元素是否在布隆过滤器中时，我们计算哈希值并检查相应的位置。

// Contains 检查元素是否在布隆过滤器中
func (bf *BloomFilter) Contains(item []byte) bool {
    for _, hashFunc := range bf.hashes {
        index := hashFunc(item) % uint64(bf.size)
        if !bf.bitset[index] {
            return false
        }
    }
    return true
}

三、使用示例

下面是一个简单的使用示例，展示如何使用上述实现的布隆过滤器。

func main() {
    bf := NewBloomFilter(1000, 3)

    bf.Add([]byte("hello"))
    bf.Add([]byte("world"))

    fmt.Println(bf.Contains([]byte("hello"))) // 输出: true
    fmt.Println(bf.Contains([]byte("golang"))) // 输出: false
}