2025-02-01 23:39:40
单指令多数据流(SIMD
,Single Instruction Multiple Data)是一种并行计算技术,允许一条指令同时处理多个数据点。SIMD在现代CPU中广泛应用,能够显著提升计算密集型任务的性能,如图像处理、机器学习、科学计算等。随着Go语言在高性能计算领域的应用逐渐增多,SIMD支持成为了开发者关注的焦点。
当前很多主流和新型的语言都有相应的simd
库了,比如C++、Rust、Zig等,但Go语言的simd
官方支持还一直在讨论中(issue#67520)。Go语言的设计目标是简单性和可移植性,而SIMD的实现通常需要针对不同的硬件架构进行优化,这与Go的设计目标存在一定冲突。因此,Go语言对SIMD的支持一直备受争议。
最近几周这个issue的讨论有活跃起来, 希望能快点支持。
Go语言以其简洁的语法、高效的并发模型和快速的编译速度赢得了广泛的应用。然而,Go在性能优化方面一直面临挑战,尤其是在需要处理大量数据的场景下。SIMD作为一种高效的并行计算技术,能够显著提升计算性能,因此Go社区对SIMD的支持呼声日益高涨。
如果没有 SIMD,我们就会错过很多潜在的优化。以下是可以提高日常生活场景中性能的具体事项的非详尽列表:
此外,它将使这些当前存在的软件包更具可移植性和可维护性:
在这个月即将发布的Go 1.24版中,将会将内建的map使用Swiss Tables替换,而Swiss Tables针对AMD64的架构采用了SIMD的代码,这是不是Go官方代码库首次引进了SIMD的指令呢?
当前先前也有人实现了SIMD加速encoding/hex,被否了,当然理由也很充分:加速效果很好但请放弃吧,看起来太复杂,违背了Go简洁的初衷。
类似的还有unicode/utf8: make Valid use AVX2 on amd64
其实Go官方在2023就已经在标准库crypto/sha256中使用SIMD指令了 crypto/sha256: add sha-ni implementation。
SIMD通过一条指令同时处理多个数据点,通常用于向量化计算。现代CPU(如Intel的SSE/AVX
、ARM的NEON
)都提供了SIMD指令集,允许开发者通过特定的指令集加速计算任务。然而,直接使用SIMD指令集通常需要编写汇编代码或使用特定的编译器内置函数,这对开发者提出了较高的要求。
SIMD的核心思想是通过一条指令同时处理多个数据点。例如,传统的标量加法指令一次只能处理两个数,而SIMD加法指令可以同时处理多个数(如4个、8个甚至更多)。这种并行化处理方式能够显著提升计算密集型任务的性能。
SIMD指令集通常包括以下几类指令:
大多数现代编译器(如GCC、Clang、MSVC)提供了SIMD指令集的内置函数,开发者可以通过这些函数调用SIMD指令,而无需编写汇编代码。
一些编译器支持自动向量化功能,能够自动将标量代码转换为SIMD代码。例如,使用GCC编译以下代码时,可以启用自动向量化:
|
|
Go语言的标准库尚未提供对SIMD的直接支持。Go语言的编译器(gc)也没有自动向量化功能,这意味着开发者无法像在C/C++中那样通过编译器自动生成SIMD代码。
在Issue #67520 中,讨论依然磨磨唧唧,讨论时常偏离到实现的具体方式上(build tag)。
尽管Go语言标准库缺乏对SIMD的直接支持,但社区已经开发了一些第三方库和工具,帮助开发者在Go中使用SIMD指令集。在#67520的讨论中,Clement Jean 也提供了一个概念化的实现方案:simd-go-POC 。
以下是一些第三方实现的(simd指令,不是基于simd实现的库sonic、simdjson-go等):
kelindar/simd
kelindar/simd这个库包含一组矢量化的数学函数,它们使用 clang 编译器自动矢量化,并转换为 Go 的 PLAN9 汇编代码。对于不支持矢量化的 CPU,或此库没有为其生成代码的 CPU,也提供了通用版本。
目前它仅支持 AVX2,但生成 AVX512 和 SVE (for ARM) 的代码应该很容易。这个库中的大部分代码都是自动生成的,这有助于维护。
|
|
alivanz/go-simd
[alivanz/go-simd](https://github.com/alivanz/go-simd)实现了 Go 语言的 SIMD(单指令多数据)操作,专门针对 ARM NEON 架构进行了优化。其目标是为特定的计算任务提供优化的并行处理能力。
下面是一个加法和乘法的例子:
|
|
pehringer/simd
pehringer/simd 通过 Go 汇编提供 SIMD 支持,实现了算术运算、位运算以及最大值和最小值运算。它允许进行并行的逐元素计算,从而带来 100% 到 400% 的速度提升。目前支持 AMD64 (x86_64) 和 ARM64 处理器。
Go语言支持通过汇编代码直接调用CPU指令集,这为SIMD的实现提供了可能。开发者可以编写Go汇编代码,调用特定的SIMD指令集(如SSE、AVX等),从而实现高性能的向量化计算。然而,编写和维护汇编代码对开发者提出了较高的要求,且代码的可移植性较差。
|
|
当然需要a,b和 result 数组的地址是对齐的,以获得最佳性能。
尽管Go语言目前对SIMD的支持尚不完善,但社区已经通过第三方库和汇编代码提供了一些解决方案。未来,随着Go编译器的改进和标准库的支持(相信Go官方最终会支持的),Go语言在高性能计算领域的潜力将进一步释放。对于开发者而言,掌握SIMD技术将有助于编写更高效的Go代码,应对日益复杂的计算任务。
2025-01-31 12:02:33
DeepSeek出街老火了,整个AI界都在热火朝天的讨论它。
同时,安全界也没闲着,来自美国的攻击使它不得不通知中国大陆以外的手机号的注册,同时大家也对它的网站和服务安全性进行了审视,这不Wiz Research就发现它们的数据库面向公网暴露并且无需任何身份即可访问。这两个域名oauth2callback.deepseek.com:9000和dev.deepseek.com:9000。
AI的核心技术既需要这些清北的天才去研究,产品也需要专业的人才去打磨。像DeepSeek这么专业的公司都可能出现这样的漏洞,相信互联网上这么数据库无密码暴露的实例也应该不在少数(实际只找到了2个)。
基于上一篇《扫描全国的公网IP要多久》,我们改造一下代码,让它使用 tcp_syn
的方式探测clickhopuse的9000端口。
首先声明,所有的技术都是为了给大家介绍使用Go语言开发底层的网络程序所做的演示,不是为了介绍安全和攻击方面的内容,所以也不会使用已经成熟的端口和IP扫描工具如zmap、rustscan、nmap、masscan、Advanced IP Scanner、Angry IP Scanner、unicornscan等工具。
同时,也不会追求快速,我仅仅在家中的100M的网络中,使用一台10多年前的4核Linux机器进行测试,尽可能让它能出结果。我一般晚上启动它,早上吃过早餐后来查看结果。
我想把这个实验分成两部分:
接下来先介绍第一部分。
我们需要将上一篇的代码改造,让它使用TCP进行扫描,而不是ICMP扫描,而且我们只扫描9000端口。
为了更有效的扫描,我做了以下的优化:
同样的,我们也定义一个TCPScanner
结构体,用来使用TCP握手来进行探测。如果你已经阅读了前一篇文章,应该对我们实现的套路有所了解。
|
|
这里定义了一个TCPScanner
结构体,它有一个Scan
方法,用来启动接收和发送两个goroutine。接收goroutine用来接收目标服务器的回复(sync+ack 包),发送goroutine用来发送TCP sync包。
发送goroutine首先通过net.ListenPacket
创建一个原始套接字,这里使用的是ip4:tcp
,然后发送TCP的包就可以了。
我并没有使用gopacket这个库来构造TCP包,而是自己构造了TCP包,因为我觉得gopacket这个库太重了,而且我只需要构造TCP包,所以自己构造一个TCP包也不是很难。
seq数我们使用了当前进程的PID,这样在接收到回包的时候,还可以使用这个seq数来判断是不是我们发送的回包。
注意这里我们要计算tcp包的checksum, 并没有利用网卡的TCP/IP Checksum Offload功能,而是自己计算checksum,原因在于我的机的网卡很古老了,没有这个功能。
|
|
接收goroutine首先创建一个原始套接字,使用net.ListenIP
,然后使用ipv4.NewPacketConn
来创建一个ipv4.PacketConn
,并设置ipv4.FlagSrc|ipv4.FlagDst|ipv4.FlagInterface
,这样可以获取到源IP、目标IP和接口信息。
这里必须设置ipv4.FlagSrc|ipv4.FlagDst|ipv4.FlagInterface
, 否则不能获取到目标服务器的IP。pv4.FlagDst
到是不需要的。
接收到数据后,我们解析TCP头,然后判断是否是我们发送的包,如果是我们发送的包,我们就将目标IP发送到output
通道。
如果是我们发送的回包,我们就判断是否是SYN+ACK包,同时判断ACK是否和我们发送的seq对应,如果是,我们就将目标IP发送到output
通道。
|
|
完整的代码在这里。
最终我把可以连接端口9000的IP保存到了一个文件中,一共有970+个IP。
接下来我们要检查这些IP是否是clickhouse的服务,而且没有身份验证。
使用类似的方法,我们定义一个ClickHouseChecker
结构体,用来检查这些IP是否是clickhouse的服务。
它会尝试使用这些IP和9000建立和clickhouse的连接,如果连接成功,并且调用Ping()
方法成功,我们就认为这个IP是clickhouse的服务。
|
|
实际扫描下来,几乎所有的IP的9000端口都连接超时或者不是clickhouse服务,只有4个IP是clickhouse服务,但是需要身份验证。,报错default: Authentication failed: password is incorrect, or there is no user with such name.
挺好的一件事情,至少公网暴露的clickhouse服务都是需要身份验证的。
当然也有可能是clickhouse的服务端配置了IP白名单,只允许内网访问,这样的话我们就无法访问了。也可能是clickhouse的端口改成了其他端口,我们无法访问。
使用既有的程序即可。我们先拉取全网的网段信息。
|
|
先用icmp_scan
扫描一下公网课访问的IP地址:
|
|
一共8亿多个IP,可以ping的通的有1500多万个,耗时2小时扫描完。
根据网友在上一篇的留言反馈,光美国就有8亿多个IP。
我问deepseek,全球有37亿个IP,美国有9亿个,这个数量才合理,我自己扫描的8亿要远远少于这个数量。而且活跃的IP我感觉应该远远大于1500多万。
但是这些不重要了,我要做的就是能扫描到可以免密登录的clickhouse服务,看看这些IP里面有没有。
接下来我们使用tcp_scan
扫描这些IP的9000端口:
|
|
在这1500多万个IP中,有3953个IP的9000端口是可以访问的,但是都需要验证能不能进行clickhouse的操作,我们需要进一步检查。
接下来我们使用clickhouse_check
检查这些IP是否是clickhouse服务:
|
|
4分钟完成。最终还是真的发现有两个IP的9000端口是clickhouse服务,而且不需要密码验证。
类似的我们还可以验证Redis、Mysql等服务的安全性。
2025-01-30 00:44:01
Go 语言的 io/fs
包是 Go 1.16 版本引入的一个标准库包,它定义了文件系统的抽象接口。这个包提供了一种统一的方式来访问不同类型的文件系统,包括本地文件系统、内存文件系统、zip 文件等。
io/fs
包的主要作用io/fs
包定义了一组接口,用于描述文件系统的基本操作,如打开文件、读取目录等。通过这些接口,我们可以编写与具体文件系统无关的代码。io/fs
包定义的接口,就可以使用相同的代码进行访问。io/fs
包,我们可以方便地mock文件系统,从而提高代码的可测试性。io/fs
包的核心接口fs.FS
: 表示一个文件系统,定义了打开文件的方法 Open
。fs.File
: 表示一个打开的文件,定义了读取、写入、关闭等方法。fs.FileInfo
: 表示文件的元信息,包括文件名、大小、修改时间等。fs.DirEntry
接口表示一个目录项,它可以是文件或子目录。fs.FileInfo
接口表示文件的元信息。fs.FileMode
类型表示文件的权限和类型,它是一个位掩码。还有一些基于fs.FS
、fs.File
等接口扩展的一些接口:
fs.GlobFS
接口扩展了 fs.FS
接口,增加了 Glob(pattern string) ([]string, error)
方法。该方法允许使用通配符模式匹配文件和目录。fs.ReadDirFS
接口也扩展了 fs.FS
接口,增加了 ReadDir(name string) ([]fs.DirEntry, error)
方法。该方法用于读取指定目录下的所有文件和子目录。fs.ReadDirFile
接口扩展了 fs.File
接口,增加了 ReadDir(n int) ([]fs.DirEntry, error)
方法。这个接口主要用于读取目录文件中的内容,返回一个 fs.DirEntry
列表。它通常用于实现了 fs.ReadDirFS
的文件系统。fs.ReadFileFS
接口扩展了 fs.FS
接口,增加了 ReadFile(name string) ([]byte, error)
方法。这个接口允许直接读取指定文件的全部内容,返回字节切片。 它提供了一种更便捷的方式来读取文件内容,避免了先打开文件再读取的步骤。fs.StatFS
接口也扩展了 fs.FS
接口,增加了 Stat(name string) (fs.FileInfo, error)
方法。该方法用于获取指定文件的元信息,返回一个 fs.FileInfo
对象。fs.SubFS
接口也扩展了 fs.FS
接口,增加了 Sub(dir string) (fs.FS, error)
方法。该方法用于创建一个新的文件系统,它表示原始文件系统的一个子目录。这在需要限制访问文件系统的特定部分时非常有用。fs.WalkDirFunc
类型定义了一个函数签名,用于 fs.WalkDir
函数的回调。io/fs
包的应用场景io/fs
包进行访问。fs.FS
接口fs.FS
接口是 io/fs
包的核心,它表示一个文件系统。最常见的实现是 os.DirFS
,它表示本地文件系统的一个目录。
|
|
这个例子展示了如何使用 os.DirFS
创建一个文件系统,然后使用 fsys.Open
方法打开一个文件并读取其内容。
fs.File
接口fs.File
接口表示一个打开的文件,它提供了读取、写入、关闭等方法。
|
|
这个例子展示了如何使用 f.Stat 方法获取文件的元信息。
fs.DirEntry
接口fs.DirEntry
接口表示一个目录项,它可以是文件或子目录。
|
|
这个例子展示了如何使用 fs.ReadDir
函数读取目录中的所有条目,并使用 entry.Name
和 entry.IsDir
方法获取条目的名称和类型。
fs.GlobFS
接口fs.GlobFS
接口扩展了 fs.FS
接口,增加了 Glob
方法,允许使用通配符模式匹配文件和目录。
|
|
这个例子展示了如何使用 fs.Glob 函数查找所有以 .go 结尾的文件。
fs.ReadDirFS
接口fs.ReadDirFS
接口也扩展了 fs.FS
接口,增加了 ReadDir
方法,用于读取指定目录下的所有文件和子目录。
|
|
这个例子展示了如何使用 fs.ReadDir
函数读取目录中的所有条目。
fs.SubFS
接口fs.SubFS
接口也扩展了 fs.FS
接口,增加了 Sub
方法,用于创建一个新的文件系统,它表示原始文件系统的一个子目录。
|
|
这个例子展示了如何使用 fs.Sub
函数创建一个表示子目录的文件系统,并读取其内容。
fs.WalkDirFunc
接口fs.WalkDirFunc
类型定义了一个函数签名,用于 fs.WalkDir
函数的回调。
|
|
这个例子展示了如何使用 fs.WalkDir 函数遍历目录,并使用 fs.WalkDirFunc 函数打印每个文件和目录的路径。
内存文件系统是一种虚拟文件系统,它将文件存储在内存中而不是磁盘上。内存文件系统通常用于临时存储数据,或者用于测试和调试目的。
这种文件系统速度非常快,但数据在程序退出后会丢失。Go 语言的 testing/fstest
包提供了一个 MapFS
包,可以方便地创建内存文件系统。
|
|
也有一些第三方的库实现了内存文件系统,比如psanford/memfs,这是一个它的例子:
|
|
嵌入式文件系统将文件嵌入到程序中,这样可以方便地将静态资源打包到程序中。Go 语言标准库提供了一个 embed
包,可以方便地创建嵌入式文件系统。
|
|
这个例子展示了如何使用
embed.FS类型创建一个嵌入式文件系统,并使用
staticFiles.Open` 方法打开一个嵌入的文件。
有一些第三方库提供了将 S3 存储桶挂载为本地文件系统的功能,这样我们就可以像访问本地文件一样访问 S3 文件。例如,go-cloud
库就提供了对多种云存储服务的统一访问接口,包括 S3。
|
|
这个例子展示了如何使用 gocloud.dev/blob
包将 google GCS 存储桶挂载为本地文件系统,并使用 fs.WalkDir
函数遍历存储桶中的文件。
2025-01-27 00:38:47
自从加入百度负责物理网络的监控业务之后,我大部分的都是编写各种各样额度底层的网络程序。业余时间我也是编写一些有趣的网络程序,不仅仅是兴趣,也是为未来的某个业务探索一下技术方案。
而且这次,我想知道,就在我这一个10年前的小mini机器4核机器上,在家庭网络中扫描全国(中国大陆)的所有的公网IP地址需要多少时间。
利用它,我可以知道和全国各省市的运营商、云服务商的联通情况。有没有运营商的出口故障以及IP已没有被运营商或者有关部门劫持。
TL;DR: 一共扫描了3亿个地址(343142912),当前ping的通的IP 592万个(5923768),耗时1小时(1h2m57.973755197s)。
这次我重构了以前的一个扫描公网IP的程序。先前的程序使用gopacket收发包,也使用gopacket组装包。但是gopacket很讨厌的的一个地方是它依赖libpcap库,没有办法在禁用CGO的情况下。
事实上利用Go的扩展包icmp和ipv4,我们完全可以不使用gopacket实现这个功能,本文介绍具体的实现。
程序的全部代码在:https://github.com/smallnest/fishfinder
程序使用ICMP协议进行探测。
首先它启动一个goroutine解析全国的IP地址。IP地址文件每一行都是一个网段,它对每一个网段解析成一组IP地址,把这组IP地址扔进input channel。
一个发送goroutine从input通道中接收IP地址,然后组装成ICMP echo包发送给每一个IP地址,它只负责发送,发送完所有的地址就返回。
一个接收goroutine处理接收到的ICMP reply 回包,并将结果写入到output channel中。
主程序不断的从output中接收已经有回包的IP并打印到日志中,直到所有的IP都处理完就退出。
这里涉及到并发编程的问题,几个goroutine怎么协调:
如果你对Go并发编程有疑问,可以阅读极客时间上的《Go并发编程实战课》专栏,或者图书《深入理解Go并发编程》。
如果你是Rust程序员,不就我会推出《Go并发编程实战课》姊妹专栏,专门介绍Rust并发编程。
如果你对网络编程感兴趣,今年我还想推出《深入理解网络编程》的专栏或者图书,如果你感兴趣,欢迎和我探讨。
主程序的代码如下:
|
|
接下来介绍三个三个主要goroutine的逻辑。
首先你需要到互联网管理中心下载中国大陆所有的注册的IP网段,这是从亚太互联网络信息中心下载的公网IP信息,实际上可以探测全球的IP,这里以中国大陆的公网IP为例。
通过下面的代码转换成网段信息:
|
|
ipv4.txt文件中是一行行的网段:
|
|
数据量不大,我们全读取进来(如果太多的话我们就流式读取了)。
解析每一行的网段,转换成IP地址列表,然后发送给input通道。
等处理完就把inpout通道关闭。
|
|
我使用了ICMPScanner
结构体来管理发送和接收的逻辑。看名字你也可以猜测到我们将来还可以使用TCP/UDP等协议进行探测。
|
|
send
方法负责发送ICMP包,recv
方法负责接收ICMP包。
|
|
send
方法中,我们首先创建一个ICMP连接,我通过icmp包创建了一个连接,然后设置了一个BPF过滤器,过滤掉我们不关心的包。
这是一个技巧,这个连接我们不关心接收到的包,只关心发送的包,所以我们设置了一个空的过滤器。
这个设计本来是为了将来的性能扩展做准备,可以创建多个连接用来更快的发送。不过目前我们只使用一个连接,所以这个连接其实可以和接收goroutine共享,目前的设计还是发送和接收使用各自的连接。
接下来就是发送的逻辑了,也就是上面省略的部分:
|
|
发送循环从input通道中读取IP地址,然后构造ICMP echo报文,发送到目标地址。
icmp报文中的ID我们设置为进程的PID,在接收的时候可以用来判断是否是我们发送的回包。
接收逻辑比较简单,我们只需要接收ICMP回包,然后解析出IP地址,然后发送到output通道。
首先我们创建一个ICMP连接,然后循环接收ICMP回包,解析出IP地址,然后发送到output通道。
我们只需处理ICMPTypeEchoReply类型的回包,然后判断ID是否是我们发送的ID,如果是就把对端的IP发送到output通道。
我们通过ID判断回包针对我们的场景就足够了,不用再判断seq甚至payload信息。
|
|
可以看到,200行代码基本就可以我们扫描全国公网IP的程序了。你也可以尝试扫描一下全球的IP地址,看看需要多少时间。
对了,下面是我运行这个程序的输出:
|
|
2024-11-18 22:47:50
Go语言中Timer以及相关的Ticker、time.After、time.AfterFunc 等定时器最终是以四叉堆的数据形式存放的。
全局的 timer 堆也经历过三个阶段的重要升级。
常见的堆(heap)常常以二叉堆的形式实现。可是为什么Go timer使用四叉堆呢?
以最小堆为例,下图展示了二叉堆和四叉堆的区别:
父节点和子节点的索引计算也略有不同。二叉堆的父子索引如下:
|
|
四叉堆的父子索引如下:
|
|
他们的操作时间复杂度:
因为四叉树的高度相对更低,所以四叉堆适合数据量特别大,需要减少树的高度的场景, Go的timer很久以前(11年前)就使用四叉树来实现Timer的保存,当然Go开发者也是根据测试结果选择了四叉树,最早的这个提交可以查看: ## code review 13094043: time: make timers heap 4-ary (Closed)
在Go的运行时中,四叉堆的实现在 src/runtime/time.go
文件中,可以查看源码实现。timers
数据结构代表Timer的集合,每个P都有一个timers实例,用于维护当前P的所有Timer。
|
|
同时Timer
结构体还引用了Timers
, 这叫你中有我,我中有你,这样的设计是为了方便Timer的管理,Timer的创建、删除、执行都是通过Timers来实现的。
|
|
我们来看看对这个堆操作的一些方法。
timerHeapN
定义了堆是四叉堆,也就是每个节点最多有4个子节点。
|
|
堆常用的辅助方法就是siftUp
和siftDown
,分别用于上浮和下沉操作。
下面是上浮的方法,我把一些跟踪检查的代码去掉了。整体看代码还是比较简单的,就是不停的上浮,直到找到合适的位置。
|
|
类似的,下面是下沉的方法:
|
|
比上浮略微复杂,因为需要在兄弟节点中找到最小的节点,然后将当前节点下沉到这个位置。
对于一个任意的slice,我们可以把它初始化为一个四叉堆,方法如下:
|
|
当然timers还有一些辅助timer处理的一些方法,很多和四叉堆没有关系了,我就不一一介绍了,我主要介绍几个和四叉堆相关的方法。
这里吐槽一下,这个time.go文件中代码组织很乱,timer和timers的方法都穿插在一起。理论应该是timer方法和timers方法分开,这样更清晰。或者把timers抽取到一个单独的文件中。
|
|
增加一个timer到堆中:
|
|
d-ary 堆或 d-heap 是一种优先队列数据结构,是二进制堆的泛化,其中节点有d个子节点而不是 2 个子节点。因此,二进制堆是2堆,而三元堆是3堆。根据 Tarjan 和 Jensen 等人的说法,d-ary堆是由 Donald B. Johnson 1975 年发明的。
此数据结构允许比二进制堆更快地执行降低优先级操作(因为深度更浅了),但代价是删除最小操作速度较慢。这种权衡导致算法的运行时间更长,其中降低优先级操作比删除最小操作更常见。此外,d-ary堆比二进制堆具有更好的内存缓存行为,尽管理论上最坏情况下的运行时间更长,但它们在实践中运行得更快。与二进制堆一样,d-ary堆是一种就地数据结构,除了在堆中存储项目数组所需的存储空间外,它不使用任何额外的存储空间。
在Go生态圈已经有相应的库实现这个数据结构,比如ahrav/go-d-ary-heap,所以如果你有类似场景的需求,或者想对比测试,你可以使用这个库。
导入库:
|
|
下面的例子是创建三叉最小堆和四叉最大堆的例子:
|
|
往堆中增加元素:
|
|
从堆中移除最值:
|
|
返回但是不移除最值:
|
|
2024-11-17 17:17:13
今天在准备《秘而不宣》系列下一篇文章时,思绪飘散了,突然想到使用 Heap 的功能再加 HashTable (Map) 的功能,可以构造一种新的数据结构,然后把我聚合程序中的数据聚合数据结构替换掉,总之思绪翩翩。然后在网上搜了一下,这种数据结构其实早就有了,名字叫 HeapMap
。
HeapMap
(也叫做 PriorityMap
) 是一种结合了堆和哈希映射的数据结构,常用于需要按键排序并进行高效查找的场景。它可以在优先级队列的基础上,使用哈希映射来提供快速访问和更新。HeapMap
在实现过程中利用堆的有序性和哈希表的快速查找能力,以支持按键排序和常数时间查找。
Go 语言支付 Rob Pike 在他的 Rob Pike's 5 Rules of Programming 第 5 条就指出:
- Data dominates. If you've chosen the right data structures and organized things well, the algorithms will almost always be self-evident. Data structures, not algorithms, are central to programming.
数据为王。如果你选择了合适的数据结构并进行了良好的组织,算法通常会变得显而易见。编程的核心在于数据结构,而非算法。
所以,如果在合适的场景下,针对它的特点,使用 HeapMap 会取得事半功倍的效果。
HeapMap
的主要特点HeapMap
内部通过堆来维护键的顺序,可以快速获取最小或最大键。堆提供了插入和删除堆顶元素的 O(log n)
时间复杂度。HeapMap
同时使用哈希映射以支持快速查找。哈希映射的查找、插入、删除等操作在理想情况下时间复杂度为 O(1)
。HeapMap
适合需要频繁按键排序和快速查找的场景,比如带有优先级的缓存、调度系统、任务优先队列等。HeapMap
的基本结构你使用一个 container/heap
+ map
很容易实现一个 HeapMap
, 其实我们没必要自己去写一个重复的轮子了,网上其他语言比如 Rust、Java 都有现成的实现,Go 语言中也有一个很好的实现:nemars/heapmap
HeapMap
的实现nemars/heapmap
这个库是去年增加到 github 中的,我是第一个 star 它的人。我们看看它是怎么实现的。
|
|
Entry
代表这个数据结构中的一个节点 (元素、条目) , 它包含 key、value 值,还有优先级,index 记录它在堆的实现数组中的索引。
heapmap
代表 HeapMap
的实现,它包含两个字段,第一个字段其实就是 Heap
的实现,为了方便实现泛型,它就自己实现了一个堆。第二个字段就是一个 map 对象了。
数据结构定义清楚了,那就就可以实现它的方法了。它实现了一些便利的方法,我们值关注几个实现就好了。
|
|
读取h
字段或者m
字段的长度都可以。
返回root元素。
最小堆就是返回最小的元素,最大堆就是返回最大的元素。
|
|
弹出root元素。
|
|
注意涉及到元素的删除操作,要同时删除 map 中的元素。
其实作者没有实现 Push 方法,而是使用Set 方法来实现的。
|
|
Set方法有两个功能。如果元素的Key已经存在,那么就是更新元素,并且根据优先级进行调整。
如果元素的Key不存在,那么就是插入元素。
Get 方法就是获取任意的元素。
|
|
有一点你需要注意的是,这个数据结构不是线程安全的,如果你需要线程安全的话,你可以使用 sync.Mutex
/sync.RWMutex
来保护它。