Memsniff:一款开源的memcached流量分析工具

yellowlion 发布于5月前 阅读152次
0 条评论

背景介绍

在 知名在线资源存储网站 Box上,我们看到云服务已经经历了从一小撮应用服务器和数据库到高规格、高性能协作平台的转变。像大多数大型网络公司一样,Box也依赖于使用分布式缓存层来缓存经常访问的数据。

Box使用memcached(一个高性能的分布式内存对象缓存系统)每天为经常使用的数据对象提供数十万亿请求。然而,我们偶尔也会碰到某些数据对象的访问频率突然变得很高的现象(即出现热键,hot key),热键问题的诱因有很多,有可能是因为后台任务造成的,也有可能是因为应用程序处理不当,又或者是因为用户频繁的活动。

在下图中,我们可以看到几个memcached服务器其中一个网络带宽突然激增的现象(棕色曲线部分表示出现了热键问题)。这种现象会导致数据服务器带宽负载过重,影响缓存服务器提供高性能的服务。

Memsniff:一款开源的memcached流量分析工具

在此次事件中,很难确定是哪些数据导致了这一问题。因为与数据库不同的是,许多缓存系统为了高效地处理请求,几乎不提供日志,所以很难进行判定。这时就需要一种不同的方法来识别热键。

如今,Box正式推出了memsniff——一款强大的memcached开源流量分析工具。它通过检查memcached服务器上的网络数据包,来分析数据键并提供各个数据键的实时统计信息,包括数据大小、请求速率以及占用的带宽。如此一来,就可以在不影响memcached服务器的情况下识别热键。

Memsniff操作步骤

作为一款强大的、高效和可扩展的开源工具,memsniff的灵感来自于Etsy的 mctop 和Tumblr的 memkeys 。它可以在大量流量负载的情况下处理几乎所有的网络数据包(超过99.99%)。此外,它使用golang的简单多线程原语,并在不占用太多CPU或内存的情况下发挥高性能,具体参见下图:

Memsniff:一款开源的memcached流量分析工具

安装memsniff

memsniff使用了标准的 golang工具链(toolchain),这使得安装过程变得更为便捷。如果你已经安装了golang工具链,并设置了 GOPATH 环境变量,那么可以通过如下的命令来构建memsniff:

$ go get github.com/box/memsniff

$ go build github.com/box/memsniff

使用memsniff

memsniff需要超级用户权限来捕获大多数操作系统上的网络数据包,-i 参数是必备的,需要用它来指定网卡接口。使用示例:

$ sudo memsniff -i eth0

memsniff还具有从tcpdump的数据包转储文件中读取数据的能力。

$ sudo memsniff -r eth0.pcap

参见memsniff的GitHub主页,了解其他更多的命令行选项。

memsniff的工作原理

Memsniff:一款开源的memcached流量分析工具

查看原文: Memsniff:一款开源的memcached流量分析工具

  • orangedog
  • beautifulduck
  • organicbutterfly
  • tinylion
  • whitegoose
  • ghost
需要 登录 后回复方可回复, 如果你还没有账号你可以 注册 一个帐号。