MemcacheQ 测试报告

硬件环境:

CPU: Intel(R) Xeon(R) CPU  E5410  @2.33GHz 双核

内存：2G

操作系统: Red Hat EnterpriseLinux Server release 5.3 (Tikanga)

 

启动命令：

memcacheq -d -r -u co_test -p 21201 -H/home/co_test/memcacheq/data -N -v -L 1024 -B 1024 > /home/co_test/memcacheq/logs/mq_error.log2>& 1

只set 数据的情况：

字符大小：256字节

数据文件以1.75GB的数据增长

发送前是否清空

发送前是否重启

压测线程数（连接数）

压测每线程操作次数

总用时

平均每秒

load average(MAX)

CPU%(最大值)

内存(稳定值)

否

否

10

100000

263.721

3791.8861

0.57, 0.21, 0.08

15

128756

否

否

10

100000

266.307

3755.0646

0.67, 0.21, 0.08

12.3

129112

否

否

10

100000

262.341

3811.8327

0.39, 0.17, 0.09

32.3

128756

否

是

20

50000

292.535

3418.3944

1.10, 0.40, 0.14

14.3

129132

否

否

20

50000

301.095

3321.2109

0.64, 0.22, 0.11

34.7

129028

否

否

25

40000

286.092

3495.3791

0.48, 0.15, 0.05

15.3

129276

否

否

25

40000

307.965

3247.1222

0.49, 0.18, 0.06

12.3

129276

是

是

40

25000

288.325

3468.3083

0.57, 0.24, 0.09

12.3

129080

否

否

40

25000

309.369

3232.3859

0.62, 0.22, 0.08

51.6

129236

否

否

50

20000

302.399

3306.8892

0.48, 0.14, 0.07

18.7

128416

否

否

50

20000

289.35

3456.0221

0.34, 0.09, 0.03

13.7

129496

否

否

5

200000

273.966

3650.088

0.64, 0.33, 0.12

13.3

129496

否

否

5

200000

274.553

3642.284

0.65, 0.28, 0.11

16

129208

是

是

1

1000000

337.448

2963.4195

0.41, 0.17, 0.20

10

128808

否

否

1

1000000

339.209

2948.035

0.51, 0.20, 0.15

10.3

128928

 

第9次的stats命令结果：

stats
STAT pid 30515
STAT uptime 6782
STAT time 1299387607
STAT version 0.2.0
STAT pointer_size 64
STAT rusage_user 11.552722
STAT rusage_system 14.424901
STAT curr_connections 5
STAT total_connections 87
STAT connection_structures 46
STAT get_cmds 0
STAT get_hits 0
STAT set_cmds 2000000
STAT set_hits 2000000
STAT bytes_read 570000034
STAT bytes_written 16001152
STAT threads 4
END

 

只get 数据的情况：

数据文件以100MB-200MB的数据减少

压测线程数（连接数）

压测每线程操作次数

总用时

平均每秒

10

100000

113.727

8792.9867

10

100000

106.166

9419.2114

20

50000

130.378

7670.0057

20

50000

116.046

8617.2725

25

40000

127.295

7855.7681

25

40000

122.529

8161.3332

40

25000

142.626

7011.3444

40

25000

132.994

7519.1362

50

20000

145.906

6853.7277

50

20000

141.735

7055.4203

100

10000

83.735

11942.4375

100

10000

144.978

6897.5983

5

200000

107.44

9307.5205

5

200000

104.144

9602.0894

1

1000000

213

4694.8357

 

第7次的stats的命令结果：

stats
STAT pid 12213
STAT uptime 41695
STAT time 1299379865
STAT version 0.2.0
STAT pointer_size 64
STAT rusage_user 193.500093
STAT rusage_system 119.579473
STAT curr_connections 5
STAT total_connections 250
STAT connection_structures 46
STAT get_cmds 7000000
STAT get_hits 7000000
STAT set_cmds 4000000
STAT set_hits 4000000
STAT bytes_read 1245000718
STAT bytes_written 2062009860
STAT threads 4
END

 

 

Set/get同时的情况：

字符大小：256字节

数据文件以1.5GB左右的数量增长

次数

set压测线程数（连接数）

set压测每线程操作次数

set总用时

set平均每秒

get压测线程数（连接数）

get压测每线程操作次数

get总用时

get平均每秒

1

2

500000

330.398

3026.6527

1

1000000

373.059

2680.5411

2

4

250000

325.536

3071.8569

2

500000

315.817

3166.3907

3

5

200000

379.681

2633.7899

4

250000

331.266

3018.7221

4

8

125000

348.767

2867.2437

5

200000

316.703

3157.5325

5

10

100000

379.064

2638.0769

8

125000

327.748

3051.1246

6

20

50000

349.725

2859.3895

10

100000

327.592

3052.5776

7

25

40000

404.956

2469.4041

20

50000

356.22

2807.2539

8

40

25000

413.067

2420.9148

25

40000

377.16

2651.3946

9

50

20000

450.61

2219.2140

40

25000

401.931

2487.9892

10

80

12500

450.634

2219.0958

50

20000

421.922

2370.1063

11

100

10000

468.383

2135.0049

80

12500

420.243

2379.5756

 

第2次stats结果：

 

stats
STAT pid 20984
STAT uptime 9211
STAT time 1300018069
STAT version 0.2.0
STAT pointer_size 64
STAT rusage_user 17.593099
STAT rusage_system 23.797487
STAT curr_connections 5
STAT total_connections 16
STAT connection_structures 11
STAT get_cmds 2000000
STAT get_hits 2000000
STAT set_cmds 2000000
STAT set_hits 2000000
STAT bytes_read 600000025
STAT bytes_written 596000370
STAT threads 4
END

 

 

结论：

1.      memcacheq采用的是memcached协议，由于需要写文件，所以set效率比不上memcached，get效率也比memcached降低了3-4倍；

2.      memcacheq安装和使用上还是比较简单的，测试过程中也没有出现过服务端挂掉的现象，只是生成的日志文件过大，每100万条256字节的消息要占用近1.75GB的磁盘，测试不了几次就会占满磁盘的10G空间导致客户端程序报错，而此时memcacheq服务依然正常；

3.      get数据并不能减小持久化文件的大小，重启后持久化文件也不会变小，即使所有消息都出队列，持久化文件仍然存在，且占用空间较大，基本上为每100万次256字节的入和出的处理后，会增加1.5-1.6G的持久化数据量;

4.      memcacheq重启过程中不会重建索引文件，所以不会产生重启的效率问题；

5.      在磁盘空间足够大的情况下，memcacheq还是一个比较不错的选择，只是需要定期的手动清空或通过flush的命令进行清空。

6.      Memcacheq的缺点是其资料较少，使用也不太广泛，除了从官网那一个页面有安装和配置的信息和知道其持久化是采用的Berkeley之外，并不能挖掘到更多的信息。