redis数据量一般多少 redis 数据量

（2）端口的扫描，nc可以作为client发起TCP或UDP连接

（3）机器之间传输文件

（4）机器之间网络测速

采用pipe模式导入数据

然而，使用nc监听并不是一个非常可靠的方式来执行大规模的数据导入，因为netcat并不真正知道何时传输了所有数据，也无法检查错误。在2.6或更高版本的Redis中，Redis -cli脚本支持一种称为pipe管道模式的新模式，这种模式是为了执行大规模插入而设计的。

使用管道模式的命令运行如下:

由上图，可以看到pipe命令的返回结果，txt文件中有多少行命令，返回的replies数就是多少，

errors表示其中执行错误的命令条数。

redis协议学习

协议的格式为：

*<参数数量> \r\n

$<参数 1 的字节数量> \r\n

<参数 1 的数据> \r\n

…

$<参数 N 的字节数量> \r\n

<参数 N 的数据> \r\n

比如：

插入一条hash类型的数据。

HSET id book1 book_description1
根据Redis协议，总共有4个部分，所以开头为*4，其余内容解释如下：
| 内容 | 长度 | 协议命令 |
| — | — | — |
| HSET | 4 | $4 |
| id | 2 | $2 |
| book1 | 5 | $5 |
| book_description1 | 17 | $17 |
注意一下：HSET命令本身也作为协议的其中一个参数来发送。
构造出来的协议数据结构：
*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r\n
格式化一下：
*4\r\n
$4\r\n
HSET\r\n
$2\r\n
idvvvv\r\n
$5\r\n
book1\r\n
$17\r\n
book_description1\r\n

RESP协议 bulk

Redis客户机使用一种称为RESP (Redis序列化协议)的协议与Redis服务器通信。

redis-cli pipe模式需要和nc命令一样快，并且解决了nc命令不知道何时命令结束的问题。

在发送数据的同时，它同样会去读取响应，尝试去解析。

一旦输入流中没有读取到更多的数据之后，它就会发送一个特殊的20比特的echo命令，标识最后一个命令已经发送完毕

如果在响应结果中匹配到这个相同数据后，说明本次批量发送是成功的。

使用这个技巧，我们不需要解析发送给服务器的协议来了解我们发送了多少命令，只需要解析应答即可。

在解析应答时，redis会对解析的应答进行一个计数，在最后能够告诉用户大量插入会话向服务器传输的命令的数量。也就是上面我们使用pipe模式实际操作的响应结果。

将输入数据源换成mysql

上面的例子中，我们以一个txt文本为输入数据源，使用了pipe模式导入数据。

基于上述协议的学习和理解，我们只需要将mysql中的数据按照既定的协议通过pipe模式导入Redis即可。

实际案例–从Mysql导入百万级数据到Redis

首先造数据

由于环境限制，所以这里没有用真实数据来实现导入，那么我们就先使用一个存储过程来造一百万条数据把。使用存储过程如下：

DELIMITER $$
USE cb_mon$$
DROP PROCEDURE IF EXISTS test_insert$$
CREATE DEFINER=root@% PROCEDURE test_insert()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<= 1000000
DO
INSERT INTO t_book(id,number,NAME,descrition)
VALUES (i, CONCAT(“00000”,i) , CONCAT(‘book’,i)
, CONCAT(‘book_description’,i));
SET i=i+1;
END WHILE ;
COMMIT;
END$$
DELIMITER ;
调用存储过程：
CALL test_insert();

查看表数据：

按协议构造查询语句

按照上述redis协议，我们使用如下sql来构造协议数据

SELECT
CONCAT(
“*4\r\n”,
“$”,
LENGTH(redis_cmd),
“\r\n”,
redis_cmd,
“\r\n”,
“$”,
LENGTH(redis_key),
“\r\n”,
redis_key,
“\r\n”,
“$”,
LENGTH(hkey),
“\r\n”,
hkey,
“\r\n”,
“$”,
LENGTH(hval),
“\r\n”,
hval,
“\r”
)
FROM
(SELECT
“HSET” AS redis_cmd,
id AS redis_key,
NAME AS hkey,
descrition AS hval
FROM
cb_mon.t_book
) AS t limit 1000000
并将内容保存至redis.sql 文件中

。

编写脚本使用pipe模式导入redis