node axios获取网页的文字是乱码

转载

技术极客领袖 2024-12-24 13:35:21

由于Node.js仅支持如下编码：utf8, ucs2, ascii, binary, base64, hex，并不支持中文GBK或GB2312之类的编码，

因此如果要读写GBK或GB2312格式的文件的中文内容，必须要用额外的模块：iconv-lite

1、安装模块：npm install iconv-lite

2、演示代码，把下面的代码复制到一个文件中，假设是ch.js(注意:js文件必须保存为utf8编码格式)：

[javascript]

1. // 加载File System读写模块
2. var fs = require('fs');  
3. // 加载编码转换模块
4. var iconv = require('iconv-lite');   
5.   
6. var file = "c:\\a.txt";  
7. writeFile(file);  
8. readFile(file);  
9.   
10. function
11. // 测试用的中文
12. var str = "\r\n我是一个人Hello myself!";  
13. // 把中文转换成字节数组
14. var arr = iconv.encode(str, 'gbk');  
15.     console.log(arr);  
16.       
17. // appendFile，如果文件不存在，会自动创建新文件
18. // 如果用writeFile，那么会删除旧文件，直接写新文件
19. function(err){  
20. if(err)  
21. "fail "
22. else
23. "写入文件ok");  
24.     });  
25. }  
26.   
27. function
28. function(err, data){  
29. if(err)  
30. "读取文件fail "
31. else{  
32. // 读取成功时
33. // 输出字节数组
34.             console.log(data);  
35. // 把数组转换为gbk中文
36. var str = iconv.decode(data, 'gbk');  
37.             console.log(str);  
38.         }  
39.     });  
40. }

3、用node.exe执行这个js文件，结果如下：

[plain]

1. C:\>node ch.js  
2. <Buffer 0d 0a ce d2 ca c7 d2 bb b8 f6 c8 cb 48 65 6c 6c 6f 20 6d 79 73 65 6c 66 21>  
3. 写入文件ok  
4. <Buffer 0d 0a ce d2 ca c7 d2 bb b8 f6 c8 cb 48 65 6c 6c 6f 20 6d 79 73 65 6c 66 21>  
5.   
6. 我是一个人Hello myself!  
7.   
8. C:\>

注1：Node的iconv模块，仅支持linux，不支持Windows，因此要用纯js的iconv-lite，另：作者说iconv-lite的性能更好，具体参考git站点：iconv-lite

注2：我在测试读写文件时，始终无法把中文写入文件，一直乱码，读取正常，后来同事帮我发现：js文件的编码格式是ansi，nodejs的代码文件必须是utf8格式

注3：如果程序操作的文件，都是以UTF8编码格式保存的，那么就不需要使用iconv模块，直接以utf8格式读取文件即可，如：

[javascript]

1. // 参数file，必须保存为utf8格式，否则里面的中文会乱码
2. function
3. // readFile的第2个参数表示读取编码格式，如果未传递这个参数，表示返回Buffer字节数组
4. "utf8", function(err, data){  
5. if(err)  
6. "读取文件fail "
7. else{  
8. // 读取成功时
9. // 直接输出中文字符串了
10.         }  
11.     });  
12. }