反爬虫技术一直是爬虫最难解决的问题，因为要开发者深入了解网站的反爬机制才能做出相应的解决方案。
反爬虫技术之中，最为复杂的是加密和js混淆。两者都要分析网站的js代码，找出相应的加密算法和混淆方法。
有时候一些脚本只能由js完成，遇到这类的爬虫，我们可以使用python执行js代码。
Python执行js代码的模块有PyExecJS 和 pyv8，个人推荐使用PyExecJS ，因为安装简单方便：pip install PyExecJS 即可。