-
3.9 Python爬虫破解有道翻译
-
有道翻译是以异步方式实现数据加载的，要实现对此类网站的数据抓取，其过程相对繁琐，本节我以有道翻译为例进行详细讲解。上一节《浏览器实现抓包过程详解》，通过控制台抓包，我们得知了 POST 请求的参数以及相应的参数值，如下所示：
图1：有道翻译POST请求参数
并发现以下了规律：salt、sign、lts 总是变化的，而 bv 等其他参数是不变化的。其中 lts 代表毫秒时间戳，salt 和 lts 之间存在着某种关联，因为两者只有最后一个数字是不同的；而 sign 对应的值是一个加密后的字符串。如果想要实现实时地抓取翻译结果，就需要将 salt 和 sign 转换为 用 Python 代码表示的固定形式。最后将所有参数放入到 requests.post() 中，如下所示：
response = requests.post(url,data=data,headers=headers)
其中 data 是字典格式参数，它用来构建 POST 请求方法的参数和参数值。
JS代码slat与sign
salt、sign 加密有两种实现方式：一种是通过前端 JS 实现，另一种是后台服务器生成加密串，并在返回响应信息时，将加密信息交给接浏览器客户端。但是，通过预览响应信息可知，并没有涉及 salt、sign 的信息，因此可以排除这种方法。
图2：预览响应信息
那么要如何找到关于salt、sign 的 JS 代码呢？此时就要用到另外一个调试工具选项卡—— JS。如下图所示：
图3：js文件
点击上图所示的搜索按钮来检索 JS 代码，输入 "salt"，结果如图所示：