楼主
那时,我突然发现存档站跳转关系全是错的。我很疑惑。
我的浏览器里的楼号显示正确,但是抓下来的html楼号就是错误的。
后面继续对比,尝试用无头浏览器抓取html,发现楼号仍错误。
手动使用另一个浏览器抓取,楼号仍错误。
这时就很清晰了,登录和没登陆看到的楼号是不一样的。
非常恐怖。
那只能是cookie的原因,然后用二分法最终确定了只需要bbs_auth一个cookie。
这个令牌有效期非常长,所以我可以放心托管。
在爬取器内加入了使用令牌。
目前已经开始重新爬了。没想到小小的论坛这么多问题,爬它还很不容易。而且这些问题都不大,是看起来能爬,仔细看才发现跳转不对。
现在的跳转应该对了。