爬的百度贴吧的帖子,requests里加了headers后,再用pyquery解析response.text,只有部分内容,和在网页network那块看到的一致,和审查元素里看到的不同,很多div节点都没了。不加headers,就能解析出完整的内容,我对比了下加与不加headers两种情况下response.text的内容是完全一致的,就是格式不太一样,后者是html那种格式的。
爬的百度贴吧的帖子,requests里加了headers后,再用pyquery解析response.text,只有部分内容,和在网页network那块看到的一致,和审查元素里看到的不同,很多div节点都没了。不加headers,就能解析出完整的内容,我对比了下加与不加headers两种情况下response.text的内容是完全一致的,就是格式不太一样,后者是html那种格式的。
headers里面指定了范围字符的类型了吧