curl使用via的header时,不支持gzip
使用这条命令去抓取页面, 不传递Via的header时,是能正常执行的,当带上via时,返回内容不再gzip,直接是正常文本。
查询了下相关资料,原来via参数在RFC里是有规范的,不是随便指定的。
见:http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.45
`curl -s -H ‘Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8’ -H ‘Accept-encoding: gzip,deflate’ “http://m.news.haosou.com/" -H “Via: curl” | gunzip -
使用这条命令去抓取页面, 不传递Via的header时,是能正常执行的,当带上via时,返回内容不再gzip,直接是正常文本。
查询了下相关资料,原来via参数在RFC里是有规范的,不是随便指定的。
见:http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.45
`