抱怨一句:恼人的联合早报

联合早报又没更新。

发现并不是代码的问题。

有的网站是肯定抓不到全文的,这点咱服,玩不起的躲着。最烦的就是联合早报这种留下了种种漏洞让你能抓到全文的,最近的方法又不行了。

早报其实还算良心,订户专区的文章本来就不多,但谁让咱有强迫症呢。

之所以说又,把我能想起来的抓取过程念叨一下:

1.文件头head里藏着,虽然是全文,但没有格式,费挺大劲格式化这字符串。

2.一些在线博彩网站可能为了引流,会镜像联合早报的所有新闻,用过一段时间,总觉得膈应,现在也没有这类网站了。

3.发现用中国大陆代理可以免费看订户专区并且跟官网的都不是一套代码。说明它有判断用户来源来分配不同网页。用了很长一段时间。

4.大陆代理失效,什么也看不到了,偶然发现香港代理还是能得到全文。

这几天不更新了,即使用代理,也和官网看到的是一样的代码了,说明它关掉了这个福利。

其实早就发现了uzaobao.com这个网站,它不是简单的镜像(要不早就用了),还自己改了标题,但正文内容应该是一样的,我对比过。为了全文,可能会启用这根最后的稻草了。

有洁癖的知悉一下,早报的文章将来并不是来自官网。

9 Comments

  1. s

    这个看起来不是sph 早报的官方网站,我昨天看到更新后发现它的风格和之前也不是特别一样,不懂是个人做出来的新闻集合网站还是大外宣的一部分。

    不管如何楼主辛苦了,我自己用feed43做了zb本地新闻的feed,发现更新频率太慢导致抓取的内容不是很全,还是你的这种全文好。

发表评论

电子邮件地址不会被公开。 必填项已用*标注