 |
前段时间接了一个项目，采集台湾雅虎问答，地址是http://tw.knowledge.yahoo.com ,这个网站有一个限制就是一个ip只让访问500次左右。因此，这个站的几百万帖子，所有的搜索引擎都没有办法收录，采集他的价值就很大了。因为采集过来，我们让搜索引擎收录，就方便大家搜索了。
国内的网络也没有办法访问问答的帖子，这个我也破解了。国内ip轻松采集。
我这里给出我的案例，大家可以测试一下，可以长期测试：http://yuemu.tk/ 发现出错的话，可以访问http://www.fanrengu.net 跟我联系。
目前我还没有发现一个解决雅虎999错误的方法。我这个可能是第一个。以后雅虎改变了安全设置，可能我的这个方法就需要改进。
|
|
