今天调试爬虫的时候在网上找文章, 恰巧找到了Pycurl的介绍文章, 大概看了一下并浏览了项目主页, 发现这个东西真的挺好的, 也挺适合我的. 我应该考虑在爬虫里使用这个东东:)
supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy tunneling and more!
再看看人家的功能, 真是一个让人偷懒的东西啊! 这下子连代理服务器的功能都省了. 而且这个东东是用C写的, 效率自然也更高, 使用它? 何乐而不为呢?
顺手从项目主页拉下来一个win32的版本 [2]. 试了几个示例代码 [2], 还不错! 不过要想用好这个东西还是有一点门槛的! 因为Pycurl本身是libcurl的一个封装, 所以在使用pycurl的时候还是需要参考libcurl的文档的, 而那个文档又是针对c的, 这里就有那么一点曲线啦!
对于Pycurl的Curl对象, 那个setopt方法是个重头戏, 需要好好研究参考文档才能玩得转!
相关日志(Related):