最近在帮公司的客户做数据爬虫，特意比较了下用subprocess和requests两种去请求外部数据，从感官上就已经发现subprocess快很多。查了下资料，总结一下。

subprocess和requests在请求外部数据时的性能差异主要有以下几个原因:

1. 底层实现方式
   • subprocess直接调用系统底层的网络接口函数(如socket)发送请求,效率较高。
   • requests是一个第三方Python库,在底层需要封装socket调用和数据处理,多了一层开销。
2. 并发处理
   • subprocess可以直接利用操作系统提供的多线程/多进程来实现网络请求的并发。
   • requests自身实现了连接池,但并发处理方式仍然相对简单。在大规模并发请求时,性能上可能有劣势。
3. 数据处理
   • subprocess直接返回服务器响应的原始数据流,用户自行解析处理。
   • requests会自动解析HTTP响应,处理编码,cookies等,带来了一些额外开销。
4. 特性支持
   • subprocess功能相对简单,只专注于发送请求和获取响应。
   • requests提供了诸如文件传输,身份验证,链接跟踪等高级特性,这些特性也会带来一定性能损耗。
5. 编程接口
   • subprocess接口相对底层,编写代码需要手动处理网络通信的各种细节,比如连接池管理等。
   • requests提供了更高级的Python接口,使用更加简单方便。

所以从性能角度看,如果对响应时间要求较高,数据处理简单,并且能手动处理网络底层细节,那么使用subprocess会更快一些。但如果需要使用requests提供的各种高级功能,那性能上的差距也是可以接受的。选择权衡需要根据具体的应用场景。