博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python 读取大文件越来越慢
阅读量:6832 次
发布时间:2019-06-26

本文共 1127 字,大约阅读时间需要 3 分钟。

背景:

今天同事写代码,用python读取一个四五百兆的文件,然后做一串逻辑上很直观的处理。结果处理了一天还没有出来结果。问题出在哪里呢?

 

解决:

1. 同事打印了在不同时间点的时间,在需要的地方插入如下代码:

print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))

发现一个规律,执行速度到后面时间越来越长,也就是处理速度越来越慢。

2. 为什么会越来越慢呢?

    1)可能原因1,GC 的问题,有篇文章里面写,python list append 的时候会越来越慢,解决方案是禁止GC:

使用 gc.disable()和gc.enable()

    2)改完上面,仍然不行,然后看到一篇文章里面写,可能是因为 git 导致的,因为append 的时候 git 会不断同步,会出问题,于是删除 .git 文件夹,结果还是不行。

    3)继续查询,发下一个及其有可能出问题的地方。dict 的 in dict.key(),判断 key 是否在 dict 里面,这个的效率是非常低的。看到一篇文章比较了效率:

          ① 使用  in dict.keys() 效率:

 

          ② 使用 has_key()  效率:
 
发现 has_key() 效率比较稳定。于是修改,问题解决。
 
后话:
最初的时候,的确是使用 has_key(), 结果后面上传代码的时候,公司代码检查过不了,提示不能使用这个函数,只能改成 in dict.key() 这种方式,为什么公司不让这么传呢?经过一番百度,发现原因所在:在 python3 中,直接将 has_key() 函数给删除了,所以禁止使用。那禁止了该怎么办呢?原来 python 中 in 很智能,能自动判断 key 是否在字典中存在。所以最正规的做法不是 has_key(),   更不是 in dict.keys(), 而是 in dict. 
 判断 key 在 map 中,千万别用 in dict.keys() !!!
 

附录:

in、 in dict.keys()、 has_key() 方法实战对比:

>>> a = {'name':"tom", 'age':10, 'Tel':110}>>> a{'age': 10, 'Tel': 110, 'name': 'tom'}>>> print 'age' in aTrue>>> print 'age' in a.keys()True>>>>>> print a.has_key("age")True

 

参考资料:

 

转载于:https://www.cnblogs.com/hank-yan/p/8660162.html

你可能感兴趣的文章
编译安装 nginx的http_stub_status_module监控其运行状态
查看>>
双绞线的制作,T568A线序,T568B线序
查看>>
strcat的几种实现及性能比较
查看>>
Apache Spark技术实战之1 -- KafkaWordCount
查看>>
Add Binary Leetcode java
查看>>
缓存使用的一些注意事项
查看>>
将cocos2dx项目从VS移植到Eclipse
查看>>
android 屏幕适配原则
查看>>
plot sin 动态配置rc settings
查看>>
一次解决页面特效问题的排查记录
查看>>
Shopilex - 开源免费网店系统
查看>>
ubuntu14.04 安装搜狗输入法
查看>>
内省—beanutils工具包
查看>>
[WP8.1UI控件编程]SemanticZoom控件实现分组列表
查看>>
Cycling Label
查看>>
CreateFileMapping使用方法
查看>>
MySQL load data infile
查看>>
TCommThread -- 在delphi线程中实现消息循环
查看>>
Windows内核之线程的调度,优先级,亲缘性
查看>>
按键控制电机显示速度
查看>>