Menu Home

Python处理大型文件

最近处理一个5G的不规则文本数据,出现过内存不够还有运算太慢的问题,做一个简单的总结。Python已经很方便了,所以基础的部分一定要自己写,尤其是在数据量非常大的情况下,一些现有的函数包并不一定合适。

Categories: Tech

Tagged as:

peiyan