Python处理大型文件

最近处理一个5G的不规则文本数据，出现过内存不够还有运算太慢的问题，做一个简单的总结。Python已经很方便了，所以基础的部分一定要自己写，尤其是在数据量非常大的情况下，一些现有的函数包并不一定合适。