Python多进程与多线程

Categories Tech

在调参的时候,需要对同一个函数设置不同的参数进行大量重复的实验,代码是win环境下用python写的,按照之前的经验,自然地把它写成了多线程,然而效率并没有提升,CPU反而下降了一些。

Python处理大型文件

Categories Tech

最近处理一个5G的不规则文本数据,出现过内存不够还有运算太慢的问题,做一个简单的总结。Python已经很方便了,所以基础的部分一定要自己写,尤其是在数据量非常大的情况下,一些现有的函数包并不一定合适。