自动文本摘要(Auto Text Summarization)

Categories Tech

自动文本摘要Auto Text Summarization是自然语言处理NLP, Natural Language Processing一个比较难的任务。新闻的摘要要求编辑能够从新闻事件中提取出最关键的信息点,然后重新组织语言进行描述;一般论文的摘要要求作者表述清楚问题,对前人工作中不完善的地方进行总结,然后用更凝练的语言描述自己的工作;综述性质的论文要求作者通读大量相关领域的工作,用最概括性的语言将每份工作的贡献、创新点写出来,并对每份工作的优缺点进行比较。本质上,文本摘要是一种信息过滤输出的文本输入的文本少很多包含了主要的信息,有点类似主成分分析(PCA)。某种意义上,文本摘要推荐系统功能类似,都是为了提取出用户感兴趣的内容,只是使用的方法有很大不同。

Python多进程与多线程

Categories Tech

在调参的时候,需要对同一个函数设置不同的参数进行大量重复的实验,代码是win环境下用python写的,按照之前的经验,自然地把它写成了多线程,然而效率并没有提升,CPU反而下降了一些。

Python处理大型文件

Categories Tech

最近处理一个5G的不规则文本数据,出现过内存不够还有运算太慢的问题,做一个简单的总结。Python已经很方便了,所以基础的部分一定要自己写,尤其是在数据量非常大的情况下,一些现有的函数包并不一定合适。

【分享会】区块链在同心互助的实际应用

Categories Tech
A blockchain —originally, block chain —is a distributed database that maintains a continuously-growing list of data records hardened against tampering and revision. It consists of data structure blocks—which hold exclusively data in initial blockchain implementations, and both data and programs in some of the more recent implementations—with each block holding batches of individual transactions and the results of any blockchain executables. Each block contains a timestamp and information linking it to a previous block. (wikipedia)