Pandas读取MongoDB数据的另一种方式



之前介绍了在Pandas中读取MongoDB数据的方法,在索引出数据之后,将结果转换为列表list,然后在传入一个pandas的DataFrame中。

这种方法很简单,但是有一个问题,就是在数据量大的时候,会大量的占用内存以及耗费时间,如果在内存不大的单机上进行操作,可能因为内存而导致主机崩溃。所以只适合少量数据下的使用。

今天介绍一个适合大量数据的方法,没有使用list列表转换来得方便,但是快速以及占用机器内存小。

第一步,编写好查询语句:

第二步,新建一个csv文件,遍历mongoDB的查询,并写入csv文件中:

第三步,使用pandas进行读取
使用pandas读取csv文件直接使用read_csv()方法即可。

或是留作他用。

虽然需要进行三个步骤,但是在查询数据量大的情况下,所消耗的时间并不比直接进行list转换要多,多数情况下,都会很快的完成查询和写入。

最后,记得关闭数据库:

养成好习惯。

如果本文对你有帮助,请打赏州的先生,鼓励他继续写作!

点赞
州的先生

发表评论

电子邮件地址不会被公开。