用R保存大型数据.frame到PostgreSQL中[英] Saving large data.frame into PostgreSQL with R

本文是小编为大家收集整理的关于用R保存大型数据.frame到PostgreSQL中的处理方法,想解了用R保存大型数据.frame到PostgreSQL中的问题怎么解决?用R保存大型数据.frame到PostgreSQL中问题的解决办法?那么可以参考本文帮助大家快速定位并解决问题。

问题描述

我将非常大的数据(3000万行)保存到R的PostgreSQL数据库中,并杀死了我的PC.由于这是Dplyr产生的计算结果,我介意在此软件包的功能中使用一些构建,但是Copy_to对如此巨大的表不适.有什么建议么?

推荐答案

您可以将数据框复制到CSV或选项卡界的文本文件,然后将其加载到PostgreSQL中,并使用命令[1]的副本将其加载到PostgreSQL中?这实现了可能执行更快的批量负载方法.

在某些情况下,可能可以使用RScript将数据作为流排放,然后将其直接管道输送到PSQL:

:

<RScript output tab delmited rows> | psql -c "COPY <tablename> (columnlist, ...) FROM STDIN WITH (FORMAT text)"

在某些长期运行的情况下,我放了 | pv | 在中间跟踪进度( http://wwwww.ivarch.com/程序/pv.shtml ).

[1] /Current/interactive/sql-copy.html

本文地址:https://www.itbaoku.cn/post/1764000.html