在Redshift COPY中纳入文件名[英] Incorporate File Name in Redshift COPY

本文是小编为大家收集整理的关于在Redshift COPY中纳入文件名的处理方法,想解了在Redshift COPY中纳入文件名的问题怎么解决?在Redshift COPY中纳入文件名问题的解决办法?那么可以参考本文帮助大家快速定位并解决问题。

问题描述

我需要将大约 200 万个 CSV 文件从 S3 存储桶加载到 Redshift 表中.这很容易(只需使用带有通配符或清单文件的 COPY),除了我需要将每个文件的名称合并到结果表中.假设 file1.csv 和 file2.csv 都包含:

a,b,c
d,e,f

我希望我的桌子有

file1 a b c
file1 d e f
file2 a b c
file2 d e f

有没有一种方法可以通过单个 COPY 语句来完成?还是我需要遍历文件列表并一次加载/插入一个?

我怀疑后一种选择会严重影响性能...

推荐答案

目前无法实现.

这是 AWS 论坛上的一个简短主题,AWS 回复说"已创建功能请求"但"无法提供有关此问题的 ETA":https://forums.aws.amazon.com/thread.jspa?messageID=590722&#590722

Stack Exchange 上已经有一个类似的问题:使用 COPY 导入时 Redshift 添加列

本文地址:https://www.itbaoku.cn/post/1764131.html