ファイルは、読み込まれるのを待つ場所であるステージを通してSnowflakeに届きます:
- 内部ステージ:ユーザーステージ
@~、テーブルのステージ@%orders、または名前付きステージ@landingです。SnowSQLやドライバーからPUTでファイルをアップロードします。
- 外部ステージは、自分で所有するクラウドストレージ(S3、Google Cloud Storage、Azure)を指します。
COPY INTOは、ステージに置かれたファイルをテーブルに読み込みます:
COPY INTO raw.orders
FROM @landing/orders/
FILE_FORMAT = (TYPE = CSV SKIP_HEADER = 1)
ON_ERROR = CONTINUE;
ファイル形式はファイルの種類(CSV、JSON、Parquet、Avro、ORC、XML)を表します。ON_ERRORは問題のある行をどう扱うかを決めます。COPYのデフォルトでは、読み込み全体が止まります。Snowflakeは読み込んだファイルを64日間覚えていて、FORCE = TRUEを追加しない限りそれらをスキップします。
一日中届くファイルには、Snowpipeが、サーバーレスのコンピューティングで、届いてから数分以内に各ファイルを読み込みます。このレッスンでは読み込みの判断を扱います。この後のステージとCOPYのレッスンでは、ローカルのファイルの用意したデータを実行し、読み込まれた行を確かめます。