Os arquivos chegam ao Snowflake por meio de um stage, um lugar onde os arquivos aguardam para ser carregados:
- Stages internos: seu stage de usuário
@~, o stage de uma tabela @%orders ou um stage nomeado @landing. Envie arquivos para eles com PUT pelo SnowSQL ou por um driver.
- Stages externos apontam para um armazenamento na nuvem que é seu: S3, Google Cloud Storage ou Azure.
COPY INTO carrega os arquivos de um stage em uma tabela:
COPY INTO raw.orders
FROM @landing/orders/
FILE_FORMAT = (TYPE = CSV SKIP_HEADER = 1)
ON_ERROR = CONTINUE;
Um formato de arquivo descreve os arquivos: CSV, JSON, Parquet, Avro, ORC ou XML. ON_ERROR decide o que acontece com as linhas ruins; o padrão do COPY interrompe toda a carga. O Snowflake lembra por 64 dias quais arquivos já carregou e os ignora, a menos que você adicione FORCE = TRUE.
Para arquivos que chegam o dia todo, o Snowpipe carrega cada um poucos minutos depois de ele chegar, em computação serverless. Esta lição trata das decisões de carga. As lições seguintes sobre stages e COPY usam arquivos locais de teste e verificam as linhas carregadas.
Um stage externo sobre um bucket do S3 e, em seguida, os arquivos que estão nele aguardando carregamento.