Auto Loaderは、新しいファイルを見つけて進捗を追跡します。そのリーダーはformat('cloudFiles')を使い、cloudFiles.formatで実際の入力の形式を指定します。スキーマの場所はスキーマの情報を保存し、ストリーミングのチェックポイントは進捗と状態を記録します。これらの場所は役割が異なり、同じ論理的なパイプラインでは変えずに保つべきです。
availableNowのトリガーは、現在利用できるデータを処理して止まります。そのため、スケジュールされた増分の読み込みに役立ちます。シミュレーションは有限の受け入れ用のディレクトリを用意し、処理した入力をチェックポイントの中で覚えています。クラウドの通知や、常に動き続けるエグゼキューターはエミュレートしません。関係のないソースに1つのチェックポイントを再利用しないでください。チェックポイントを削除すると再処理が起きることがあり、その後の追加で記録が重複することがあります。スキーマの進化にもポリシーが必要です:新しい列は意図して受け入れられますが、互換性のない値には、引き続き検証と復旧の計画が必要です。