Un generador produce valores de uno en uno en lugar de crear una lista completa. Cualquier función que contenga yield es una función generadora: al llamarla, devuelve un generador, y cada yield entrega un valor y pausa la ejecución hasta que se solicita el siguiente.
(x * 2 for x in data) es una expresión generadora, la variante con evaluación diferida de una comprensión de lista. Los generadores son ideales para archivos grandes y flujos de datos: procesas una línea y luego la siguiente, sin mantenerlo todo en memoria.
next(gen) toma el siguiente valor y genera StopIteration al llegar al final; next(gen, None) devuelve None en su lugar. Así puedes obtener la primera coincidencia, o nada si no existe, en una sola línea.
Un generador se puede recorrer una sola vez. Después de sum(gen), queda agotado y no entrega nada más, así que crea una lista si necesitas los valores dos veces.
Los generadores pueden ser infinitos, como un flujo de números de factura. Toma lo que necesites con itertools.islice.
Salida: (0, [2, 4, 6], 'done'). next toma un valor, list toma el resto y el valor predeterminado cubre el final.