Arrancar un hilo por tarea es lento y no tiene límite. Un pool de hilos arranca una vez un número fijo de hilos; cada uno da vueltas para siempre tomando tareas de una cola compartida y ejecutándolas. Enviar una tarea es solo un push.
Tres detalles deciden si un pool es correcto. El apagado: el destructor pone un indicador stopping_ con el bloqueo tomado, despierta a todos los trabajadores con notify_all y hace join de ellos; un trabajador solo sale cuando se está parando y la cola está vacía, así que no se pierde ninguna tarea enviada. Nunca ejecutes una tarea con el bloqueo de la cola tomado, o el pool ejecutará una tarea cada vez. Los resultados: envuelve el invocable en un std::packaged_task (guardado en un std::shared_ptr, porque std::function necesita un invocable que se pueda copiar) y devuelve su future; las excepciones también viajan por el future.
Además, los pools reales añaden formas de esperar a que todo el trabajo termine y mantienen vivo a un trabajador cuando una tarea lanza. El tamaño suele ser un trabajador por núcleo, algo que el simulador no puede mostrar: aquí los hilos se turnan en un solo núcleo.
Aquí los hilos son simulados. Tu programa se ejecuta en un solo hilo real mientras un planificador alterna entre tus hilos en las lecturas y escrituras compartidas, los bloqueos, las operaciones atómicas, las esperas, los yield y las pausas, y cada prueba se ejecuta con 12 planificaciones distintas. El orden en que pueden pasar las cosas, las carreras en esos puntos y los interbloqueos son fieles. La aceleración paralela real y los efectos de los órdenes de memoria débiles, no.
Un hilo trabajador: espera, toma una tarea, desbloquea y ejecútala.