Iniciar uma thread por tarefa é lento e sem limite. Um pool de threads inicia um número fixo de threads uma única vez; cada uma fica em loop para sempre, pegando tarefas de uma fila compartilhada e executando-as. Enviar uma tarefa é só um push.
Três detalhes decidem se um pool está correto. Encerramento: o destrutor define um flag stopping_ sob o lock, acorda todos os workers com notify_all e faz join deles; um worker só sai quando está parando e a fila está vazia, então nenhuma tarefa enviada se perde. Nunca execute uma tarefa segurando o lock da fila, ou o pool executará uma tarefa por vez. Resultados: envolva o objeto chamável em um std::packaged_task (guardado em um std::shared_ptr, porque std::function exige um objeto chamável copiável) e retorne o future dele; as exceções também viajam pelo future.
Além disso, pools reais acrescentam formas de esperar até que todo o trabalho termine e de manter um worker vivo quando uma tarefa lança exceção. O tamanho costuma ser um worker por núcleo, algo que o simulador não consegue mostrar: aqui as threads se revezam em um único núcleo.
As threads aqui são simuladas. Seu programa roda em uma única thread real enquanto um escalonador alterna entre suas threads em leituras e escritas compartilhadas, locks, operações atômicas, esperas, yields e pausas, e cada teste roda com 12 escalonamentos diferentes. A ordem em que as coisas podem acontecer, as condições de corrida nesses pontos e os deadlocks são fiéis. Já o ganho real de velocidade com paralelismo e os efeitos de ordenação fraca de memória, não.
Um worker: espera, pega uma tarefa, destrava e executa.