Uma alocação no heap (new, um std::vector que cresce, uma std::string maior que o seu pequeno buffer interno, uma std::function que guarda uma lambda grande) pede memória ao alocador. Em geral é rápida, às vezes é lenta e pode pegar um lock, e por isso o código sensível à latência mantém as alocações fora do caminho crítico, o código que roda a cada mensagem ou ordem. A regra: aloque na inicialização, reutilize durante a execução.
As principais ferramentas são reserve(n), que dimensiona um vetor uma única vez para que push_back não realoque enquanto ficar abaixo de n; clear(), que esvazia um vetor ou uma string, mas mantém a memória para o próximo uso; passar um buffer de saída por referência em vez de devolver um contêiner novo a cada chamada; escrever números em um buffer char com std::to_chars; e receber um objeto chamável como parâmetro de template, que nunca aloca, em vez de como std::function, que pode alocar.
Nestes exercícios, os testes substituem operator new por uma versão que conta. allocation_count() devolve o número de alocações no heap até o momento, então um teste pode verificar que um laço não alocou nada, a mesma verificação que as equipes de latência escrevem em suas próprias suítes de teste.
Aloque uma vez e depois esvazie e preencha de novo: o caminho crítico nunca chama o alocador.