Memori sampai ke prosesor dalam bentuk cache line, blok 64 byte pada sebagian besar mesin. Menyentuh satu byte membawa seluruh line-nya, jadi data yang dipakai bersama sebaiknya diletakkan bersama, dan data yang tidak dipakai sebaiknya disingkirkan. Dari sini muncul empat kebiasaan:
- Urutkan member struct berdasarkan ukuran, dari yang terbesar. Compiler memberi padding pada setiap member sesuai alignment-nya, sehingga
char, long long, char memakan 24 byte, sedangkan long long, char, char hanya 16. sizeof dan alignof memberikan angka sebenarnya.
- Structure of arrays. Loop yang hanya membaca harga dari array berisi struct order utuh ikut menyeret semua field lain melewati cache. Menyimpan setiap field dalam array tersendiri membuat loop itu tidak membaca apa pun selain harga.
- Pemisahan hot dan cold. Pindahkan field yang tidak pernah dibaca hot path (nama klien, komentar) ke struct terpisah, agar struct hot tetap kecil.
- Satu line per penulis. Counter yang ditulis oleh thread yang berbeda sebaiknya berada di line yang berbeda, kalau tidak line itu akan berpindah-pindah antar prosesor.
Tes mengukur apa yang dapat diukur secara tepat di sini: ukuran, alignment, alamat, dan jumlah line yang disentuh sebuah loop. Pengukuran waktu di tab browser akan berbeda dari satu eksekusi ke eksekusi lain; angka-angka ini tidak.
Member yang sama dengan urutan berbeda: memori berkurang sepertiga, dan empat di antaranya muat dalam satu cache line, bukan dua dan sedikit.