Dari: Mei Lin, Produk
"Kami menerima sekumpulan komentar survei di comments.txt, satu komentar per baris. Saya tidak sempat membaca semuanya sebelum perencanaan. Bisakah Anda memberi tahu saya kata dan frasa yang paling sering muncul, tema kami yang paling sering dibahas, dan satu kutipan asli untuk masing-masing dari dua tema teratas?
Tema kami beserta kata-kata penandanya ada di THEMES. Abaikan kata-kata pengisi; ada daftar STOP."
Hasil yang diharapkan: daftar tema berperingkat beserta jumlahnya, dan satu kutipan untuk tiap tema teratas.
Komentar teks bebas termasuk input "berantakan" yang paling sering diterima seorang analis. Anda tidak memerlukan library machine learning untuk mendapat jawaban berguna dari beberapa ratus komentar; alat-alat dari unit teks sudah cukup jauh membantu.
Alurnya: muat dan buang baris kosong, normalisasi (huruf kecil, hapus tanda baca), pecah menjadi kata, hapus stop word, lalu hitung. Pasangan kata yang bersebelahan (bigram) sering bercerita lebih banyak daripada kata tunggal: "delivery late" adalah sinyal yang lebih jelas daripada "late".
Tema diberi label dengan ekspresi reguler agar "log in", "login", dan "logging" semuanya terhitung, dicocokkan tanpa membedakan huruf besar dan kecil. Simpan komentar aslinya: kutipan adalah hal yang meyakinkan orang.
Keluaran: [(('delivery', 'late'), 2)]. zip dengan salinan yang digeser membentuk pasangan kata yang bersebelahan.