De: Mei Lin, Produto
"Recebemos um lote de comentários de uma pesquisa em comments.txt, um por linha. Não tenho tempo de ler todos antes do planejamento. Você pode me dizer quais são as palavras e frases mais comuns, quais dos nossos temas aparecem mais e me dar uma citação real para cada um dos dois temas principais?
Nossos temas e as palavras que os identificam estão em THEMES. Ignore as palavras vazias; há uma lista STOP."
Resultado esperado: uma lista de temas ordenados por frequência, com as contagens, e uma citação para cada tema principal.
Comentários de texto livre estão entre as entradas mais "bagunçadas" que quem analisa dados costuma receber. Você não precisa de uma biblioteca de aprendizado de máquina para tirar respostas úteis de algumas centenas deles; as ferramentas da unidade de texto levam você longe.
O processo é: carregar e descartar as linhas em branco, normalizar (minúsculas, sem pontuação), dividir em palavras, remover as palavras vazias e então contar. Pares de palavras vizinhas (bigramas) costumam dizer mais do que palavras isoladas: "delivery late" é um sinal mais claro do que "late".
Os temas são etiquetados com expressões regulares, de modo que "log in", "login" e "logging" contem, sem diferenciar maiúsculas de minúsculas. Guarde os comentários originais: as citações são o que convence as pessoas.
Saída: [(('delivery', 'late'), 2)]. zip com uma cópia deslocada cria pares de palavras vizinhas.