De: Mei Lin, Producto
"Recibimos un lote de comentarios de una encuesta en comments.txt, uno por línea. No tengo tiempo de leerlos todos antes de la planificación. ¿Puedes decirme cuáles son las palabras y frases más comunes, cuáles de nuestros temas aparecen más y darme una cita real para cada uno de los dos temas principales?
Nuestros temas y las palabras que los identifican están en THEMES. Ignora las palabras vacías; hay una lista STOP."
Resultado esperado: una lista de temas ordenados por frecuencia, con sus recuentos, y una cita por cada tema principal.
Los comentarios de texto libre están entre los datos de entrada con más irregularidades que suele recibir un analista. No necesitas una biblioteca de aprendizaje automático para obtener respuestas útiles a partir de unos cientos de comentarios; las herramientas de la unidad de texto permiten hacer mucho.
El proceso es: cargar y descartar las líneas en blanco, normalizar (pasar a minúsculas y eliminar la puntuación), dividir en palabras, eliminar las palabras vacías y después contar. Los pares de palabras contiguas (bigramas) suelen decir más que las palabras aisladas: "delivery late" es una señal más clara que "late".
Los temas se etiquetan con expresiones regulares para que "log in", "login" y "logging" cuenten, sin distinguir mayúsculas de minúsculas. Conserva los comentarios originales: las citas son lo que convence a las personas.
Salida: [(('delivery', 'late'), 2)]. zip con una copia desplazada crea pares de palabras contiguas.