差出人: Mei Lin(プロダクト)
「アンケートのコメントがまとめてcomments.txtに届きました。1行に1つです。計画を立てる前に全部を読む時間がありません。最もよく出てくる語と言い回し、私たちのテーマのどれが最もよく出てくるかを教えてもらえますか?そして上位2つのテーマのそれぞれについて、本物の引用を1つください。
テーマと、それを示す語はTHEMESにあります。つなぎの語は無視してください。STOPの一覧があります。」
**完成の目安:**件数付きのテーマの順位の一覧と、上位のテーマごとの引用です。
自由記述のコメントは、アナリストが受け取る最もよくある「乱れた」入力の1つです。数百件から役に立つ答えを得るのに、機械学習のライブラリは要りません。テキストのユニットの道具で、かなりのことができます。
パイプラインは次のとおりです:読み込んで空白の行を除き、正規化し(小文字にし、句読点を取り除き)、語に分け、ストップワードを除き、その後数えます。隣り合う語の組(バイグラム)は、1つの語より多くを語ることがよくあります:"delivery late"は"late"よりはっきりした合図です。
テーマには正規表現でタグを付けるので、"log in"、"login"、"logging"がすべて数えられ、大文字と小文字を気にせずに一致させられます。元のコメントは手元に残してください:人を納得させるのは引用です。