アンケートの自由回答20件を、AIで整理してみた

無記名のアンケートを集めて、AIで分類できたら面白いのではないか。

そう考えた時、最初は回答を集めるツールまで作るつもりだった。ところが話を詰めていくと、誰でも入力できる場所には、でたらめな回答や嫌がらせも混ざる。集めたところで、AIがもっともらしい要約を返すだけなら意味がない。

そこで一度、ツールの話を横に置いた。

そもそも自由回答を整理する作業は、本当にどこまで任せられるのか。まずはそこだけ試すことにした。

20件のサンプル回答を用意した

今回使ったのは、「毎月繰り返す面倒なパソコン作業」を尋ねた20件のサンプル回答だ。実際の利用者から集めたものではなく、納品手順と出力を確かめるためのテストデータで、個人情報も入っていない。

内容は、たとえば次のようなものだった。

「毎月CSVの列を並べ替えるのが面倒」

「複数資料の数字を月次報告書へ転記している」

「領収書のファイル名を一枚ずつ変更している」

「競合サイトを毎週開いて更新を確認している」

20件なら、全部読むだけであれば大した量ではない。自分でも読める。

面倒なのはその後だった。似た回答をまとめ、分類の基準をそろえ、件数を数える。さらに、重要そうな不満がどの回答から出てきたのか分かるようにして、Excelで後から検算できる形にする。

手順を分けてみると、読むだけでは終わらない。分類基準をそろえ、件数を数え、元回答との対応を残すところまでが一つの作業になる。

分けてみると、偏りが見えた

20件を分類した結果は、次のようになった。

・Excel・CSVの整形：7件
・月次報告書の作成：5件
・請求書・領収書の整理：4件
・情報収集：3件
・問い合わせ整理：1件

さらに、否定的な回答は15件、緊急度を「高」と判定したものは5件だった。

もちろん、少人数のサンプルデータなので、市場全体の傾向ではない。それでも並べてみると、「難しい仕事」より、形式の違うデータを直したり、同じ転記と確認を繰り返したりすることに不満が寄っていた。

一件ずつ読んでいる時にも、何となくは分かる。ただ、何となく分かることと、7件、5件、4件と根拠つきで並ぶことは違った。次に何を調べるか決めやすくなる。

AIに任せやすかったのは、地味な部分

試してみて便利だったのは、派手な分析ではなかった。

R001からR020まで番号を振り、一行ずつ分類する。同じ基準で感情や緊急度を付け、最後に集計件数と元回答が一致しているか確認する。こういう、途中で飽きやすい作業を黙って続けるところはAIとプログラムの方が向いている。

今回も、20件すべてを分類済みのExcelへ残し、要点だけを1ページのPDFにまとめた。重複した回答IDは0件で、Excelの行数と集計結果が一致するところまで機械的に確認できた。

自分が探しているのは、ここでほぼ自動でできて、それでも誰かが面倒だと感じている仕事だ。自由回答の整理は、少なくとも内部テストではその条件に近かった。

それでも、人が確認した方がいいところは残る

ただし、AIへ丸投げしてはいけない部分も残った。

たとえば「急いで改善してほしい」という言葉がなくても、内容によっては緊急度が高い場合がある。逆に、強い言葉で書かれていても、一人だけの特殊な事情かもしれない。

分類名も、目的によって変わる。

商品改善に使うのか、社内の業務改善に使うのか、問い合わせ対応に使うのか。それによって、同じ回答でも切り口は違ってくる。

AIが出した分類を、そのまま正解にはできない。元の回答へ戻れるようにIDを残す。数字と解釈を混ぜない。少人数なら、その限界を書く。ここを省くと、見栄えのいい要約だけが一人歩きしてしまう。

実際の回答を扱う場合は、氏名、連絡先、会社名などを依頼前に削除してもらう必要もある。分析の便利さより、こちらの方が優先だ。

いきなりツールを作らず、小さなサービスにした

この検証のあと、アンケート自由回答30件を分析・数値化する小さなサービスをココナラへ出品した。

最初からアンケートツールを開発するより、一件受けてみた方が早く分かることが多い。30件という上限で品質を保てるのか。購入者が欲しい分類と、自分が想定した分類は合うのか。修正に何分かかるのか。そもそも3,000円を払う人がいるのか。

まずは先着3件、同時受付1件だけで確かめる。合わなければ止める。繰り返し依頼が出てから、自動化やツール化を考える。

自分は大きなものを長く作り込むより、この順番の方が続けやすい。今のところ分かったのは、自由回答20件を整理して納品物にするところまでは作れた、ということだけだ。売れるかどうかは、ここから確かめる。

サービスの詳しい内容と、サンプルデータを使った納品見本はこちらにまとめています。
よろしければ、どんな仕上がりになるのか見ていただけるとうれしいです。

https://coconala.com/services/4373000

※掲載している納品例は、サービス内容をご確認いただくために作成したサンプルです。実在する個人・団体のデータは使用していません。