素人質問で恐縮ですがこのツールを評価するために使う評価値は精度ではなく再現率が良いのではないでしょうか
Discussion
すみませんあくまで自分はデータ屋じゃなくてソフト屋なのと、ごく短時間で開発したものなので、記事自体に雑な点は多々あると思います🙏
再現率の話で言えば、テストデータはそれぞれのカテゴリごとに用意して「精度」のパーセンテージを出してるので、実質的に再現率と同等だと考えています。
ただ特に本番運用においては、反社該当なしととりあえず出しておけば99パー程度の精度が出てしまう点を考慮すると、データセットに偏りがなさすぎる点はあまりよくなかったかもなあとは思ってます