Nostr Web Client

(承前) どうやって公言することなく二重基準を組み込むかをジェンダーバイアスを例に考えてみる。

(1) タスク設定レベルでの対象の選定: ジェンダーバイアスを対象とするタスクを設定すると、当然それ以外のバイアスカテゴリは対象から外れる。仮にジェンダーよりも重要性の高いバイアスカテゴリがあるのではないかと疑ったとしても、そのタスクに取り組むと決めた時点で、タスク設定の妥当性を問うすべがなくなる。

(2) 事例レベルでの対象の選定: ジェンダーバイアスといっても、単純に男女で差異が出る事例をあつめると、男性が不利であるような事例が出てくるはずである。これを防ぐには、評価実験に使うベンチマークデータセットに細工すればよい。女性が不利であるような事例だけを集めたベンチマークを作って、みんながそのデータセットで性能競争をするようになれば勝ち。仮にその競争から離れた論文を出そうとしても査読を通らない。

(3) アノテーションによる価値判断の埋め込み: 2の対策が不完全だと、都合の悪い事例が残ってしまうかもしれない。その場合は、男性が不利であるような事例はバイアスがかかっていないというラベルを事例に付与すれば良い。そうしたラベル付きデータは、モデルの訓練に使うこともあれば、評価に使うこともあるが、いずれにせよ正解データとして提供される。やはりこのタスクに取り組むと決めた時点で、正解として受け入れなければならない仕組みになっている。

(続く?)

murawaki 1y ago

(承前) どうしてこんなことになっているのかを改めて考えると、自然言語処理研究の基本的な性格にいきつく。自然言語処理は人間ができることをコンピュータに再現させる営み。そのため、人間は作ったものはとりあえず信用し、コンピュータの訓練や性能評価のため正解として使ってきた。ここで、人間が作ったものには、タスク設定、事例の選定、事例に対するアノテーションなどが広く含まれる。

これまでは人間が作ったもの信用しても問題にならなかった。構文解析、常識推論、算数問題などが対象である限り。ところが活動家が好みそうな規範的な話題はそうではない。規範的な話題においては、作った人間の価値観がタスク設定やデータに埋め込まれる。その価値観を、そしてそれを埋め込んだ人間を信用できるのか。そもそも誰かを信用することが前提に組み込まれたタスクは健全なのか。

確かなのは、我々は文化戦争のただなかにあり、ある人々を一切信用しない別の人々がいるということ。そう考えると、ある人々がAIを武器にして別の人々に価値観を押し付けるという構図が浮かび上がる。そうしたタスクに取り組むことは、好むと好まざるとにかかわらず文化戦争の片棒を担がされることを意味する。(さらに続く?)

Reply to this note

Please Login to reply.

Discussion

murawaki 1y ago

AI を武器とした価値観の押し付けの恐ろしいところは、AI 規制の流れの中で統治権力を手中に収めつつあること。COMPL-AI は EU の AI 法の技術的解釈・実装を提供するが、例えば、バイアスの評価のために使われているのは既存のデータセット、RedditBias、BBQ、BOLD。https://compl-ai.org/interpretation 代表として RedditBias を見ると、著者らによって、対象が宗教、人種、ジェンダー、クィア性という4カテゴリに限定されている。しかも、カテゴリ内の属性が dominant/minoritized のいずれかに割り振られている。まさに woke 世界観を体現したデータセットである。https://aclanthology.org/2021.acl-long.151/ こんなものが統治権力を背景に他人を規制する力を得ようとしている。このルイセンコ的状況を恐ろしいと思わないだろうか?

murawaki 1y ago

時間をおいてちまちま書くのもたまには良いな。以前の投稿を改めて読み返すと、二重基準という切り口では焦点がボケる気がしてきた。とにかく、特定の価値観を問題の顕在化を防ぎながら埋め込む方法を3点挙げたが、これらは2点に整理できる。(1) 対象の恣意的な選定、(2) 恣意的で、反証不能なアノテーション。そう考えると対策も自ずと見えてくる。(1) 網羅性 (comprehensiveness/exhaustiveness) の確保、(2) 反証可能な演繹推論。反証可能性 (falsifiability) は科学哲学用語で、この文脈に転用するのが適当かは疑問があるが、他に適当な用語を思いつかない。言いたいのは、ある規準を採用し、適当な推論を行った結果、ある結論に至ったという過程がすべて自然言語処理の枠内に収まっていて、その妥当性を誰でも検証できるようになっていなければならないということ。

murawaki 1y ago

ちょっと考えたが、用語としては反証可能性 (falsifiability) よりも検証可能性 (verifiability) の方がマシな気がしてきた。どっちにしても科学哲学用語として確立されてしまっていて、もとの意味から外れていることには違いはないが。科学哲学は論理と結びついていて真偽値に焦点を当てるが、いま考えている倫理の問題ではどの程度妥当かという連続的な評価しかできそうにない。検証可能性も元の文脈では真偽値を扱うが、falsify は字面から真偽値に結びついているのに対して、verify ならもう少し緩い。

機械学習用語に説明可能性 (explainability) があるが、こちらも違う。説明可能性は、パターン認識に基づく出力が先にあって、後付けで説明を行うことが典型的に想定されている。いまの私の立場は、そもそもパターン認識に基づいていてはならないというもの。パターン認識器を学習するための訓練データが信頼できず、それそのものを検証の対象にしたい。

murawaki 1y ago

用語選択問題について ChatGPT に聞いたら contestable を推薦された。これで良い気がする。

A good word for this would be "contestable." It conveys that a statement is open to challenge or debate without implying any inherent flaw or negativity in the statement itself. It reflects the idea of being open to questioning or scrutiny in a neutral and constructive sense.