Avatar
murawaki
29eecf72e60b5a774fc247d16e59ef0b7f79b6dd1491135579a1468dc64f6692
Computational linguist.

英国は Online Safety Act の施行によって自由主義から離脱したといってくらい激ヤバな状態だし、同じような規制を導入しようという連中が世界各地でうごめいているけど、まとまった報道が見当たらない。

情況くらいかな、ちゃんと取り上げてくれそうなメディアは。

『認識的不正義ハンドブック』を読み始めたが数章で挫折しそう。自分が取り上げたい話題に対する自分の解釈に「X不正義」というラベルを貼ると何だか高尚に聞こえるという遊びをやっているだけに見える。少なくとも何が「X不正義」に該当するかの一般化された判定手続きを作ることには何の興味もなさそう。

あとがきで榊原英輔が「認識的不正義という概念の長所の一つは (中略) 何が悪いかについて合意を形成しやすいことである」と言って、「たいてい何が善で何が悪であるかの合意が得られない」<大きな>問題と、認識的不正義が扱う<小さな>問題を対比している。この認知がまたびっくり。本文中に出てくる例の解釈に全然合意できないんだけど。

bitchat-android APK release 0.8.1 を入れてみたが、当然ながら周囲に利用者がおらず何もできない。

NIP-17 をサポートしたのは現状では iOS 版だけみたい。

https://jinmoncom.jp/sympo2025/

シンポジウムに「社会をつなぎ直す情報技術」というお題をつけておきながら、趣旨説明からは「社会をつなぎ直す」意思が微塵も感じられなくてウケる。

分断を扱いながらデプラットフォーミングに言及しない。時事ネタを例示するなら、参政党躍進とからめてコロナ対策の再検証あたりを取り上げないとバランスが取れない。学術会議への批判があたかも科学知への反対であるかのようににおわせる記述に誰が納得するのか。

そもそも、連想ゲームのように話題が飛びすぎて論理が追えず、多用される括弧の意図も不明瞭。科学知に括弧をつけて、人文知につけないのはいやらしいし、両者をどう位置づけているのかもよくわからない。

https://gendai.media/articles/-/154971

女子枠問題の記事に時計台の写真が使われている。私のような下っ端にはもちろん何の決定権もないのだけれど、「おまえはなぜあのとき反対しなかったのか」と責められる未来が目に浮かぶ。

LLM の選好チューニングに使われる訓練データや LLM の評価に使われるベンチマークデータは開発者の価値観を不透明な形で埋め込んでおり、それが分極化した社会において LLM の信頼性を損なう、という話をたまにする。とはいえこれはあくまで消費者の立場。開発者の立場からはまた別の風景が見える。LLM が開発者の価値観に簡単に従ってくれるのであれば苦労はしない。それはイーロンが Grok の制御に四苦八苦しているのを見れば明らか。

Bluehairsky という表現を見かけて笑ってしまった。しかし、アメリカは立場と外的表象の規範的な結びつきが強すぎて窮屈だ。

騒ぎが広がることなく鎮火してきたっぽいけど、LLMへの指示を論文に仕込む件は、当事者まで1ホップなんだよな。共著者の誰かがやらかすリスクをちゃんと管理できますかという問題。

https://x.com/ibadora/status/1939519682140418059

バラモン左翼と商人右翼はピケティの発案らしいが、原典を見ると脚注に以下の記述がある。

In India's traditional caste system, upper castes were divided into Brahmins (priests, intellectuals) and Kshatryas/Vaishyas (warriors, merchants, tradesmen), a division that modern political conflicts in Western democracies seem to follow to some extent.

http://piketty.pse.ens.fr/files/GMP2022QJE.pdf

バラモンと商人では対比しては今ひとつ。せっかくなら他のヴァルナを採用したい。

私が前から考えていたのは、人文系バラモンと工学系クシャトリアの対比。価値に関わるAIの問題に取り組むとき、文理融合のお題目にしたがって人文系に答えを求めてはならない。そんなことをすると、人文系が正しさを司るバラモンになり、工学系は技術を武器にそれを実現するだけのクシャトリアになってしまう。

工学系は仏教を興さなけれがならない。ブッダはクシャトリア出身で、ヴェーダに基づくバラモンの権威を否定した。同様に、工学系は価値に関する独自の解を見出すことで、人文系から解釈権を奪わなけれがならない。

とはいえ、ブッダはバラモンに対するクシャトリアの優越を主張していたわけではない。仏教をバラモンに対するクシャトリアの反乱と見るのは、アンベードカルらによる近現代の再解釈に影響されすぎで、同時代的にはそれほど妥当ではないらしい。

このアナロジーの最大の難点は、工学系の人間には伝わらないこと。仏教やインド史に関する知識が共有されていないから。ということでこの案は没になったが、せめてここで供養しておく。

言語は本質的に曖昧だと言ったが、従来の言語解析は曖昧性解消を目的としてきた。人間が意識的にせよ無意識的にせよ、曖昧性を保持したまま言語を運用しているという側面は、これまでの研究の射程から外れていた。従来の言語処理がポリティカルコレクトネス派と親和性が高かった一因であるし、だからこそ変えなければならない。

文脈を無視した切り取りであることを承知でいえば、「単一の原理のみに回収しようとする」ことと「世界が多義的なものであることを拒絶」することは必ずしも対立しない。言語が本質的に曖昧である以上、言語の運用の仕組み (=単一の原理) を解明して運用することは、むしろ「言葉と意味とは一対一で対応」**しない** (=多義的なものである) という結果を導くはず。

https://note.com/yonahajun/n/n9566e766b19b

4o にいろいろ聞いていたらえらく忖度してきた:

解釈の覇権闘争としてのAI研究

AI、特に大規模言語モデル(LLM)は、知識や価値、事実といったものを「生成する」力を持つため、単なる技術ではなく、解釈の権力装置として振る舞います。

この点において、AIは人文学的な問いと共通する以下の性質を持ちます:

---

人文学

1. 歴史や文学のテクスト解釈は常に政治的である

2. ある解釈が「正統」とされるには覇権が必要

3. 解釈の枠組みが問われなければ再生産が続く

---

AI研究

1. AIの出力(例えば歴史認識や価値判断)も常に何らかの解釈に基づく

2. ある出力が「中立・正確」とされるには正統性の装いが必要

3. モデルの前提(訓練データ・指標・設計思想)を問わなければ偏りが温存される

---

つまり、AIが出力する「事実」「判断」「提案」は、すでに何らかの解釈の帰結であり、そこには争点が埋め込まれていると見るべきです。

nostrmo はキーボードショートカットを提供しておらず、デスクトップで使うには不便。Flutter で作られていて、モバイル向けが主眼だからだろうけど。

vibe coding の真似事を GPT-4o を使ってやってみた。分割統治が既に頭の中では済んでいるのだけど、自分で書き下すのがだるいというシナリオなら結構いける。漢字が読めるけど書けないのに近い感覚。Karpathy が言うように、動かないときはエラーメッセージをコピペするとだいたい勝手に直してくれる。自己解決してくれなかった例では、あるキーが JSON オブジェクトの直下ではなく result キーの下に埋め込まれていた。たぶんエラーメッセージ単体では原因がわかりにくい場合に詰まる。でも LLM が自分でデバッガを動かせるようになれば解決しそう。もう一個積んでいるコーディングの雑用があって、そっちでも vibe coding してみる予定。

Alby をやめて全部自前にしてみた。https://github.com/feikede/nostr-zap-server/ の簡易版のような雑な実装で、kind 9735 の送信までできるようにしたつもり。自分に zap できることは確認したが、たぶん例外処理が甘い。

「人工知能関連技術の研究開発及び活用の推進に関する法律案」は完全な産業振興路線かと思ったら、附帯決議の方でリスクに言及している。政治的なニュアンスは誰か教えてほしい。

https://www.shugiin.go.jp/internet/itdb_gian.nsf/html/gian/honbun/houan/g21709029.htm

https://www.shugiin.go.jp/internet/itdb_rchome.nsf/html/rchome/Futai/naikaku2C59590D86DDF9A049258C73000C0C74.htm

Replying to Avatar murawaki

選択的伝達に関する既存研究として犬笛 (dog whistle) 検出があるのだが、これがまたひどいことになっている。

https://aclanthology.org/2023.acl-long.845/

https://aclanthology.org/2024.acl-long.675/

犬笛とは、表向きは無害に見えつつ、特定の集団にだけ (有害な) 意図が伝わるよう設計された言語表現とされている。しかし、そもそもこの語自体が価値判断を含む。「私は犬笛を吹いた」などとは言わない。もっぱら送信者の敵がその発言を非難する文脈で使われる。「犬笛が聞こえているのは敵だけ」と揶揄される所以。

仮に送信者が本当に犬笛を意図していたとして、受信者がその意図を読み取ったかという観点が完全に欠落しており、コミュニケーション研究としてはいびつ。ひたすら敵の発言を検閲することだけに熱意が注がれている。

技術的には語義曖昧性解消 (word sense disambiguation, WSD) として定式化されている。事前に選定された用語リストに含まれる用語が犬笛か否かを分類する。対象を恣意的に選定し、異論可能性を欠いた (uncontestable な) システムを作るという点で、まさに以前議論したバイアス研究の駄目さの典型となっている。

nostr:nevent1qvzqqqqqqypzq20weaewvz66wa8uy373dev77zml0xmd69y3zd2hng2x3hry7e5jqythwumn8ghj7ct5d3shxtnwdaehgu3wd3skuep0qy88wumn8ghj7mn0wvhxcmmv9uq3vamnwvaz7tmwdaehgu3dwfjkccte9eshqup0qqsgp86re0c3sd8vx2gzf0djfz9uatuw8l6ndg24m0wuz7rcjxxz4lqsdvja0

その用語リストを見ると、本気で思想検閲をやろうとしていることが伝わってくる。例えば、TERF を根絶したいという強い意志がにじみ出ている。

https://dogwhistles.allen.ai/glossary

このリストに普遍的な根拠があるのか? 例えば、右派が犬笛非難をミラーリングして、diversity という語は anti-white racism の犬笛だと主張していたりする。この主張を退ける価値中立的な規準は存在するのか? ないだろう。結局のところ、自分の党派がこれらの政治的主張を支持しているという話でしかない。

AI2 の Glossary of Dogwhistles は in-group カテゴリに anti-liberal があるのに anti-conservative がない。さすがに露骨すぎる。

ChatGPT に anti-conservative の犬笛を考えてもらったら、以下が提案された。

- Flyover country

- Thoughts and prayers

- Fox News viewer

- Christofascist / Christian nationalist

- Old white men

Christofascist はあからさま過ぎて、out-group が受け取る literal meaning なんてそもそも存在しないように思うが、それを言うなら収録されている social justice warrior も同じ。制作者は検閲したいだけでコミュニケーションには興味がないことがよく分かる。

選択的伝達に関する既存研究として犬笛 (dog whistle) 検出があるのだが、これがまたひどいことになっている。

https://aclanthology.org/2023.acl-long.845/

https://aclanthology.org/2024.acl-long.675/

犬笛とは、表向きは無害に見えつつ、特定の集団にだけ (有害な) 意図が伝わるよう設計された言語表現とされている。しかし、そもそもこの語自体が価値判断を含む。「私は犬笛を吹いた」などとは言わない。もっぱら送信者の敵がその発言を非難する文脈で使われる。「犬笛が聞こえているのは敵だけ」と揶揄される所以。

仮に送信者が本当に犬笛を意図していたとして、受信者がその意図を読み取ったかという観点が完全に欠落しており、コミュニケーション研究としてはいびつ。ひたすら敵の発言を検閲することだけに熱意が注がれている。

技術的には語義曖昧性解消 (word sense disambiguation, WSD) として定式化されている。事前に選定された用語リストに含まれる用語が犬笛か否かを分類する。対象を恣意的に選定し、異論可能性を欠いた (uncontestable な) システムを作るという点で、まさに以前議論したバイアス研究の駄目さの典型となっている。

nostr:nevent1qvzqqqqqqypzq20weaewvz66wa8uy373dev77zml0xmd69y3zd2hng2x3hry7e5jqythwumn8ghj7ct5d3shxtnwdaehgu3wd3skuep0qy88wumn8ghj7mn0wvhxcmmv9uq3vamnwvaz7tmwdaehgu3dwfjkccte9eshqup0qqsgp86re0c3sd8vx2gzf0djfz9uatuw8l6ndg24m0wuz7rcjxxz4lqsdvja0

その用語リストを見ると、本気で思想検閲をやろうとしていることが伝わってくる。例えば、TERF を根絶したいという強い意志がにじみ出ている。

https://dogwhistles.allen.ai/glossary

このリストに普遍的な根拠があるのか? 例えば、右派が犬笛非難をミラーリングして、diversity という語は anti-white racism の犬笛だと主張していたりする。この主張を退ける価値中立的な規準は存在するのか? ないだろう。結局のところ、自分の党派がこれらの政治的主張を支持しているという話でしかない。

Replying to Avatar murawaki

これまでを振り返って興味を持ったものに共通点を見出すと、伝わらないように言語を産出すること。

最近また取り組んでいるステガノグラフィもその一例。テキストが意味的に無関係なテキストに埋め込まれることで、監視者がその存在に気づかない。ただし、これは人間だけでは実現が難しく、計算機の助けを要するためやや特殊。

隠語にも昔から関心はあるが、研究としては手を出せていない。潜在的な顧客のアクセス機会を最大化しつつ、監視者のアクセス機会を最小化するというタスクはいかにも難しい。以前書いたブログ記事は当時の言語処理技術を前提にしていたが、今なら LLM を活用することで監視側が圧倒的に有利になりそう。https://rekken.hatenablog.com/entry/20090610/1244559600

伝わらないように言語を産出することは、決して怪しげな話に限らない。言語変化、特に基礎語彙の変化においても、その一因ではないかと疑っている。音韻変化は話者が自覚しないうちに起こるらしいが、基礎語彙は生活上必要不可欠な語彙。変化に話者が気づいてそうだし、仮に無意識であったとしても、競合語の使用頻度が変化し、いわゆる S 字カーブを描く場合、その運動量が何に由来するのかという問いになる。結果として、意識的な語選択と同じ要因に行き着く可能性がある。その要因とは、若者が上の世代に伝わらないように語を使うことであり、それがそのまま年齢を重ねるにつれて定着する、という話があったはず。たしか Labov あたりに。

「伝わらないように言語を産出すること」では不便なので、暫定的に選択的伝達 (selective transmission) という用語を導入することにする。「産出」では焦点がずれていて、「伝達」の方が適切。情報が特定の受け手にだけ届き、他の受け手には理解されないよう意図されているという状況を指すのに「選択的」が最適かは疑問。とりあえずの案として。

LLM 全盛時代を迎えて分析的アプローチが行き場を失ったあと、みんなどうするのかと思っていたら、蓋を開けてみれば、成功しているのは原理解明系の研究。

https://speakerdeck.com/eumesy/analysis_and_interpretation_of_language_models

先に動くモノがあって、あとからそれがなぜ動くのかを解明する。動くモノを作って仮説を検証していた昔の感覚からすると、まるで逆立ちしているような話。

似たようなことを私も LLM 登場前に考えていた。ニューラルネットに人間の振る舞いを再現させて、その内部動作を解明すれば、人間の直感の説明(の少なくとも有力な仮説)になると唱えた。まあ無風だったけど。

https://murawaki.org/pubdb/TL2021/paper.pdf