AIと理由

We don’t understand how AI make most decisions, so now algorithms are explaining themselves

意識だけが理由を気にするのだとすれば、それを続けることでしか、 意識は意識たることを噛みしめることができないと思われる。
An At a NOA 2016-12-23 “モデル化の継続”

理由を気にすることをもって意識を特徴付けるのであれば、 理由を気にするアルゴリズムは意識と呼ばれるべきである。

しかし、最近書いたように、人間の意識が自らと同カテゴリと みなせなければ、それは意識になることができない。

理由付けに相当する判断機構をAIに実装したとして、 そんな機構は自己正当化を続けるバグの塊のように みえるだろう。
（中略） 他の人間の意識を意識として受け入れられるのは、 単に自分と同じカテゴリとして判断しているからに過ぎない。
（中略） つまりは慣れの問題なのだから、AIの理由付け機構も、 いつかは意識として受け入れられることになるだろう。
それは、人種差別の歴史と全く同じ構造をもつことに なると想像される。
An At a NOA 2017-01-09 “勘”

その前には、とてつもなく大きな不気味の谷が口をあけているように思われる。

こういった機構は、AIが意識を獲得する過程というよりは、 むしろ人間の意識が理由付け回路を拡張する過程として 捉えるべきなのかもしれない。
つまり、世の中全般にありふれている、筋を通すというのと 同じように、受け手側の理由不足の解消でしかないのだ。

理由の不在が自然を特徴付けるのであれば、一意的な理由を供給することで 理由不足を解消するというのはすなわち、自然を人工にするということだ。
だから、理由で塗り固めていたはずのプログラムが深層学習によって 理由の連鎖から逃れてしまったことに対して、そのプログラム自身に 理由を提供させるというのは、人工知能を自然知能にしておかないための 適切な方法だと言える。
まあ、それを意識のエゴイズムと言ってしまえば、それまでであるが。

あらゆることに対して理由付けを行う意識は、その理由付けを一意的なものに するのであれば、自然を人工に変換する装置だとみなせてしまう。
意識とは何かという問題に特定の回答を与えることは、意識を人工化すること になるが、果たしてそれを望んでいるのだろうか。

理由付け回路としての意識は説明されることを嫌う。
それは、ある型枠に嵌められることで、過度に固定化 されることを避けたいためであろう。

…という説明すら、されるのを嫌うだろう。
An At a NOA 2016-11-25 “説明”

理由の不在としての自然と一意的な理由の存在としての人工の狭間に 、 都合のいいニッチとして意識の居場所が設定できるだろうか。