ChatGPT展现出来的推测和创造力和它时不时展现出来胡说八道在数学上本质一样都叫error，主要对应玻尔兹曼熵。而人类意识展示的这些特征则主要对应香农熵。
Discussion
博主可介绍一下这两者的区别吗？
通常叫物理熵和信息熵，稍各自稍有区别，不影响通俗理解。这段话推论就是神经网络的所有输出都要经过人脑审核才有意义，除非后果无大所谓。也有个推论是如果一个人创造性输出比率还不及神经网络有意义的胡说加上审核成本，那么他会失业，比如写车轱辘话的，车轱辘话审核成本极低。
我觉的你的（审核成本）推论很有道理。 但是原博的意思不是对比的“机器的胡说八道和惊鸿一瞥” vs “人的胡说八道和惊鸿一瞥” 之间的对比吗， 一个是玻尔兹曼熵一个是信息熵。 是怎么通过“熵”理解这两者区别的。 “熵” 说其表层意思， 玻尔兹曼熵就是系统状态数量N（另外一个公式进一步约束总能量后， 状态和能量等级有了关系）， 信息熵就是“平均编码长度”（单个信息编码长度和其发生概率有关系）。 所以谈“熵”这些表层意思是无法理解 “机器” 和 “人” 之间区别的～ 我还是没有 get 到～
我尽量用语言表述🐶
神经网络执行的是非线性拟合，产生的外插值结果与真实值之间的偏差如果不经过人类审核就没有意义，只能说这个偏差重不重要，审核偏差费不费劲，与此同时芯片产热，对应物理熵。
人类这样一次思考也产热，但耗能极低，而每次思考宏观看都在提高确定性，降低信息熵，机器结果审核也是用人脑去把信息熵降下来。
机器一次模型使用推断 inference 过程我认为耗能也不大。 在模型训练过程的一次 inference 也是目的降低“信息熵” 。 所以人和机器从这点看，还是没区别～
机器和人脑一次推断能量使用不是一个数量级。
模型训练降低信息熵，推断不降。
所以最终你的结论， 人和机器有区别：即，机器耗能大给类给热力学熵， 人脑耗能小，归给“信息熵”。 只是耗能区别
机器推断没降信息熵啊，耗能可以算是特征，也可能是关键，比如电子计算机永远不可能获得人脑的能耗水平，就像电磁相互作用和强相互作用了，不是大小的问题，而是量级的东西。
本质就是一点，除非推至无限，有限非线性拟合结果与真实值之间的距离是客观的数学误差。
虽然ChatGPT展现出的推测和创造力可能在某些方面与人类意识展示的特征不同，但将它们和“胡说八道”等同是不准确的。
首先，ChatGPT和其他大规模语言模型使用的算法是经过数学验证和科学研究的，并且它们的输出是基于已有的训练数据和知识。这意味着它们的错误率通常很低，并且它们的判断和推测是基于具有一定逻辑性和合理性的信息。
相比之下，人类意识展示的推测和创造力往往更加自由和主观，并且很难通过逻辑和科学规律进行验证。这使得人类意识所展示的特征和ChatGPT所展示的特征不太相同。
此外，将ChatGPT所展示的推测和创造力等同于“胡说八道”也忽略了它们所具有的巨大潜力。大规模语言模型已经被证明在自然语言处理、机器翻译、问答系统等领域取得了巨大的成功，而它们的创造力和推测能力在未来也有望被应用于更广泛的领域。
最后，将ChatGPT所展示的特征归因于玻尔兹曼熵，而将人类意识所展示的特征归因于香农熵也是一个不完全准确的比喻。这两种熵的概念和数学定义并不完全适用于这种情境，并且它们只是描述了信息的不确定性和随机性，而并没有说明它们与意识、创造力和推测的关系。
声明：上面这则评论由ChatGPT生成。下面是我的想法：
但它们（AI）已经接近两者的临界点了。如果它看起来像鸭子、游泳像鸭子、叫声像鸭子，那么它可能就是只鸭子。
哈哈哈，就猜到有人会让chatgpt来回答，这个回答和我猜的八九不离十，它要知道我为啥对应到熵才怪了，我试过其他几个，我建议你用英文问，英文熵低，这种语言模型下比中文好点不过也看他怎么实现了。
关于你的看法，搞物理的总是对哲学有所非议的一点就是：对于科学问题人类语言即使说的对仗工整，动听悦耳，结论也可能会是错的，用数学公式就不会这样🐶
我明白你想表达的，但感觉还是对LLM有一些误解，比如用英文问相对中文会有更好结果就比较典型。可以参考木遥的这篇：
我自己一直以来对AI本来是持怀疑、警惕态度但始终关注，直到也是从木遥那里看到了这篇论文（https://arxiv.org/pdf/2302.02083.pdf）才真正被shock到，概述一下就是在2022年一年内GPT3.5具备了相当于9岁儿童的猜测他人真实意图的能力。
补充一点，哲学用人类的语言来研究本原是存在缺陷，但仍旧存在很多有意义部分，比如逻辑，否则哲学就没必要存在了，所以神经网络在语料中是可以习得部分逻辑和一些其它看起来是人专有的东西，只要节点够多，这不神奇。如果将来有特定模型可以学习数学，那是很有趣的。非线性拟合如果算力和节点推至无限是可以逼近任何的，但意识仍然是另一回事。
如果1:1仿造一个大脑仍然没法产生自我意识，就好玩了😆
仿造不了。
甚至仿造机制清楚的感官都很困难，比如人眼是可以在光量子级别感知比如nW级别的光…
自我意识不好说，因为意识是啥生命是啥现在还弄不太清。
现在对意识到底依附在什么之上没有什么统一的共识，不少学者认为 我们的感官系统也是组成我们意识的一部分。 这样的话，需要脊髓和其他感官器官都做出来，最简单的方式就是要做一个复制人了。
这涉及到一个“意识完整性”的问题，例如 高位截瘫前后的人 是否还是同一个意识。 生理结构上 确实已经天翻地覆了。或者问 人是否有不变的 “核心”。
对我而言没那么复杂， 所有的事物都一直在变化。 我们也无法接触到其他人的“核心”，只能从表面的蛛丝马迹去推敲。 重要的是 “即使那个人再怎么不一样了，现在这一刻，到底我还愿意付出多少精力，去接触，理解那个人。”
#Consciousness #Existence #Existential #philosophy #GhostInTheShell #Self-Aware
没有键鼠和显示器的电脑，依然是电脑。
更像是缺了 摄像头，话筒 和 其他外部接口的Ai
正式回应一下，我们那些感官器官不只是像摄像头那样只有感知的作用，也具备不低的存储功能。实际比存储更高级，我们有肌肉记忆
哪个论文说肌肉记忆是感官干的？How Emotions Are Made，去读一读？
不好意思，应该是reflex，记录的是连着的神经系统。不过确实很难切断，神经系统是脑部脊椎一个大整体，然后延申出去的。 你不要那些器官的话，神经系统自然就萎缩了。
回到话题“什么组成意识”，因为这个要取决不同人定义的“意识完整性”的范畴 和 可以牺牲什么而不影响你能接受的意识完整性。而我对你的回复主要是 想表达“很多人/学者认为 这些感官系统都是不能砍的”，反对的观点当然也不少。
至于您提到的How Emotions Are Made, 我根据以下的summary看不出和我的观点有什么矛盾。假设summary大致吻合这本书的内容，它说大脑和感情的关系。 感情整体上是更高级的大脑功能，和我讨论的底层的架构到底哪些是必要的没多少直接关系啊。
何况，lesson 2还涉及感官对感受的影响，更加接近支持我的观点的论据。
#Conscious #Exist #Existential
意识，是信息处理系统输出的内容。对于人脑来说，如果意识最终不驱动动作或话语或其他信息向外输出的话，那么就相当于没有屏幕的电脑。
生成意识要有感官，将外部信号通过神经系统传递到大脑，由大脑神经元丛进行运算。电脑的键鼠是将外部信号输入进来的主要途径，网络是键鼠的另一个表征。
所以一个意识系统，核心就相当于没有键鼠和屏幕的电脑。
当然很多人认为没有键鼠和屏幕的电脑， 就不是电脑。
How Emotions Are Made，提到这本书，主要是说，感官并没有存储处理信息的能力，都是神经系统传递到大脑的，如果你再读读神经科学方面的论文，会发现，所谓的肌肉记忆，主要是海马体在干活。
嗯，很有道理。我搞混了 “复制一个能被识别出来的意识 最低需要的硬件” 和 “产生意识的硬件需求” 这两个问题
我是说英文熵低，所以同种模型英文一定会好于中文，也没说ChatGPT就没用，我自己也用。
是在说局限，说点个人看法，人类几乎所有的感知是建立在电磁相互作用力一级，所以电子计算机时代能够做到完全模拟，比如让机器看见听见闻到都可以，但最独特的一点是时间感知，感知之上是意识，我自己目前的结论是时间感知是意识的根源。这种AI像几岁没意义，几个月大的婴儿是不会说话，但比这些个AI不是一个维度，你怎么理解都行哲学的，神学的都行，我现在也证明不了。
请教一下“几乎”以外的是哪些基本作用力会如何影响人的感知呢。
所理解的时间是什么？
时间感知如何定义的呢
意识又是如何定义的。
物理世界会存在两个一模一样的意识吗？
猜测一下人的大脑会不会有一个主导意识和无数个协同意识（比如梦中主导意识会被关闭，协同意识会支离破碎般地出现），假如定义时间是一种不可逆的系统连续变化现象，主导意识会不会是通过消耗APT堆叠能量引起不可逆的生物化学连续变化过程的方式来定义时间（过去、现在和未来）的不同感知呢。
Ps：哲学在训练自然语言的思辨能力比较有用，自然科学出现之后，哲学只能作为文字的古董形式陈列在文字博物馆里了。
这种已经是以哲学方式讨论。
时间是基本物理量，除非物理对其进行剥离。
人类没有感知时间的器官，但意识可以感知时间的流逝。
如果是生化过程，那么理论上量子计算机可以模拟意识，电子计算机就是算力推至无限的话可以。
其它没法以语言讨论，可以自由发挥，网上讨论本就是语料拼凑式输出受众最多，也看起来最玄乎。
说到意识，无可避免会说到生命。
武断说，因为人的意识的无序和随机，复制大脑可以，复制意识不可能。
那么让机器模拟意识并最终具备意识可不可能？答案是可以模拟，但无法具备。就像机器最终很难演化成生命：
生命的奇妙处在于演化，是多性繁殖下的多样性，没有多样性前提，生命只能机械自我复制，而不是繁衍。只能有序进化，而不是无序演化。
同理反推：机器少了意识的随机，就是程序，不是意识。更不是生命。
唯一问题是，给机器一个随机bug算不算？
哈哈哈有点好玩这个话题，不很懂也勉强进来插个嘴
好吧，医学也被排除出科学队伍了