生成式AI的信息熵问题
生成式AI的信息熵问题 信息论里，信息熵衡量的是不确定性的消除程度。一个事件发生的概率越高，它携带的信息量就越少。当前的大语言模型，工作逻辑恰是：在给定上文后，预测下一个最“合理”、出现概率最高的词元。这个机制，天然倾向于选择数据分布中“最…
信息论
信息爆炸、推荐、私域与RSS
现在很多人大多数人获取资讯通过头条、抖音，包括很多主流媒体也越来越通过算法为个人推送定制化内容，俗称千人千面，但是这里面可能会存在3个问题： 想看的≠需要的≠对自己有益的 被动塑造（圈养） 信息主动检索能力降低，形成负反馈循环 平台的利益与…
信息的度量：信息熵的理解与应用
[LATEXPAGE] 什么是信息熵？ 信息是我们一直在谈论的东西，但信息这个概念本身依然比较抽象。在百度百科中的定义：信息，泛指人类社会传播的一切内容，指音讯、消息、通信系统传输和处理的对象。但信息可不可以被量化，怎样量化？答案当然是有的…
