生成式AI的信息熵问题
生成式AI的信息熵问题 信息论里,信息熵衡量的是不确定性的消除程度。一个事件发生的概率越高,它携带的信息量就越少。当前的大语言模型,工作逻辑恰是:在给定上文后,预测下一个最“合理”、出现概率最高的词元。这个机制,天然倾向于选择数据分布中“最…
生成式AI的信息熵问题 信息论里,信息熵衡量的是不确定性的消除程度。一个事件发生的概率越高,它携带的信息量就越少。当前的大语言模型,工作逻辑恰是:在给定上文后,预测下一个最“合理”、出现概率最高的词元。这个机制,天然倾向于选择数据分布中“最…
我的博客主题原先就是参考Medium.com进行搭建的,但是参考的是上一版Medium.com的样式。Medium.com已经改版很久,本周抽了些时间,尝试使用Workbuddy重新制作一份。 初版样式: 最终效果: 开发工具:Workbu…
很久没有更新博客,原因是能够分享的内容越来越少。在 AI 能瞬间生成代码、自动总结文档的今天,“技术博客还有没有必要写”成了很多人的困惑。答案不是简单的“写”或“不写”,而是一次深刻的价值重心转移。AI时代谁还看博客!?或许是一个无法反驳的…
人机交互的“理想与现实”之困 随着大语言模型(LLM)能力的飞跃,我们一直致力于让AI成为“全能管家”。但在实际应用中,用户往往陷入一种矛盾: 一方面,希望以最自然、最省力的“许愿式”(如“帮我写个有科技感的方案”)与AI交互; 另一方面,…
Google NotebookLM简介 Google NotebookLM,前身为Project Tailwind,是Google实验室推出的一款革命性的AI驱动知识探索平台。它并非一个简单的笔记应用,而是一个个性化的AI协作者或研究助手,…
什么是Vibe Coding? Vibe Coding(氛围编程 / "AI 手搓")是 2025 年 2 月由 OpenAI 联合创始人、前特斯拉 AI 负责人 Andrej Karpathy 在 X 上提出的概念,原话是: "有一种新编…
OpenClaw的安装方案 方案一:再Windows中直接安装 在Windows上直接原生安装OpenClaw,最大的优势是入门门槛极低,能让你快速体验。但它的缺点非常突出,官方文档明确指出,原生Windows环境不是一个稳定、完整的生产级…
在人工智能技术飞速发展的今天,大模型已展现出令人惊叹的文本生成与逻辑推理能力。然而,一个根本性瓶颈长期存在:这些模型如同被禁锢在训练数据构成的“信息茧房”中,对实时变化的外部世界“一无所知”。它们能谈论天气,却无法查询此刻的天气预报;能分析…
曾几何时,代码补全只是敲下几个字符的提示。然而,自GitHub Copilot问世以来,AI在软件开发中的角色发生了根本性转变。今天,在2026年,讨论“是否使用AI编程”已无意义,核心议题已转变为 “如何选择最适合自己范式的AI编程伙伴”…