llms.txt：给大语言模型的网站说明书
当 AI 代理和编码助手成为网站的新读者，一个只有几十行的 Markdown 文件，正在成为网站与 AI 之间的"标准对话入口"。 过去二十多年，网站只有一个核心读者——人类。为了取悦人类读者，网页被设计成包含导航菜单、侧边栏、弹窗、广告位…
LLM
MoE 混合专家模型全解析
[LATEXPAGE] 传统密集模型（Dense Model）在推理时需要激活全部参数，导致计算成本随模型规模线性增长。当一个模型拥有万亿参数，但每次推理只激活其中 5%——这不是天方夜谭，而是 Mixture of Experts 正在做…
1-bit LLM 为何意义重大
大型语言模型（LLM）普遍过于庞大，需要昂贵的硬件才能运行，普通用户既难以负担，也无法保护隐私。而 1-bit AI（三元模型）正在改变这一局面——它能让近年顶级水平的 AI 模型直接运行在你的手机上。 什么是1-bit LLM？ 传统 A…
大语言模型中的量化
在大语言模型（LLM）中，量化（Quantization） 是指将模型中的权重、激活值等数值从高精度浮点数（如 FP32、FP16、BF16）转换为低精度整数（如 INT8、INT4、INT2）的过程。简单说，就是用更少的比特数来表示原来的…
本地化部署大模型工具 llama.cpp
什么是 llama.cpp？ llama.cpp 是一个由 Georgi Gerganov 于 2023 年 3 月发起的开源项目，旨在用纯 C/C++ 实现 LLaMA 系列大语言模型的高效推理。最初它只是为了在 Mac 笔记本上运行 M…
模型的大小是否影响普及？
对大模型和小模型的初步认识 大模型：能力强，但成本高，普及受限 大模型确实有更强的能力，但问题在于： 训练成本极高，动辄千万甚至上亿美元； 推理成本高，每次调用都要大量算力； 延迟较高，不适合实时、端侧场景； 部署门槛高，普通企业很难私有化…
AI交互范式与多模型系统的思考
人机交互的“理想与现实”之困 随着大语言模型（LLM）能力的飞跃，我们一直致力于让AI成为“全能管家”。但在实际应用中，用户往往陷入一种矛盾： 一方面，希望以最自然、最省力的“许愿式”（如“帮我写个有科技感的方案”）与AI交互； 另一方面，…
大语言模型中使用的搜索引擎
在使用AI工具时，比如Deepseek会有只能搜索的选项，在启用智能搜索后，AI对话的流程会话存在较大的差异。 Deepseek的联网搜索 联网搜索的差异 DeepSeek的“联网搜索”功能，其启用与否会直接改变它回答问题的整个流程。简单来…
本地 LLM 模型应该怎么选？
数据截至 2026 年 8 月，综合 Hugging Face 模型卡、LMSYS Arena、Open LLM Leaderboard 及多家实测评测整理。 为什么考虑本地部署？ 三年前，"本地大模型"基本等于"质量打折"。这个前提在 2…
开源大模型应用开发平台Coze
Coze简介 Coze（中文名“扣子”）是字节跳动推出的一站式AI应用开发平台，旨在降低AI应用开发门槛，让用户无需编程经验即可快速创建、调试和部署各类AI智能体（如聊天机器人、自动化工具等）。以下将从平台定位、核心功能、应用场景、版本与发…
