语言学在 Python 文本分析中的应用
语言学的层次结构与 NLP Pipeline 语言学的五大分支 语言学研究自然语言的不同层面，形成了以下层次结构： 分支 研究对象 核心问题 Python NLP 对应 形态学 (Morphology) 词的内部结构 语素如何组合成词 分词…
自然语言处理
自然语言与Python文本分析
在你打开 Jupyter Notebook 写下第一行 import nltk 之前，有一件更基础的事情值得停下来想一想：你让计算机分析的那个"文本"，到底是什么？它从哪里来？它承载了什么？它又是如何被理解的？这篇文章不是编程教程，而是一张…
纯 Python 从零实现 GPT
本文基于 Andrej Karpathy 的 microgpt 博客和 Gist 代码 编写。microgpt 是一个 200 行、零依赖的纯 Python 文件，完整包含了训练和运行 GPT 所需的全部算法。 如果你用过 ChatGPT，…
1-bit LLM 为何意义重大
大型语言模型（LLM）普遍过于庞大，需要昂贵的硬件才能运行，普通用户既难以负担，也无法保护隐私。而 1-bit AI（三元模型）正在改变这一局面——它能让近年顶级水平的 AI 模型直接运行在你的手机上。 什么是1-bit LLM？ 传统 A…
大语言模型中的量化
在大语言模型（LLM）中，量化（Quantization） 是指将模型中的权重、激活值等数值从高精度浮点数（如 FP32、FP16、BF16）转换为低精度整数（如 INT8、INT4、INT2）的过程。简单说，就是用更少的比特数来表示原来的…
自然语言处理之情感分析
情感分析的定义与核心地位 情感分析（Sentiment Analysis），亦称为意见挖掘或倾向性分析，是人工智能领域中计算语言学的分支，属于自然语言处理（NLP）的核心内容。其核心定义为：通过自动化技术判定文本中观点持有者对特定话题的情感…
NLP技术分析之均值池化
[LATEXPAGE] 均值池化简介 均值池化（Mean Pooling） 是自然语言处理（NLP）中常用的一种技术，用于将一组词向量（如一个句子中所有词的向量）压缩成一个固定长度的句子向量。它的核心思想是通过简单的数学平均操作，将分散的词…
LightGBM的模型保存
平时在使用LightGMB，需要保存训练好的模型。以下是梳理的几种方式： 使用LightGBM 自带的save_model 方法 import lightgbm as lgb # 假设已经训练好的模型是 model model = lgb.…
自然语言处理之Subword子词算法
[LATEXPAGE] 背景与基础 目前的机器学习模型都是数学模型，其对应的输入要求必须是数字形式（number）的，而我们处理的真实场景往往会包含许多非数字形式的输入（有时候即使原始输入是数字形式，我们也需要转换），最典型的就是 NLP …
自然语言处理之GPT
[LATEXPAGE] ChatGPT与GPT ChatGPT，全称聊天生成预训练转换器（英语：Chat Generative Pre-trainedTransformer），是OpenAI开发的人工智能聊天机器人程序，于2022年11月推…
