文本易读性指标

文本易读性指标是一系列用于量化评估一段文本阅读和理解难易程度的数学公式或算法。它们通过分析文本中的特定语言特征（如词长、句长等），并输出一个分数或等级，这个分数/等级通常对应于一个教育年级水平或“容易/困难”的描述。

这些指标的核心价值在于其客观性和可量化性，它们为作者、编辑、教育工作者和政策制定者提供了一个快速评估文本是否适合目标读者的工具。

核心原理与常见指标

绝大多数易读性公式都基于两个最核心的语言学假设：

• 句子越长，理解越困难。（衡量句法复杂度）
• 单词越长，或音节越多，理解越困难。（衡量词汇复杂度）

基于这两个核心，衍生出了许多著名的易读性公式。以下是几个最经典和常用的指标：

弗莱士易读性测试（Flesch Reading Ease (FRE)）

这是最著名、应用最广泛的易读性指标之一，由鲁道夫·弗莱士开发。它实际上包含两个密切相关的测试：

弗莱士易读度指数

• 公式: 206.835 – 1.015 * (总单词数 / 总句子数) – 84.6 * (总音节数 / 总单词数)
• 输出: 一个 0 到 100+ 的分数（通常分数在 0-100 之间）。分数越高，文本越容易阅读。

解读参考:

• 90-100: 非常容易（约11岁学生能理解）
• 80-89: 容易
• 70-79: 相当容易
• 60-69: 标准（约13-15岁学生能理解）
• 50-59: 相当难
• 30-49: 难（大学生水平）
• 0-29: 非常难（研究生水平）

弗莱士-金凯德年级水平

公式: 0.39 * (总单词数 / 总句子数) + 11.8 * (总音节数 / 总单词数) – 15.59

输出: 一个美国教育年级水平的数字。数值对应年级，例如，分数为 8.0 意味着文本适合美国八年级（约14岁）的学生阅读。

应用: 这个版本在美国军方和政府机构（如要求文件写作达到特定年级水平）中尤为流行。

SMOG指数

全称: Simple Measure of Gobbledygook（简单测量官样文章）

公式: 基于计算文本中多音节词（3个或以上音节） 的数量。

Grade = 1.0430 * sqrt(多音节词数量 * (30 / 总句子数)) + 3.1291

特点: SMOG 被公认为估算理解文本所需教育年限最准确的指标之一。它特别适用于评估医疗健康资料和教育材料。公式中的“30”表示通常取3个样本（每个样本10句），共30句进行计算。

Gunning Fog指数

公式: 0.4 * [ (总单词数 / 总句子数) + 100 * (复杂词数量 / 总单词数) ]

“复杂词” 被定义为所有超过两个音节的单词（但排除常见后缀如 -ing, -ed 的动词和 capitalized 单词）。

输出: 同样是一个美国教育年级水平的数字。

特点: 这个公式旨在警示写作中存在的“ fog ”（迷雾，即难以理解的成分）。它特别关注“复杂词”的比例。

自动化易读性指数（Automated Readability Index (ARI)）

公式: 4.71 * (字符数 / 单词数) + 0.5 * (单词数 / 句子数) – 21.43

输出: 一个美国教育年级水平的数字。

特点: ARI 使用字符数而不是音节数来衡量词汇复杂度，这使得它更易于在计算机上实现（因为计算字符数比自动识别音节更简单）。

Coleman-Liau指数

公式: 5.88 * (字符数 / 单词数) – 29.6 * (句子数 / 单词数) – 15.8

输出: 一个美国教育年级水平的数字。

特点: 与ARI类似，Coleman-Liau指数也基于字符数和句子数，而不是音节数。它被认为是更偏向于“闭式计算”的公式，非常适合编程实现。

中文可读性指标

中文文本的易读性评估确实需要一些不同于英文的考量维度。虽然平均句子长度和词汇难度这类基础因素仍然重要，但中文自身的特点（如汉字字形、词间无空格、虚词运用等）使得其评估指标和公式有其独特性。

以下是几个适合评估中文文本可读性的指标和维度：

常见的中文易读性公式

一些研究尝试将多个指标整合成综合公式，以量化中文文本的易读性：

• Fog 指数中文修正公式：参考英文Gunning Fog指数的思路，结合中文特点，采用平均句子长度、转折连词密度、次常用字密度（或生僻字密度）等因素，通过标准化后相加来评估文本易读性。数值越高，通常表示阅读难度越大。
• 多元线性回归公式：研究者们（如徐巍等）通过分析大量语料和读者理解度测试，建立多元线性回归模型。这些模型可能综合考虑平均句长、副词和连词比例、词汇难度等多个变量来预测文本难度等级。例如：阅读难度分数 = (平均句长 * 副词连词比例) * 0.5
• 面向特定群体的公式：例如对外汉语教学领域，会额外考虑学习者母语背景、HSK等级等因素，公式的变量和权重会相应调整。

CH-Readability

CH-Readability 是一款专注于 K12 教育领域的中文文本可读性评估与分级工具。它旨在帮助教育工作者和学生快速判断文本的阅读难度，从而选择合适的阅读材料。

核心功能与评估指标

CH-Readability 通过分析中文文本的多个语言特征来评估其易读性，主要指标包括：

• 常用字比例：分析文本中高频汉字的出现比例。常用字比例越高，文本通常越容易阅读。
• 句子长度与文章长度：计算平均句子长度（通常以字符数衡量）和文章总长度。较短的句子和文章通常更容易理解。
• 生字数量计算：统计文本中超出各年级课程标准的汉字数量，并且避免对同一生字的重复计算，以更精准地评估学生可能遇到的词汇障碍。

主要应用场景

CH-Readability 主要服务于 K12 教育（即从幼儿园到高中十二年级的教育阶段）

• 教师：可以快速评估教材、课外读物的难度，从而根据学生的阅读能力推荐合适的材料，实现差异化教学。
• 教育内容开发者：在编写教材或辅助读物时，可使用该工具确保内容难度与目标读者的认知水平相匹配。

AlphaReadabilityChinese (ARC)

ARC 是一个现代、先进的中文文本可读性评估模型。与许多依赖传统统计公式的工具（如基于句长和词长的公式）不同，ARC 的核心特点是利用机器学习（尤其是深度学习）技术来更全面、更准确地评估中文文本的阅读难度。AlphaReadabilityChinese (ARC) 代表了中文可读性评估领域的新一代发展方向。它从基于规则的统计方法，迈向了基于数据驱动的智能学习方法，能够对文本难度进行更细腻、更全面、更人性化的评估，是教育工作者、编辑和内容创作者的强大现代化工具。

核心理念与特点

• 人工智能驱动：ARC 不再仅仅依赖于“平均句长”、“生字比例”等几个孤立的统计特征。它通过神经网络模型，能够自动学习和捕捉大量隐藏在文本中的深层语言特征，这些特征可能包括：
  • 句法复杂度（句子结构的复杂程度）
  • 语义难度（词汇和概念的整体抽象程度）
  • 逻辑连贯性
  • 语境信息
• 多维度综合评估：ARC 的输出不仅仅是一个单一的分数或年级，而是提供一套综合的评估指标，从不同角度描述文本难度。通常包括：
  • 整体可读性分数：一个综合性的难度评分。
  • 词汇难度：评估文本中用词的难易程度。
  • 句子难度：评估句子结构的复杂性。
  • 篇章难度：评估段落组织和整体逻辑的复杂度。
• 大规模语料训练：该模型是在大规模、经过人工标注的文本语料库上训练而成的。这意味着它的判断标准是基于人类对大量文本难度的真实判断，而非人为设定的数学公式，理论上更接近人类的感知。
• 更适用于现代文本：由于基于机器学习，ARC 对于网络语言、新兴词汇和现代文体的适应能力理论上强于传统公式。

主要评估维度

ARC 的评估体系通常涵盖以下几个关键维度，这也是其分析报告的核心内容：

输出结果与应用

ARC 通常会生成一份详细的可读性分析报告，可能包含：

• 综合可读性得分：例如一个 0-100 的分数，或直接对应到一个建议的学段/年级（如“适合初中二年级”）。
• 各维度得分：以雷达图或分数形式展示词汇、句法、篇章等各维度的具体表现。
• 具体问题标注：类似 Hemingway Editor，它可能会高亮标记出文中的长难句、生僻词、逻辑不清的地方等，并提供修改建议。
• 文本对比：可以比较两篇文本的难度差异。

应用场景：

• 教育领域：教师为不同年级的学生筛选和改编阅读材料；评估教材和试卷的难度是否适中。
• 内容创作与媒体：编辑和作者用于优化新闻、公众号文章、儿童读物等，使其更符合目标读者的阅读水平。
• 自然语言处理 (NLP)：作为上游工具，为文本摘要、简化、分级阅读推荐系统提供关键的难度特征。

优势与局限性

优势：

• 准确性高：综合考虑了更多语言因素，评估结果比传统公式更接近人类的真实感受。
• 解释性强：提供多维度报告和具体问题标注，不仅告诉你“有多难”，还告诉你“为什么难”，指导如何修改。
• 自适应性强：机器学习模型可以随着新语料的加入而不断迭代优化。

局限性：

• 模型依赖性强：其性能高度依赖于训练数据的质量和数量。如果训练数据有偏差，评估结果也可能出现偏差。
• 计算资源需求：相比传统公式，需要更多的计算资源，通常以在线API或软件的形式提供，而非本地简单计算。
• “黑箱”问题：深度学习模型的决策过程有时不够透明，难以像数学公式那样被完全解释。

我理想中的可读性指标

针对英文：

• 词汇难度（词频）：这里的词频需要针对的是国内的英文预料数据，这部分获取难度比较高，类似小学、初中、高中、大学的英语课本试卷等数据集。
• 句法难度：与句子难度和句法规则是否场景进行评估。

针对中文：

• 子的难度：字的频率，生僻字的识别。
• 词汇难度：单纯用词频也会存在问题，比如网络新词，需要特殊处理。
• 句法难度：核心识别出是古文还是白话文，如果是白话文句法难度可忽略。

针对古文阅读难度衡量思考

核心评估维度

• 文字层面
  • 生僻字与异体字密度：文本中出现的非常用汉字（生僻字）或字的另一种写法（异体字）的比例。比例越高，难度越大。
  • 通假字频率：古文中常用发音相同或相近的字来代替另一个字（如“蚤”通“早”）。通假字越多，对读者古文知识的要求就越高。
• 词汇层面
  • 实词难度：
    • 古今异义词：如“妻子”（古义：妻子和子女；今义：配偶）、“走”（古义：跑；今义：行走）。这类词越多，误解风险越大。
    • 多义词的语境义：一个词有多种含义，需要根据上下文准确判断。
  • 虚词用法复杂度：之、乎、者、也、而、以、于等虚词的功能极其丰富（如取消句子独立性、宾语前置标志、语气助词等），其用法和含义的判别是古文阅读的核心难点之一。
  • 典故与名物词密度：文本中引用历史故事、经典（用典）或古代特有器物、官制、礼仪（名物词）的数量。例如，读《滕王阁序》需要大量典故知识。
• 句法层面
  • 特殊句式频率：判断文中是否包含及包含了多少古文特有句式，这些是最大的句法障碍。
    • 判断句：“……者，……也”。
    • 被动句：如“为……所……”结构。
    • 省略句：主谓宾成分的大量省略，需要读者补充。
    • 倒装句：宾语前置、状语后置、定语后置等。
  • 句子长度与结构复杂度：虽然古文整体简练，但一些说理文（如《过秦论》）也会有结构复杂的长句。
• 篇章与语义层面
• 逻辑连贯性：古文常省略连接词，逻辑关系隐含在上下文中，对读者的推理能力要求高。
• 文体与时代：不同文体和时代的古文难度差异巨大。
• 相对易懂：明清小说、笔记（如《聊斋志异》），接近古白话。
• 难度中等：唐宋八大家的散文、史传文（如《史记》）。
• 难度极高：先秦诸子散文（如《庄子》）、骈文（讲究对仗用典，如《文心雕龙》）、辞赋（如《离骚》）。
• 背景知识层面
  • 历史与文化背景：理解古文几乎永远需要背景知识。例如，读《出师表》需知三国历史，读《阿房宫赋》需知秦朝兴衰。
  • 哲学思想：阅读诸子百家的文章，需要了解其核心思想（如孔子的“仁”、老子的“道”）。

可行的评估方法

定性评估（专家或教师经验）

这是目前最主流的方法。有经验的教师或研究者通过上述维度进行综合判断，将文本归入大致等级：

• 入门级：浅显的寓言、故事，如《刻舟求剑》、《夸父逐日》。
• 中级：唐宋散文、史传文选段，如《陋室铭》、《曹刿论战》。
• 高级：先秦哲理散文、汉赋、骈文，如《逍遥游》、《五蠹》。

定量评估（可计算的指标）

虽然不如现代文易读性公式成熟，但可以尝试构建一些量化指标：

• 字频指标：计算文本中汉字相对于《古文观止》等核心语料库的平均字频或生僻字占比。
• 句法复杂度指标：
  • 特殊句式密度：统计每百字中出现的倒装、省略等句式数量。
  • 虚词密度与多样性：统计高频虚词（之、乎、者、也等）的出现频率和种类。
• 典故密度：统计文本中明确典故的数量（需要先构建典故库）。
• 词汇难度指标：建立“古文常用词词表”（如按《古代汉语》教材词汇等级），计算超纲词的比例。

技术驱动的方法（NLP与机器学习）

这是未来的方向，但挑战巨大，因为缺乏大规模、标注好的古文难度语料库。

• 构建标注语料库：邀请专家为大量古文文本标注难度等级（如初、中、高）。
• 特征工程：从文本中提取上述定量指标作为特征。
• 训练模型：使用机器学习模型（如分类器）学习这些特征与难度等级之间的关系，从而预测新文本的难度。
• 深度学习：利用BERT等预训练模型，在海量古文上预训练（如“古文BERT”），再微调进行难度分类任务，让模型自动捕捉深层的语言难度特征。

参考链接：

• cdimascio/py-readability-metrics: 📗 Score text readability using a number of formulas: Flesch-Kincaid Grade Level, Gunning Fog, ARI, Dale Chall, SMOG, and more (github.com)
• leileibama/AlphaReadabilityChinese: AlphaReadabilityChinese is a tool that calculates the readability of Chinese texts, which includes indices at lexical, syntactic, and semantic levels. (github.com)
• textstat/textstat: :memo: python package to calculate readability statistics of a text object – paragraphs, sentences, articles. (github.com)