NLP(自然语言处理)
自然语言处理(Natural Language Processing)的缩写,研究计算机如何理解、生成和处理人类语言的AI子领域。涵盖文本分类、机器翻译、问答、摘要、对话等任务,是大语言模型的核心应用领域。
NLP(自然语言处理)
一句话理解
NLP 是 AI 的一个子领域,研究如何让计算机理解和生成人类语言。
核心任务
技术演进
NLP 的发展可以粗略分为四个阶段:
- 规则阶段(~2000s):手写语法规则和词典,人工定义特征
- 统计学习阶段(2000s-2013):用机器学习模型(SVM、CRF 等)从数据中学习,但仍需手工设计特征
- 深度学习阶段(2013-2017):RNN/LSTM/CNN 自动学习特征表示,端到端训练
- 大模型阶段(2017-至今):Transformer 架构统一了 NLP 各个任务,预训练+微调成为主流范式,GPT/BERT 开启了 LLM 时代
与 LLM 的关系
大语言模型(LLM)本质上是 NLP 技术的集大成者——一个模型通过大规模预训练,可以同时处理上述几乎所有 NLP 任务,不再需要为每个任务单独训练模型。