人工智能

AI大模型领域各种概念汇总

By

大模型AI行业概念缩写整理，涵盖了从早期基础、关键技术突破到最新应用范式的演进。

一、 基石：基础模型与架构

这些是支撑整个大模型时代的核心技术和架构思想。

  1. Transformer
    • 全写：关键论文标题 《Attention Is All You Need》 中提出的架构名。
    • 意义：2017年由Google提出的革命性神经网络架构。其核心自注意力机制能并行处理序列数据，并高效建模长距离依赖关系，一举取代了RNN和LSTM，成为所有现代大模型的基础骨架。GPT和BERT都是其变体。
  2. GPT-n
    • 全写：Generative Pre-trained Transformer （生成式预训练Transformer）。
    • 意义：由OpenAI提出的自回归语言模型系列。通过“预测下一个词”的方式在海量文本上预训练，再通过指令微调（IFT）和RLHF对齐人类意图。其演化（GPT-1/2/3/3.5/4）定义了生成式AI的发展路径。
  3. BERT
    • 全写：Bidirectional Encoder Representations from Transformers （双向编码器表征）。
    • 意义：2018年由Google提出的双向预训练模型。通过“掩码语言模型”任务理解上下文，在各类NLP分类和理解任务上曾取得统治性表现，代表了判别式/理解式模型的巅峰。
  4. LLM
    • 全写：Large Language Model （大语言模型）。
    • 意义：对参数规模巨大（通常百亿级以上）、在海量数据上训练的通用语言模型的统称。是当前AI浪潮的核心载体。
  5. MoE
    • 全写：Mixture of Experts （混合专家模型）。
    • 意义：一种模型架构设计。将大模型划分为多个“专家”子网络，每次推理仅激活部分专家。旨在以远低于稠密模型的计算成本，换取接近或超越其的性能，是扩展模型规模的关键路径之一（如：Mixtral 8x7B， GPT-4 传闻采用此架构）。
  6. MLLM / LMM
    • 全写：Multimodal Large Language Model / Large Multimodal Model （多模态大模型）。
    • 意义：能理解和生成多种模态信息（文本、图像、音频、视频）的模型。标志着AI从“文本理解”走向“世界理解”，如GPT-4V、Gemini。

二、 引擎：训练与对齐方法

如何让大模型变得更强大、更安全、更可控。

  1. NSP
    • 全写：Next Sentence Prediction （下一句预测）。
    • 意义：BERT预训练任务之一，让模型判断两个句子是否为上下文关系，以学习句子间逻辑。
  2. MLM
    • 全写：Masked Language Modeling （掩码语言模型）。
    • 意义：BERT的核心预训练任务。随机掩盖输入文本中的部分词语，让模型预测被掩盖的词，从而学习双向上下文表征。
  3. SFT
    • 全写：Supervised Fine-Tuning （监督微调）。
    • 意义：使用高质量的指令-回答配对数据，对预训练模型进行微调，使其能够遵循指令、适应特定任务或风格。
  4. IFT
    • 全写：Instruction Fine-Tuning （指令微调）。
    • 意义：SFT的一种，特指使用涵盖广泛任务的指令数据对模型进行微调，以激发模型的泛化能力和零样本/小样本学习能力。
  5. RLHF
    • 全写：Reinforcement Learning from Human Feedback （基于人类反馈的强化学习）。
    • 意义：让模型对齐人类偏好的关键三步流程：
      1. SFT得到一个基础模型。
      2. 训练一个奖励模型（RM） 来评分模型输出。
      3. 用强化学习（如PPO）根据RM的反馈优化模型。使模型输出更有用、真实、无害。ChatGPT的成功关键。
  6. DPO
    • 全写：Direct Preference Optimization （直接偏好优化）。
    • 意义：一种更简单、稳定的RLHF替代方案。它绕过了训练奖励模型和复杂的强化学习步骤，直接利用偏好数据（哪个回答更好）来优化模型，在数学上与特定条件下的RLHF等价，但更易实施。

三、 延伸：能力增强与部署范式

如何突破模型局限，并将其应用于实际场景。

  1. RAG
    • 全写：Retrieval-Augmented Generation （检索增强生成）。
    • 意义：解决大模型知识过时和幻觉问题的核心范式。在生成答案前，先从外部知识库（如向量数据库）检索相关文档片段，并将其作为上下文提供给模型，从而生成有据可依、实时性强的回答。
  2. CoT
    • 全写：Chain-of-Thought （思维链）。
    • 意义：一种提示工程技术。要求模型在给出最终答案前，先展示其逐步推理的过程（“让我们一步步思考…”）。能显著提升模型在复杂推理、数学、符号操作等任务上的表现。
  3. ToT
    • 全写：Tree of Thoughts （思维树）。
    • 意义：CoT的进阶。让模型对一个问题生成多条可能的推理路径（分支），并对这些中间步骤进行评估和搜索，最终选择最优路径。模拟了人类的“深思熟虑”过程。
  4. Agents / AI Agents
    • 全写：AI智能体。
    • 意义：以大模型为“大脑”的自主系统。具备感知-规划-执行-反思的能力循环，可以自主调用工具（搜索、代码执行、API）、制定计划并完成复杂任务（如：AutoGPT， GPTs）。
  5. MCP
    • 全写：Model Context Protocol （模型上下文协议）。
    • 意义：由Anthropic推出的开源标准，旨在为LLM提供一个安全、标准化的连接外部数据、工具和系统的“接口”。目标是让任何模型都能通过统一协议与任何资源对话，构建开放的AI应用生态。
  6. LLMOps
    • 全写：Large Language Model Operations （大语言模型运维）。
    • 意义：涵盖大模型开发、部署、监控、迭代、治理的全生命周期管理实践。是传统MLOps在大模型时代的扩展与演进，关注提示工程、向量数据库、幻觉检测等新挑战。

四、 前沿与愿景

探索大模型的边界与未来方向。

  1. AGI
    • 全写：Artificial General Intelligence （通用人工智能）。
    • 意义：具备人类水平（或超越人类）的认知能力，能够学习、理解并执行任何智力任务的AI系统。是许多AI研究的终极目标，目前尚未实现，但大模型被认为是其重要基石。
  2. Superalignment
    • 全写：超对齐。
    • 意义：由OpenAI等机构提出的研究方向，旨在解决未来远超人类水平的超级智能（ASI） 与人类价值观和利益的对齐问题。核心挑战是：如何用人类水平的智能，去指导和约束一个远超人类智能的系统。
  3. Multimodal Agent
    • 全写：多模态智能体。
    • 意义：能理解和处理多模态信息（如看屏幕、听指令、操控鼠标键盘）的AI智能体。被认为是实现自动化复杂工作流（如操作软件、分析报告）的关键，例如Devin（AI程序员）。
  4. Embodied AI
    • 全写：具身人工智能。
    • 意义：指拥有物理“身体”（机器人、机械臂等），并能通过与真实物理世界交互来学习、执行任务的AI。将大模型的规划与理解能力与机器人控制结合，是AI落地现实世界的高级形态。

这份清单勾勒了大模型行业从基础架构（Transformer） -> 核心模型（GPT/BERT） -> 能力塑造（RLHF/CoT） -> 应用范式（RAG/Agents） -> 未来愿景（AGI/Embodied AI） 的技术发展脉络。

Loading

This article was written by 冰辉