AI概述

AI生命周期是一个从问题到落地再到持续优化的闭环过程。

1. 问题定义：确认要使用AI解决的具体问题
   1. 明确业务目标（分类/预测/生成等）
   2. 确定评价指标（Accuracy、F1、AUC等）
2. 数据收集和准备：数据采集、清洗、标注、增强
3. 模型选择：模型选择通常需要综合考虑数据规模、数据类型、任务复杂度和计算资源
   1. 小规模、结构化数据通常优先选择传统机器学习方法，深度学习参数多，容易过拟合，数据少效果差
   2. 大规模、非结构化数据（如图像、文本、语音）更适合深度学习，在数据充足且问题复杂时，深度学习通常具有更强表达能力
   3. 实际应用中，两者常结合使用或通过实验对比选择最优方案
4. 模型训练：计算密集型过程，模型会分析庞大的数据集，以学习其中的模式和关系，常见训练方法有梯度下降和反向传播
5. 模型评估：评估模型是否能很好泛化到未见过的数据
6. 模型部署：在实际生产环境中运行模型，比如边缘部署或者云端部署
7. 模型监控：持续监控模型性能指标和用户反馈，及时发现精度下降（模型漂移）或者数据分布变化（数据漂移）等问题
8. 持续迭代：重新训练 / 微调 / 更新模型

AI算法可以从不同维度进行分类，常见包括：

• 按学习方式（Learning Paradigm）
• 按模型形式（Model/Architecture）
• 按任务或能力（Task/Capability）

监督学习 (Supervised Learning)利用已标注的“输入-输出”数据进行训练，让模型学会映射规律，常用于预测和分类任务。

• 分类算法 (Classification)：预测离散类别。
  • 代表算法：逻辑回归、支持向量机 (SVM)、决策树、随机森林。
  • 常见应用：垃圾邮件识别、疾病诊断。
• 回归算法 (Regression)：预测连续的数值。
  • 代表算法：线性回归、XGBoost、LightGBM。
  • 常见应用：房价预测、股票价格趋势分析。

无监督学习 (Unsupervised Learning)处理未标注的数据，通过寻找数据内部的隐藏结构和特征来进行分析。

• 聚类算法 (Clustering)，将相似的数据样本分到同一组。
  • 代表算法：K-Means、DBSCAN。
  • 常见应用：客户群体细分、图像分割。
• 降维 (Dimensionality Reduction)，在保留核心信息的前提下简化数据集。
  • 代表算法：主成分分析 (PCA)。
  • 常见应用：数据压缩、特征提取。

自监督学习（Self-supervised Learning）是大模型（GPT、BERT）核心训练方式，核心思想是用数据预测数据，也就是自动构造标签。

• 常见应用：预测下一个词（LLM），掩码预测（BERT）

强化学习 (Reinforcement Learning)算法通过与环境进行交互，不断试错，根据“奖励”或“惩罚”机制调整策略，以达到最大化长期收益的目标。

• 代表算法：Q-Learning、深度强化学习 (DQN)、PPO。
• 常见应用：AlphaGo下棋、机器人控制、自动驾驶。

深度学习 (Deep Learning)基于人工神经网络架构，使用多层隐藏层处理海量数据，具备极强的特征提取能力，可以用于监督、无监督、强化学习等多种范式。

• 代表算法：卷积神经网络 (CNN)、循环神经网络 (RNN/LSTM)。
• 常见模型：CNN（图像）、RNN/LSTM（序列）、Transformer（当前主流）
• 常见应用：人脸识别、语音识别、机器翻译。

生成式AI (Generative AI)能够通过学习已有数据的分布特征，创造出全新的、原创的内容（如文本、图像、音频等）。

• 代表算法：Transformer架构、生成对抗网络 (GAN)、扩散模型 (Diffusion)。
• 常见模型：GAN、Diffusion、Transformer（LLM）
• 常见应用：大语言模型（如ChatGPT）、AI绘画（如Midjourney）。

AI 训练和推理是一个高度计算密集型的流程，需要专门的硬件和软件。

• 图形处理单元 (GPU)
• 张量处理单元 (TPU)
• 神经处理单元 (NPU)
• 现场可编程门阵列
• 专用集成电路