问道录

人生到处知何似 应似飞鸿踏雪泥

用户工具

站点工具


ai:ai_overview

AI概述

生命周期

AI生命周期是一个从问题到落地再到持续优化的闭环过程。

  1. 问题定义:确认要使用AI解决的具体问题
    1. 明确业务目标(分类/预测/生成等)
    2. 确定评价指标(Accuracy、F1、AUC等)
  2. 数据收集和准备:数据采集、清洗、标注、增强
  3. 模型选择:模型选择通常需要综合考虑数据规模、数据类型、任务复杂度和计算资源
    1. 小规模、结构化数据通常优先选择传统机器学习方法,深度学习参数多,容易过拟合,数据少效果差
    2. 大规模、非结构化数据(如图像、文本、语音)更适合深度学习,在数据充足且问题复杂时,深度学习通常具有更强表达能力
    3. 实际应用中,两者常结合使用或通过实验对比选择最优方案
  4. 模型训练:计算密集型过程,模型会分析庞大的数据集,以学习其中的模式和关系,常见训练方法有梯度下降和反向传播
  5. 模型评估:评估模型是否能很好泛化到未见过的数据
  6. 模型部署:在实际生产环境中运行模型,比如边缘部署或者云端部署
  7. 模型监控:持续监控模型性能指标和用户反馈,及时发现精度下降(模型漂移)或者数据分布变化(数据漂移)等问题
  8. 持续迭代:重新训练 / 微调 / 更新模型

算法

AI算法可以从不同维度进行分类,常见包括:

  • 按学习方式(Learning Paradigm)
  • 按模型形式(Model/Architecture)
  • 按任务或能力(Task/Capability)

按学习方式

监督学习

监督学习 (Supervised Learning)利用已标注的“输入-输出”数据进行训练,让模型学会映射规律,常用于预测和分类任务。

  • 分类算法 (Classification):预测离散类别。
    • 代表算法:逻辑回归、支持向量机 (SVM)、决策树、随机森林。
    • 常见应用:垃圾邮件识别、疾病诊断。
  • 回归算法 (Regression):预测连续的数值。
    • 代表算法:线性回归、XGBoost、LightGBM。
    • 常见应用:房价预测、股票价格趋势分析。

无监督学习

无监督学习 (Unsupervised Learning)处理未标注的数据,通过寻找数据内部的隐藏结构和特征来进行分析。

  • 聚类算法 (Clustering),将相似的数据样本分到同一组。
    • 代表算法:K-Means、DBSCAN。
    • 常见应用:客户群体细分、图像分割。
  • 降维 (Dimensionality Reduction),在保留核心信息的前提下简化数据集。
    • 代表算法:主成分分析 (PCA)。
    • 常见应用:数据压缩、特征提取。

自监督学习

自监督学习(Self-supervised Learning)是大模型(GPT、BERT)核心训练方式,核心思想是用数据预测数据,也就是自动构造标签。

  • 常见应用:预测下一个词(LLM),掩码预测(BERT)

强化学习

强化学习 (Reinforcement Learning)算法通过与环境进行交互,不断试错,根据“奖励”或“惩罚”机制调整策略,以达到最大化长期收益的目标。

  • 代表算法:Q-Learning、深度强化学习 (DQN)、PPO。
  • 常见应用:AlphaGo下棋、机器人控制、自动驾驶。

按模型形式

深度学习

深度学习 (Deep Learning)基于人工神经网络架构,使用多层隐藏层处理海量数据,具备极强的特征提取能力,可以用于监督、无监督、强化学习等多种范式。

  • 代表算法:卷积神经网络 (CNN)、循环神经网络 (RNN/LSTM)。
  • 常见模型:CNN(图像)、RNN/LSTM(序列)、Transformer(当前主流)
  • 常见应用:人脸识别、语音识别、机器翻译。

生成式AI

生成式AI (Generative AI)能够通过学习已有数据的分布特征,创造出全新的、原创的内容(如文本、图像、音频等)。

  • 代表算法:Transformer架构、生成对抗网络 (GAN)、扩散模型 (Diffusion)。
  • 常见模型:GAN、Diffusion、Transformer(LLM)
  • 常见应用:大语言模型(如ChatGPT)、AI绘画(如Midjourney)。

硬件

AI 训练和推理是一个高度计算密集型的流程,需要专门的硬件和软件。

  • 图形处理单元 (GPU)
  • 张量处理单元 (TPU)
  • 神经处理单元 (NPU)
  • 现场可编程门阵列
  • 专用集成电路
/app/www/public/data/pages/ai/ai_overview.txt · 最后更改: xing