ai:ai_overview
AI概述
生命周期
AI生命周期是一个从问题到落地再到持续优化的闭环过程。
- 问题定义:确认要使用AI解决的具体问题
- 明确业务目标(分类/预测/生成等)
- 确定评价指标(Accuracy、F1、AUC等)
- 数据收集和准备:数据采集、清洗、标注、增强
- 模型选择:模型选择通常需要综合考虑数据规模、数据类型、任务复杂度和计算资源
- 小规模、结构化数据通常优先选择传统机器学习方法,深度学习参数多,容易过拟合,数据少效果差
- 大规模、非结构化数据(如图像、文本、语音)更适合深度学习,在数据充足且问题复杂时,深度学习通常具有更强表达能力
- 实际应用中,两者常结合使用或通过实验对比选择最优方案
- 模型训练:计算密集型过程,模型会分析庞大的数据集,以学习其中的模式和关系,常见训练方法有梯度下降和反向传播
- 模型评估:评估模型是否能很好泛化到未见过的数据
- 模型部署:在实际生产环境中运行模型,比如边缘部署或者云端部署
- 模型监控:持续监控模型性能指标和用户反馈,及时发现精度下降(模型漂移)或者数据分布变化(数据漂移)等问题
- 持续迭代:重新训练 / 微调 / 更新模型
算法
AI算法可以从不同维度进行分类,常见包括:
- 按学习方式(Learning Paradigm)
- 按模型形式(Model/Architecture)
- 按任务或能力(Task/Capability)
按学习方式
监督学习
监督学习 (Supervised Learning)利用已标注的“输入-输出”数据进行训练,让模型学会映射规律,常用于预测和分类任务。
- 分类算法 (Classification):预测离散类别。
- 代表算法:逻辑回归、支持向量机 (SVM)、决策树、随机森林。
- 常见应用:垃圾邮件识别、疾病诊断。
- 回归算法 (Regression):预测连续的数值。
- 代表算法:线性回归、XGBoost、LightGBM。
- 常见应用:房价预测、股票价格趋势分析。
无监督学习
无监督学习 (Unsupervised Learning)处理未标注的数据,通过寻找数据内部的隐藏结构和特征来进行分析。
- 聚类算法 (Clustering),将相似的数据样本分到同一组。
- 代表算法:K-Means、DBSCAN。
- 常见应用:客户群体细分、图像分割。
- 降维 (Dimensionality Reduction),在保留核心信息的前提下简化数据集。
- 代表算法:主成分分析 (PCA)。
- 常见应用:数据压缩、特征提取。
自监督学习
自监督学习(Self-supervised Learning)是大模型(GPT、BERT)核心训练方式,核心思想是用数据预测数据,也就是自动构造标签。
- 常见应用:预测下一个词(LLM),掩码预测(BERT)
强化学习
强化学习 (Reinforcement Learning)算法通过与环境进行交互,不断试错,根据“奖励”或“惩罚”机制调整策略,以达到最大化长期收益的目标。
- 代表算法:Q-Learning、深度强化学习 (DQN)、PPO。
- 常见应用:AlphaGo下棋、机器人控制、自动驾驶。
按模型形式
深度学习
深度学习 (Deep Learning)基于人工神经网络架构,使用多层隐藏层处理海量数据,具备极强的特征提取能力,可以用于监督、无监督、强化学习等多种范式。
- 代表算法:卷积神经网络 (CNN)、循环神经网络 (RNN/LSTM)。
- 常见模型:CNN(图像)、RNN/LSTM(序列)、Transformer(当前主流)
- 常见应用:人脸识别、语音识别、机器翻译。
生成式AI
生成式AI (Generative AI)能够通过学习已有数据的分布特征,创造出全新的、原创的内容(如文本、图像、音频等)。
- 代表算法:Transformer架构、生成对抗网络 (GAN)、扩散模型 (Diffusion)。
- 常见模型:GAN、Diffusion、Transformer(LLM)
- 常见应用:大语言模型(如ChatGPT)、AI绘画(如Midjourney)。
硬件
AI 训练和推理是一个高度计算密集型的流程,需要专门的硬件和软件。
- 图形处理单元 (GPU)
- 张量处理单元 (TPU)
- 神经处理单元 (NPU)
- 现场可编程门阵列
- 专用集成电路
/app/www/public/data/pages/ai/ai_overview.txt · 最后更改: 由 xing
