--- layout: single title: "生成式AI" date: 2024-03-10 08:00:00 +0800 categories: [AI 与大模型, 编程开发] tags: [DeepLearningAI, GenerativeAI] --- ## 机器学习的方法 ### 监督学习（Supervised Learning） 监督学习使用带有标签的训练数据来训练模型。这些标签是预先定义的输出，模型通过学习输入数据与这些输出之间的关系来进行预测。监督学习的任务通常分为两类：分类（预测离散的标签）和回归（预测连续的数值）。常见的监督学习算法包括决策树、逻辑回归、支持向量机（SVM）、神经网络等。监督学习广泛应用于图像识别、语音识别、医疗诊断等领域。 ### 无监督学习（Unsupervised Learning） 无监督学习不依赖于标签数据，而是试图在没有明确指导的情况下发现数据中的结构和模式。它的主要任务包括聚类（将数据分组到不同的簇中）和降维（减少数据的复杂性，同时保留其主要特征）。无监督学习常用于市场细分、社交网络分析、异常检测等场景。算法示例包括K-means聚类、主成分分析（PCA）等。 ### 自监督学习（Self-Supervised Learning） 自监督学习是一种无监督学习的形式，它通过从数据本身生成伪标签来创建监督信号。这种方法通常涉及到设计任务，使得模型能够从数据中学习有用的特征表示，而不需要人工标注。自监督学习在计算机视觉和自然语言处理中尤其流行，例如，通过预测图像的旋转角度或文本的下一个字来训练模型。这种方法有助于减少对大量标注数据的依赖，同时为下游任务提供预训练的模型。 ### 生成式AI（Generative AI） 生成式AI的目标是创建能够生成新数据样本的模型，这些样本在统计上与训练数据相似。这类模型通常基于概率分布，试图学习数据的潜在表示。生成式对抗网络（GANs）和变分自编码器（VAEs）是生成式AI中的两个典型例子。生成式AI在艺术创作、游戏开发、数据增强等领域有着广泛的应用。 ### 强化学习（Reinforcement Learning） 强化学习是一种让智能体通过与环境的交互来学习的方法。智能体在环境中执行动作，并根据其动作的结果获得奖励或惩罚。强化学习的目标是学习一种策略，以最大化累积奖励。这种方法在游戏、机器人控制、推荐系统等领域有着广泛的应用。强化学习的一个关键挑战是设计合适的奖励函数，以及处理可能的探索与利用的权衡。 ## LLM 的缺点 - 知识截止时间 - 幻觉 - 上下文限制 ## LLM 是推理引擎（Reasoning Engine） - 理解上下文 - 逻辑推理 - 知识融合 ## 微调（Fine-tuning） - 任务定制 - 特定风格（写作、语气、业务需求） - 任务难以在提示中定义 - 人物或角色 - 领域知识 - 专业术语 - 行业规范 - 专业技能 - 数据集只需求几百个样本 ## 预训练（Pre-training） - 大规模数据集 - 通用模型 - GPT-3 - Llama - 特定领域模型 - BloombergGPT：金融大模型 - DeepSeek-Coder：编程大模型 ## 选择模型 ### 参数大小 - 1B - 10B - 100B ### 开源 vs 闭源 - 开源 - 完全掌控 - 隐私保护 - 数据访问控制 - 边端运行 - 社区支持 - 闭源 - 云 API - 易用 - 功能强大 - 成本低 - 安全性低 ## LLM 如何遵循指令 - SFT (Supervised Fine-tuning) - 微调以遵循指令并回答问题 - RLHF (Reinforcement Learning from Human Feedback) - 人类反馈中进行强化学习，训练生成更好的回答 ## 代理（Agent） - 规划、行动 - 使用工具 ## 任务分析 每个角色的工作一般由多个任务组成，需要先分解任务，然后对每个任务进行生成式人工智能潜力分析。 人工智能赋能任务的方式 - 增强 - 自动化 要完成使用人工智能来增强或自动化任务，需要考虑的主要因素： - 技术可行性 - 业务价值 - 成本节省 -> 收入增长 - 改造工作流程 ## 团队 - 软件工程师 - 负责产品的研发 - 提示工程 - 机器学习工程师 - 负责 AI 系统的研发 - 提示工程、微调、RAG - 产品经理 - 负责产品 - 提示工程师 - 很少有专门设置这个岗位 - 数据工程师 - 负责数据的处理 - 负责数据的质量 - 负责数据的安全 - 数据科学家 - 负责数据的分析 - 指导项目或业务决策 - 项目经理 - 负责项目的管理 - 机器学习科学家（研究员） - 负责开发先进的人工智能技术 - 将先进的人工智能技术应用到实际的业务场景中 ## AI 担忧 RLHF 已经证明可以使用 LLM 在性别、种族、宗教和其他人类特征方面不受偏见地生成文本。 ## 参考资料 - [吴恩达：面向每个人的生成式AI](https://www.bilibili.com/video/BV1Wt421t7Bq/)