ai学习[3]
【问答】第2章-词元和嵌入 （图解大模型：生成式AI原理与实战）
第2章 词元和嵌入 Q9：大模型的分词器和传统的中文分词有什么区别？对于一个指定的词表，一句话是不是只有一种唯一的分词方式？ A9: 大模型的分词器（Tokenizer）与传统的中文分词在目标、方法和结果上都有显著区别。 传统中文分词： 目标： 主要目标是将连续的汉字序列切分成具有明确语义的词语单元
【问答】第1章 大模型简介 （图解大模型：生成式AI原理与实战）
第1章 大模型简介 Q1：Transformer 中的编码器和解码器有什么区别，只有编码器或者只有解码器的模型是否有用？ A1: Transformer 中的编码器（Encoder）和解码器（Decoder）在结构和功能上有所不同： 编码器（Encoder）： 作用：主要负责理解输入序列的上下文信息
揭秘AI革命：大语言模型的基本概念与技术
揭秘AI革命：大语言模型的基本概念与技术 本文是《揭秘AI革命》系列的第一篇，基于清华大学计算机系马少平教授的《计算机是如何实现智能的》系列讲座整理 引言：AI的新纪元 近年来，人工智能领域迎来了一场革命性的变革，这场变革的核心推动力就是大语言模型（Large Language Model，简称LL