文章
4
标签
3
分类
1
Home
Archives
Tags
Categories
About
Mortal
Mortal
返回首页
搜索
Home
Archives
Tags
Categories
About
无标题
发表于
2026-08-24
|
更新于
2026-08-24
|
浏览量:
文章作者:
Mortal
文章链接:
https://041101.xyz/2026/08/24/blog/%E5%A4%A7%E6%A8%A1%E5%9E%8Bllm/%E6%9C%AA%E5%91%BD%E5%90%8D/
版权声明:
本博客所有文章除特别声明外,均采用
CC BY-NC-SA 4.0
许可协议。转载请注明来源
Mortal
!
下一篇
03 CS224n 学习笔记(一):词向量与语言模型
1. 独热向量计算机不能直接理解词语,因此需要先把词转换成数值。最简单的方法之一是独热编码(One-hot Encoding)。假设词表中只有“我”“爱”“你”三个词,可以把它们分别表示为: 123我 → [1, 0, 0]爱 → [0, 1, 0]你 → [0, 0, 1] 独热向量中只有一个位置为 1,其余位置都为 0。这里的下标表示词在词表中的编号,而不是词在句子中的位置。 这种表示方法简单直接,也方便计算机处理,但它有一个明显的问题:任意两个不同词的独热向量彼此正交,无法直接体现词语之间的语义关系。例如,从这些向量本身看不出“我”和“你”比“我”和“苹果”更接近。 为了让词语之间能够建立语义联系,可以把每个词映射成一个低维、稠密并且可学习的向量,这就是词嵌入(Word Embedding)。Word2Vec 是学习词嵌入的一类经典方法。 2. Word2Vec 与 Skip-gramWord2Vec 的基本想法来自分布假说:经常出现在相似上下文中的词,往往具有相近的含义。 Word2Vec 主要包含 CBOW 和 Skip-gram 两种训练方式。本文讨论 CS224n...
Mortal
一名西安交通大学的通信研究生
文章
4
标签
3
分类
1
GitHub
公告
从 0 开始的转码学习
最新文章
无标题
2026-08-24
03 CS224n 学习笔记(一):词向量与语言模型
2026-08-24
02 Transformer算法
2026-08-23
01 从数据生成到模型保存的完整二分类流程
2026-08-14
搜索
数据加载中