word embedding的意思是:给出一个文档,文档就是一个单词序列比如 “A B A C B F G”, 希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。比如,对于这样的“A B A C B F G”的一个序列,也许我们最后能得到:A对应的向量为[0.1 0.6 -0.5],B对应的向量为[-0.2 0.9 0.7] (此处的数值只用于示意)之所以希望把每个单词变成一个向量,目的还是为了方便计算,比如“求单词A的同义词”,就可以通过“求与单词A在cos距离下最相似的向量”来做到。
有谁可以解释下word embedding
可以翻译成词向量。
传统的对于每个词,抽象成词向量形式是0,1的形式,比如:【0,0,0,1,0.。。。0】并且向量的长度是整个词集数量大小。
而词向量word embedding是通过某中学习算法学习出来的新的向量形式。该向量的长度是可以认为指定的,并且其中的每个维度值为离散的。比如,【0.5432,0.4567,-0.984,0.623】
有谁可以解释下word embedding
作者:li Eta
链接:https://www.zhihu.com/question/32275069/answer/61059440
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
word embedding的意思是:给出一个文档,文档就是一个单词序列比如 “A B A C B F G”, 希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。
比如,对于这样的“A B A C B F G”的一个序列,也许我们最后能得到:A对应的向量为[0.1 0.6 -0.5],B对应的向量为[-0.2 0.9 0.7] (此处的数值只用于示意)
之所以希望把每个单词变成一个向量,目的还是为了方便计算,比如“求单词A的同义词”,就可以通过“求与单词A在cos距离下最相似的向量”来做到。
word embedding不是一个新的topic,很早就已经有人做了,比如bengio的paper“Neural probabilistic language models”,这其实还不算最早,更早的时候,Hinton就已经提出了distributed representation的概念“Learning distributed representations of concepts”(只不过不是用在word embedding上面) ,AAAI2015的时候问过Hinton怎么看google的word2vec,他说自己20年前就已经搞过了,哈哈,估计指的就是这篇paper。
总之,常见的word embedding方法就是先从文本中为每个单词构造一组features,然后对这组feature做distributed representations,哈哈,相比于传统的distributed representations,区别就是多了一步(先从文档中为每个单词构造一组feature)。
既然word embedding是一个老的topic,为什么会火呢?原因是Tomas Mikolov在Google的时候发的这两篇paper:“Efficient Estimation of Word Representations in Vector Space”、“Distributed Representations of Words and Phrases and their Compositionality”。
这两篇paper中提出了一个word2vec的工具包,里面包含了几种word embedding的方法,这些方法有两个特点。一个特点是速度快,另一个特点是得到的embedding vectors具备analogy性质。analogy性质类似于“A-B=C-D”这样的结构,举例说明:“北京-中国 = 巴黎-法国”。Tomas Mikolov认为具备这样的性质,则说明得到的embedding vectors性质非常好,能够model到语义。
这两篇paper是2013年的工作,至今(2015.8),这两篇paper的引用量早已经超好几百,足以看出其影响力很大。当然,word embedding的方案还有很多,常见的word embedding的方法有:
1. Distributed Representations of Words and Phrases and their Compositionality
2. Efficient Estimation of Word Representations in Vector Space
3. GloVe Global Vectors forWord Representation
4. Neural probabilistic language models
5. Natural language processing (almost) from scratch
6. Learning word embeddings efficiently with noise contrastive estimation
7. A scalable hierarchical distributed language model
8. Three new graphical models for statistical language modelling
9. Improving word representations via global context and multiple word prototypes
word2vec中的模型至今(2015.8)还是存在不少未解之谜,因此就有不少papers尝试去解释其中一些谜团,或者建立其与其他模型之间的联系,下面是paper list
1. Neural Word Embeddings as Implicit Matrix Factorization
2. Linguistic Regularities in Sparse and Explicit Word Representation
3. Random Walks on Context Spaces Towards an Explanation of the Mysteries of Semantic Word Embeddings
4. word2vec Explained Deriving Mikolov et al.’s Negative Sampling Word Embedding Method
5. Linking GloVe with word2vec
6. Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective
word2vec和word embedding有什么区别
个人理解是,word embedding 是一个将词向量化的概念,来源于Bengio的论文《Neural probabilistic language models》,中文译名有"词嵌入"。
word2vec是谷歌提出一种word embedding 的工具或者算法集合,采用了两种模型(CBOW与skip-gram模型)与两种方法(负采样与层次softmax方法)的组合,比较常见的组合为 skip-gram+负采样方法。
可以查看以下两个来源,
word embedding :Word embedding - Wikipedia
word2vec中的数学原理详解:word2vec 中的数学原理详解(一)目录和前言
对于起源与其他的word embedding方法可以查看 Deep Learning in NLP (一)词向量和语言模型
有谁可以解释下word embedding
v. 包埋; 植入; 把…嵌入,埋入( embed的现在分词 ); 埋置;
[网络] 嵌入; 内嵌法; 嵌入法;
[例句]Still image digital watermarking and information embedding algorithms are studied in this thesis.
本文研究了静态图像的数字水印和信息嵌入问题。
有谁可以解释下word embedding
输入的时候同时按住shift键只要输入一个“-”就可以变成破折号了,
自动变换,word中没有设定你要的这个替换,如果你确实非常需要这个替换,你可以在“工具”→“自动更正选项”里自己添加进去。
有谁可以解释下word embedding
word embedding,就是找到一个映射或者函数,生成在一个新的空间上的表达,该表达就是word representation。
转载请注明出处51数据库 » wordembedding的作用 wordembedding是什么