黑桃王
word2vec中中文训练集训练成了英文是怎么回
准备工作为了训练语料库，当然需要去下载。
英文wiki语料库（11。9G） 中文wiki语料库（1。
2G）然后就是准备好编译环境，语言选择的是python，使用了gensim的库，该库是由Radim ?eh??ek博士基于google发布的C语言版本的word2vec编写的Python库。 如何安装该库就不多说了。
处理流程1、英文wiki训练首先需要将xml的文件转换成txt文件，主要通过process_wiki。py这个脚本来进行，在参考文考网页中提出了注意“wiki = WikiCorpus(inp, lemmatize=False, dictionary={})“将lemmatize设置为False避免使用Pattern来讲英文单词词干化处理，以免变得很慢，于是就华丽丽的接受。
整个过程大概用了5个小时左右，共有差不多400W的articles。执行命令为：python3 process_wiki。
py enwiki-latest-pages-articles。xml。
bz2 wiki。en。
text生成了wiki。 en。
text，生成的效果如下：文/howe_howe（简书作者）原文链接：http://www。jianshu。
com/p/05800a28c5e4著作权归作者所有，转载请联系作者获得授权，并标注“简书作者”。
word2vec和深度学习有什么关系
1、计算机视觉
ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.
Learning Hierarchical Features for Scene Labeling, Clement Farabet, Camille Couprie, Laurent Najman and Yann LeCun, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013.
Learning Convolutional Feature Hierarchies for Visual Recognition, Koray Kavukcuoglu, Pierre Sermanet, Y-Lan Boureau, Karol Gregor, Micha?l Mathieu and Yann LeCun, Advances in Neural Information Processing Systems (NIPS 2010), 23, 2010.
2、语音识别
微软研究人员通过与hintion合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。但是，DNN还没有有效的并行快速算法，很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。
在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速度飞快。
国内方面，阿里巴巴，科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。
3、自然语言处理等其他领域
很多机构在开展研究，2013年Tomas Mikolov,Kai Chen,Greg Corrado,Jeffrey Dean发表论文Efficient Estimation of Word Representations in Vector Space建立word2vector模型，与传统的词袋模型（bag of words）相比，word2vector能够更好地表达语法信息。 深度学习在自然语言处理等领域主要应用于机器翻译以及语义挖掘等方面。
word2vec有什么应用
您好，我看到您的问题很久没有人来回答，但是问题过期无人回答会被扣分的并且你的悬赏分也会被没收！所以我给你提几条建议：
一，你可以选择在正确的分类下去提问，这样知道你问题答案的人才会多一些，回答的人也会多些。
二，您可以到与您问题相关专业网站论坛里去看看，那里聚集了许多专业人才，一定可以为你解决问题的。
三，你可以向你的网上好友问友打听，他们会更加真诚热心为你寻找答案的，甚至可以到相关网站直接搜索.
四，网上很多专业论坛以及知识平台，上面也有很多资料，我遇到专业性的问题总是上论坛求解决办法的。
五，将你的问题问的细一些，清楚一些！让人更加容易看懂明白是什么意思！
谢谢采纳我的建议！ ！
word2vec算出的词向量怎么衡量好坏
作者：Fiberleif
链接：http://www.zhihu.com/question/37489735/answer/73314819
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
目前常用的衡量word embedding质量好坏的task主要分为两类：
word analogy & document classification
1.word
analogy task
假设给了一对单词 （a , b） 和一个单独的单词c,
task会找到一个单词d，使得c与d之间的关系相似于a与b之间的关系，举个简单的例子：（中国，北京）和 日本，应该找到的单词应该是东京，因为北京是中国的首都，而东京也是日本的首都。 在给定word
embedding的前提下，task一般是通过在词向量空间寻找离（b-a+c）最近的词向量来找到d。
2.document
classification task
这是一种通过使用词向量来计算文本向量（可以被用来进行文本分类的工作）的方法，为了得到文本向量，task通常采用了一种很简单的方法：取文本中所有词的词向量的平均值来代表该文本的文本向量，进而通过文本分类的准确度来反向评价训练出的词向量的质量。
对于给定的word embedding，以上的方法确实可以大致地评价词向量的质量好坏，但我们不应该局限于它们，就像楼上所言，我们应该以word embedding对于实际任务的收益为评价标准，如果脱离了实际任务，很难讲不同的word embedding谁比谁更“好”，因为word embedding更像是一个解决问题所使用的工具而不是一个问题的终点。
转载请注明出处51数据库 » word2vec实践
