需要使用第三方库如bs4,numpy等时,需要用到虚拟环境virtualenv
virtualenv的使用
安装
pip install virtualenv
新建虚拟环境
virtualenv myvp
使得虚拟环境的路径为相对路径
virtualenv --relocatable myvp
激活虚拟环境
source myvp/bin/activate
如果想退出,可以使用下面的命令
deactivate
激活后直接安装各种需要的包
pip install XXX
压缩环境包
tar -czf myvp.tar.gz myvp
在mapreduce上使用
在上面的脚本中可以看到使用了-catchArchive,但是路径是HDFS的路径,因此需要提前将本地的myvp.tai.gz包上传到HDFS上。
同时#后面的myvp是文件的文件夹,解压后还有一个myvp(因为压缩的时候把文件夹本身也压缩进去了),所有map中使用的时候的路径就是myvp/myvp/bin/…
在map的python脚本中加入如下的代码,会把第三方库加入到python 路径
import sys
sys.path.append("myvp/myvp/lib/python2.7")
这样就能使用到了这个文件夹底下的包,而不需要再map中使用source命令激活
在安装pip3以及第三方python库(for mac)
环境
os:10.12.3 (16d32) macos sierra
python3: python 3.6.1
什么是pip
python之所以强大,其中一个原因是其丰富的第三方库。pip则是python第三方库的包管理工具。
由于在mac上python2和python3是共存的。因而python3对应的包管理工具的命令就是:pip3如何安装pip3如果通过homebrew安装python3,那么pip3会同时安装。所以建议直接通过homebrew安装python3:
$brew install python3//no need sudo
如果你已经通过其他渠道安装了python3但是尚未安装pip3,那么需要通过以下步骤实现安装:
https : // pip.readthedocs .io/en/stable/installing/上述的链接是官方给出的方法,但是有几个地方需要注意,最好按照我博客一步步来:
https : // bootstrap .pypa .io/get-pip.py
复制粘贴另存为链接中的文本,可以保存为get-pip.py。
注意:其中内容很多,必须等网页加载完再复制,然后通过已经安装的python3解释器解释执行另存为的文件$python3 get-pip.py再次执行上述命令,显示:
requirement already up-to-date: pip in /usr/local/lib/python3.6/site-packages1安装成功
如何安装第三方库
有了pip3以后,安装第三方库就容易多了,比如:
$pip3 install requests
collecting requests
downloading requests-2.13.0-py2.py3-none-any.whl (584kb)100% |████████████████████████████████| 593kb 298kb/sinstalling collected packages: requestssuccessfully installed requests-2.13.0
如何在mapreduce上使用第三方的Python库
streaming简单介绍
streaming就是将一些非java例如Python的文件放到mapreduce上执行,虽然效率可能不如原生的Java好,但是可以放心的写python脚本处理文件,而mapreduce只是一个辅助的工具,具体的使用可以参照官方文档
$HADOOP_HOME/bin/hadoop streaming -D mapred.job.priority='VERY_HIGH' -D mared.job.map.capacity=500
-D mapred.reduce.tasks=0 -D mapred.map.tasks=500
-input myInputDirs(你得HDFS路径)
-output myOutputDir(你的HDFS路径)
-mapper "python yourpythonfile.py"
-reducer "python yourpythonfile.py"
-file yourpythonfile.py(需要几个就添加几个-file)
-cacheArchive "/xx/xx/xx/myvp.tar.gz#myvp"(此处是一个HDFS路径,稍后用到)
123456789
使用第三方库
需要使用第三方库如bs4,numpy等时,需要用到虚拟环境virtualenv
virtualenv的使用
安装
pip install virtualenv1
新建虚拟环境
virtualenv myvp1
使得虚拟环境的路径为相对路径
virtualenv --relocatable myvp1
激活虚拟环境
source myvp/bin/activate1
如果想退出,可以使用下面的命令
deactivate1
激活后直接安装各种需要的包
pip install XXX1
压缩环境包
tar -czf myvp.tar.gz myvp1
在mapreduce上使用
在上面的脚本中可以看到使用了-catchArchive,但是路径是HDFS的路径,因此需要提前将本地的myvp.tai.gz包上传到HDFS上。
同时#后面的myvp是文件的文件夹,解压后还有一个myvp(因为压缩的时候把文件夹本身也压缩进去了),所有map中使用的时候的路径就是myvp/myvp/bin/…
在map的python脚本中加入如下的代码,会把第三方库加入到python 路径
import sys
sys.path.append("myvp/myvp/lib/python2.7")12
这样就能使用到了这个文件夹底下的包,而不需要再map中使用source命令激活
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....