当前位置 主页 > 网站技术 > 代码类 > 最大化 缩小

    win10子系统python开发环境准备及kenlm和nltk的使用教程

    栏目:代码类 时间:2019-11-07 21:04

    前言

    因为NLP作业需要用到kenlm,而kenlm在linux下更为方便。本人win10之前开启了子系统,所以就打算在子系统下进行相关作业的完成。

    首先开启win10子系统,网上教程挺多,照着做就成。我当前安装版本是Ubuntu16.04。终端输入cat /etc/lsb-release或uname可以查看版本。子系统开启后,win10的盘符挂载在mnt下,可以执行ls -al /mnt查看。

    Python的下载

    Linux中自带python2,不过Pyhton软件基金会宣布到2020年元旦不在为py2任何分支提供支持。所以我们下载安装py3。在后面的编译操作中需要用到make和cmake工具,需要提前下载安装。make和cmake的使用,需要gcc的支持。在这里就不介绍gcc的安装了,可自行百度解决。

    make是一个命令工具,它解释 Makefile 中的指令。在Makefile文件中描述了整个工程所有文件的编译顺序、编译规则。make依据Makefile文件来批处理编译,因为编写Makefile文件太繁琐复杂,就出现了cmake工具,它能读入所有源文件之后,自动生成makefile。

    在进行下面步骤前,先执行sudo apt update更新,防止出现一些错误

    1.make的下载和安装

    wget http://ftp.gnu.org/gnu/make/make-4.2.tar.gz
    tar -zxvf make-4.2.tar.gz
    cd make-4.2
    ./configure #生成 Makefile,为下一步的编译做准备
    make     #进行源代码编译
    sudo make install #安装,这一步会将编译好的make文件转移到/usr/local/make目录下,该目录需要root权限
    ln -s -f /usr/local/bin/make /usr/bin/make
    make --version #查看版本

    2.cmake的下载和安装

    wget https://cmake.org/files/v3.3/cmake-3.5.1.tar.gz
    tar xzvf cmake-3.5.1.tar.gz
    yum install gcc-c++ # 安装gcc等程序包(安装过就忽略)
    cd cmake-3.5.1
    ./bootstrap
    make
    make install
    cmake --version #查看版本

    cmake 会默认安装在 /usr/local/bin 下面

    也可以直接安装build-essential软件包,该软件包中包含了编译c/c++所需要的软件包。sudo apt-get install build-essential

    3.Python下载

    wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz

    4.解压

    tar zxvf Python-3.7.3.tgz
    cd Python-3.7.3

    5.编译

    ./configure --with-ssl
    make
    sudo make install

    注意:–with-ssl必须加上,否则使用pip安装第三方包时,会引发ssl错误。导致无法使用。如果执行pip install出错,重新编译安装即可。

    一些错误问题:

    ZipError:

    sudo apt install zlib*

    ImportError:'_ctypes'

    sudo apt-get install python-dev python-setuptools python-pip python-smbus build-essential libncursesw5-dev libgdbm-dev libc6-dev zlib1g-dev libsqlite3-dev tk-dev libssl-dev openssl libffi-dev

    6.创建软链接

    # 添加python3的软链接
    sudo ln -s /usr/local/bin/python3.7 /usr/bin/python3
    # 添加 pip3 的软链接
    sudo ln -s /usr/local/bin/pip3.7 /usr/bin/pip3

    kenlm的安装

    1.boost

    在boost官网下载boost,本人下载了boost_1_70_0。

    cd boost_1_70_0
    ./bootstrap.sh
    ./b2 install

    2.xz

    wget http://tukaani.org/xz/xz-5.2.2.tar.gz
    tar xzvf xz-5.2.2.tar.gz
    cd xz-5.2.2
    ./configure
    make
    make install