当前位置 博文首页 > limes：JD价格监控【docker版】
快过年了，准备买些年货，于是频繁刷购物网站对比价格，搞得还是挺头大的。我想能不能做个应用抓取实时价格并在低于预期价格后进行提醒，于是就有了本篇文章。本文主要分享怎么将本地项目打包成镜像并推送到dockerhub上
最初用的是node+cheerio，请求商品页面通过选择器解析商品名称和价格。但是多次调试后页面会在页面内重定向，这样就抓取不到了，应该是触发了jd的反爬虫机制。在换了几种方式无果后将眼光投向了github，最终fork了一份由python实现的方案进行改善。
# 基于python创建镜像
FROM python:3.7.0
# 设置工作目录
WORKDIR /usr/src/app
# 设置pip镜像
RUN pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
RUN pip config set install.trusted-host mirrors.aliyun.com
# 把本地文件复制到镜像工作目录下
COPY . .
# 安装node环境
RUN wget https://npm.taobao.org/mirrors/node/latest-v12.x/node-v12.16.1-linux-x64.tar.xz && tar -xf node-v12.16.1-linux-x64.tar.xz -C /opt
# 设置环境变量
ENV EXECJS_RUNTIME=$PATH:/opt/node-v12.16.1-linux-x64/bin
RUN ln -s /opt/node-v12.16.1-linux-x64/bin/node /usr/local/bin/
RUN ln -s /opt/node-v12.16.1-linux-x64/bin/npm /usr/local/bin/
# 打印版本
RUN echo 'node 版本：' && node -v
RUN echo 'python 版本：' && python -V
# 安装依赖
RUN pip install --no-cache-dir -r requirements.txt
# 启动
CMD cd web && python server.py
docker build -t jdspider .docker tag jdspider yimijianfang/jd-spider:0.6docker logindocker push yimijianfang/jd-spider:0.6不想上传到dockerhub还可以在本地打镜像压缩包
# 打包镜像到本地
docker save -o jdspider.tar jdspider
# 解压加载镜像
docker load -i jdspider.tar
在宿主机上添加配置文件
cd /data/jd-spider/config
touch config.cfg
# config.cfg
[mail]
host = smtp.qq.com
port = 25
user = xxx@qq.com
pass = xxx
sender = xxx@qq.com
[dingding]
webhook = https://oapi.dingtalk.com/robot/send?access_token=xxx
[select]
option = mail
# 启动docker
docker run --name jdspider -p 5858:5858 -v /data/jd-spider/config:/usr/src/app/web/config -d yimijianfang/jd-spider:0.6
打开http://ip:5858查看效果，另外如果使用邮箱需要申请开放25端口
vue滑块验证组件 https://github.com/yimijianfang/vue-drag-verify
jquery音乐播放插件 https://github.com/yimijianfang/music
vue组件props自动生成器 https://github.com/yimijianfang/auto-props
