python+selenium+docker+飞书机器人部署自动预约程序

• • 项目介绍
  • python+selenium
  • • 滑块验证
    • selenium提示元素无法操作
    • 无法定位到元素
  • 接口+服务器部署
  • • 本地测试
    • • 开放端口
      • 内网穿透
    • 服务器部署
  • 与飞书机器人连结
  • • 飞书机器人部署
    • • 飞书开放平台事件订阅请求网址URL配置
      • 使用飞书机器人发消息给用户（open_id版）
      • 飞书机器人收到消息后会多次重复请求
  • docker部署
  • • 安装
    • 打包为Image
    • 下载chrome+chromedriver
  • 写在最后

项目介绍

笔者最近需要重复使用一个预约程序，就想实现自动化预约，本以为是一个简单的项目，但从编写到部署还是兜兜转转了好久，写文章记录一下，也分享一下遇到的问题方便读者更快的搭建

python+selenium

selenium是一个web模拟应用，可以模仿用户在浏览器中的行为

在一开始测试的时候，是在自己的服务器配置selenium，这是配置文档，配置好后，按照selenium的基本操作方式，进入页面，点位元素，登陆账户，完成自己需要的功能即可，这里附上定位元素的文档，建议xpath定位
记住最后要关闭浏览器，不然会开webdriver会在后台运行，很占内存甚至导致后面的selenium错误

# 关闭浏览器
driver.quit()

在编写的过程里遇到了很多小问题，一一解决真的花了很多时间，这里记录几个比较典型的

滑块验证

笔者要进入的网站中的滑块验证是最简单的那类，滑倒最右端即可，如果读者需要滑动到空缺处请自行查看相关机器视觉的内容
读者解决滑块验证的方法

 # 滑块验证
        # 实例化动作链对象
        action = ActionChains(driver)
        huakuai = driver.find_element_by_id("button")
        # # 滚动指定元素位置
        driver.execute_script("arguments[0].scrollIntoView();", huakuai)
        sleep(2)
        # #点击长按指定的标签
        action.click_and_hold(huakuai).perform()
        # #.perform()表示立即执行动作链操作
        for i in range(5):
            # .perform()表示立即执行动作链操作
            action.move_by_offset(52, 0).perform()
            sleep(1)
        action.release().perform()

在执行动作链的时候出现过错误
MoveTargetOutOfBoundsException
笔者的解决办法是

driver.maximize_window()

selenium提示元素无法操作

这个错误出现的原因各种各样，笔者遇到的是因为位于下拉框中，并不是显示元素，所以无法操作，但每次点击下拉框又去找太过麻烦，这里有一个简单粗暴的办法，直接调用js原生的点击事件

driver.execute_script("arguments[0].click();", area_part)

无法定位到元素

笔者在编写的时候遇到过很多次无法定位到元素错误，有很多原因，无法一一列出，大部分都可以找到解决办法，这里列出一个比较特殊的原因

dotenv_path = join(dirname(__file__), '.env1')
# load env parameters form file named .env
load_dotenv(find_dotenv())

上方代码是为了找到当前文件夹的全局环境变量，但添加后则显示无法找到网页元素，现在的解决办法是删除该段代码，在根文件下创建全局环境变量

接口+服务器部署

本地测试

虽然最后的项目是部署到服务器自动执行，但测试还是得在本地，就需要开放端口，并进行内网穿透

开放端口

# flask完成
from flask import Flask, jsonify, request
app = Flask(__name__)

@app.route("/", methods=["POST"])
def callback_event_handler():
    # init callback instance and handle
    event_handler, event = event_manager.get_handler_with_event(
        VERIFICATION_TOKEN, ENCRYPT_KEY)

    return event_handler(event)


if __name__ == "__main__":
    # init()
    # 监听3000端口，多线程执行，具体的使用请参看flask相关教程
    app.run(host="0.0.0.0", port=3000, debug=True,threaded=True)

内网穿透

笔者之前是用花生壳做内网穿透，就没再去了解其他工具，本次编写偶然知道ngrok，的确很简单方便
但不知道什么原因，每次开启Ngrok，如果rigion是ap，则根本无法访问，每次都重复开启端口很多次，知道不是ap(笔者的是japan）才可以使用，虽然Ngrok很好用，但是调节点很烦，不知道是不是笔者的问题，希望有经验的读者可以支支招

服务器部署

nohup命令用于不挂断地运行命令（关闭当前session不会中断改程序，只能通过kill等命令删除）

nohup python server.py

杀死进程

• kill
  作用：根据进程号杀死进程
  用法： kill ［信号代码］ 进程ID
  kill -9 来强制终止退出
• killall
  作用：通过程序的名字，直接杀死所有进程
  用法：killall 正在运行的程序名
• pkill
  作用：通过程序的名字，直接杀死所有进程
  用法：#pkill 正在运行的程序名
  查看进程
• 根据名称查看
  ps -ed |grep
• 通过进程id查看占用的端口
  netstat -nap | grep <进程id>

与飞书机器人连结

程序编写完成了提供了一个api，可以帮助笔者完成需要的功能，如果纯自动，直接部署到服务器即可，但是有时候笔者需要自定义时间，需要提供一个自定义接口，所以需要一个能够接收我自定义时间并向服务器发送请求的容器，笔者锁定了飞书机器人

飞书机器人部署

飞书官方文档提供了示例机器人代码，里面也包括了相关验证和发送消息的接口，demo下载，读者参考官方文档的介绍及相关代码，即可完成基础部署

飞书开放平台事件订阅请求网址URL配置

虽然我在飞书里设置了encrypt_key,但是发送的验证请求还是没有encrypt_key，所以为了先通过url验证，改了一下代码

 # 源码
 # 位于event.py 的EventManager类
    @staticmethod
    def _decrypt_data(encrypt_key, data):
        encrypt_data = data.get("encrypt")
        if encrypt_key == "" and encrypt_data is None:
            # data haven't been encrypted
            return data
        if encrypt_key == "":
            raise Exception("ENCRYPT_KEY is necessary")
        cipher = AESCipher(encrypt_key)

        return json.loads(cipher.decrypt_string(encrypt_data))

 # 改动后的代码，改第四行的and为or
 @staticmethod
    def _decrypt_data(encrypt_key, data):
        encrypt_data = data.get("encrypt")
        if encrypt_key == "" or encrypt_data is None:
            # data haven't been encrypted
            return data
        if encrypt_key == "":
            raise Exception("ENCRYPT_KEY is necessary")
        cipher = AESCipher(encrypt_key)

        return json.loads(cipher.decrypt_string(encrypt_data))

使用飞书机器人发消息给用户（open_id版）

在demo代码里面自带了发送消息的函数，但是笔者在其他文件里自定义内容时总是提示发送错误，查看文档后发现是格式的问题

Content 是 string 类型， json 结构需要转义。可以先构造一个结构体，然后使用json序列化后再转成string类型，也可以通过已有的网页json转换工具进行转义。

{
    "receive_id": "",
    "content": "{\"text\":\" test content\"}",
    "msg_type": "text"
}

飞书机器人收到消息后会多次重复请求

笔者将消息发送至机器人后，理论上应该是执行一次请求，后台完成自动预约程序，但是在测试的时候发现，总是会重复执行，百思不得其解的时候我去查了一下官方文档，结论如下

收到此请求后，需要在1秒内以 HTTP 200状态码 响应该请求，否则飞书开放平台会视此次推送失败并以5s、5m、1h、6h的间隔重新推送事件，最多重试4次。

笔者的情况如下：

在收到请求后，笔者会发送一个post的请求给服务器，然后一定时间后完成预约程序，但是这个post请求无法在一秒内返回

笔者也为这个停顿了很久，试了多进程，监听全局变量，都以失败告终，最后的解决办法是守护线程的多线程办法

thread = threading.Thread(
    target=access_subseat, args=(post_data,), daemon=True)
thread.start()

docker部署

这是笔者第一次使用docker,断断续续遇到了好些麻烦，像无头苍蝇一样碰了很久才大概弄出来

安装

先进行docker服务器安装，安装文档

打包为Image

docker build -t <name> .

下载chrome+chromedriver

因为docker容器不包含chrome+chromedriver，所以在运行镜像的时候提示没有chromedriver，可以在打包的dockerfile中进行下载

FROM python:3.8

# 安装chrome
RUN apt-get update
RUN apt-get -y upgrade
RUN wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 
RUN dpkg -i google-chrome-stable_current_amd64.deb; apt-get -fy install

# 安装chromedriver
RUN wget http://chromedriver.storage.googleapis.com/101.0.4951.41/chromedriver_linux64.zip && \
unzip chromedriver_linux64.zip && \
mv -f chromedriver /usr/local/share/chromedriver && \
ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver && \
ln -s /usr/local/share/chromedriver /usr/bin/chromedriver

ADD  . /home/feishu-bot

WORKDIR /home/feishu-bot

COPY ./requirements.txt /requirements.txt
COPY requirements.txt requirements.txt
RUN python -m pip install --upgrade pip

RUN pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --no-cache-dir -r requirements.txt

CMD ["python", "./server.py"]

EXPOSE 3000

在下载好后还遇到错误说"chrome not reachable"
搜索后明白是默认的"shm-size"太小，导致无法运行selenium
所以打包成镜像后要调用以下命令来运行容器

docker run -it --shm-size=1g -d -p 3000:3000 feishu-bot

写在最后

一开始以为是个很简单的程序，没想到遇到了很多问题，编写了很久，但也学习到了很多新东西，对很多也还只是一知半解，会好好精进，有什么错误也希望读者指出，一起交流