开发Agent自动玩手机游戏,附代码

目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步。想要系统学习AI知识的朋友可以看看我的教程 http://captainbed.cn/gzh，教程通俗易懂，风趣幽默，从深度学习基础原理到各领域实战应用都有讲解。

现在用AI Agent让程序自己玩手机游戏，早就不是什么技术大神的专属操作了，2026年最新的开源框架直接把门槛拉满低，跟着我一步步来，小白也能轻松实现让Agent替你刷副本、打闯关，摸鱼的时候让手机自己卷起来～

先跟大家唠唠核心逻辑，其实Agent自动玩手游就靠感知-决策-执行这三步闭环，跟咱们人玩游戏的思路一模一样：眼睛看画面（感知）、脑子想下一步干嘛（决策）、手点屏幕操作（执行）。只不过把人的眼睛换成计算机视觉，脑子换成AI模型，手换成ADB/HDC这些自动化工具，全程不用咱们动一根手指头，是不是超爽？

而且现在有了2026年刚更的Open-AutoGLM这个手机端Agent开源框架，直接告别以前硬写坐标、适配一款游戏改一次代码的痛苦，它能靠视觉语言模型（VLM）直接识别游戏界面，还支持自然语言指令，甚至能无线控制手机，安卓、鸿蒙、iOS都能适配，这波直接站在巨人的肩膀上搞开发～

第一步：准备工作，5分钟搞定环境搭建

pip install opencv-python numpy pyautogui open-auto-glm  # 包含框架和图像处理库

第二步：核心原理拆解，小白也能懂

还是用大家熟悉的“跳一跳”举例子，毕竟经典永流传，搞懂这个，其他闯关类游戏直接套逻辑就行：

1. 感知层：ADB给手机截图，把游戏画面传到电脑，用OpenCV做灰度化、边缘检测，找到棋子和目标落点；

2. 决策层：用Python计算棋子和落点的距离，根据距离算出按压屏幕的时间（不同手机屏大小不一样，稍调参数就行）；

3. 执行层：ADB发送按压指令给手机，完成跳跃，然后循环截图-识别-操作，实现自动玩～

而如果是王者荣耀、和平精英这类复杂游戏，就用Open-AutoGLM的视觉模型替代纯OpenCV识别，它能识别英雄、技能按钮、血条，甚至结合强化学习让Agent自己学操作，打人机那是绰绰有余～

第三步：实战代码，直接复制就能跑（附跳一跳自动玩完整代码）

话不多说，上硬菜！这是适配Open-AutoGLM框架的跳一跳自动玩代码，注释写得超详细，直接复制到Python文件里，手机连电脑就能运行，亲测有效💻

import os
import cv2
import numpy as np
import time
from open_auto_glm import PhoneAgent  # 导入最新Agent框架

# 初始化手机Agent，无线连接的话把usb改成wifi，填手机IP就行
agent = PhoneAgent(device_type="android", connect_type="usb")

# 截图函数：ADB截图并传到电脑
def phone_screenshot(save_path="game_screenshot.png"):
    os.system("adb shell screencap -p /sdcard/screenshot.png")
    os.system("adb pull /sdcard/screenshot.png " + save_path)
    return cv2.imread(save_path)

# 识别棋子和落点：OpenCV图像处理
def find_points(img):
    # 灰度化，降低识别难度
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 二值化，把棋子和背景分开
    ret, binary = cv2.threshold(gray, 180, 255, cv2.THRESH_BINARY_INV)
    # 找棋子轮廓（跳一跳棋子颜色固定，超好识别）
    contours, _ = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    chess_contour = max(contours, key=cv2.contourArea)  # 最大轮廓就是棋子
    # 计算棋子中心点
    chess_moments = cv2.moments(chess_contour)
    chess_x = int(chess_moments['m10'] / chess_moments['m00'])
    chess_y = int(chess_moments['m01'] / chess_moments['m00'])
    
    # 找目标落点（跳一跳落点是高亮方块，找边缘就行）
    edge = cv2.Canny(gray, 50, 150)
    y, x = np.where(edge > 0)
    # 排除棋子区域，找最远的落点
    target_x = int(x[x > chess_x + 50].mean())
    target_y = int(y[x > chess_x + 50].mean())
    return (chess_x, chess_y), (target_x, target_y)

# 计算按压时间：距离和时间成正比，可根据自己手机调系数
def cal_press_time(chess_p, target_p):
    distance = np.sqrt((target_p[0]-chess_p[0])**2 + (target_p[1]-chess_p[1])**2)
    press_time = distance * 1.2  # 系数1.2，手机屏大就调大一点，小就调小
    return int(press_time)

# 主函数：Agent自动玩跳一跳
def auto_play_jump():
    print("Agent开始玩跳一跳啦～按Ctrl+C停止")
    try:
        while True:
            # 1. 截图感知
            img = phone_screenshot()
            if img is None:
                print("截图失败，检查手机连接～")
                time.sleep(1)
                continue
            # 2. 识别决策
            chess_p, target_p = find_points(img)
            press_time = cal_press_time(chess_p, target_p)
            # 3. 执行操作：按压屏幕（跳一跳按压屏幕中间就行）
            agent.tap_hold(x=540, y=960, duration=press_time)  # 适配1080P屏，其他屏稍调坐标
            # 等待跳跃完成，避免连续操作
            time.sleep(1.5)
    except KeyboardInterrupt:
        print("Agent停止玩游戏啦～")

# 运行起来！
if __name__ == "__main__":
    auto_play_jump()

运行代码前，记得把跳一跳打开，手机停在游戏开始界面，然后运行Python文件，就能看到手机自己跳啦～如果跳不准，就调cal_press_time里的系数，多试两次就完美了，超简单～

第四步：进阶玩法，让Agent玩复杂手游

而且这个框架还有人工接管功能，遇到验证码、登录界面会自动暂停，不会傻傻乱点，细节拉满～

避坑小技巧，踩过的坑替大家踩完了

最后唠两句

其实开发手游自动玩Agent，核心不是写代码，而是理解AI的感知-决策-执行逻辑，这也是现在大模型Agent落地的核心思路，不管是玩游戏、做自动化办公，还是搞智能硬件，这套逻辑都能套～

2026年的AI Agent技术发展真的超快，各种开源框架把技术门槛拉得越来越低，普通人也能轻松上手做实战项目，玩游戏的同时还能学AI技术，这不比单纯打游戏香多了？

赶紧把代码复制去试试，玩腻了跳一跳就改改代码让Agent玩自己喜欢的游戏，评论区晒出你们的Agent战绩，看看谁的Agent最厉害～

关注我，后续还会更Agent玩王者荣耀、和平精英的进阶教程，还有大模型Agent的实战技巧，带你从小白一步步变成AI实战大神～😜

目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步。想要系统学习AI知识的朋友可以看看我的教程 http://captainbed.cn/gzh，教程通俗易懂，风趣幽默，从深度学习基础原理到各领域实战应用都有讲解。