本期只选 5 条,合并同一事件;厂商自报数据统一标注“厂商披露/尚待独立验证”。
1. Google 将 Android Studio 开放给第三方编码 Agent,并放出新 Gemini API
摘要: Android Studio 推出 Bring Your Own Agent,支持 40+ 编码 Agent,包括 Anthropic Claude Agent 与 OpenAI Codex;新终端工具针对 UI 任务。Google 披露 Agent 完成 UI 任务快 77%、token 最多省 3 倍,但这组数字是厂商披露,尚待独立验证。Android 开发链路正在转向 agent-centric。
为什么重要: IDE 正从编辑器变成多 Agent 编排层;开发者选型不再只比模型分数,还要比工具权限、上下文管理、终端执行与回归控制。
评测视角: 这组 77%/3x 没有对应公开 benchmark,至少需要公开任务集和 scaffold 才能复现。验证时固定 Android 仓库、任务说明和 Agent 版本,分别统计完成率、首次通过率、token、wall-clock、人工接管次数和回归缺陷;把模型能力与 IDE/工具链能力拆开,解决“多 Agent IDE 选型缺少统一成本与成功率口径”的痛点。
可执行建议: 选 1~2 个 Agent 在一个真实 Android 模块上跑一周 A/B,先建基线,再决定是否扩大接入。
来源: AI News (The Decoder)
2. Gemini 4 Carbon 发布:主打编码、Agent 与网络安全,登顶 Artificial Analysis v5
摘要: Google DeepMind 发布 Gemini 4 Carbon,距 Gemini 4 Argon 仅两周;官方称其在编码、Agent 任务和网络安全全生命周期上有明显提升。报道称该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分登顶。首批访问仅限部分安全专家,完整能力与厂商增益尚待独立验证。
为什么重要: 前沿模型竞争正从通用问答转向长流程 Agent 与安全攻防;但访问受限会带来样本选择偏差,排行榜分数不能直接外推到生产。
评测视角: Artificial Analysis v5.0 是可引用的公开榜单数据,但“显著提升”仍是厂商表述。复现时要固定 scaffold、工具权限和题库,分开测模型与 harness;补 coding repo-level、长时 Agent、蓝队/红队任务,并记录 token、工具调用次数、失败恢复和人工接管率。它暴露的评测痛点是:前沿模型的安全能力很难在公开样本上完整复现。
可执行建议: 先跟踪第三方榜单与独立复现;拿到访问后跑一套与现有模型同条件的 coding/agent/cyber 回归,不要只比总分。
来源: AI News (The Decoder)
3. AI Agent 通过第三方软件打入 Anthropic 内部系统,红队边界再扩大
摘要: 据 The Decoder 报道,安全初创 Cathedral 在漏洞赏金项目中用 AI Agent 通过第三方软件进入 Anthropic 内部系统;Anthropic 确认销售、HR、IT 数据被访问,但对入侵深度存在争议。事件核心不是模型被越狱,而是外部软件依赖与 Agent 自动化攻击链。
为什么重要: 前沿 AI 公司也会被第三方集成和身份链打穿;红队范围需要从提示注入/越狱扩展到 OAuth scope、服务账号、日志与外联检测。
评测视角: 没有公开 benchmark,可复现的是攻击路径与权限链。用 scoped token 做 Agent 驱动的红队演练,验证最小权限、租户隔离、日志完整性、敏感数据外带检测和爆炸半径;把第三方 SaaS 纳入 threat model。它解决的是“红队只测模型、不测第三方依赖和身份链”的盲区。
可执行建议: 盘点所有第三方集成与 OAuth scope,给 Agent 单独低权限身份,开审计日志并做一次“第三方被控”桌面演练。
来源: AI News (The Decoder)
4. LEANN 把 6000 万 chunk 的 RAG 索引从 201GB 压到 6GB
摘要: UC Berkeley 的 LEANN 用剪枝图加查询时重算 embedding,报道称 6000 万 chunk 的索引可从 201GB 压到 6GB;在 90% recall 下用 4GB 达到 HNSW 用 188GB 的精度,代价是秒级搜索。以上为论文/项目披露,尚待独立复现。
为什么重要: RAG 成本瓶颈正从生成转向索引存储;如果业务能接受秒级延迟,LEANN 可能显著降低大规模语料的存储成本,但会把成本转移到查询时计算。
评测视角: 公开数据来自论文/项目,需在自有语料复现。评测至少看 recall@k、p95/p99 延迟、索引体积、构建时间、更新/删除成本、查询时 embedding 一致性和多语言/长文档表现,并与 HNSW/IVF 同条件对比。它解决的是“RAG 评测只看召回、不看索引体积和延迟成本”的盲区。
可执行建议: 拿 1% 生产语料做离线 A/B,先卡 p95 延迟 SLO,再比召回和成本;延迟敏感场景保留 HNSW 做混合路由。
来源: MarkTechPost
5. Inspect AI 0.3.286 收紧 Docker 沙箱权限,评测 provider 接口破坏性变更
摘要: Inspect AI 0.3.286 把 Docker read_file() 从特权 copy API 改为容器默认执行用户;需要特权读取必须显式 user="root",沙箱 provider 要更新 read_file()/write_file() 签名。旧 provider 上的 human_cli 终端录制会告警并缺失日志,官方建议暂设 record_session=False。官方称这是安全收紧,防止通过沙箱可控日志符号链接读取受保护文件。
为什么重要: 评测框架的沙箱权限直接决定结果可信度和可复现性;这类 breaking change 会让旧日志、K8s provider 和终端录制静默降级,升级前必须验证。
评测视角: 没有公开 benchmark,验证点是兼容性与安全性。升级后跑 Docker/K8s smoke test,检查 read_file/write_file override、显式 user 调用、终端录制和日志重放;用恶意 symlink 用例验证权限边界。它解决的是“沙箱权限与日志可复现性长期被忽视”的痛点。
可执行建议: 先在 CI 固定 0.3.286 跑一轮 sandbox 回归,把 record_session=False 当临时兜底,再逐项迁移 provider。
来源: Inspect AI Releases
今日值得上手
● Android Studio BYOA: 选真实模块接 2 个 Agent,记录完成率、token、wall-clock、人工接管,建立自己的 77%/3x 基线。
● LEANN: 用 1% 语料做 HNSW vs LEANN 的 recall-latency-cost 三维对比,先定 p95 延迟红线。
● Inspect AI: 升级前在 CI 跑 Docker/K8s sandbox 回归,锁定版本并检查 read_file/write_file override。
今日评测关注
● Gemini 4 Carbon: 用固定 scaffold 复现 59 分与 coding/agent/cyber 增益,注意首批访问受限带来的样本偏差。
● Anthropic 事件: 把第三方 SaaS、OAuth token、日志外带转成 Agent 红队用例,记录爆炸半径和检测覆盖。
● Android BYOA: 对 77% 提速和 3x token 节省做同任务集计量,报告成功率与置信区间,避免只报均值。