让 AI "看懂"你的 App —— 多模态视觉测试与跨平台意图迁移
之前我们讨论了 LLM 如何通过"读"GUI 树来操作手机。但如果 App 用了 WebView、Canvas 或 Flutter 自渲染,GUI 树就残缺了——LLM 岂不是"半盲"?另一边,Android 上写了 200 条测试脚本,iOS 还得再写一遍?这篇文章拆解两个突破性方向:让 AI 直接"看"截图找 Bug,以及通过"意图提取"实现一套测试多端运行。
之前我们讨论了 LLM 如何通过"读"GUI 树来操作手机。但如果 App 用了 WebView、Canvas 或 Flutter 自渲染,GUI 树就残缺了——LLM 岂不是"半盲"?另一边,Android 上写了 200 条测试脚本,iOS 还得再写一遍?这篇文章拆解两个突破性方向:让 AI 直接"看"截图找 Bug,以及通过"意图提取"实现一套测试多端运行。
之前写到过 AI 的代码可以通过形式化验证来保证安全性和正确性,但是对于移动端还是得通过实际测试,所以好奇 AI 给移动端测试带来的发展,本文来了解一下移动端的自动化测试。
面对"区分代码和数据"这个理论上不可判定的问题,现有的静态二进制翻译器基本依赖启发式猜测——猜错就翻译错。而最近加州大学尔湾分校的研究者换了一个思路:不猜,把所有可能性都翻译一遍。用空间换正确性。
在 LLVM 论坛看到一个新的 RFC CopySanitizer,用于优化 C++ 程序的性能,挺有趣的,本文来简单介绍一下。