yzsl最近在折腾 AI 做点自动化测试,说点真实感受 中发帖

最近这段时间在折腾点 AI 相关的东西,主要还是想往测试这块用一下,比如自动生成用例、接口校验、还有一些简单的回归判断之类的。 
一开始其实想得挺美的,觉得是不是可以省掉一部分重复性的测试工作,尤其是那种改来改去的接口、文档一变就要重新梳理用例的场景。
实际用下来感觉有点复杂。
先说好的地方。
有些场景确实能提效,比如:
给一段接口定义或者简单业务描述,让它帮你列测试点,这个还行,至少能当个补充。有时候能想到一些你没第一时间注意到的边界情况。
还有日志分析这块,比如一堆报错堆在那,让它帮你归归类、总结一下,也能省点时间。
但问题也挺明显的。
最直接的一个:它其实不太理解“上下文”。
比如同一个接口,在不同业务场景下,校验逻辑是不一样的,但AI有时候会给你一套“看起来很完整,但其实不太对”的用例。
如果你不自己过一遍,很容易被带偏。
还有一个比较明显的是:稳定性不太行。
...