格里菲 (@fastsheep24)AI搞爬虫有什么成熟方案吗? 中发帖

预期设想是给定目标站,给定目标然后llm分析目标站,获取关键标签的相关规则组合。 
然后生成一个代码或者json组件交给爬虫程序触发执行。
但是有几个问题,
dom感觉动不动就超llm上下文上限,导致工作异常
另一个是网页经常刷新,频繁触发更新规则,导致token消耗偏高
现在这个路径有成熟方案吗?还是说我走错方向了。