DoHerasYang (@xinty) 在 让Crawl4AI支持接入豆包引擎并处理框架错误-免费的豆包真香 中发帖
Crawl4AI 是一个强大的 AI 驱动网络爬虫工具,能够简化从网页中提取结构化数据的过程。然而,当前版本(v0.5.0.post8)并不原生支持豆包(Doubao)模型。(主要是豆包每天5万免费Token用来测试真的太香了
当我尝试通过 litellm 集成 豆包-Pro-256k-241115 模型时,遇到了 ‘str’ object has no attribute ‘choices’ 错误。本文将分析错误原因,分享调试过程,并提供一个通用的解决方案,通过修改 Crawl4AI 源码使其支持豆包模型,同时兼容原始代码和可能的修改版本。如果你在 Crawl4AI 中集成非原生支持的 LLM,遇到类似问题,这篇指南将为你提供清晰的解决思路。
问题背景:一个棘手的错误
我使用以下脚本尝试通过 Crawl4AI 和豆包模型爬取网页,提取结构化数据(URL、标题和正文):
python ...