paopao 在 做了个 LLM 流量记录工具,聊聊几个设计上的取舍 中发帖
本帖想分享我最近开发prismcat的一些想法,之前已经发过一篇帖子进行介绍:【开源自荐】 PrismCat — 无感接入你的api调用流程,获得全量日志
不知道为什么带上github链接后就会进入审核,然后每次审核都无法通过,所以干脆把仓库链接从本帖删了,也不想作为推广发布
回到正题,PrismCat是一个llm api观测工具,虽然代码是ai写的但架构决策是我自己做的,有些决策真的让我很纠结,本文主要就是记录它们并分享一下
起因是我在用各种客户端,中转站(cherry studio,newapi等)及给自己的机器人接入llm时老是遇到很多奇怪的错误,所以我想它们到底是如何构造请求的,我想知道每一个请求到底长什么样,以及现在各种吹的天花乱坠的功能——什么mcp,skill等,到底是如何实现的。我想要一个工具,它最好足够轻,可以接入任何链路,能记录我所有的请求并且不影响原本的运行
以...