岗位职责:

负责专业数据采集系统的设计、开发与维护，覆盖 API 接入、网页爬虫、动态页面及复杂数据源采集，并应对登录鉴权、验证码、访问限制、页面变化和复杂反爬机制。
负责文本、PDF 、Word 、Excel 、HTML 、图片等结构化及非结构化数据的解析、清洗、标准化、质量校验和入库，建设可复用的数据处理 Pipeline 。
负责多类型数据库的选型、设计、开发与性能优化，包括 PostgreSQL 、Elasticsearch 、Milvus 、Doris/ClickHouse 、Neo4j 等；基于 FastAPI 建设稳定、高效的数据服务 API 。
建设面向运营和市场投放的用户数据体系，完成 PostHog 埋点方案设计，并基于 Kafka 、Flink 等技术开发实时 ETL ，支撑用户行为分析和多维查询。
结合 LLM 与 BERT/Transformer 模型，从医学文...