前言
在日常开发中，与第三方API进行数据同步是一项常见的任务。有时，一个看似简单的“拉数据”需求，背后却可能隐藏着数据结构不一致、性能瓶颈和内存溢出等一系列“深坑”。本文将以一个真实的案例，记录我们如何从一个有问题的分页接口开始，逐步分析、重构和优化，最终打造出一个健壮、高效、可扩展的大数据同步管道，使其能够稳定处理从数万到上亿级别的数据同步。 
第一章：初遇挑战 - 一个“假分页”的流式接口
我们最初的任务是同步业务数据。第三方提供了一个基于nextKey的“游标”分页机制的接口。客户端发起请求，服务器通过流式（Streaming）将数据返回。 
1.1 最初的实现与问题
服务器端的代码（基于SparkJava框架）通过一个while(true)循环，不断使用返回的nextKey中的id作为下一页的查询条件。 
Java 
// 服务器端 V1 版本伪代码
while (true) {...