1. 环境准备与基础配置

在开始分页查询前，我们需要准备以下环境：

  • Visual Studio 2022+
  • .NET 6+ 项目
  • Elasticsearch 7.17+ 服务
  • NEST 7.17.5 NuGet包

安装NEST客户端库：

Install-Package NEST -Version 7.17.5

基础连接配置示例：

var settings = new ConnectionSettings(new Uri("http://localhost:9200"))
    .DefaultIndex("products")  // 设置默认索引
    .EnableDebugMode()         // 开启调试模式
    .PrettyJson();             // 格式化JSON输出

var client = new ElasticClient(settings);

2. 分页查询的两种核心实现方式

2.1 From + Size分页（浅分页）

// 创建分页查询请求
var searchRequest = new SearchRequest<Product>
{
    From = 20,    // 跳过前20条（第三页）
    Size = 10,    // 每页10条
    Query = new TermQuery { Field = "category", Value = "electronics" }
};

// 执行查询
var result = client.Search<Product>(searchRequest);

// 处理结果
if (result.IsValid)
{
    var total = result.Total;     // 总记录数
    var pageData = result.Documents; // 当前页数据
}

2.2 Search After分页（深分页）

// 首次查询（第一页）
var firstPage = client.Search<Product>(s => s
    .Size(10)
    .Sort(sort => sort
        .Ascending(p => p.Price)
        .Ascending(p => p.Id))  // 必须包含唯一性字段
    .Query(q => q.MatchAll())
);

// 获取最后一条记录的排序值
var lastHit = firstPage.Hits.Last();
var searchAfterValue = lastHit.Sorts;

// 后续分页查询
var nextPage = client.Search<Product>(s => s
    .Size(10)
    .SearchAfter(searchAfterValue)
    .Sort(sort => sort
        .Ascending(p => p.Price)
        .Ascending(p => p.Id))
    .Query(q => q.MatchAll())
);

3. 应用场景与选型建议

3.1 From + Size适用场景

  • 用户前台的分页展示（页码导航）
  • 数据量小于10,000条的常规查询
  • 需要完整页码统计的场景

3.2 Search After适用场景

  • 无限滚动加载页面
  • 超过10,000条的深分页需求
  • 实时数据流的分页处理
  • 不需要显示总页数的场景

4. 技术优缺点对比

对比维度 From + Size Search After
性能消耗 随页码深度线性增长 恒定时间复杂度
内存占用 需要缓存完整结果集 仅缓存当前页
最大深度限制 默认max_result_window=10,000 无硬性限制
结果一致性 可能遇到数据漂移问题 保证分页期间数据一致性
实现复杂度 简单直接 需要处理排序字段逻辑

5. 注意事项与避坑指南

5.1 通用注意事项

  • 索引设置优化：
// 调整最大分页窗口（需要谨慎使用）
client.PutIndexSettings("products", s => s
    .IndexSettings(i => i
        .Setting("max_result_window", 100000))
);
  • 排序字段必须满足：
    • 至少包含一个唯一字段（如ID）
    • 字段值在分页期间保持稳定
    • 推荐使用组合排序（时间戳+ID）

5.2 From + Size特殊限制

// 错误用法示例（超过max_result_window）
var invalidRequest = new SearchRequest
{
    From = 50000,  // 超过默认10000限制
    Size = 10
};
// 将抛出ElasticsearchClientException异常

5.3 Search After开发技巧

// 动态分页处理器示例
public class PaginationHelper
{
    public static IEnumerable<Product> PaginateAllRecords(IElasticClient client)
    {
        var searchParams = new SearchRequest<Product>
        {
            Size = 1000,
            Sort = new List<ISort>
            {
                new FieldSort { Field = "timestamp", Order = SortOrder.Ascending },
                new FieldSort { Field = "id", Order = SortOrder.Ascending }
            }
        };

        ISearchResponse<Product> response;
        do
        {
            response = client.Search<Product>(searchParams);
            foreach (var hit in response.Hits)
            {
                yield return hit.Source;
            }
            searchParams.SearchAfter = response.Hits.LastOrDefault()?.Sorts;
        } while (response.Hits.Any());
    }
}

6. 关联技术扩展

6.1 Scroll API的替代方案

虽然本文聚焦Search After，但需要了解历史方案对比：

// Scroll查询示例（已不推荐用于分页）
var scrollResponse = client.Scroll<Product>("2m", "scrollId");
// 适用于批量导出场景，但会占用大量内存

6.2 分页性能优化策略

  • 使用docvalue_fields替代_source
  • 启用字段映射优化：
// 创建索引时优化字段
client.Indices.Create("products", c => c
    .Map<Product>(m => m
        .Properties(p => p
            .Keyword(k => k.Name(n => n.Id))
            .Date(d => d.Name(n => n.Timestamp))
        )
    )
);

7. 总结与实践建议

通过本文的详细示例和对比分析，我们可以得出以下结论：

  1. 优先使用Search After处理大数据量分页
  2. From + Size适用于简单的分页需求
  3. 分页参数需要配合合理的索引设计
  4. 排序字段的稳定性是分页准确性的关键

实际开发中建议：

  • 对超过100页的查询强制转换为Search After模式
  • 在前端分页组件中增加深度分页警告
  • 定期监控慢查询日志中的分页操作
  • 结合业务场景设计复合排序字段

完整示例项目建议采用以下技术栈组合：

  • 后端框架：ASP.NET Core WebAPI
  • 搜索组件：NEST 7.17.5
  • 数据序列化：System.Text.Json
  • 辅助工具：Elasticsearch-head（可视化管理）