电商规模化：AI驱动的流程如何保持产品属性的一致性

在电商领域，分布式搜索查询、实时库存管理和推荐系统等重大技术挑战经常被讨论。然而，在幕后隐藏着一个顽固的系统性问题，困扰着全球的商家：产品属性值的管理与标准化。这些值构成了产品发现的基础，直接影响筛选、对比功能、搜索排名和推荐逻辑。在实际目录中，这些值却很少保持一致，常见重复、格式错误或语义歧义。

一个简单的例子可以说明问题的严重性：在尺寸描述中，可能同时出现“XL”、“Small”、“12cm”、“Large”、“M”和“S”。在颜色方面，值如“RAL 3020”、“Crimson”、“Red”和“Dark Red”混杂在一起——标准如RAL 3020与自由描述未加控制地混合。如果将这些不一致扩展到数百万SKU，问题的深度便可见一斑。筛选变得不可靠，搜索引擎的精准度下降，人工数据清洗变成西西弗斯的工作，客户在产品发现上体验到挫败感。

核心策略：智能与引导的结合

单纯的黑盒AI方案不可行。这类系统难以追踪、调试，也难以在数百万SKU中稳定运行。相反，目标是构建一个可预见、可解释、由人控制的流程——一种智能行事但不失控制的AI管道。

答案在于一种混合架构，将上下文感知的大语言模型（LLM）智能与确定性规则和商家控制结合起来。系统应满足三个标准：

• 决策的可追溯性
• 流程的可计算性
• 关键数据的人为干预选项

离线处理优于实时管道

一个关键的架构决策是选择离线后台任务，而非实时管道。乍听之下似乎是倒退，但实际上是战略性选择：

实时系统带来不可预知的延迟、脆弱的依赖关系、昂贵的计算峰值和更高的运维风险。而离线任务提供：

• 高吞吐效率：处理海量数据，不影响线上系统
• 鲁棒性：处理错误不会影响客户流量
• 成本优化：在低峰时段安排计算
• 隔离性：LLM延迟不影响产品页面性能
• 可预见性：更新原子性强、可复现

对于数百万产品条目，这种将客户面和数据处理解耦的方式至关重要。

数据清洗：基础保障

在引入AI之前，必须进行关键的预处理步骤以消除噪声。模型只接受干净、明确的输入：

• 空白字符归一化 (前后空格)
• 移除空值
• 消除重复值
• 简化类别上下文 (将面包屑转为结构化字符串)

这个看似简单的步骤极大提升了语言模型的准确性。原则是普适的：在如此大量的数据中，即使是微小的输入错误也可能引发一连串的问题。

上下文感知的LLM处理

模型不会机械地排序，而是利用丰富的上下文进行语义推理：

• 输入：
  • 已清洗的属性值
  • 类别元数据 (如“电动工具”、“服装”、“硬件”)
  • 属性分类信息
• 理解：
  • “电压”在电动工具中应按数值排序
  • “尺寸”在服装中遵循既定的递增序列 (S、M、L、XL)
  • “颜色”在某些类别中遵循标准化（如RAL 3020）
  • “材质”具有语义层级
• 输出：
  • 有序的值列表 -细化的属性描述
  • 可判定为可排序（确定性或上下文排序）

这样，流程可以灵活处理不同类型的属性，无需为每个类别硬编码规则。

确定性回退逻辑

并非所有属性都需要AI智能。数值范围、单位尺寸和简单的数量关系可以由确定性规则快速处理：

• 更快的处理速度
• 保证可预见性
• 降低成本
• 避免歧义

流程会自动识别此类情况，应用确定性排序逻辑，避免不必要的LLM调用。

人工控制：标签系统

对于关键属性，商家需要最终决策权。每个类别可以加标签：

• LLM_SORT：由语言模型决定排序
• MANUAL_SORT：由商家明确定义顺序

这种双重机制发挥了双重优势：AI负责日常任务，人工保持控制。建立信任的同时，也允许在必要时覆盖模型决策，且不影响整体流程。

结果持久化：集中存储

所有结果直接存入MongoDB，简化架构、便于维护：

• 有序属性值
• 优化的属性名称
• 类别特定的排序标签
• 产品相关的排序字段元数据

便于后续检查、值覆盖、类别重处理和与外部系统的同步。

搜索基础设施的集成

归一化后，值流入两个搜索系统：

• Elasticsearch：关键词筛选和面搜索
• Vespa：语义和向量匹配
• 这两个系统确保：
  • 筛选按逻辑顺序呈现
  • 产品页面显示一致的属性
  • 搜索排名更精准
  • 用户体验更直观

搜索层是属性一致性最直观、最具商业价值的环节。

转型的实际成果

流程将混乱的原始值转变为结构化输出：

特别是在颜色属性中，系统识别出RAL 3020作为颜色标准，合理地将其置于语义相近的值之间。

系统架构总览

模块化流程依次执行：

1. 从PIM系统 (产品信息管理) 提取产品数据
2. 通过属性提取任务隔离属性值和类别上下文
3. 将清洗后的数据传递给AI排序服务
4. 将更新后的产品文档写入MongoDB
5. 出站同步任务更新源PIM系统
6. Elasticsearch和Vespa同步任务将排序数据同步到各自索引
7. API层连接搜索系统与客户端应用

此流程确保每个归一化的属性值——无论由AI排序还是人工设置——都在搜索、商品展示和客户体验中保持一致。

为什么选择离线处理

实时管道会带来延迟不可预知、计算成本高、依赖关系脆弱等问题。而离线任务则提供：

• 高效批处理
• 异步LLM调用，无需实时压力
• 可靠的重试机制和错误队列
• 人工验证的时间窗口
• 可计算、可预期的计算成本

唯一的折中是数据采集到展示之间会有少量延迟，但在大规模场景下的可靠性提升对客户价值巨大。

商业与技术的影响

该方案带来了可衡量的成果：

• 超过300万SKU的属性排序一致性
• 数值排序的可预见性（通过确定性回退）
• 商家控制的去中心化（手动标签）
• 更清晰的产品页面和更直观的筛选
• 搜索相关性和排名准确性提升
• 增强的客户信任和转化率

这不仅是一个技术项目，更是提升用户体验和销售增长的直接杠杆。

关键经验教训

• 混合系统优于纯AI：引导和控制机制至关重要。
• 上下文是提升LLM准确性的关键：干净且类别相关的输入带来可靠输出。
• 离线处理不是折中，而是架构必需：保证吞吐和弹性。
• 人工覆盖增强信任：可控系统更易被接受。
• 输入数据质量决定输出可靠性：清洗不是负担，而是基础。

结语

归一化属性值看似简单问题——直到你面对数百万产品变体。通过结合语言模型智能、确定性规则和商家控制机制，将一个隐藏的、顽固的问题转变为一个优雅、易维护的系统。

这提醒我们：一些最宝贵的技术胜利，并非源自炫目的创新，而是源自对日常未被察觉问题的系统性解决——那些每天在每个产品页面上发生，却鲜有人关注的问题。