asp.net - 我需要编辑 100,000 多个产品

Question

我正在考虑接受一个需要我清理现有电子商务网站的项目。它相对成功，拥有超过 100,000 个单独的产品 - 由客户及其发布商加载。

该网站最初并不是为这么多产品设计的，因此变得相当杂乱无章。

因此，客户要求我查看更强大的搜索选项 - 可过滤等等。我完全同意它需要改进，但在查看数据库后，我可以看出有几十个类别，并不是所有的标签都正确等等。

有没有什么数据库管理软件可以帮我快速清理100,000条条目？使类别一致 - 修复大写/小写问题等。

是否有任何公司可以让我只向项目的这个特定部分采购？

它需要大量的数据输入。如果我在每个产品上花费 2 分钟，我将花费 6 个月的全部时间来完成数据库清理。我要么需要将每个产品的时间缩短到几秒钟，要么找到一家专门从事此类工作的公司。

我什至不知道在 Google 上搜索什么。

谢谢大家!

--

感谢大家的想法!我现在有很多选择，所以我对进入这个项目感到更加自在。现在我认为我们要走的方向是构建一个工具，允许客户雇用数据录入人员在必要时更新它。然后我将担任顾问，根据需要处理任何 UPDATE-WHERE 类型的功能。

再次感谢!

Answer 1

如果像您描述的那样存在不一致，听起来问题可能更多是数据模型错误(即缺乏规范化)的问题，而不仅仅是脏数据。如果规范化到位，清理类别应该像为每个类别更新一条记录一样简单 - 但如果使用类别名称而不是外键，那么您很可能需要执行一系列 UPDATE WHERE 语句来清理文本。

您可能需要查看有助于批量数据转换的 ETL(提取、转换、加载)工具。我不熟悉 mysql 的 ETL 工具，但我确信它们存在。 SQL Server 有一个名为 SQL Integration Services 的内置服务，它提供从现有数据源提取数据、执行批量更改或转换，然后将数据重新加载回目标数据库的能力。像这样的工具可能有助于加快大写、标点符号、更改类别等的标准化过程。

即便如此，也不要忽视数据模型可能需要调整以帮助防止将来出现此类情况的可能性。

编辑:Wikipedia列出了您可能想要研究的开源 ETL 产品。