- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我的任务是将 Microsoft SQL Server 2005 数据库迁移到 MySQL 5.6(这些都是本地运行的数据库服务器),非常感谢您的帮助。
-MSSQL 源数据库有 latin1 排序规则(所以 ISO 8859-1 字符集对吗?)但没有任何 char/varchar 字段(任何字符串字段都是 nvarchar/nchar)所以所有这些数据都应该使用 UCS -2 个字符集。
-MySQL目标数据库需要字符集UTF-8
我决定使用最新版本的 MySQL workbench 中的数据库迁移工具包。起初它工作正常并按预期迁移了所有内容。但是在 MSSQL 数据库中遇到 UCS-2 代理对字符时,我完全被绊倒了。
迁移工具包复制表程序没有提供非常有用的错误消息:“wstring 的字符集转换期间出错:无错误”。它还没有提供有关导致问题的数据的任何字段/行信息,并且会在 100 行的 block 内失败。因此,在上次成功插入后搜索 100 行后,我发现问题似乎是由其中一个 nvarchar 字段中的两个 UCS-2 字符引起的。它们在 UCS-2 字符集中被列为代理项对。它们具体是字符 DBC0 和 DC83(我是通过查看该字段的二进制数据并将字节对(小端)与成功迁移的数据进行比较得到的)。
当这个代理项对从 MSSQL 数据库中删除时,该行已成功迁移到 MySQL。
问题是:
我试图在一个测试 MSSQL 表中搜索这些字符(这个 chartest 表只是各种测试字符串和一个 nvarchar 字段)来准备一个替换脚本并不断得到奇怪的结果......我一定是做错了什么。
搜索
SELECT * FROM chartest WHERE text LIKE NCHAR(0xdc83)
将返回任何代理对字符(无论是否使用 DC83),但显然,只有当它是该字段中唯一的字符(或对的一部分)时。这没什么大不了的,因为无论如何我都想删除这些实例(我不喜欢删除这样的数据,但我认为我们负担得起)。
搜索
SELECT * FROM chartest WHERE text LIKE '%' + (NCHAR(0xdc83))+ '%'
将返回每一行!不管字段中是否存在 unicode 字符,更不用说 DC83 字符了。有没有更好的方法来查找和替换这些字符?或者我应该尝试其他什么?
我也尝试过将目标数据库、表和字段字符集设置为 UCS-2,但似乎没有什么不同。
我还应该提到,此迁移使用的是实时数据(~50GB 数据库!),而为其提供数据的站点之一已离线,因此对此的任何解决方案都需要快速运行...
如果有任何建议,我将不胜感激!如果我遗漏了任何信息,请告诉我。
最佳答案
我有这个错误,现在我找到了问题的根源。我很难找到答案,所以也许这对某些人有用,尽管我意识到,我的问题和解决方法可能无法解决匹配操作的原始问题。
我正在将数据从 MSSQL 迁移到 MySQL,迁移的内容是来自 Sitecore CMS 的 html 内容(顺便说一句, objective-c MS 是 Drupal)。
我发现,在转换数据库和命中包含 Instagram-embeds 的记录时出现此错误。 Instagram-embeds 的工作方式是将嵌入的帖子数据复制到嵌入代码(而不是异步加载等 - 甚至图像包含为 base64-css ...),而年轻人现在倾向于在他们的图像描述中加入很多表情符号(使用带有表情符号键盘的 iPhone)。表情符号由 4 字节编码的字符表示,但 MySQL utf8
只允许 3 字节编码的 unicode 字符。
我最初运行 wbcopytables.exe
(这是在 MySQL Workbench 中执行迁移向导的非 GUI 方式)时出现的错误是
Error during charset conversion of wstring: No error
但是将 MySQL Workbench 升级到最新版本(从 5.something 到 6.x)会使错误更具描述性,提示表和列(唉,不是行):
ERROR: Could not successfully convert UCS-2 string to UTF-8 in table [MyDatabase].[dbo].[MyTable] (column MyColumn). Original string: ...
无论如何 - 一个解决方案*可能*是使用允许表情符号的 utf8mb4
。阅读更多 here .
但它看起来像是 a bad idea例如这样做我的 Drupal 案例。
所以 - 我最终得到的解决方案只是在我的迁移脚本中删除这些字符。为相关网站的用户保留这些内容毫无意义,因为它们无论如何都在网页上显示为矩形。由于您无法在 SQL Server 中使用正则表达式进行搜索和替换,因此我使用 DAL 和 c# .NET 处理了数据,并找到了帮助 here (非常感谢,Jon Skeet)——事实证明有一个正则表达式模式可以匹配 UTF-16 中的代理对的一半。请参阅下文(并在需要时使用另一种语言的模式)。
var noUcs2SurrogatePairsString = Regex.Replace(stringWithUcs2SurrogatePairs, @"\p{Cs}", string.Empty);
关于mysql - MSSQL 到 MySQL 迁移 - UCS-2 代理项对的字符编码问题,如何从 MSSQL 数据库中删除这些问题?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15572108/
关闭。这个问题是off-topic .它目前不接受答案。 想要改进这个问题? Update the question所以它是on-topic用于堆栈溢出。 关闭 12 年前。 Improve thi
我有一个动态网格,其中的数据功能需要正常工作,这样我才能逐步复制网格中的数据。假设在第 5 行中,我输入 10,则从第 6 行开始的后续行应从 11 开始读取,依此类推。 如果我转到空白的第一行并输入
我有一个关于我的按钮消失的问题 我已经把一个图像作为我的按钮 用这个函数动画 function example_animate(px) { $('#cont
我有一个具有 Facebook 连接和经典用户名/密码登录的网站。目前,如果用户单击 facebook_connect 按钮,系统即可运行。但是,我想将现有帐户链接到 facebook,因为用户可以选
我有一个正在为 iOS 开发的应用程序,该应用程序执行以下操作 加载和设置注释并启动核心定位和缩放到位置。 map 上有很多注释,从数据加载不会花很长时间,但将它们实际渲染到 map 上需要一段时间。
我被推荐使用 Heroku for Ruby on Rails 托管,到目前为止,我认为我真的会喜欢它。只是想知道是否有人可以帮助我找出问题所在。 我按照那里的说明在该网站上创建应用程序,创建并提交
我看过很多关于 SSL 错误的帖子和信息,我自己也偶然发现了一个。 我正在尝试使用 GlobalSign CA BE 证书通过 Android WebView 访问网页,但出现了不可信错误。 对于大多
我想开始使用 OpenGL 3+ 和 4,但我在使用 Glew 时遇到了问题。我试图将 glew32.lib 包含在附加依赖项中,并且我已将库和 .dll 移动到主文件夹中,因此不应该有任何路径问题。
我已经盯着这两个下载页面的源代码看了一段时间,但我似乎找不到问题。 我有两个下载页面,一个 javascript 可以工作,一个没有。 工作:http://justupload.it/v/lfd7不是
我一直在使用 jQuery,只是尝试在单击链接时替换文本字段以及隐藏/显示内容项。它似乎在 IE 中工作得很好,但我似乎无法让它在 FF 中工作。 我的 jQuery: $(function() {
我正在尝试为 NDK 编译套接字库,但出现以下两个错误: error: 'close' was not declared in this scope 和 error: 'min' is not a m
我正在使用 Selenium 浏览器自动化框架测试网站。在测试过程中,我切换到特定的框架,我们将其称为“frame_1”。后来,我在 Select 类中使用了 deselectAll() 方法。不久之
我正在尝试通过 Python 创建到 Heroku PostgreSQL 数据库的连接。我将 Windows10 与 Python 3.6.8 和 PostgreSQL 9.6 一起使用。 我从“ht
我有一个包含 2 列的数据框,我想根据两列之间的比较创建第三列。 所以逻辑是:第 1 列 val = 3,第 2 列 val = 4,因此新列值什么都没有 第 1 列 val = 3,第 2 列 va
我想知道如何调试 iphone 5 中的 css 问题。 我尝试使用 firelite 插件。但是从纵向旋转到横向时,火石占据了整个屏幕。 有没有其他方法可以调试 iphone 5 中的 css 问题
所以我有点难以理解为什么这不起作用。我正在尝试替换我正在处理的示例站点上的类别复选框。我试图让它做以下事情:未选中时以一种方式出现,悬停时以另一种方式出现(选中或未选中)选中时以第三种方式出现(而不是
Javascript CSS 问题: 我正在使用一个文本框来写入一个 div。我使用以下 javascript 获取文本框来执行此操作: function process_input(){
你好,我很难理解 P、NP 和多项式时间缩减的主题。我试过在网上搜索它并问过我的一些 friend ,但我没有得到任何好的答案。 我想问一个关于这个话题的一般性问题: 设 A,B 为 P 中的语言(或
你好,我一直在研究 https://leetcode.com/problems/2-keys-keyboard/并想到了这个动态规划问题。 您从空白页上的“A”开始,完成后得到一个数字 n,页面上应该
我正在使用 Cocoapods 和 KIF 在 Xcode 服务器上运行持续集成。我已经成功地为一个项目设置了它来报告每次提交。我现在正在使用第二个项目并收到错误: Bot Issue: warnin
我是一名优秀的程序员,十分优秀!