如何将UTF-8字符串转换为Unicode?

我有显示UTF-8编码字符的字符串,我想将其转换回Unicode。

现在,我的实现如下:

public static string DecodeFromUtf8(this string utf8String)

{

// read the string as UTF-8 bytes.

byte[] encodedBytes = Encoding.UTF8.GetBytes(utf8String);

// convert them into unicode bytes.

byte[] unicodeBytes = Encoding.Convert(Encoding.UTF8, Encoding.Unicode, encodedBytes);

// builds the converted string.

return Encoding.Unicode.GetString(encodedBytes);

}

我在玩这个词"déjà"。我已经通过此在线工具将其转换为UTF-8

,因此我开始使用字符串测试我的方法"déjÃ"

不幸的是,使用此实现,字符串就保持不变。

我哪里错了?

回答:

因此,问题在于UTF-8代码单元值已作为16位代码单元序列存储在C#中string。您只需要验证每个代码单元在一个字节的范围内,然后将这些值复制到字节中,然后将新的UTF-8字节序列转换为UTF-16。

public static string DecodeFromUtf8(this string utf8String)

{

// copy the string as UTF-8 bytes.

byte[] utf8Bytes = new byte[utf8String.Length];

for (int i=0;i<utf8String.Length;++i) {

//Debug.Assert( 0 <= utf8String[i] && utf8String[i] <= 255, "the char must be in byte's range");

utf8Bytes[i] = (byte)utf8String[i];

}

return Encoding.UTF8.GetString(utf8Bytes,0,utf8Bytes.Length);

}

DecodeFromUtf8("d\u00C3\u00A9j\u00C3\u00A0"); // déjà

这很容易,但是最好找到根本原因。有人将UTF-8代码单元复制到16位代码单元的位置。可能的罪魁祸首是有人string使用错误的编码将字节转换为C#。例如Encoding.Default.GetString(utf8Bytes,

0, utf8Bytes.Length)


另外,如果您确定知道用于生成字符串的错误编码,并且正确的编码转换是无损的(通常情况下,如果错误的编码是单字节编码),则可以简单地进行逆编码步骤以获取原始UTF-8数据,然后您可以从UTF-8字节进行正确的转换:

public static string UndoEncodingMistake(string mangledString, Encoding mistake, Encoding correction)

{

// the inverse of `mistake.GetString(originalBytes);`

byte[] originalBytes = mistake.GetBytes(mangledString);

return correction.GetString(originalBytes);

}

UndoEncodingMistake("d\u00C3\u00A9j\u00C3\u00A0", Encoding(1252), Encoding.UTF8);

以上是 如何将UTF-8字符串转换为Unicode? 的全部内容, 来源链接: utcz.com/qa/427843.html

回到顶部