Java java采用的编码、JVM平台默认字符集和外部资源的编码
其他:http://www.cnblogs.com/lxzh/archive/2012/05/30/2526557.html
java采用的编码是unicode编码;
查看jvm的默认编码:
可以使用System.out.println(Charset.defaultCharset());来查看jvm默认的字符集(我的mac为utf-8(java.nio.charset.CharsetICU[UTF-8]));
JVM的字符集编码取的是操作系统默认的字符集编码:
win xp 中文版中:一般是GBK。
win server中文版中:一般是GB18030(猜测)。
Linux 中看本地语言环境配置文件怎么设置。
java字符串使用的是unicode编码。
其实,编码问题存在两个方面:JVM之内和JVM之外。
1、Java文件编译后形成class
这里Java文件的编码可能有多种多样,但Java编译器会自动将这些编码按照Java文件的编码格式正确读取后产生class文件,这里的class文件编码是Unicode编码(具体说是UTF-16编码)。
因此,在Java代码中定义一个字符串:
String s="汉字";
不管在编译前java文件使用何种编码,在编译后成class后,他们都是一样的----Unicode编码表示。
2、JVM中的编码
JVM加载class文件读取时候使用Unicode编码方式正确读取class文件,那么原来定义的String s="汉字";在内存中的表现形式是Unicode编码。
当调用String.getBytes()的时候,其实已经为乱码买下了祸根。因为此方法使用平台默认的字符集来获取字符串对应的字节数组。在WindowsXP中文版中,使用的默认编码是GBK,不信运行下:
public class Test {
public static void main(String[] args) {
System.out.println("当前JRE:" + System.getProperty("java.version"));
System.out.println("当前JVM的默认字符集:" + Charset.defaultCharset());
}
}
当前JRE:1.6.0_16
当前JVM的默认字符集:GBK
当不同的系统、数据库经过多次编码后,如果对其中的原理不理解,就容易导致乱码。因此,在一个系统中,有必要对字符串的编码做一个统一,这个统一模糊点说,就是对外统一。比如方法字符串参数,IO流,在中文系统中,可以统一使用GBK、GB13080、UTF-8、UTF-16等等都可以,只是要选择有些更大字符集,以保证任何可能用到的字符都可以正常显示,避免乱码的问题。(假设对所有的文件都用ASCII码)那么就无法实现双向转换了。
要特别注意的是,UTF-8并非能容纳了所有的中文字符集编码,因此,在特殊情况下,UTF-8转GB18030可能会出现乱码。
3、内存中字符串的编码
内存中的字符串不仅仅局限于从class代码中直接加载而来的字符串,还有一些字符串是从文本文件中读取的,还有的是通过数据库读取的,还有可能是从字节数组构建的,然而他们基本上都不是Unicode编码的,原因很简单,存储优化。
因此就需要处理各种各样的编码问题,在处理之前,必须明确“源”的编码,然后用指定的编码方式正确读取到内存中。如果是一个方法的参数,实际上必须明确该字符串参数的编码,因为这个参数可能是另外一个日文系统传递过来的。当明确了字符串编码时候,就可以按照要求正确处理字符串,以避免乱码。
在对字符串进行解码编码的时候,应该调用下面的方法:
getBytes(String charsetName)
String(byte[] bytes, String charsetName)
而不要使用那些不带字符集名称的方法签名,通过上面两个方法,可以对内存中的字符进行重新编码。
(一) JVM 默认字符集—— Charset. defaultCharset ()
Java 中,字符字节转换时,如果不提供字符集,使用默认字符集。例如,字符串和字节数组转换时,字节流和字符流转换时等。
1 String str = "中文";2 // 获取JVM默认字符集
3 System.out.println("defaultCharset:" + Charset.defaultCharset());
4
5 System.out.println("##字符串转换成byte数组");
6 byte[] defaultByteArray = str.getBytes();
7 byte[] gbkByteArray = str.getBytes("GBK");
8 byte[] utfByteArray = str.getBytes("UTF-8");
9 System.out.println("defaultByteArray:"
10 + Arrays.toString(defaultByteArray));
11 System.out.println("gbkByteArray:" + Arrays.toString(gbkByteArray));
12 System.out.println("utfByteArray:" + Arrays.toString(utfByteArray));
13
14 System.out.println("##byte数组转换成字符串");
15 String defaultStr = new String(defaultByteArray);
16 String gbkStr = new String(defaultByteArray, "GBK");
17 String utfStr = new String(defaultByteArray, "UTF-8");
18 System.out.println("defaultStr:" + defaultStr);
19 System.out.println("gbkStr:" + gbkStr);
20 // 因为utf-8是变长编码,没有跟[-42, -48, -50, -60]对应的用utf-8字符集的字符串,所以会乱码
21 System.out.println("utfStr:" + utfStr);
22
23 System.out.println("##字节流转化成字符流");
24 // 文件中只有“中文”2个字,文件采用“GBK”编码,共4个byte
25 BufferedReader defaultReader = new BufferedReader(
26 new InputStreamReader(new FileInputStream("src/encode.txt")));
27 BufferedReader gbkReader = new BufferedReader(new InputStreamReader(
28 new FileInputStream("src/encode.txt"), "GBK"));
29 BufferedReader utfReader = new BufferedReader(new InputStreamReader(
30 new FileInputStream("src/encode.txt"), "UTF-8"));
31 System.out.println("defaultReader:" + defaultReader.readLine());
32 System.out.println("gbkReader:" + gbkReader.readLine());
33 System.out.println("utfReader:" + utfReader.readLine());
34
35 System.out.println("##字符流转化成字节流");
36 BufferedWriter defaultWriter = new BufferedWriter(
37 new OutputStreamWriter(System.out));
38 BufferedWriter gbkWriter = new BufferedWriter(new OutputStreamWriter(
39 System.out, "GBK"));
40 BufferedWriter utfWriter = new BufferedWriter(new OutputStreamWriter(
41 System.out, "UTF-8"));
42 System.out.print("defaultWriter:");
43 defaultWriter.write(str);
44 // 这里不能用close()方法,否则System.out也被关闭,后续无输出
45 defaultWriter.flush();
46 System.out.print("\r\ngbkReader:");
47 gbkWriter.write(str);
48 gbkWriter.flush();
49 System.out.print("\r\nutfReader:");
50 utfWriter.write(str);
51 utfWriter.flush();
Java
defaultCharset:GBK
##字符串转换成byte数组
defaultByteArray:[-42, -48, -50, -60]
gbkByteArray:[-42, -48, -50, -60]
utfByteArray:[-28, -72, -83, -26, -106, -121]
##byte数组转换成字符串
defaultStr:中文
gbkStr:中文
utfStr:????
##字节流转化成字符流
defaultReader:中文
gbkReader:中文
utfReader:????
##字符流转化成字节流
defaultWriter:中文
gbkReader:中文
utfReader:涓枃
( 二) Java 程序入口文件( main 函数所在文件) 编码 —— System.getProperty("file.encoding")
该编码默认值取决于 Java 程序入口文件( main 函数所在文件) 编码 的编码方式,具体请参考下面文章,也可以在运行 Java 程序时通过 -Dfile.encoding="GBK" 来设定,如果 -Dfile.encoding 指定的编码方式跟 Java 程序入口文件的字符集不一致,将会导致乱码 。也可以在程序中通过 setP roperty 方法直接设置,这种设置虽然改变了“ file.encoding ”的值,但是似乎没什么用 。
1 System.out.println("##文件编码是GBK,-Dfile.encoding=\"GBK\"");2 System.out.println("file.encoding:"
3 + System.getProperty("file.encoding"));
4 // 在不存在的目录下创建文件,查看报错信息
5 try {
6 new File("directory/test.txt").createNewFile();
7 } catch (IOException e) {
8 e.printStackTrace();
9 }
10
11 // ##文件编码是GBK,-Dfile.encoding="UTF-8"
12 System.out.println("##文件编码是GBK,-Dfile.encoding=\"UTF-8\"");
13 System.out.println("file.encoding:"
14 + System.getProperty("file.encoding"));
15 // 在不存在的目录下创建文件,查看报错信息
16 try {
17 new File("directory/test.txt").createNewFile();
18 } catch (IOException e) {
19 e.printStackTrace();
20 }
Java
##文件编码是GBK,-Dfile.encoding="GBK"
file.encoding:GBK
java.io.IOException: 系统找不到指定的路径。
at java.io.WinNTFileSystem.createFileExclusively(Native Method)
at java.io.File.createNewFile(File.java:883)
at Encoding.main(Encoding.java:72)
##鏂囦欢缂栫爜鏄疓BK,-Dfile.encoding="UTF-8"
file.encoding:UTF-8
java.io.IOException: 绯荤粺鎵句笉鍒版寚瀹氱殑璺緞銆?
at java.io.WinNTFileSystem.createFileExclusively(Native Method)
at java.io.File.createNewFile(File.java:883)
at Encoding.main(Encoding.java:83)
(三)文件名字编码—— System.getProperty("sun.jnu.encoding")
今天项目中遇到通过web上传文件到文件系统时,中文文件名乱码,一步步排查了http通讯过程中的编解码(通过utf-8)都没有发现问题。操作系统的默认字符集也是utf-8。 通过日志打印System.getProperty("file.encoding")也是utf-8码。。。。一时凌乱了!! 最后通过查资料,发现通过java写文件时文件名编码和System.getProperty("sun.jnu.encoding")有关,打印此环境属性发现输出竟然是ANSI的一种编码,终于找到问题爆发点,通过在程序中设置System.setProperty("sun.jnu.encoding","utf-8")解决问题。
通过问题解决得出结论:sun.jnu.encoding 影响文件名的创建,而 file.encoding 则影响到文件内容。
所以说,在我们使用 Java 处理中文文件的时候,如果发现文件的中文内容没有乱码,而文件的中文名发生乱码,我们就应当多考虑一下 sun.jnu.encoding 和 file.encoding 的区别了。
(四)java对字符的处理
在java应用软件中,会有多处涉及到字符集编码,有些地方需要进行正确的设置,有些地方需要进行一定程度的处理。
3.1. getBytes(charset)
这是java字符串处理的一个标准函数,其作用是将字符串所表示的字符按照charset编码,并以字节方式表示。注意字符串在java内存中总是按unicode编码存储的。比如"中文",正常情况下(即没有错误的时候)存储为"4e2d 6587",如果charset为"gbk",则被编码为"d6d0 cec4",然后返回字节"d6 d0 ce c4"。如果charset为"utf8"则最后是"e4 b8 ad e6 96 87"。如果是"iso8859-1",则由于无法编码,最后返回 "3f 3f"(两个问号)。
3.2. new String(charset)
这是java字符串处理的另一个标准函数,和上一个函数的作用相反,将字节数组按照charset编码进行组合识别,最后转换为unicode存储。参考上述getBytes的例子,"gbk" 和"utf8"都可以得出正确的结果"4e2d 6587",但iso8859-1最后变成了"003f 003f"(两个问号)。
因为utf8可以用来表示/编码所有字符,所以new String( str.getBytes( "utf8" ), "utf8" ) === str,即完全可逆。
3.3. setCharacterEncoding()
该函数用来设置http请求或者相应的编码。
对于request,是指提交内容的编码,指定后可以通过getParameter()则直接获得正确的字符串,如果不指定,则默认使用iso8859-1编码,需要进一步处理。参见下述"表单输入"。值得注意的是在执行setCharacterEncoding()之前,不能执行任何getParameter()。java doc上说明:This method must be called prior to reading request parameters or reading input using getReader()。而且,该指定只对POST方法有效,对GET方法无效。分析原因,应该是在执行第一个getParameter()的时候,java将会按照编码分析所有的提交内容,而后续的getParameter()不再进行分析,所以setCharacterEncoding()无效。而对于GET方法提交表单是,提交的内容在URL中,一开始就已经按照编码分析所有的提交内容,setCharacterEncoding()自然就无效。
对于response,则是指定输出内容的编码,同时,该设置会传递给浏览器,告诉浏览器输出内容所采用的编码。
3.4. 处理过程
下面分析两个有代表性的例子,说明java对编码有关问题的处理方法。
3.4.1. 表单输入
User input *(gbk:d6d0 cec4) browser *(gbk:d6d0 cec4) web server iso8859-1(00d6 00d 000ce 00c4) class,需要在class中进行处理:getbytes("iso8859-1")为d6 d0 ce c4,new String("gbk")为d6d0 cec4,内存中以unicode编码则为4e2d 6587。
l 用户输入的编码方式和页面指定的编码有关,也和用户的操作系统有关,所以是不确定的,上例以gbk为例。
l 从browser到web server,可以在表单中指定提交内容时使用的字符集,否则会使用页面指定的编码。而如果在url中直接用?的方式输入参数,则其编码往往是操作系统本身的编码,因为这时和页面无关。上述仍旧以gbk编码为例。
l Web server接收到的是字节流,默认时(getParameter)会以iso8859-1编码处理之,结果是不正确的,所以需要进行处理。但如果预先设置了编码(通过request. setCharacterEncoding ()),则能够直接获取到正确的结果。
l 在页面中指定编码是个好习惯,否则可能失去控制,无法指定正确的编码。
3.4.2. 文件编译
假设文件是gbk编码保存的,而编译有两种编码选择:gbk或者iso8859-1,前者是中文windows的默认编码,后者是linux的默认编码,当然也可以在编译时指定编码。
Jsp *(gbk:d6d0 cec4) java file *(gbk:d6d0 cec4) compiler read uincode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4) compiler write utf(gbk: e4b8ad e69687; iso8859-1: *) compiled file unicode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4) class。所以用gbk编码保存,而用iso8859-1编译的结果是不正确的。
class unicode(4e2d 6587) system.out / jsp.out gbk(d6d0 cec4) os console / browser。
l 文件可以以多种编码方式保存,中文windows下,默认为ansi/gbk。
l 编译器读取文件时,需要得到文件的编码,如果未指定,则使用系统默认编码。一般class文件,是以系统默认编码保存的,所以编译不会出问题,但对于jsp文件,如果在中文windows下编辑保存,而部署在英文linux下运行/编译,则会出现问题。所以需要在jsp文件中用pageEncoding指定编码。
l Java编译的时候会转换成统一的unicode编码处理,最后保存的时候再转换为utf编码。
l 当系统输出字符的时候,会按指定编码输出,对于中文windows下,System.out将使用gbk编码,而对于response(浏览器),则使用jsp文件头指定的contentType,或者可以直接为response指定编码。同时,会告诉browser网页的编码。如果未指定,则会使用iso8859-1编码。对于中文,应该为browser指定输出字符串的编码。
l browser显示网页的时候,首先使用response中指定的编码(jsp文件头指定的contentType最终也反映在response上),如果未指定,则会使用网页中meta项指定中的contentType。
以上是 Java java采用的编码、JVM平台默认字符集和外部资源的编码 的全部内容, 来源链接: utcz.com/z/394056.html