Java java采用的编码、JVM平台默认字符集和外部资源的编码

java

其他:http://www.cnblogs.com/lxzh/archive/2012/05/30/2526557.html

java采用的编码是unicode编码;

查看jvm的默认编码:

可以使用System.out.println(Charset.defaultCharset());来查看jvm默认的字符集(我的mac为utf-8(java.nio.charset.CharsetICU[UTF-8]));

JVM的字符集编码取的是操作系统默认的字符集编码:

         win xp 中文版中:一般是GBK。

         win server中文版中:一般是GB18030(猜测)。

         Linux 中看本地语言环境配置文件怎么设置。

java字符串使用的是unicode编码。 

其实,编码问题存在两个方面:JVM之内和JVM之外。

 

1、Java文件编译后形成class

这里Java文件的编码可能有多种多样,但Java编译器会自动将这些编码按照Java文件的编码格式正确读取后产生class文件,这里的class文件编码是Unicode编码(具体说是UTF-16编码)。

因此,在Java代码中定义一个字符串:

String s="汉字";

不管在编译前java文件使用何种编码,在编译后成class后,他们都是一样的----Unicode编码表示。

 

2、JVM中的编码

JVM加载class文件读取时候使用Unicode编码方式正确读取class文件,那么原来定义的String s="汉字";在内存中的表现形式是Unicode编码。

 

当调用String.getBytes()的时候,其实已经为乱码买下了祸根。因为此方法使用平台默认的字符集来获取字符串对应的字节数组。在WindowsXP中文版中,使用的默认编码是GBK,不信运行下:

public class Test { 
        public static void main(String[] args) { 
                System.out.println("当前JRE:" + System.getProperty("java.version")); 
                System.out.println("当前JVM的默认字符集:" + Charset.defaultCharset()); 
        } 
}

 

当前JRE:1.6.0_16 
当前JVM的默认字符集:GBK

 

当不同的系统、数据库经过多次编码后,如果对其中的原理不理解,就容易导致乱码。因此,在一个系统中,有必要对字符串的编码做一个统一,这个统一模糊点说,就是对外统一。比如方法字符串参数,IO流,在中文系统中,可以统一使用GBK、GB13080、UTF-8、UTF-16等等都可以,只是要选择有些更大字符集,以保证任何可能用到的字符都可以正常显示,避免乱码的问题。(假设对所有的文件都用ASCII码)那么就无法实现双向转换了。

 

要特别注意的是,UTF-8并非能容纳了所有的中文字符集编码,因此,在特殊情况下,UTF-8转GB18030可能会出现乱码。

 

3、内存中字符串的编码

内存中的字符串不仅仅局限于从class代码中直接加载而来的字符串,还有一些字符串是从文本文件中读取的,还有的是通过数据库读取的,还有可能是从字节数组构建的,然而他们基本上都不是Unicode编码的,原因很简单,存储优化。

 

因此就需要处理各种各样的编码问题,在处理之前,必须明确“源”的编码,然后用指定的编码方式正确读取到内存中。如果是一个方法的参数,实际上必须明确该字符串参数的编码,因为这个参数可能是另外一个日文系统传递过来的。当明确了字符串编码时候,就可以按照要求正确处理字符串,以避免乱码。

在对字符串进行解码编码的时候,应该调用下面的方法:

getBytes(String charsetName)    
String(byte[] bytes, String charsetName)

 

而不要使用那些不带字符集名称的方法签名,通过上面两个方法,可以对内存中的字符进行重新编码。

 

 

(一) JVM 默认字符集—— Charset. defaultCharset ()

Java 中,字符字节转换时,如果不提供字符集,使用默认字符集。例如,字符串和字节数组转换时,字节流和字符流转换时等。

 1 String str = "中文";

2 // 获取JVM默认字符集

3 System.out.println("defaultCharset:" + Charset.defaultCharset());

4

5 System.out.println("##字符串转换成byte数组");

6 byte[] defaultByteArray = str.getBytes();

7 byte[] gbkByteArray = str.getBytes("GBK");

8 byte[] utfByteArray = str.getBytes("UTF-8");

9 System.out.println("defaultByteArray:"

10 + Arrays.toString(defaultByteArray));

11 System.out.println("gbkByteArray:" + Arrays.toString(gbkByteArray));

12 System.out.println("utfByteArray:" + Arrays.toString(utfByteArray));

13

14 System.out.println("##byte数组转换成字符串");

15 String defaultStr = new String(defaultByteArray);

16 String gbkStr = new String(defaultByteArray, "GBK");

17 String utfStr = new String(defaultByteArray, "UTF-8");

18 System.out.println("defaultStr:" + defaultStr);

19 System.out.println("gbkStr:" + gbkStr);

20 // 因为utf-8是变长编码,没有跟[-42, -48, -50, -60]对应的用utf-8字符集的字符串,所以会乱码

21 System.out.println("utfStr:" + utfStr);

22

23 System.out.println("##字节流转化成字符流");

24 // 文件中只有“中文”2个字,文件采用“GBK”编码,共4个byte

25 BufferedReader defaultReader = new BufferedReader(

26 new InputStreamReader(new FileInputStream("src/encode.txt")));

27 BufferedReader gbkReader = new BufferedReader(new InputStreamReader(

28 new FileInputStream("src/encode.txt"), "GBK"));

29 BufferedReader utfReader = new BufferedReader(new InputStreamReader(

30 new FileInputStream("src/encode.txt"), "UTF-8"));

31 System.out.println("defaultReader:" + defaultReader.readLine());

32 System.out.println("gbkReader:" + gbkReader.readLine());

33 System.out.println("utfReader:" + utfReader.readLine());

34

35 System.out.println("##字符流转化成字节流");

36 BufferedWriter defaultWriter = new BufferedWriter(

37 new OutputStreamWriter(System.out));

38 BufferedWriter gbkWriter = new BufferedWriter(new OutputStreamWriter(

39 System.out, "GBK"));

40 BufferedWriter utfWriter = new BufferedWriter(new OutputStreamWriter(

41 System.out, "UTF-8"));

42 System.out.print("defaultWriter:");

43 defaultWriter.write(str);

44 // 这里不能用close()方法,否则System.out也被关闭,后续无输出

45 defaultWriter.flush();

46 System.out.print("\r\ngbkReader:");

47 gbkWriter.write(str);

48 gbkWriter.flush();

49 System.out.print("\r\nutfReader:");

50 utfWriter.write(str);

51 utfWriter.flush();

Java

defaultCharset:GBK 
##字符串转换成byte数组 
defaultByteArray:[-42, -48, -50, -60] 
gbkByteArray:[-42, -48, -50, -60] 
utfByteArray:[-28, -72, -83, -26, -106, -121] 
##byte数组转换成字符串 
defaultStr:中文 
gbkStr:中文 
utfStr:???? 
##字节流转化成字符流 
defaultReader:中文 
gbkReader:中文 
utfReader:???? 
##字符流转化成字节流 
defaultWriter:中文 
gbkReader:中文 
utfReader:涓枃

 

( 二) Java 程序入口文件( main 函数所在文件) 编码 —— System.getProperty("file.encoding")

该编码默认值取决于 Java 程序入口文件( main 函数所在文件) 编码 的编码方式,具体请参考下面文章,也可以在运行 Java 程序时通过 -Dfile.encoding="GBK"  来设定,如果 -Dfile.encoding 指定的编码方式跟 Java 程序入口文件的字符集不一致,将会导致乱码 。也可以在程序中通过 setP roperty 方法直接设置,这种设置虽然改变了“ file.encoding ”的值,但是似乎没什么用 。


1 System.out.println("##文件编码是GBK,-Dfile.encoding=\"GBK\"");

2 System.out.println("file.encoding:"

3 + System.getProperty("file.encoding"));

4 // 在不存在的目录下创建文件,查看报错信息

5 try {

6 new File("directory/test.txt").createNewFile();

7 } catch (IOException e) {

8 e.printStackTrace();

9 }

10

11 // ##文件编码是GBK,-Dfile.encoding="UTF-8"

12 System.out.println("##文件编码是GBK,-Dfile.encoding=\"UTF-8\"");

13 System.out.println("file.encoding:"

14 + System.getProperty("file.encoding"));

15 // 在不存在的目录下创建文件,查看报错信息

16 try {

17 new File("directory/test.txt").createNewFile();

18 } catch (IOException e) {

19 e.printStackTrace();

20 }

Java

##文件编码是GBK,-Dfile.encoding="GBK"

file.encoding:GBK

java.io.IOException: 系统找不到指定的路径。

at java.io.WinNTFileSystem.createFileExclusively(Native Method)

at java.io.File.createNewFile(File.java:883)

at Encoding.main(Encoding.java:72)

##鏂囦欢缂栫爜鏄疓BK,-Dfile.encoding="UTF-8"

file.encoding:UTF-8

java.io.IOException: 绯荤粺鎵句笉鍒版寚瀹氱殑璺緞銆?

at java.io.WinNTFileSystem.createFileExclusively(Native Method)

at java.io.File.createNewFile(File.java:883)

at Encoding.main(Encoding.java:83)

 

(三)文件名字编码—— System.getProperty("sun.jnu.encoding")

今天项目中遇到通过web上传文件到文件系统时,中文文件名乱码,一步步排查了http通讯过程中的编解码(通过utf-8)都没有发现问题。操作系统的默认字符集也是utf-8。 通过日志打印System.getProperty("file.encoding")也是utf-8码。。。。一时凌乱了!!     最后通过查资料,发现通过java写文件时文件名编码和System.getProperty("sun.jnu.encoding")有关,打印此环境属性发现输出竟然是ANSI的一种编码,终于找到问题爆发点,通过在程序中设置System.setProperty("sun.jnu.encoding","utf-8")解决问题。

通过问题解决得出结论:sun.jnu.encoding 影响文件名的创建,而 file.encoding 则影响到文件内容。

所以说,在我们使用 Java 处理中文文件的时候,如果发现文件的中文内容没有乱码,而文件的中文名发生乱码,我们就应当多考虑一下 sun.jnu.encoding 和 file.encoding 的区别了。

 

 

 

(四)java对字符的处理

在java应用软件中,会有多处涉及到字符集编码,有些地方需要进行正确的设置,有些地方需要进行一定程度的处理。

3.1. getBytes(charset)

这是java字符串处理的一个标准函数,其作用是将字符串所表示的字符按照charset编码,并以字节方式表示。注意字符串在java内存中总是按unicode编码存储的。比如"中文",正常情况下(即没有错误的时候)存储为"4e2d 6587",如果charset为"gbk",则被编码为"d6d0 cec4",然后返回字节"d6 d0 ce c4"。如果charset为"utf8"则最后是"e4 b8 ad e6 96 87"。如果是"iso8859-1",则由于无法编码,最后返回 "3f 3f"(两个问号)。

3.2. new String(charset)

这是java字符串处理的另一个标准函数,和上一个函数的作用相反,将字节数组按照charset编码进行组合识别,最后转换为unicode存储。参考上述getBytes的例子,"gbk" 和"utf8"都可以得出正确的结果"4e2d 6587",但iso8859-1最后变成了"003f 003f"(两个问号)。

因为utf8可以用来表示/编码所有字符,所以new String( str.getBytes( "utf8" ), "utf8" ) === str,即完全可逆。

3.3. setCharacterEncoding()

该函数用来设置http请求或者相应的编码。

对于request,是指提交内容的编码,指定后可以通过getParameter()则直接获得正确的字符串,如果不指定,则默认使用iso8859-1编码,需要进一步处理。参见下述"表单输入"。值得注意的是在执行setCharacterEncoding()之前,不能执行任何getParameter()。java doc上说明:This method must be called prior to reading request parameters or reading input using getReader()。而且,该指定只对POST方法有效,对GET方法无效。分析原因,应该是在执行第一个getParameter()的时候,java将会按照编码分析所有的提交内容,而后续的getParameter()不再进行分析,所以setCharacterEncoding()无效。而对于GET方法提交表单是,提交的内容在URL中,一开始就已经按照编码分析所有的提交内容,setCharacterEncoding()自然就无效。

对于response,则是指定输出内容的编码,同时,该设置会传递给浏览器,告诉浏览器输出内容所采用的编码。

3.4. 处理过程

下面分析两个有代表性的例子,说明java对编码有关问题的处理方法。

3.4.1. 表单输入

User input  *(gbk:d6d0 cec4)  browser  *(gbk:d6d0 cec4)  web server  iso8859-1(00d6 00d 000ce 00c4)  class,需要在class中进行处理:getbytes("iso8859-1")为d6 d0 ce c4,new String("gbk")为d6d0 cec4,内存中以unicode编码则为4e2d 6587。

l 用户输入的编码方式和页面指定的编码有关,也和用户的操作系统有关,所以是不确定的,上例以gbk为例。

l 从browser到web server,可以在表单中指定提交内容时使用的字符集,否则会使用页面指定的编码。而如果在url中直接用?的方式输入参数,则其编码往往是操作系统本身的编码,因为这时和页面无关。上述仍旧以gbk编码为例。

l Web server接收到的是字节流,默认时(getParameter)会以iso8859-1编码处理之,结果是不正确的,所以需要进行处理。但如果预先设置了编码(通过request. setCharacterEncoding ()),则能够直接获取到正确的结果。

l 在页面中指定编码是个好习惯,否则可能失去控制,无法指定正确的编码。

3.4.2. 文件编译

假设文件是gbk编码保存的,而编译有两种编码选择:gbk或者iso8859-1,前者是中文windows的默认编码,后者是linux的默认编码,当然也可以在编译时指定编码。

Jsp  *(gbk:d6d0 cec4)  java file  *(gbk:d6d0 cec4)  compiler read  uincode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4)  compiler write  utf(gbk: e4b8ad e69687; iso8859-1: *)  compiled file  unicode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4)  class。所以用gbk编码保存,而用iso8859-1编译的结果是不正确的。

class  unicode(4e2d 6587)  system.out / jsp.out  gbk(d6d0 cec4)  os console / browser。

l 文件可以以多种编码方式保存,中文windows下,默认为ansi/gbk。

l 编译器读取文件时,需要得到文件的编码,如果未指定,则使用系统默认编码。一般class文件,是以系统默认编码保存的,所以编译不会出问题,但对于jsp文件,如果在中文windows下编辑保存,而部署在英文linux下运行/编译,则会出现问题。所以需要在jsp文件中用pageEncoding指定编码。

l Java编译的时候会转换成统一的unicode编码处理,最后保存的时候再转换为utf编码。

l 当系统输出字符的时候,会按指定编码输出,对于中文windows下,System.out将使用gbk编码,而对于response(浏览器),则使用jsp文件头指定的contentType,或者可以直接为response指定编码。同时,会告诉browser网页的编码。如果未指定,则会使用iso8859-1编码。对于中文,应该为browser指定输出字符串的编码。

l browser显示网页的时候,首先使用response中指定的编码(jsp文件头指定的contentType最终也反映在response上),如果未指定,则会使用网页中meta项指定中的contentType。

 

以上是 Java java采用的编码、JVM平台默认字符集和外部资源的编码 的全部内容, 来源链接: utcz.com/z/394056.html

回到顶部