Python：过滤一些特殊字符

问题描述：
请输入图片描述

一些文件名中包含有特殊字符（乱码的字符，或者一些未知的特殊字符），现在想通过python来提取出这些“特别的”文件。

请问，有什么比较好的办法可以实现吗？

目前的思路：通过遍历文件名中的每个字符，并检查其Unicode编码值是否在汉字的范围内（换句话说：判断其是否是汉字），如果不是，就提取出来

回答：

你自己先要确定“乱码”的定义，例如韩文(unicode)，如果你装了韩文字体，那是可以显示的，不是乱码，但没装的话就是问号一堆，如果是韩文(euc-kr)，在汉字系统那只是一堆无语义的汉字……可能这个举例扯远了，你觉得不会有这种情况，但我只是提醒一下会有意料之外的情况

所以，你需要一个白名单，把你允许的字符unicode范围都列出来，因为肯定不止汉字，像你列出的文件名中就有空格

另外，没必要逐个字符检查，直接用re.sub去除白名单外的字符就可以了

回答：

字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

针对这里的问题，我们可以先将文件名解码成unicode，然后用gbk编码，如果抛出异常，说明编码失败，即文件名中存在特殊字符。下面是一个小例子：

#! /usr/bin/env python
# -*- coding: utf-8 -*-
file_names = ["œ®特殊字符.txt",
              "没有特殊字符.txt",
              "ßååå.txt"
              ]
for file_name in file_names:
    try:
        file_name.decode("utf-8").encode("gbk")
        print file_name, "..."
    except UnicodeEncodeError:
        print file_name, "中奖"
"""outputs:
œ®特殊字符.txt 中奖
没有特殊字符.txt ...
ßååå.txt 中奖
"""

以上是 Python：过滤一些特殊字符 的全部内容， 来源链接： utcz.com/a/165816.html

回到顶部