fstream 对中文的问题

关注

原创最新推荐文章于 2022-05-23 10:06:29 发布 1.3k 阅读 AI 写同款· GEO 优化 ›

记录fstream类读取UTF-8时出现乱码问题以及fstream读文件的几种方法 1.处理fstream类读取UTF-8时出现乱码问题，思路先将utf-8转换成UNICODE 再转化成ANSI #include <string> #include<fstream> using namespace std; string changeUTF8ToAnsi(const char * szU8) { int wcsLen = ::Mult... 阅读详情

由于项目要增加对l10n的支持，最近把项目中一个原来hard code 的部分，现在用配置文件的方式进行的修改。

用到了 fstream对文件进行处理。

发现当文件名有中文的时候， fstream的open 总是返回失败， google一把，把一些学习到的东西放到下面，希望对大家有帮助吧。

1. 参考网页

Ansi、Unicode、UTF8字符串之间的转换,wprintf

2. 产生问题的原因

（1）传统的计算机使用ANSI编码，在ANSI编码模式下，英文字符都用1个字节表示，而某些其它国家的文字（如汉字、日文），无法用单个字节来表示，ANSI便采用多个字节来表示这些字符（汉字是2个字节）。

（2）UNICODE包含UTF-8、UTF-16、UTF-32等多种编码方案（目前windows一般使用UTF-16）。拿UTF-16来说，规定所有字符都使用2个字节表示（不论英文字母还是汉字），对于超出2个字节范围的字符采用代理（采用4个字节表示）。

UNICODE相比ANSI有很多方面的优势（优势体现在哪？），微软非常提倡使用UNICODE编码方式，在MS较新版本的系统中都是采用UNICODE编码的。因此，即便我们在自己写的程序中使用了ANSI编码，系统会将其转换为UNICODE再对其进行处理。

我想大概是因为VS2005更加重视了对字符串的全球化支持，所以鼓励我们使用unicode编码的字符串，对于MBCS之类的支持可能就疏忽了吧

_Fiopen(const char *filename, ios_base::openmode mode, int prot) { // open wide-named file with byte name wchar_t wc_name[FILENAME_MAX]; if (mbstowcs_s(NULL, wc_name, FILENAME_MAX, filename, FILENAME_MAX - 1) != 0) return (0); return _Fiopen(wc_name, mode, prot); }

wbstowcs_s方法最终进入到了_mbstowcs_l_helper方法，
如果得到的是C locale，则它认为传进来的字符串为ASCII码，也就是单字节字符，它仅仅是进行了char到wchar_t指针的转换而已，那很显然第二个字节肯定为零，自然的字符就错了；
如果不是的话，它认为是多字节字符，将会调用MultiByteToWideChar进行转码。
在VC8里面，local默认是C locale，所以就出错了。以下为摘抄的该段代码：

if (_loc_update.GetLocaleT()->locinfo->lc_handle[LC_CTYPE] == _CLOCALEHANDLE) { /**//* C locale: easy and fast */ while (count < n) { *pwcs = (wchar_t) ((unsigned char)s[count]); if (!s[count]) return count; count++; pwcs++; } return count; } else { int bytecnt, charcnt; unsigned char *p; /**//* Assume that the buffer is large enough */ if ( (count = MultiByteToWideChar( _loc_update.GetLocaleT()->locinfo->lc_codepage, MB_PRECOMPOSED | MB_ERR_INVALID_CHARS, s, -1, pwcs, (int)n )) != 0 ) return count - 1; /**//* don't count NUL */

3. 解决方法

/************************************************************************/ 17: /* 方法1，使用_TEXT()宏定义将字符串常量指定为TCHAR*类型 */ 18: /* 如果是我，首选此类型 */ 19: /************************************************************************/ 20: fstream file; 21: file.open(_TEXT("c://测试//测试文本.txt")); 22: cout<<file.rdbuf(); 23: file.close(); 24: 25: /************************************************************************/ 26: /* 方法2，使用STL中的locale类的静态方法指定全局locale */ 27: /* 使用该方法以后,cout可能不能正常输出中文，十分蹊跷 */ 28: /* 我发现了勉强解决的方法：不要在还原区域设定前用cout或wcout 输出中文 */ 29: /* 否则后果就是还原区域设定后无法使用cout wcout输出中文 */ 30: /************************************************************************/ 31: locale::global(locale(""));//将全局区域设为操作系统默认区域 32: file.open("c://测试//测试文本2.txt");//可以顺利打开文件了 33: locale::global(locale("C"));//还原全局区域设定 34: cout<<file.rdbuf(); 35: file.close(); 36: 37: /************************************************************************/ 38: /* 方法3，使用C函数setlocale，不能用cout输出中文的问题解决方法同上 */ 39: /************************************************************************/ 40: setlocale(LC_ALL,"Chinese-simplified");//设置中文环境 41: file.open("c://测试//测试文本3.txt");//可以顺利打开文件了 42: setlocale(LC_ALL,"C");//还原 43: cout<<file.rdbuf(); 44: file.close();

希望上面的内容对大家有用。

收录于