Spark如何处理中文字符串
发表于：2024-11-24 作者：热门IT资讯网编辑
编辑最后更新 2024年11月24日，最近工作中需要用spark对中文的字符提取，由于环境一直是英文的，发现打印出来是乱码。后经研究，需要做一个UTF-8的转换大概如下：val data_file = sc.textFile("t
最近工作中需要用spark对中文的字符提取，由于环境一直是英文的，发现打印出来是乱码。后经研究，需要做一个UTF-8的转换大概如下：val data_file = sc.textFile("test.txt")val item1 = data_file.map(p => new String(p.getBytes, 0, p.getLength, "UTF-8")).map{ item => XXX }