大侠请进：如何在英文和中文之间加入分隔符

QUOTE:

原帖由 limodou 于 2006-3-7 15:05 发表
list_py=u'ａｂ' #这是一个unicode字符串
eachline=unicode(eachline, 'gbk') #这是将eachline转为unicode

CODE:

    eachline = unicode(eachline,'gbk')
UnicodeDecodeError: 'gbk' codec can't decode bytes in position 316-317: illegal multibyte sequence

QUOTE:

UnicodeDecodeError: 'gbk' codec can't decode bytes in position 316-317: illegal multibyte sequence

CODE:

#coding=gbk

CODE:

pinyin +''

QUOTE:

原帖由 limodou 于 2006-3-8 14:59 发表
不是已经说了嘛，使用unicode呀。因为unicode的一个字符就表示一个完整的汉字。而gbk汉字的话两个字符是一个汉字。如果使用gbk来处理的话，那么你要两个字符两个字符来处理，这样才是完整的。　

CODE:

#coding=gbk

a = u'【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict 【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict'

FLAG_WORD = 1
FLAG_PINYIN = 2
FLAG_ZH = 3
FLAG_EN = 4
tags = {
    FLAG_WORD:('<w>', '</w>'),
    FLAG_PINYIN:('<p>', '</p>'),
    FLAG_ZH:('<zh>', '</zh>'),
    FLAG_EN:('<en>', '</en>')
}

flag = -1
i = 0
s = [] #结果
buf = [] #缓冲区
pinyin = u'ｄǐｗǔ' + ' '
last_begin_tag = ''
last_flag = flag
while i<len(a):
    if a[i] == u'【': #开始处理单词
        #判断buf是否有内容，有则输出，同时注意结束tag
        if buf:
            b, e = tags[last_flag]
            buf.append(e)
            s.append(''.join(buf))
            buf = []
        flag = FLAG_WORD
        buf.append(a[i])
        i += 1
        while i < len(a) and a[i] != u'】':
            buf.append(a[i])
            i += 1
        #将】也加到缓冲区中
        buf.append(a[i])
        i += 1
        b, e = tags[flag]
        s.append(b + ''.join(buf) + e)
        
        #开始处理拼音
        flag = FLAG_PINYIN
        buf = []
        while i<a[i] and a[i] in pinyin:
            buf.append(a[i])
            i += 1
        b, e = tags[flag]
        s.append(b + ''.join(buf).strip() + e) #使用strip去掉多余的首尾空格
        last_flag = flag
        buf = []
        continue
    else:
        if ord(a[i]) < 127: #英文
            flag = FLAG_EN
        else:
            flag = FLAG_ZH
        if last_flag != flag:
            #判断是否上一个标志是否是中或英文，如果不是表示第一次进入则输出开始tag，
            #否则先输出上一个的结束tag，然后是一个开始tag
            if last_flag in (FLAG_ZH, FLAG_EN):
                b, e = tags[last_flag]
                buf.append(e)
            b, e = tags[flag]
            buf.append(b)
            buf.append(a[i])
            last_flag = flag
        else:
            buf.append(a[i])
    i += 1

if buf:
    b, e = tags[last_flag]
    buf.append(e)
    s.append(''.join(buf))
        
print ''.join([x.encode('gbk') for x in s])

CODE:

text=file('outputfile.txt').read()
a= unicode(text,'gbk')

CODE:

Traceback (most recent call last):
  File "C:/Python24/limodou.py", line 5, in -toplevel-
    a= unicode(text,'gbk')
UnicodeDecodeError: 'gbk' codec can't decode bytes in position 266-267: illegal multibyte sequence