X-Git-Url: https://git.sommitrealweird.co.uk/rss2maildir.git/blobdiff_plain/6eb051aa19ec7dfb7a67c858e06c4d0078e16d22..fcaedcaf414720ca8aac9fff2d12c45edd929a43:/rss2maildir.py diff --git a/rss2maildir.py b/rss2maildir.py index e8883b1..59e9361 100755 --- a/rss2maildir.py +++ b/rss2maildir.py @@ -48,14 +48,95 @@ from HTMLParser import HTMLParser class HTML2Text(HTMLParser): entities = { - u'amp': "&", - u'lt': "<", - u'gt': ">", - u'pound': "£", - u'copy': "©", - u'apos': "'", - u'quot': "\"", - u'nbsp': " ", + u'amp': u'&', + u'lt': u'<', + u'gt': u'>', + u'pound': u'£', + u'copy': u'©', + u'apos': u'\'', + u'quot': u'"', + u'nbsp': u' ', + u'ldquo': u'“', + u'rdquo': u'”', + u'lsquo': u'‘', + u'rsquo': u'’', + u'laquo': u'«', + u'raquo': u'»', + u'lsaquo': u'‹', + u'rsaquo': u'›', + u'bull': u'•', + u'middot': u'·', + u'deg': u'°', + u'helip': u'…', + u'trade': u'™', + u'reg': u'®', + u'agrave': u'à', + u'Agrave': u'À', + u'egrave': u'è', + u'Egrave': u'È', + u'igrave': u'ì', + u'Igrave': u'Ì', + u'ograve': u'ò', + u'Ograve': u'Ò', + u'ugrave': u'ù', + u'Ugrave': u'Ù', + u'aacute': u'á', + u'Aacute': u'Á', + u'eacute': u'é', + u'Eacute': u'É', + u'iacute': u'í', + u'Iacute': u'Í', + u'oacute': u'ó', + u'Oacute': u'Ó', + u'uacute': u'ú', + u'Uacute': u'Ú', + u'yactue': u'ý', + u'Yacute': u'Ý', + u'acirc': u'â', + u'Acirc': u'Â', + u'ecirc': u'ê', + u'Ecirc': u'Ê', + u'icirc': u'î', + u'Icirc': u'Î', + u'ocirc': u'ô', + u'Ocirc': u'Ô', + u'ucirc': u'û', + u'Ucirc': u'Û', + u'atilde': u'ã', + u'Atilde': u'Ã', + u'ntilde': u'ñ', + u'Ntilde': u'Ñ', + u'otilde': u'õ', + u'Otilde': u'Õ', + u'auml': u'ä', + u'Auml': u'Ä', + u'euml': u'ë', + u'Euml': u'Ë', + u'iuml': u'ï', + u'Iuml': u'Ï', + u'ouml': u'ö', + u'Ouml': u'Ö', + u'uuml': u'ü', + u'Uuml': u'Ü', + u'yuml': u'ÿ', + u'Yuml': u'Ÿ', + u'iexcl': u'¡', + u'iquest': u'¿', + u'ccedil': u'ç', + u'Ccedil': u'Ç', + u'oelig': u'œ', + u'OElig': u'Œ', + u'szlig': u'ß', + u'oslash': u'ø', + u'Oslash': u'Ø', + u'aring': u'å', + u'Aring': u'Å', + u'aelig': u'æ', + u'AElig': u'Æ', + u'thorn': u'þ', + u'THORN': u'Þ', + u'eth': u'ð', + u'ETH': u'Ð', } blockleveltags = [ @@ -439,14 +520,15 @@ class HTML2Text(HTMLParser): def handle_entityref(self, name): entity = name - if HTML2Text.entities.has_key(name.lower()): - entity = HTML2Text.entities[name.lower()] + if HTML2Text.entities.has_key(name): + entity = HTML2Text.entities[name] elif name[0] == "#": entity = unichr(int(name[1:])) else: entity = "&" + name + ";" - self.curdata = self.curdata + unicode(entity, "utf-8") + self.curdata = self.curdata + unicode(entity.encode('utf-8'), \ + "utf-8") def gettext(self): self.handle_curdata() @@ -601,7 +683,9 @@ def parse_and_deliver(maildir, url, statedir): except: pass msg.add_header("Date", createddate) - msg.add_header("Subject", item["title"]) + subj_gen = HTML2Text() + subj_gen.feed(item["title"].encode("utf-8")) + msg.add_header("Subject", subj_gen.gettext()) msg.set_default_type("text/plain") htmlcontent = content.encode("utf-8")