]> git.sommitrealweird.co.uk Git - rss2maildir.git/blob - rss2maildir.py
d721d0e49c19994c84b6e6407766e02c836ce5d4
[rss2maildir.git] / rss2maildir.py
1 #!/usr/bin/python
2 # coding=utf8
3
4 # rss2maildir.py - RSS feeds to Maildir 1 email per item
5 # Copyright (C) 2007  Brett Parker <iDunno@sommitrealweird.co.uk>
6
7 # This program is free software: you can redistribute it and/or modify
8 # it under the terms of the GNU General Public License as published by
9 # the Free Software Foundation, either version 3 of the License, or
10 # (at your option) any later version.
11
12 # This program is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 # GNU General Public License for more details.
16
17 # You should have received a copy of the GNU General Public License
18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
19
20 import mailbox
21 import sys
22 import os
23 import stat
24 import urllib
25
26 import feedparser
27
28 from email.MIMEMultipart import MIMEMultipart
29 from email.MIMEText import MIMEText
30
31 import datetime
32 import random
33 import string
34 import textwrap
35
36 import socket
37
38 from optparse import OptionParser
39 from ConfigParser import SafeConfigParser
40
41 from base64 import b64encode
42 import md5
43
44 import cgi
45 import dbm
46
47 from HTMLParser import HTMLParser
48
49 entities = {
50     "amp": "&",
51     "lt": "<",
52     "gt": ">",
53     "pound": "£",
54     "copy": "©",
55     "apos": "'",
56     "quote": "\"",
57     "nbsp": " ",
58     }
59
60 class HTML2Text(HTMLParser):
61     
62     def __init__(self):
63         self.inheadingone = False
64         self.inheadingtwo = False
65         self.inotherheading = False
66         self.inparagraph = True
67         self.inlink = False
68         self.text = ""
69         self.currentparagraph = ""
70         self.headingtext = ""
71         HTMLParser.__init__(self)
72
73     def handle_starttag(self, tag, attrs):
74         if tag.lower() == "h1":
75             self.inheadingone = True
76             self.inparagraph = False
77         elif tag.lower() == "h2":
78             self.inheadingtwo = True
79             self.inparagraph = False
80         elif tag.lower() in ["h3", "h4", "h5", "h6"]:
81             self.inotherheading = True
82             self.inparagraph = False
83         elif tag.lower() == "a":
84             self.inlink = True
85         elif tag.lower() == "br":
86             self.text = self.text + "\n"
87         elif tag.lower() == "p":
88             if self.text != "":
89                 self.text = self.text + "\n\n"
90                 self.currentparagraph = ""
91                 self.inparagraph = True
92
93     def handle_startendtag(self, tag, attrs):
94         if tag.lower() == "br":
95             self.text = self.text + "\n"
96
97     def handle_endtag(self, tag):
98         if tag.lower() == "h1":
99             self.inheadingone = False
100             self.text = self.text + self.headingtext + "\n" + "=" * len(self.headingtext)
101             self.headingtext = ""
102         elif tag.lower() == "h2":
103             self.inheadingtwo = False
104             self.text = self.text + self.headingtext + "\n" + "-" * len(self.headingtext)
105             self.headingtext = ""
106         elif tag.lower() in ["h3", "h4", "h5", "h6"]:
107             self.inotherheading = False
108             self.text = self.text + self.headingtext + "\n" + "~" * len(self.headingtext)
109             self.headingtext = ""
110         elif tag.lower() == "p":
111             self.text = self.text + "\n".join(textwrap.wrap(self.currentparagraph, 70))
112             self.inparagraph = False
113
114     def handle_data(self, data):
115         if not self.inheadingone and not self.inheadingtwo and not self.inotherheading and not self.inparagraph:
116             self.text = self.text + data.strip() + " "
117         elif self.inparagraph:
118             self.currentparagraph = self.currentparagraph + data.strip() + " "
119         else:
120             self.headingtext = self.headingtext + data.strip() + " "
121
122     def handle_entityref(self, name):
123         if entities.has_key(name.lower()):
124             self.text = self.text + entities[name.lower()]
125         else:
126             self.text = self.text + "&" + name + ";"
127
128     def gettext(self):
129         data = self.text
130         if self.inparagraph:
131             data = data + "\n".join(textwrap.wrap(self.currentparagraph, 70))
132         return data
133
134 def parse_and_deliver(maildir, url, statedir):
135     md = mailbox.Maildir(maildir)
136     fp = feedparser.parse(url)
137     db = dbm.open(os.path.join(statedir, "seen"), "c")
138     for item in fp["items"]:
139         # have we seen it before?
140         # need to work out what the content is first...
141
142         if item.has_key("content"):
143             content = item["content"][0]["value"]
144         else:
145             content = item["summary"]
146
147         md5sum = md5.md5(content.encode("utf8")).hexdigest()
148
149         if db.has_key(url + "|" + item["link"]):
150             data = db[url + "|" + item["link"]]
151             data = cgi.parse_qs(data)
152             if data["contentmd5"][0] == md5sum:
153                 continue
154
155         try:
156             author = item["author"]
157         except:
158             author = url
159
160         # create a basic email message
161         msg = MIMEMultipart("alternative")
162         messageid = "<" + datetime.datetime.now().strftime("%Y%m%d%H%M") + "." + "".join([random.choice(string.ascii_letters + string.digits) for a in range(0,6)]) + "@" + socket.gethostname() + ">"
163         msg.add_header("Message-ID", messageid)
164         msg.set_unixfrom("\"%s\" <rss2maildir@localhost>" %(url))
165         msg.add_header("From", "\"%s\" <rss2maildir@localhost>" %(author))
166         msg.add_header("To", "\"%s\" <rss2maildir@localhost>" %(url))
167         createddate = datetime.datetime(*item["updated_parsed"][0:6]).strftime("%a, %e %b %Y %T -0000")
168         msg.add_header("Date", createddate)
169         msg.add_header("Subject", item["title"])
170         msg.set_default_type("text/plain")
171
172         htmlpart = MIMEText(content.encode("utf8"), "html", "utf8")
173         textparser = HTML2Text()
174         textparser.feed(content.encode("utf8"))
175         textcontent = textparser.gettext()
176         textpart = MIMEText(textcontent, "plain", "utf8")
177         msg.attach(textpart)
178         msg.attach(htmlpart)
179
180         # start by working out the filename we should be writting to, we do
181         # this following the normal maildir style rules
182         fname = str(os.getpid()) + "." + socket.gethostname() + "." + "".join([random.choice(string.ascii_letters + string.digits) for a in range(0,10)]) + "." + datetime.datetime.now().strftime('%s')
183         fn = os.path.join(maildir, "tmp", fname)
184         fh = open(fn, "w")
185         fh.write(msg.as_string())
186         fh.close()
187         # now move it in to the new directory
188         newfn = os.path.join(maildir, "new", fname)
189         os.link(fn, newfn)
190         os.unlink(fn)
191
192         # now add to the database about the item
193         data = urllib.urlencode((("message-id", messageid), ("created", createddate), ("contentmd5", md5sum)))
194         db[url + "|" + item["link"]] = data
195
196     db.close()
197
198 # first off, parse the command line arguments
199
200 oparser = OptionParser()
201 oparser.add_option(
202     "-c", "--conf", dest="conf",
203     help="location of config file"
204     )
205 oparser.add_option(
206     "-s", "--statedir", dest="statedir",
207     help="location of directory to store state in"
208     )
209
210 (options, args) = oparser.parse_args()
211
212 # check for the configfile
213
214 configfile = None
215
216 if options.conf != None:
217     # does the file exist?
218     try:
219         os.stat(options.conf)
220         configfile = options.conf
221     except:
222         # should exit here as the specified file doesn't exist
223         sys.stderr.write("Config file %s does not exist. Exiting.\n" %(options.conf,))
224         sys.exit(2)
225 else:
226     # check through the default locations
227     try:
228         os.stat("%s/.rss2maildir.conf" %(os.environ["HOME"],))
229         configfile = "%s/.rss2maildir.conf" %(os.environ["HOME"],)
230     except:
231         try:
232             os.stat("/etc/rss2maildir.conf")
233             configfile = "/etc/rss2maildir.conf"
234         except:
235             sys.stderr.write("No config file found. Exiting.\n")
236             sys.exit(2)
237
238 # Right - if we've got this far, we've got a config file, now for the hard
239 # bits...
240
241 scp = SafeConfigParser()
242 scp.read(configfile)
243
244 maildir_root = "RSSMaildir"
245 state_dir = "state"
246
247 if options.statedir != None:
248     state_dir = options.statedir
249     try:
250         mode = os.stat(state_dir)[stat.ST_MODE]
251         if not stat.S_ISDIR(mode):
252             sys.stderr.write("State directory (%s) is not a directory\n" %(state_dir))
253             sys.exit(1)
254     except:
255         # try to make the directory
256         try:
257             os.mkdir(state_dir)
258         except:
259             sys.stderr.write("Couldn't create statedir %s" %(state_dir))
260             sys.exit(1)
261 elif scp.has_option("general", "state_dir"):
262     new_state_dir = scp.get("general", "state_dir")
263     try:
264         mode = os.stat(state_dir)[stat.ST_MODE]
265         if not stat.S_ISDIR(mode):
266             sys.stderr.write("State directory (%s) is not a directory\n" %(state_dir))
267             sys.exit(1)
268     except:
269         # try to create it
270         try:
271             os.mkdir(new_state_dir)
272             state_dir = new_state_dir
273         except:
274             sys.stderr.write("Couldn't create state directory %s\n" %(new_state_dir))
275             sys.exit(1)
276 else:
277     try:
278         mode = os.stat(state_dir)[stat.ST_MODE]
279         if not stat.S_ISDIR(mode):
280             sys.stderr.write("State directory %s is not a directory\n" %(state_dir))
281             sys.exit(1)
282     except:
283         try:
284             os.mkdir(state_dir)
285         except:
286             sys.stderr.write("State directory %s could not be created\n" %(state_dir))
287             sys.exit(1)
288
289 if scp.has_option("general", "maildir_root"):
290     maildir_root = scp.get("general", "maildir_root")
291
292 try:
293     mode = os.stat(maildir_root)[stat.ST_MODE]
294     if not stat.S_ISDIR(mode):
295         sys.stderr.write("Maildir Root %s is not a directory\n" %(maildir_root))
296         sys.exit(1)
297 except:
298     try:
299         os.mkdir(maildir_root)
300     except:
301         sys.stderr.write("Couldn't create Maildir Root %s\n" %(maildir_root))
302         sys.exit(1)
303
304 feeds = scp.sections()
305 try:
306     feeds.remove("general")
307 except:
308     pass
309
310 for section in feeds:
311     # check if the directory exists
312     maildir = None
313     try:
314         maildir = scp.get(section, "maildir")
315     except:
316         maildir = section
317
318     maildir = urllib.urlencode(((section, maildir),)).split("=")[1]
319     maildir = os.path.join(maildir_root, maildir)
320
321     try:
322         exists = os.stat(maildir)
323         if stat.S_ISDIR(exists[stat.ST_MODE]):
324             # check if there's a new, cur and tmp directory
325             try:
326                 mode = os.stat(os.path.join(maildir, "cur"))[stat.ST_MODE]
327             except:
328                 os.mkdir(os.path.join(maildir, "cur"))
329                 if not stat.S_ISDIR(mode):
330                     sys.stderr.write("Broken maildir: %s\n" %(maildir))
331             try:
332                 mode = os.stat(os.path.join(maildir, "tmp"))[stat.ST_MODE]
333             except:
334                 os.mkdir(os.path.join(maildir, "tmp"))
335                 if not stat.S_ISDIR(mode):
336                     sys.stderr.write("Broken maildir: %s\n" %(maildir))
337             try:
338                 mode = os.stat(os.path.join(maildir, "new"))[stat.ST_MODE]
339                 if not stat.S_ISDIR(mode):
340                     sys.stderr.write("Broken maildir: %s\n" %(maildir))
341             except:
342                 os.mkdir(os.path.join(maildir, "new"))
343         else:
344             sys.stderr.write("Broken maildir: %s\n" %(maildir))
345     except:
346         try:
347             os.mkdir(maildir)
348         except:
349             sys.stderr.write("Couldn't create root maildir %s\n" %(maildir))
350             sys.exit(1)
351         try:
352             os.mkdir(os.path.join(maildir, "new"))
353             os.mkdir(os.path.join(maildir, "cur"))
354             os.mkdir(os.path.join(maildir, "tmp"))
355         except:
356             sys.stderr.write("Couldn't create required maildir directories for %s\n" %(section,))
357             sys.exit(1)
358
359     # right - we've got the directories, we've got the section, we know the
360     # url... lets play!
361
362     parse_and_deliver(maildir, section, state_dir)