statics
[apps/madmutt.git] / lib-mx / mbox.c
1 /*
2  * Copyright notice from original mutt:
3  * Copyright (C) 1996-2002 Michael R. Elkins <me@mutt.org>
4  *
5  * This file is part of mutt-ng, see http://www.muttng.org/.
6  * It's licensed under the GNU General Public License,
7  * please see the file GPL in the top level source directory.
8  */
9
10 /* This file contains code to parse ``mbox'' and ``mmdf'' style mailboxes */
11
12 #include <lib-lib/lib-lib.h>
13
14 #include <lib-ui/curses.h>
15 #include <lib-sys/mutt_signal.h>
16
17 #include "mutt.h"
18 #include "mx.h"
19 #include "buffy.h"
20 #include "mbox.h"
21 #include "sort.h"
22 #include "thread.h"
23 #include "copy.h"
24 #include "compress.h"
25
26 /* struct used by mutt_sync_mailbox() to store new offsets */
27 struct m_update_t {
28   short valid;
29   off_t hdr;
30   off_t body;
31   long lines;
32   off_t length;
33 };
34
35
36 static int mbox_open_new_message (MESSAGE * msg, CONTEXT * dest, HEADER * hdr __attribute__ ((unused)))
37 {
38   msg->fp = dest->fp;
39   return 0;
40 }
41
42 /* prototypes */
43 static int mbox_reopen_mailbox (CONTEXT*, int*);
44
45 /* parameters:
46  * ctx - context to lock
47  * excl - exclusive lock?
48  * retry - should retry if unable to lock?
49  */
50 int mbox_lock_mailbox (CONTEXT * ctx, int excl, int retry)
51 {
52   int r;
53
54   if ((r = mx_lock_file (ctx->path, fileno (ctx->fp), excl, 1, retry)) == 0)
55     ctx->locked = 1;
56   else if (retry && !excl) {
57     ctx->readonly = 1;
58     return 0;
59   }
60
61   return (r);
62 }
63
64 static void mbox_unlock_mailbox (CONTEXT * ctx)
65 {
66   if (ctx->locked) {
67     fflush (ctx->fp);
68
69     mx_unlock_file (ctx->path, fileno (ctx->fp), 1);
70     ctx->locked = 0;
71   }
72 }
73
74 static int mmdf_parse_mailbox (CONTEXT * ctx)
75 {
76   char buf[HUGE_STRING];
77   char return_path[LONG_STRING];
78   int count = 0, oldmsgcount = ctx->msgcount;
79   int lines;
80   time_t t, tz;
81   off_t loc, tmploc;
82   HEADER *hdr;
83   struct stat sb;
84
85   if (stat (ctx->path, &sb) == -1) {
86     mutt_perror (ctx->path);
87     return (-1);
88   }
89   ctx->mtime = sb.st_mtime;
90   ctx->size = sb.st_size;
91
92   /* precompute the local timezone to speed up calculation of the
93      received time */
94   tz = mutt_local_tz (0);
95
96   buf[sizeof (buf) - 1] = 0;
97
98   for (;;) {
99     if (fgets (buf, sizeof (buf) - 1, ctx->fp) == NULL)
100       break;
101
102     if (m_strcmp(buf, MMDF_SEP) == 0) {
103       loc = ftello (ctx->fp);
104
105       count++;
106       if (!ctx->quiet && ReadInc && ((count % ReadInc == 0) || count == 1))
107         mutt_message (_("Reading %s... %d (%d%%)"), ctx->path, count,
108                       (int) (loc / (ctx->size / 100 + 1)));
109
110
111       if (ctx->msgcount == ctx->hdrmax)
112         mx_alloc_memory (ctx);
113       ctx->hdrs[ctx->msgcount] = hdr = header_new();
114       hdr->offset = loc;
115       hdr->index = ctx->msgcount;
116
117       if (fgets (buf, sizeof (buf) - 1, ctx->fp) == NULL) {
118         /* TODO: memory leak??? */
119         break;
120       }
121
122       return_path[0] = 0;
123
124       if (!is_from (buf, return_path, sizeof (return_path), &t)) {
125         if (fseeko (ctx->fp, loc, SEEK_SET) != 0) {
126           mutt_error _("Mailbox is corrupt!");
127
128           return (-1);
129         }
130       }
131       else
132         hdr->received = t - tz;
133
134       hdr->env = mutt_read_rfc822_header (ctx->fp, hdr, 0, 0);
135
136       loc = ftello (ctx->fp);
137
138       if (hdr->content->length > 0 && hdr->lines > 0) {
139         tmploc = loc + hdr->content->length;
140
141         if (0 < tmploc && tmploc < ctx->size) {
142           if (fseeko (ctx->fp, tmploc, SEEK_SET) != 0 ||
143               fgets (buf, sizeof (buf) - 1, ctx->fp) == NULL ||
144               m_strcmp(MMDF_SEP, buf) != 0) {
145             fseeko (ctx->fp, loc, SEEK_SET);
146             hdr->content->length = -1;
147           }
148         }
149         else
150           hdr->content->length = -1;
151       }
152       else
153         hdr->content->length = -1;
154
155       if (hdr->content->length < 0) {
156         lines = -1;
157         do {
158           loc = ftello (ctx->fp);
159           if (fgets (buf, sizeof (buf) - 1, ctx->fp) == NULL)
160             break;
161           lines++;
162         } while (m_strcmp(buf, MMDF_SEP) != 0);
163
164         hdr->lines = lines;
165         hdr->content->length = loc - hdr->content->offset;
166       }
167
168       if (!hdr->env->return_path && return_path[0])
169         hdr->env->return_path =
170           rfc822_parse_adrlist (hdr->env->return_path, return_path);
171
172       if (!hdr->env->from)
173         hdr->env->from = address_list_dup (hdr->env->return_path);
174
175       ctx->msgcount++;
176     }
177     else {
178       mutt_error _("Mailbox is corrupt!");
179
180       return (-1);
181     }
182   }
183
184   if (ctx->msgcount > oldmsgcount)
185     mx_update_context (ctx, ctx->msgcount - oldmsgcount);
186
187   return (0);
188 }
189
190 /* Note that this function is also called when new mail is appended to the
191  * currently open folder, and NOT just when the mailbox is initially read.
192  *
193  * NOTE: it is assumed that the mailbox being read has been locked before
194  * this routine gets called.  Strange things could happen if it's not!
195  */
196 static int mbox_parse_mailbox (CONTEXT * ctx)
197 {
198   struct stat sb;
199   char buf[HUGE_STRING], return_path[STRING];
200   HEADER *curhdr;
201   time_t t, tz;
202   int count = 0, lines = 0;
203   off_t loc;
204
205   /* Save information about the folder at the time we opened it. */
206   if (stat (ctx->path, &sb) == -1) {
207     mutt_perror (ctx->path);
208     return (-1);
209   }
210
211   ctx->size = sb.st_size;
212   ctx->mtime = sb.st_mtime;
213
214   if (!ctx->readonly)
215     ctx->readonly = access (ctx->path, W_OK) ? 1 : 0;
216
217   /* precompute the local timezone to speed up calculation of the
218      date received */
219   tz = mutt_local_tz (0);
220
221   loc = ftello (ctx->fp);
222   while (fgets (buf, sizeof (buf), ctx->fp) != NULL) {
223     if (is_from (buf, return_path, sizeof (return_path), &t)) {
224       /* Save the Content-Length of the previous message */
225       if (count > 0) {
226 #define PREV ctx->hdrs[ctx->msgcount-1]
227
228         if (PREV->content->length < 0) {
229           PREV->content->length = loc - PREV->content->offset - 1;
230           if (PREV->content->length < 0)
231             PREV->content->length = 0;
232         }
233         if (!PREV->lines)
234           PREV->lines = lines ? lines - 1 : 0;
235       }
236
237       count++;
238
239       if (!ctx->quiet && ReadInc && ((count % ReadInc == 0) || count == 1))
240         mutt_message (_("Reading %s... %d (%d%%)"), ctx->path, count,
241                       (int) (ftello (ctx->fp) / (ctx->size / 100 + 1)));
242
243       if (ctx->msgcount == ctx->hdrmax)
244         mx_alloc_memory (ctx);
245
246       curhdr = ctx->hdrs[ctx->msgcount] = header_new();
247       curhdr->received = t - tz;
248       curhdr->offset = loc;
249       curhdr->index = ctx->msgcount;
250
251       curhdr->env = mutt_read_rfc822_header (ctx->fp, curhdr, 0, 0);
252
253       /* if we know how long this message is, either just skip over the body,
254        * or if we don't know how many lines there are, count them now (this will
255        * save time by not having to search for the next message marker).
256        */
257       if (curhdr->content->length > 0) {
258         off_t tmploc;
259
260         loc = ftello (ctx->fp);
261         tmploc = loc + curhdr->content->length + 1;
262
263         if (0 < tmploc && tmploc < ctx->size) {
264           /*
265            * check to see if the content-length looks valid.  we expect to
266            * to see a valid message separator at this point in the stream
267            */
268           if (fseeko (ctx->fp, tmploc, SEEK_SET) != 0 ||
269               fgets (buf, sizeof (buf), ctx->fp) == NULL ||
270               m_strncmp("From ", buf, 5) != 0) {
271             fseeko (ctx->fp, loc, SEEK_SET); /* nope, return the previous position */
272             curhdr->content->length = -1;
273           }
274         }
275         else if (tmploc != ctx->size) {
276           /* content-length would put us past the end of the file, so it
277            * must be wrong
278            */
279           curhdr->content->length = -1;
280         }
281
282         if (curhdr->content->length != -1) {
283           /* good content-length.  check to see if we know how many lines
284            * are in this message.
285            */
286           if (curhdr->lines == 0) {
287             int cl = curhdr->content->length;
288
289             /* count the number of lines in this message */
290             fseeko (ctx->fp, loc, SEEK_SET);
291             while (cl-- > 0) {
292               if (fgetc (ctx->fp) == '\n')
293                 curhdr->lines++;
294             }
295           }
296
297           /* return to the offset of the next message separator */
298           fseeko(ctx->fp, tmploc, SEEK_SET);
299         }
300       }
301
302       ctx->msgcount++;
303
304       if (!curhdr->env->return_path && return_path[0])
305         curhdr->env->return_path =
306           rfc822_parse_adrlist (curhdr->env->return_path, return_path);
307
308       if (!curhdr->env->from)
309         curhdr->env->from = address_list_dup (curhdr->env->return_path);
310
311       lines = 0;
312     }
313     else
314       lines++;
315
316     loc = ftello (ctx->fp);
317   }
318
319   /*
320    * Only set the content-length of the previous message if we have read more
321    * than one message during _this_ invocation.  If this routine is called
322    * when new mail is received, we need to make sure not to clobber what
323    * previously was the last message since the headers may be sorted.
324    */
325   if (count > 0) {
326     if (PREV->content->length < 0) {
327       PREV->content->length = ftello (ctx->fp) - PREV->content->offset - 1;
328       if (PREV->content->length < 0)
329         PREV->content->length = 0;
330     }
331
332     if (!PREV->lines)
333       PREV->lines = lines ? lines - 1 : 0;
334
335     mx_update_context (ctx, count);
336   }
337
338   return (0);
339 }
340
341 #undef PREV
342
343 /* open a mbox or mmdf style mailbox */
344 static int mbox_open_mailbox (CONTEXT * ctx)
345 {
346   int rc;
347
348   if ((ctx->fp = fopen (ctx->path, "r")) == NULL) {
349     mutt_perror (ctx->path);
350     return (-1);
351   }
352   mutt_block_signals ();
353   if (mbox_lock_mailbox (ctx, 0, 1) == -1) {
354     mutt_unblock_signals ();
355     return (-1);
356   }
357
358   if (ctx->magic == M_MBOX)
359     rc = mbox_parse_mailbox (ctx);
360   else if (ctx->magic == M_MMDF)
361     rc = mmdf_parse_mailbox (ctx);
362   else
363     rc = -1;
364
365   mbox_unlock_mailbox (ctx);
366   mutt_unblock_signals ();
367   return (rc);
368 }
369
370 /* check to see if the mailbox has changed on disk.
371  *
372  * return values:
373  *      M_REOPENED      mailbox has been reopened
374  *      M_NEW_MAIL      new mail has arrived!
375  *      M_LOCKED        couldn't lock the file
376  *      0               no change
377  *      -1              error
378  */
379 static int _mbox_check_mailbox (CONTEXT * ctx, int *index_hint)
380 {
381   struct stat st;
382   char buffer[LONG_STRING];
383   int unlock = 0;
384   int modified = 0;
385
386   if (stat (ctx->path, &st) == 0) {
387     if (st.st_mtime == ctx->mtime && st.st_size == ctx->size)
388       return (0);
389
390     if (st.st_size == ctx->size) {
391       /* the file was touched, but it is still the same length, so just exit */
392       ctx->mtime = st.st_mtime;
393       return (0);
394     }
395
396     if (st.st_size > ctx->size) {
397       /* lock the file if it isn't already */
398       if (!ctx->locked) {
399         mutt_block_signals ();
400         if (mbox_lock_mailbox (ctx, 0, 0) == -1) {
401           mutt_unblock_signals ();
402           /* we couldn't lock the mailbox, but nothing serious happened:
403            * probably the new mail arrived: no reason to wait till we can
404            * parse it: we'll get it on the next pass
405            */
406           return (M_LOCKED);
407         }
408         unlock = 1;
409       }
410
411       /*
412        * Check to make sure that the only change to the mailbox is that 
413        * message(s) were appended to this file.  My heuristic is that we should
414        * see the message separator at *exactly* what used to be the end of the
415        * folder.
416        */
417       fseeko (ctx->fp, ctx->size, SEEK_SET);
418       if (fgets (buffer, sizeof (buffer), ctx->fp) != NULL) {
419         if ((ctx->magic == M_MBOX && m_strncmp("From ", buffer, 5) == 0)
420             || (ctx->magic == M_MMDF && m_strcmp(MMDF_SEP, buffer) == 0)) {
421           fseeko (ctx->fp, ctx->size, SEEK_SET);
422           if (ctx->magic == M_MBOX)
423             mbox_parse_mailbox (ctx);
424           else
425             mmdf_parse_mailbox (ctx);
426
427           /* Only unlock the folder if it was locked inside of this routine.
428            * It may have been locked elsewhere, like in
429            * mutt_checkpoint_mailbox().
430            */
431
432           if (unlock) {
433             mbox_unlock_mailbox (ctx);
434             mutt_unblock_signals ();
435           }
436
437           return (M_NEW_MAIL);  /* signal that new mail arrived */
438         }
439         else
440           modified = 1;
441       } else {
442         modified = 1;
443       }
444     } else {
445       modified = 1;
446     }
447   }
448
449   if (modified) {
450     if (mbox_reopen_mailbox (ctx, index_hint) != -1) {
451       if (unlock) {
452         mbox_unlock_mailbox (ctx);
453         mutt_unblock_signals ();
454       }
455       return (M_REOPENED);
456     }
457   }
458
459   /* fatal error */
460
461   mbox_unlock_mailbox (ctx);
462   mx_fastclose_mailbox (ctx);
463   mutt_unblock_signals ();
464   mutt_error _("Mailbox was corrupted!");
465
466   return (-1);
467 }
468
469 static int mbox_check_mailbox (CONTEXT* ctx, int* index_hint, int lock) {
470   int rc = 0;
471
472   if (lock) {
473     mutt_block_signals ();
474     if (mbox_lock_mailbox (ctx, 0, 0) == -1) {
475       mutt_unblock_signals ();
476       return M_LOCKED;
477     }
478   }
479
480   rc = _mbox_check_mailbox (ctx, index_hint);
481
482   if (lock) {
483     mutt_unblock_signals ();
484     mbox_unlock_mailbox (ctx);
485   }
486   return rc;
487 }
488
489 /* return values:
490  *      0       success
491  *      -1      failure
492  */
493 static int mbox_sync_mailbox (CONTEXT * ctx, int unused __attribute__ ((unused)), int *index_hint)
494 {
495   char tempfile[_POSIX_PATH_MAX];
496   char buf[32];
497   int i, j, save_sort = SORT_ORDER;
498   int rc = -1;
499   int need_sort = 0;            /* flag to resort mailbox if new mail arrives */
500   int first = -1;               /* first message to be written */
501   off_t offset;                /* location in mailbox to write changed messages */
502   struct stat statbuf;
503   struct utimbuf utimebuf;
504   struct m_update_t *newOffset = NULL;
505   struct m_update_t *oldOffset = NULL;
506   FILE *fp = NULL;
507
508   /* sort message by their position in the mailbox on disk */
509   if (Sort != SORT_ORDER) {
510     save_sort = Sort;
511     Sort = SORT_ORDER;
512     mutt_sort_headers (ctx, 0);
513     Sort = save_sort;
514     need_sort = 1;
515   }
516
517   /* need to open the file for writing in such a way that it does not truncate
518    * the file, so use read-write mode.
519    */
520   if ((ctx->fp = freopen (ctx->path, "r+", ctx->fp)) == NULL) {
521     mx_fastclose_mailbox (ctx);
522     mutt_error _("Fatal error!  Could not reopen mailbox!");
523
524     return (-1);
525   }
526
527   mutt_block_signals ();
528
529   if (mbox_lock_mailbox (ctx, 1, 1) == -1) {
530     mutt_unblock_signals ();
531     mutt_error _("Unable to lock mailbox!");
532
533     goto bail;
534   }
535
536   /* Check to make sure that the file hasn't changed on disk */
537   if ((i = _mbox_check_mailbox (ctx, index_hint)) == M_NEW_MAIL
538       || i == M_REOPENED) {
539     /* new mail arrived, or mailbox reopened */
540     need_sort = i;
541     rc = i;
542     goto bail;
543   }
544   else if (i < 0)
545     /* fatal error */
546     return (-1);
547
548   /* Create a temporary file to write the new version of the mailbox in. */
549   mutt_mktemp (tempfile);
550   if ((i = open (tempfile, O_WRONLY | O_EXCL | O_CREAT, 0600)) == -1 ||
551       (fp = fdopen (i, "w")) == NULL) {
552     if (-1 != i) {
553       close (i);
554       unlink (tempfile);
555     }
556     mutt_error _("Could not create temporary file!");
557
558     mutt_sleep (5);
559     goto bail;
560   }
561
562   /* find the first deleted/changed message.  we save a lot of time by only
563    * rewriting the mailbox from the point where it has actually changed.
564    */
565   for (i = 0; i < ctx->msgcount && !ctx->hdrs[i]->deleted &&
566        !ctx->hdrs[i]->changed && !ctx->hdrs[i]->attach_del; i++);
567   if (i == ctx->msgcount) {
568     /* this means ctx->changed or ctx->deleted was set, but no
569      * messages were found to be changed or deleted.  This should
570      * never happen, is we presume it is a bug in mutt.
571      */
572     mutt_error
573       _("sync: mbox modified, but no modified messages! (report this bug)");
574     mutt_sleep (5);             /* the mutt_error /will/ get cleared! */
575     unlink (tempfile);
576     goto bail;
577   }
578
579   /* save the index of the first changed/deleted message */
580   first = i;
581   /* where to start overwriting */
582   offset = ctx->hdrs[i]->offset;
583
584   /* the offset stored in the header does not include the MMDF_SEP, so make
585    * sure we seek to the correct location
586    */
587   if (ctx->magic == M_MMDF)
588     offset -= (sizeof MMDF_SEP - 1);
589
590   /* allocate space for the new offsets */
591   newOffset = p_new(struct m_update_t, ctx->msgcount - first);
592   oldOffset = p_new(struct m_update_t, ctx->msgcount - first);
593
594   for (i = first, j = 0; i < ctx->msgcount; i++) {
595     /*
596      * back up some information which is needed to restore offsets when
597      * something fails.
598      */
599
600     oldOffset[i - first].valid = 1;
601     oldOffset[i - first].hdr = ctx->hdrs[i]->offset;
602     oldOffset[i - first].body = ctx->hdrs[i]->content->offset;
603     oldOffset[i - first].lines = ctx->hdrs[i]->lines;
604     oldOffset[i - first].length = ctx->hdrs[i]->content->length;
605
606     if (!ctx->hdrs[i]->deleted) {
607       j++;
608       if (!ctx->quiet && WriteInc && ((i % WriteInc) == 0 || j == 1))
609         mutt_message (_("Writing messages... %d (%d%%)"), i,
610                       (int) (ftello (ctx->fp) / (ctx->size / 100 + 1)));
611
612       if (ctx->magic == M_MMDF) {
613         if (fputs (MMDF_SEP, fp) == EOF) {
614           mutt_perror (tempfile);
615           mutt_sleep (5);
616           unlink (tempfile);
617           goto bail;
618         }
619
620       }
621
622       /* save the new offset for this message.  we add `offset' because the
623        * temporary file only contains saved message which are located after
624        * `offset' in the real mailbox
625        */
626       newOffset[i - first].hdr = ftello (fp) + offset;
627
628       if (mutt_copy_message
629           (fp, ctx, ctx->hdrs[i], M_CM_UPDATE,
630            CH_FROM | CH_UPDATE | CH_UPDATE_LEN) == -1) {
631         mutt_perror (tempfile);
632         mutt_sleep (5);
633         unlink (tempfile);
634         goto bail;
635       }
636
637       /* Since messages could have been deleted, the offsets stored in memory
638        * will be wrong, so update what we can, which is the offset of this
639        * message, and the offset of the body.  If this is a multipart message,
640        * we just flush the in memory cache so that the message will be reparsed
641        * if the user accesses it later.
642        */
643       newOffset[i - first].body =
644         ftello (fp) - ctx->hdrs[i]->content->length + offset;
645       body_list_wipe(&ctx->hdrs[i]->content->parts);
646
647       switch (ctx->magic) {
648       case M_MMDF:
649         if (fputs (MMDF_SEP, fp) == EOF) {
650           mutt_perror (tempfile);
651           mutt_sleep (5);
652           unlink (tempfile);
653           goto bail;
654         }
655         break;
656       default:
657         if (fputs ("\n", fp) == EOF) {
658           mutt_perror (tempfile);
659           mutt_sleep (5);
660           unlink (tempfile);
661           goto bail;
662         }
663       }
664     }
665   }
666
667   if (fclose (fp) != 0) {
668     fp = NULL;
669     unlink (tempfile);
670     mutt_perror (tempfile);
671     mutt_sleep (5);
672     goto bail;
673   }
674   fp = NULL;
675
676   /* Save the state of this folder. */
677   if (stat (ctx->path, &statbuf) == -1) {
678     mutt_perror (ctx->path);
679     mutt_sleep (5);
680     unlink (tempfile);
681     goto bail;
682   }
683
684   if ((fp = fopen (tempfile, "r")) == NULL) {
685     mutt_unblock_signals ();
686     mx_fastclose_mailbox (ctx);
687     mutt_perror (tempfile);
688     mutt_sleep (5);
689     return (-1);
690   }
691
692   if (fseeko (ctx->fp, offset, SEEK_SET) != 0 || /* seek the append location */
693       /* do a sanity check to make sure the mailbox looks ok */
694       fgets (buf, sizeof (buf), ctx->fp) == NULL ||
695       (ctx->magic == M_MBOX && m_strncmp("From ", buf, 5) != 0) ||
696       (ctx->magic == M_MMDF && m_strcmp(MMDF_SEP, buf) != 0)) {
697     i = -1;
698   }
699   else {
700     if (fseeko (ctx->fp, offset, SEEK_SET) != 0) {       /* return to proper offset */
701       i = -1;
702     } else {
703       /* copy the temp mailbox back into place starting at the first
704        * change/deleted message
705        */
706       mutt_message _("Committing changes...");
707
708       i = mutt_copy_stream (fp, ctx->fp);
709
710       if (ferror (ctx->fp))
711         i = -1;
712     }
713     if (i == 0) {
714       ctx->size = ftello (ctx->fp);      /* update the size of the mailbox */
715       ftruncate (fileno (ctx->fp), ctx->size);
716     }
717   }
718
719   fclose (fp);
720   fp = NULL;
721   mbox_unlock_mailbox (ctx);
722
723   if (fclose (ctx->fp) != 0 || i == -1) {
724     /* error occured while writing the mailbox back, so keep the temp copy
725      * around
726      */
727
728     char savefile[_POSIX_PATH_MAX];
729
730     snprintf (savefile, sizeof (savefile), "%s/mutt.%s-%s-%u",
731               NONULL (Tempdir), NONULL (Username), NONULL (Hostname),
732               (unsigned int) getpid ());
733     rename (tempfile, savefile);
734     mutt_unblock_signals ();
735     mx_fastclose_mailbox (ctx);
736     mutt_pretty_mailbox (savefile);
737     mutt_error (_("Write failed!  Saved partial mailbox to %s"), savefile);
738     mutt_sleep (5);
739     return (-1);
740   }
741
742   /* Restore the previous access/modification times */
743   utimebuf.actime = statbuf.st_atime;
744   utimebuf.modtime = statbuf.st_mtime;
745   utime (ctx->path, &utimebuf);
746
747   /* reopen the mailbox in read-only mode */
748   if ((ctx->fp = fopen (ctx->path, "r")) == NULL) {
749     unlink (tempfile);
750     mutt_unblock_signals ();
751     mx_fastclose_mailbox (ctx);
752     mutt_error _("Fatal error!  Could not reopen mailbox!");
753     return (-1);
754   }
755
756   /* update the offsets of the rewritten messages */
757   for (i = first, j = first; i < ctx->msgcount; i++) {
758     if (!ctx->hdrs[i]->deleted) {
759       ctx->hdrs[i]->offset = newOffset[i - first].hdr;
760       ctx->hdrs[i]->content->hdr_offset = newOffset[i - first].hdr;
761       ctx->hdrs[i]->content->offset = newOffset[i - first].body;
762       ctx->hdrs[i]->index = j++;
763     }
764   }
765   p_delete(&newOffset);
766   p_delete(&oldOffset);
767   unlink (tempfile);            /* remove partial copy of the mailbox */
768   mutt_unblock_signals ();
769
770   return (0);                   /* signal success */
771
772 bail:                          /* Come here in case of disaster */
773
774   safe_fclose (&fp);
775
776   /* restore offsets, as far as they are valid */
777   if (first >= 0 && oldOffset) {
778     for (i = first; i < ctx->msgcount && oldOffset[i - first].valid; i++) {
779       ctx->hdrs[i]->offset = oldOffset[i - first].hdr;
780       ctx->hdrs[i]->content->hdr_offset = oldOffset[i - first].hdr;
781       ctx->hdrs[i]->content->offset = oldOffset[i - first].body;
782       ctx->hdrs[i]->lines = oldOffset[i - first].lines;
783       ctx->hdrs[i]->content->length = oldOffset[i - first].length;
784     }
785   }
786
787   /* this is ok to call even if we haven't locked anything */
788   mbox_unlock_mailbox (ctx);
789
790   mutt_unblock_signals ();
791   p_delete(&newOffset);
792   p_delete(&oldOffset);
793
794   if ((ctx->fp = freopen (ctx->path, "r", ctx->fp)) == NULL) {
795     mutt_error _("Could not reopen mailbox!");
796
797     mx_fastclose_mailbox (ctx);
798     return (-1);
799   }
800
801   if (need_sort)
802     /* if the mailbox was reopened, the thread tree will be invalid so make
803      * sure to start threading from scratch.  */
804     mutt_sort_headers (ctx, (need_sort == M_REOPENED));
805
806   return rc;
807 }
808
809 /* close a mailbox opened in write-mode */
810 int mbox_close_mailbox (CONTEXT * ctx)
811 {
812   mx_unlock_file (ctx->path, fileno (ctx->fp), 1);
813
814   if (ctx->cinfo)
815     mutt_slow_close_compressed (ctx);
816
817   mutt_unblock_signals ();
818   mx_fastclose_mailbox (ctx);
819   return 0;
820 }
821
822 static int mbox_reopen_mailbox (CONTEXT * ctx, int *index_hint)
823 {
824   int (*cmp_headers) (const HEADER *, const HEADER *) = NULL;
825   HEADER **old_hdrs;
826   int old_msgcount;
827   int msg_mod = 0;
828   int index_hint_set;
829   int i, j;
830   int rc = -1;
831
832   /* silent operations */
833   ctx->quiet = 1;
834
835   mutt_message _("Reopening mailbox...");
836
837   /* our heuristics require the old mailbox to be unsorted */
838   if (Sort != SORT_ORDER) {
839     short old_sort;
840
841     old_sort = Sort;
842     Sort = SORT_ORDER;
843     mutt_sort_headers (ctx, 1);
844     Sort = old_sort;
845   }
846
847   old_hdrs = NULL;
848   old_msgcount = 0;
849
850   /* simulate a close */
851   if (ctx->id_hash)
852     hash_destroy (&ctx->id_hash, NULL);
853   if (ctx->subj_hash)
854     hash_destroy (&ctx->subj_hash, NULL);
855   mutt_clear_threads (ctx);
856   p_delete(&ctx->v2r);
857   if (ctx->readonly) {
858     for (i = 0; i < ctx->msgcount; i++)
859       header_delete(&(ctx->hdrs[i]));       /* nothing to do! */
860     p_delete(&ctx->hdrs);
861   }
862   else {
863     /* save the old headers */
864     old_msgcount = ctx->msgcount;
865     old_hdrs = ctx->hdrs;
866     ctx->hdrs = NULL;
867   }
868
869   ctx->hdrmax = 0;              /* force allocation of new headers */
870   ctx->msgcount = 0;
871   ctx->vcount = 0;
872   ctx->tagged = 0;
873   ctx->deleted = 0;
874   ctx->new = 0;
875   ctx->unread = 0;
876   ctx->flagged = 0;
877   ctx->changed = 0;
878   ctx->id_hash = NULL;
879   ctx->subj_hash = NULL;
880
881   switch (ctx->magic) {
882   case M_MBOX:
883   case M_MMDF:
884     if (fseeko (ctx->fp, 0, SEEK_SET) != 0) {
885       rc = -1;
886     }
887     else {
888       cmp_headers = mutt_cmp_header;
889       if (ctx->magic == M_MBOX)
890         rc = mbox_parse_mailbox (ctx);
891       else
892         rc = mmdf_parse_mailbox (ctx);
893     }
894     break;
895
896   default:
897     rc = -1;
898     break;
899   }
900
901   if (rc == -1) {
902     /* free the old headers */
903     for (j = 0; j < old_msgcount; j++)
904       header_delete(&(old_hdrs[j]));
905     p_delete(&old_hdrs);
906
907     ctx->quiet = 0;
908     return (-1);
909   }
910
911   /* now try to recover the old flags */
912
913   index_hint_set = (index_hint == NULL);
914
915   if (!ctx->readonly) {
916     for (i = 0; i < ctx->msgcount; i++) {
917       int found = 0;
918
919       /* some messages have been deleted, and new  messages have been
920        * appended at the end; the heuristic is that old messages have then
921        * "advanced" towards the beginning of the folder, so we begin the
922        * search at index "i"
923        */
924       for (j = i; j < old_msgcount; j++) {
925         if (old_hdrs[j] == NULL)
926           continue;
927         if (cmp_headers (ctx->hdrs[i], old_hdrs[j])) {
928           found = 1;
929           break;
930         }
931       }
932       if (!found) {
933         for (j = 0; j < i && j < old_msgcount; j++) {
934           if (old_hdrs[j] == NULL)
935             continue;
936           if (cmp_headers (ctx->hdrs[i], old_hdrs[j])) {
937             found = 1;
938             break;
939           }
940         }
941       }
942
943       if (found) {
944         /* this is best done here */
945         if (!index_hint_set && *index_hint == j)
946           *index_hint = i;
947
948         if (old_hdrs[j]->changed) {
949           /* Only update the flags if the old header was changed;
950            * otherwise, the header may have been modified externally,
951            * and we don't want to lose _those_ changes
952            */
953           mutt_set_flag (ctx, ctx->hdrs[i], M_FLAG, old_hdrs[j]->flagged);
954           mutt_set_flag (ctx, ctx->hdrs[i], M_REPLIED, old_hdrs[j]->replied);
955           mutt_set_flag (ctx, ctx->hdrs[i], M_OLD, old_hdrs[j]->old);
956           mutt_set_flag (ctx, ctx->hdrs[i], M_READ, old_hdrs[j]->read);
957         }
958         mutt_set_flag (ctx, ctx->hdrs[i], M_DELETE, old_hdrs[j]->deleted);
959         mutt_set_flag (ctx, ctx->hdrs[i], M_TAG, old_hdrs[j]->tagged);
960
961         /* we don't need this header any more */
962         header_delete(&(old_hdrs[j]));
963       }
964     }
965
966     /* free the remaining old headers */
967     for (j = 0; j < old_msgcount; j++) {
968       if (old_hdrs[j]) {
969         header_delete(&(old_hdrs[j]));
970         msg_mod = 1;
971       }
972     }
973     p_delete(&old_hdrs);
974   }
975
976   ctx->quiet = 0;
977
978   return ((ctx->changed || msg_mod) ? M_REOPENED : M_NEW_MAIL);
979 }
980
981 /*
982  * Returns:
983  * 1 if the mailbox is not empty
984  * 0 if the mailbox is empty
985  * -1 on error
986  */
987 int mbox_check_empty (const char *path)
988 {
989   struct stat st;
990
991   if (stat (path, &st) == -1)
992     return -1;
993
994   return ((st.st_size == 0));
995 }
996
997 int mbox_is_magic (const char* path, struct stat* st) {
998   int magic = -1;
999   FILE* f;
1000   char tmp[_POSIX_PATH_MAX];
1001
1002   if (S_ISDIR(st->st_mode))
1003     return (-1);
1004
1005   if (st->st_size == 0) {
1006     /* hard to tell what zero-length files are, so assume the default magic */
1007     if (DefaultMagic == M_MBOX || DefaultMagic == M_MMDF)
1008       return (DefaultMagic);
1009     else
1010       return (M_MBOX);
1011   }
1012   else if ((f = fopen (path, "r")) != NULL) {
1013     struct utimbuf times;
1014
1015     fgets (tmp, sizeof (tmp), f);
1016     if (m_strncmp("From ", tmp, 5) == 0)
1017       magic = M_MBOX;
1018     else if (m_strcmp(MMDF_SEP, tmp) == 0)
1019       magic = M_MMDF;
1020     safe_fclose (&f);
1021
1022     /* need to restore the times here, the file was not really accessed,
1023      * only the type was accessed.  This is important, because detection
1024      * of "new mail" depends on those times set correctly.
1025      */
1026     times.actime = st->st_atime;
1027     times.modtime = st->st_mtime;
1028     utime (path, &times);
1029   } else {
1030     mutt_perror (path);
1031     return (-1);         /* fopen failed */
1032   }
1033
1034   if (magic == -1 && mutt_can_read_compressed (path))
1035     return (M_COMPRESSED);
1036   return (magic);
1037 }
1038
1039 static int commit_message (MESSAGE* msg, CONTEXT* ctx __attribute__ ((unused)), int mbox) {
1040   if ((mbox && fputc ('\n', msg->fp) == EOF) ||
1041       (!mbox && fputs (MMDF_SEP, msg->fp) == EOF))
1042     return (-1);
1043   if ((fflush (msg->fp) == EOF || fsync (fileno (msg->fp)) == -1)) {
1044     mutt_perror (_("Can't write message"));
1045     return (-1);
1046   }
1047   return (0);
1048 }
1049
1050 static int mbox_commit_message (MESSAGE* msg, CONTEXT* ctx) {
1051   return (commit_message (msg, ctx, 1));
1052 }
1053
1054 static int mmdf_commit_message (MESSAGE* msg, CONTEXT* ctx) {
1055   return (commit_message (msg, ctx, 0));
1056 }
1057
1058 mx_t const mbox_mx = {
1059     M_MBOX,
1060     1,
1061     mbox_is_magic,
1062     mbox_check_empty,
1063     access,
1064     mbox_open_mailbox,
1065     mbox_open_new_message,
1066     NULL,
1067     mbox_check_mailbox,
1068     NULL,
1069     mbox_sync_mailbox,
1070     mbox_commit_message,
1071 };
1072
1073 mx_t const mmdf_mx = {
1074     M_MMDF,
1075     1,
1076     mbox_is_magic,
1077     mbox_check_empty,
1078     access,
1079     mbox_open_mailbox,
1080     mbox_open_new_message,
1081     NULL,
1082     mbox_check_mailbox,
1083     NULL,
1084     mbox_sync_mailbox,
1085     mmdf_commit_message,
1086 };