Begin to work on a pop reimplementation, using jobs and the event loop
[apps/madmutt.git] / lib-mx / mh.c
1 /*
2  * Copyright notice from original mutt:
3  * Copyright (C) 1996-2002 Michael R. Elkins <me@mutt.org>
4  * Copyright (C) 1999-2002 Thomas Roessler <roessler@does-not-exist.org>
5  *
6  * This file is part of mutt-ng, see http://www.muttng.org/.
7  * It's licensed under the GNU General Public License,
8  * please see the file GPL in the top level source directory.
9  */
10
11 /*
12  * This file contains routines specific to MH and ``maildir'' style
13  * mailboxes.
14  */
15
16 #include <lib-lib/lib-lib.h>
17 #include <utime.h>
18
19 #include <lib-ui/lib-ui.h>
20
21 #include "mutt.h"
22 #include "mx.h"
23 #include "mh.h"
24 #include "mbox.h"
25 #include "copy.h"
26 #include "buffy.h"
27 #include "sort.h"
28 #include "thread.h"
29 #include "hcache.h"
30
31 struct maildir {
32   HEADER *h;
33   char *canon_fname;
34   unsigned header_parsed:1;
35   struct maildir *next;
36 };
37
38 typedef struct mh_sequences {
39     int size;
40     char flags[];
41 } mh_sequences;
42
43 /* mh_sequences support */
44 #define MH_SEQ_UNSEEN  (1 << 0)
45 #define MH_SEQ_REPLIED (1 << 1)
46 #define MH_SEQ_FLAGGED (1 << 2)
47
48 /* prototypes */
49 static int maildir_check_empty (const char*);
50 static int maildir_check_mailbox (CONTEXT*, int*, int);
51 static int mh_check_mailbox (CONTEXT*, int*, int);
52
53 static mh_sequences *mhs_new(void)
54 {
55     mh_sequences *res = xmalloc(sizeof(mh_sequences) + 128);
56     res->size = 128;
57     return res;
58 }
59
60 static void mhs_ensure(mh_sequences *mhs, int i)
61 {
62     if (i > mhs->size) {
63         xrealloc((void *)&mhs, sizeof(mh_sequences) + mhs->size + 128);
64         p_clear(mhs->flags + mhs->size, 128);
65         mhs->size += 128;
66     }
67 }
68
69 static void mhs_delete(mh_sequences **mhs)
70 {
71     p_delete(mhs);
72 }
73
74 static short mhs_check (struct mh_sequences *mhs, int i)
75 {
76     return i > mhs->size ? 0 : mhs->flags[i];
77 }
78
79 static short mhs_set (struct mh_sequences *mhs, int i, short f)
80 {
81     mhs_ensure(mhs, i);
82     mhs->flags[i] |= f;
83     return mhs->flags[i];
84 }
85
86 static void mh_read_token (char *t, int *first, int *last)
87 {
88   char *p;
89
90   if ((p = strchr (t, '-'))) {
91     *p++ = '\0';
92     *first = atoi (t);
93     *last = atoi (p);
94   }
95   else
96     *first = *last = atoi (t);
97 }
98
99 static void mh_read_sequences (struct mh_sequences *mhs, const char *path)
100 {
101   FILE *fp;
102   int line = 1;
103   char *buff = NULL;
104   char *t;
105   ssize_t sz = 0;
106
107   short f;
108   int first, last;
109
110   char pathname[_POSIX_PATH_MAX];
111
112   snprintf (pathname, sizeof (pathname), "%s/.mh_sequences", path);
113
114   if (!(fp = fopen (pathname, "r")))
115     return;
116
117   while ((buff = mutt_read_line (buff, &sz, fp, &line))) {
118     if (!(t = strtok (buff, " \t:")))
119       continue;
120
121     if (!m_strcmp(t, MhUnseen))
122       f = MH_SEQ_UNSEEN;
123     else if (!m_strcmp(t, MhFlagged))
124       f = MH_SEQ_FLAGGED;
125     else if (!m_strcmp(t, MhReplied))
126       f = MH_SEQ_REPLIED;
127     else                        /* unknown sequence */
128       continue;
129
130     while ((t = strtok (NULL, " \t:"))) {
131       mh_read_token (t, &first, &last);
132       for (; first <= last; first++)
133         mhs_set (mhs, first, f);
134     }
135   }
136
137   p_delete(&buff);
138   m_fclose(&fp);
139 }
140
141 int mh_buffy (const char *path)
142 {
143     mh_sequences *mhs = mhs_new();
144     int i;
145
146     mh_read_sequences(mhs, path);
147     for (i = 0; i <= mhs->size; i++) {
148         if (mhs_check(mhs, i) & MH_SEQ_UNSEEN) {
149             mhs_delete(&mhs);
150             return 1;
151         }
152     }
153
154     mhs_delete(&mhs);
155     return 0;
156 }
157
158 static int mh_mkstemp (CONTEXT * dest, FILE ** fp, char **tgt)
159 {
160   static int Counter = 0;
161   int fd;
162   char path[_POSIX_PATH_MAX];
163
164   for (;;) {
165     snprintf (path, _POSIX_PATH_MAX, "%s/.mutt-%s-%d-%d",
166               dest->path, NONULL(mod_core.shorthost), (int) getpid (), Counter++);
167     umask (Umask);
168     if ((fd = open (path, O_WRONLY | O_EXCL | O_CREAT, 0666)) == -1) {
169       if (errno != EEXIST) {
170         mutt_perror (path);
171         return -1;
172       }
173     }
174     else {
175       *tgt = m_strdup(path);
176       break;
177     }
178   }
179
180   if ((*fp = fdopen (fd, "w")) == NULL) {
181     p_delete(tgt);
182     close (fd);
183     unlink (path);
184     return -1;
185   }
186
187   return 0;
188 }
189
190 static void mhs_write_one_sequence(FILE * fp, struct mh_sequences *mhs,
191                                    short f, const char *tag)
192 {
193   int i;
194   int first, last;
195
196   fprintf (fp, "%s:", tag);
197
198   first = -1;
199   last = -1;
200
201   for (i = 0; i <= mhs->size; i++) {
202     if ((mhs_check (mhs, i) & f)) {
203       if (first < 0)
204         first = i;
205       else
206         last = i;
207     }
208     else if (first >= 0) {
209       if (last < 0)
210         fprintf (fp, " %d", first);
211       else
212         fprintf (fp, " %d-%d", first, last);
213
214       first = -1;
215       last = -1;
216     }
217   }
218
219   if (first >= 0) {
220     if (last < 0)
221       fprintf (fp, " %d", first);
222     else
223       fprintf (fp, " %d-%d", first, last);
224   }
225
226   fputc ('\n', fp);
227 }
228
229 /* XXX - we don't currently remove deleted messages from sequences we don't know.  Should we? */
230
231 static void mh_update_sequences (CONTEXT * ctx)
232 {
233   FILE *ofp, *nfp;
234
235   char sequences[_POSIX_PATH_MAX];
236   char *tmpfname;
237   char *buff = NULL;
238   char *p;
239   ssize_t s;
240   int l = 0;
241   int i;
242
243   int unseen = 0;
244   int flagged = 0;
245   int replied = 0;
246
247   char seq_unseen[STRING];
248   char seq_replied[STRING];
249   char seq_flagged[STRING];
250   mh_sequences *mhs = mhs_new();
251
252   snprintf(seq_unseen,  sizeof(seq_unseen),  "%s:", NONULL(MhUnseen));
253   snprintf(seq_replied, sizeof(seq_replied), "%s:", NONULL(MhReplied));
254   snprintf(seq_flagged, sizeof(seq_flagged), "%s:", NONULL(MhFlagged));
255
256   if (mh_mkstemp (ctx, &nfp, &tmpfname) != 0) {
257     /* error message? */
258     return;
259   }
260
261   snprintf (sequences, sizeof (sequences), "%s/.mh_sequences", ctx->path);
262
263
264   /* first, copy unknown sequences */
265   if ((ofp = fopen (sequences, "r"))) {
266     while ((buff = mutt_read_line (buff, &s, ofp, &l))) {
267       if (!m_strncmp(buff, seq_unseen, m_strlen(seq_unseen)))
268         continue;
269       if (!m_strncmp(buff, seq_flagged, m_strlen(seq_flagged)))
270         continue;
271       if (!m_strncmp(buff, seq_replied, m_strlen(seq_replied)))
272         continue;
273
274       fprintf (nfp, "%s\n", buff);
275     }
276   }
277   m_fclose(&ofp);
278
279   /* now, update our unseen, flagged, and replied sequences */
280   for (l = 0; l < ctx->msgcount; l++) {
281     if (ctx->hdrs[l]->deleted)
282       continue;
283
284     if ((p = strrchr (ctx->hdrs[l]->path, '/')))
285       p++;
286     else
287       p = ctx->hdrs[l]->path;
288
289     i = atoi (p);
290
291     if (!ctx->hdrs[l]->read) {
292       mhs_set(mhs, i, MH_SEQ_UNSEEN);
293       unseen++;
294     }
295     if (ctx->hdrs[l]->flagged) {
296       mhs_set(mhs, i, MH_SEQ_FLAGGED);
297       flagged++;
298     }
299     if (ctx->hdrs[l]->replied) {
300       mhs_set(mhs, i, MH_SEQ_REPLIED);
301       replied++;
302     }
303   }
304
305   /* write out the new sequences */
306   if (unseen)
307     mhs_write_one_sequence(nfp, mhs, MH_SEQ_UNSEEN, NONULL (MhUnseen));
308   if (flagged)
309     mhs_write_one_sequence(nfp, mhs, MH_SEQ_FLAGGED, NONULL (MhFlagged));
310   if (replied)
311     mhs_write_one_sequence(nfp, mhs, MH_SEQ_REPLIED, NONULL (MhReplied));
312
313   mhs_delete(&mhs);
314
315   /* try to commit the changes - no guarantee here */
316   m_fclose(&nfp);
317
318   unlink (sequences);
319   if (safe_rename (tmpfname, sequences) != 0) {
320     /* report an error? */
321     unlink (tmpfname);
322   }
323
324   p_delete(&tmpfname);
325 }
326
327 static void mh_sequences_add_one (CONTEXT * ctx, int n, short unseen,
328                                   short flagged, short replied)
329 {
330   short unseen_done = 0;
331   short flagged_done = 0;
332   short replied_done = 0;
333
334   FILE *ofp = NULL, *nfp = NULL;
335
336   char *tmpfname;
337   char sequences[_POSIX_PATH_MAX];
338
339   char seq_unseen[STRING];
340   char seq_replied[STRING];
341   char seq_flagged[STRING];
342
343   char *buff = NULL;
344   int line;
345   ssize_t sz;
346
347   if (mh_mkstemp (ctx, &nfp, &tmpfname) == -1)
348     return;
349
350   snprintf (seq_unseen, sizeof (seq_unseen), "%s:", NONULL (MhUnseen));
351   snprintf (seq_replied, sizeof (seq_replied), "%s:", NONULL (MhReplied));
352   snprintf (seq_flagged, sizeof (seq_flagged), "%s:", NONULL (MhFlagged));
353
354   snprintf (sequences, sizeof (sequences), "%s/.mh_sequences", ctx->path);
355   if ((ofp = fopen (sequences, "r"))) {
356     while ((buff = mutt_read_line (buff, &sz, ofp, &line))) {
357       if (unseen && !m_strncmp (buff, seq_unseen, m_strlen(seq_unseen))) {
358         fprintf (nfp, "%s %d\n", buff, n);
359         unseen_done = 1;
360       }
361       else if (flagged
362                && !m_strncmp (buff, seq_flagged, m_strlen(seq_flagged))) {
363         fprintf (nfp, "%s %d\n", buff, n);
364         flagged_done = 1;
365       }
366       else if (replied
367                && !m_strncmp (buff, seq_replied, m_strlen(seq_replied))) {
368         fprintf (nfp, "%s %d\n", buff, n);
369         replied_done = 1;
370       }
371       else
372         fprintf (nfp, "%s\n", buff);
373     }
374   }
375   m_fclose(&ofp);
376   p_delete(&buff);
377
378   if (!unseen_done && unseen)
379     fprintf (nfp, "%s: %d\n", NONULL (MhUnseen), n);
380   if (!flagged_done && flagged)
381     fprintf (nfp, "%s: %d\n", NONULL (MhFlagged), n);
382   if (!replied_done && replied)
383     fprintf (nfp, "%s: %d\n", NONULL (MhReplied), n);
384
385   m_fclose(&nfp);
386
387   unlink (sequences);
388   if (safe_rename (tmpfname, sequences) != 0)
389     unlink (tmpfname);
390
391   p_delete(&tmpfname);
392 }
393
394 static void mh_update_maildir (struct maildir *md, struct mh_sequences *mhs)
395 {
396   int i;
397   short f;
398   char *p;
399
400   for (; md; md = md->next) {
401     if ((p = strrchr (md->h->path, '/')))
402       p++;
403     else
404       p = md->h->path;
405
406     i = atoi (p);
407     f = mhs_check (mhs, i);
408
409     md->h->read = (f & MH_SEQ_UNSEEN) ? 0 : 1;
410     md->h->flagged = (f & MH_SEQ_FLAGGED) ? 1 : 0;
411     md->h->replied = (f & MH_SEQ_REPLIED) ? 1 : 0;
412   }
413 }
414
415 /* maildir support */
416
417 static void maildir_free_entry (struct maildir **md)
418 {
419   if (!md || !*md)
420     return;
421
422   p_delete(&(*md)->canon_fname);
423   if ((*md)->h)
424     header_delete(&(*md)->h);
425
426   p_delete(md);
427 }
428
429 static void maildir_free_maildir (struct maildir **md)
430 {
431   struct maildir *p, *q;
432
433   if (!md || !*md)
434     return;
435
436   for (p = *md; p; p = q) {
437     q = p->next;
438     maildir_free_entry (&p);
439   }
440 }
441
442 static void maildir_parse_flags (HEADER * h, const char *path)
443 {
444   char *p, *q = NULL;
445
446   h->flagged = 0;
447   h->read = 0;
448   h->replied = 0;
449
450   if ((p = strrchr (path, ':')) != NULL && m_strncmp(p + 1, "2,", 2) == 0) {
451     p += 3;
452
453     m_strreplace(&h->maildir_flags, p);
454     q = h->maildir_flags;
455
456     while (*p) {
457       switch (*p) {
458       case 'F':
459
460         h->flagged = 1;
461         break;
462
463       case 'S':                /* seen */
464
465         h->read = 1;
466         break;
467
468       case 'R':                /* replied */
469
470         h->replied = 1;
471         break;
472
473       case 'T':                /* trashed */
474         h->trash = 1;
475         h->deleted = 1;
476         break;
477
478       default:
479         *q++ = *p;
480         break;
481       }
482       p++;
483     }
484   }
485
486   if (q == h->maildir_flags)
487     p_delete(&h->maildir_flags);
488   else if (q)
489     *q = '\0';
490 }
491
492 static void maildir_update_mtime (CONTEXT * ctx)
493 {
494   char buf[_POSIX_PATH_MAX];
495   struct stat st;
496
497   if (ctx->magic == M_MAILDIR) {
498     snprintf (buf, sizeof (buf), "%s/%s", ctx->path, "cur");
499     if (stat (buf, &st) == 0)
500       ctx->mtime_cur = st.st_mtime;
501     snprintf (buf, sizeof (buf), "%s/%s", ctx->path, "new");
502   }
503   else {
504     snprintf (buf, sizeof (buf), "%s/.mh_sequences", ctx->path);
505     if (stat (buf, &st) == 0)
506       ctx->mtime_cur = st.st_mtime;
507
508     m_strcpy(buf, sizeof(buf), ctx->path);
509   }
510
511   if (stat (buf, &st) == 0)
512     ctx->mtime = st.st_mtime;
513 }
514
515 /* 
516  * Actually parse a maildir message.  This may also be used to fill
517  * out a fake header structure generated by lazy maildir parsing.
518  */
519 static HEADER *maildir_parse_message (int magic, const char *fname,
520                                       int is_old, HEADER * _h)
521 {
522   FILE *f;
523   HEADER *h = _h;
524   struct stat st;
525
526   if ((f = fopen (fname, "r")) != NULL) {
527     if (!h)
528       h = header_new();
529     h->env = mutt_read_rfc822_header (f, h, 0, 0);
530
531     fstat (fileno (f), &st);
532     m_fclose(&f);
533
534     if (!h->received)
535       h->received = h->date_sent;
536
537     if (h->content->length <= 0)
538       h->content->length = st.st_size - h->content->offset;
539
540     h->index = -1;
541
542     if (magic == M_MAILDIR) {
543       /* 
544        * maildir stores its flags in the filename, so ignore the
545        * flags in the header of the message 
546        */
547
548       h->old = is_old;
549       maildir_parse_flags (h, fname);
550     }
551     return h;
552   }
553   return NULL;
554 }
555
556 /* 
557  * Note that this routine will _not_ modify the context given by
558  * ctx. 
559  *
560  * It's used in the first parsing pass on maildir and MH folders.
561  * In the MH case, this means full parsing of the folder.  In the
562  * maildir case, it means that we only look at flags, and create a
563  * fake HEADER structure, which may later be filled in by
564  * maildir_parse_message(), when called from
565  * maildir_delayed_parsing().
566  * 
567  */
568
569 static int maildir_parse_entry (CONTEXT * ctx, struct maildir ***last,
570                                 const char *subdir, const char *fname,
571                                 int *count, int is_old, ino_t inode __attribute__ ((unused)))
572 {
573   struct maildir *entry;
574   HEADER *h = NULL;
575   char buf[_POSIX_PATH_MAX];
576
577   if (subdir)
578     snprintf (buf, sizeof (buf), "%s/%s/%s", ctx->path, subdir, fname);
579   else
580     snprintf (buf, sizeof (buf), "%s/%s", ctx->path, fname);
581
582   if (ctx->magic == M_MH)
583     h = maildir_parse_message (ctx->magic, buf, is_old, NULL);
584   else {
585     h = header_new();
586     h->old = is_old;
587     maildir_parse_flags (h, buf);
588   }
589
590   if (h != NULL) {
591     if (count) {
592       (*count)++;
593       if (!ctx->quiet && ReadInc && ((*count % ReadInc) == 0 || *count == 1))
594         mutt_message (_("Reading %s... %d"), ctx->path, *count);
595     }
596
597     if (subdir) {
598       snprintf (buf, sizeof (buf), "%s/%s", subdir, fname);
599       h->path = m_strdup(buf);
600     }
601     else
602       h->path = m_strdup(fname);
603
604     entry = p_new(struct maildir, 1);
605     entry->h = h;
606     entry->header_parsed = (ctx->magic == M_MH);
607     **last = entry;
608     *last = &entry->next;
609
610     return 0;
611   }
612
613   return -1;
614 }
615
616
617
618 /* Ignore the garbage files.  A valid MH message consists of only
619  * digits.  Deleted message get moved to a filename with a comma before
620  * it.
621  */
622
623 int mh_valid_message (const char *s)
624 {
625   for (; *s; s++) {
626     if (!isdigit ((unsigned char) *s))
627       return 0;
628   }
629   return 1;
630 }
631
632 static int maildir_parse_dir (CONTEXT * ctx, struct maildir ***last,
633                               const char *subdir, int *count)
634 {
635   DIR *dirp;
636   struct dirent *de;
637   char buf[_POSIX_PATH_MAX];
638   int is_old = 0;
639
640   if (subdir) {
641     snprintf (buf, sizeof (buf), "%s/%s", ctx->path, subdir);
642     is_old = (m_strcmp("cur", subdir) == 0);
643   }
644   else
645     m_strcpy(buf, sizeof(buf), ctx->path);
646
647   if ((dirp = opendir (buf)) == NULL)
648     return -1;
649
650   while ((de = readdir (dirp)) != NULL) {
651
652     if ((ctx->magic == M_MH && !mh_valid_message (de->d_name))
653         || (ctx->magic == M_MAILDIR && *de->d_name == '.'))
654       continue;
655
656     /* FOO - really ignore the return value? */
657
658     maildir_parse_entry (ctx, last, subdir, de->d_name, count, is_old,
659 #ifdef HAVE_DIRENT_D_INO
660                          de->d_ino
661 #else
662                          0
663 #endif
664                         );
665   }
666
667   closedir (dirp);
668   return 0;
669 }
670
671 static int maildir_add_to_context (CONTEXT * ctx, struct maildir *md)
672 {
673   int oldmsgcount = ctx->msgcount;
674
675   while (md) {
676
677     if (md->h) {
678       if (ctx->msgcount == ctx->hdrmax)
679         mx_alloc_memory (ctx);
680
681       ctx->hdrs[ctx->msgcount] = md->h;
682       ctx->hdrs[ctx->msgcount]->index = ctx->msgcount;
683       ctx->size +=
684         md->h->content->length + md->h->content->offset -
685         md->h->content->hdr_offset;
686
687       md->h = NULL;
688       ctx->msgcount++;
689     }
690     md = md->next;
691   }
692
693   if (ctx->msgcount > oldmsgcount) {
694     mx_update_context (ctx, ctx->msgcount - oldmsgcount);
695     return 1;
696   }
697   return 0;
698 }
699
700 static int maildir_move_to_context (CONTEXT * ctx, struct maildir **md)
701 {
702   int r;
703
704   r = maildir_add_to_context (ctx, *md);
705   maildir_free_maildir (md);
706   return r;
707 }
708
709 #ifdef USE_HCACHE
710 static ssize_t maildir_hcache_keylen (const char *fn)
711 {
712     return m_strchrnul(fn, ':') - fn;
713 }
714 #endif
715
716 /* 
717  * This function does the second parsing pass for a maildir-style
718  * folder.
719  */
720 static void maildir_delayed_parsing (CONTEXT * ctx, struct maildir *md)
721 {
722   struct maildir *p;
723   char fn[_POSIX_PATH_MAX];
724   int count;
725
726 #ifdef USE_HCACHE
727   hcache_t *hc = NULL;
728   void *data;
729   struct timeval *when = NULL;
730   struct stat lastchanged;
731   int ret;
732
733   hc = mutt_hcache_open(ctx->path);
734 #endif
735
736   for (p = md, count = 0; p; p = p->next, count++) {
737     if (!(p && p->h && !p->header_parsed))
738       continue;
739
740 #ifdef USE_HCACHE
741     data = mutt_hcache_fetch (hc, p->h->path + 3, &maildir_hcache_keylen);
742     when = (struct timeval *) data;
743 #endif
744
745     if (!ctx->quiet && ReadInc && ((count % ReadInc) == 0 || count == 1))
746       mutt_message (_("Reading %s... %d"), ctx->path, count);
747     snprintf (fn, sizeof (fn), "%s/%s", ctx->path, p->h->path);
748
749 #ifdef USE_HCACHE
750     ret = stat(fn, &lastchanged);
751     if (data && !ret && lastchanged.st_mtime <= when->tv_sec) {
752       p->h = mutt_hcache_restore(data, &p->h);
753       maildir_parse_flags (p->h, fn);
754     } else
755 #endif
756     if (maildir_parse_message (ctx->magic, fn, p->h->old, p->h)) {
757       p->header_parsed = 1;
758       maildir_parse_flags (p->h, fn);
759 #ifdef USE_HCACHE
760       mutt_hcache_store (hc, p->h->path + 3, p->h, 0, &maildir_hcache_keylen);
761 #endif
762     } else {
763       header_delete(&p->h);
764     }
765 #ifdef USE_HCACHE
766     p_delete(&data);
767 #endif
768   }
769 #ifdef USE_HCACHE
770   mutt_hcache_close (&hc);
771 #endif
772 }
773
774 /* Read a MH/maildir style mailbox.
775  *
776  * args:
777  *      ctx [IN/OUT]    context for this mailbox
778  *      subdir [IN]     NULL for MH mailboxes, otherwise the subdir of the
779  *                      maildir mailbox to read from
780  */
781 static int _mh_read_dir (CONTEXT * ctx, const char *subdir)
782 {
783   struct maildir *md = NULL, **last = &md;
784   int count = 0;
785
786   maildir_update_mtime (ctx);
787
788   if (maildir_parse_dir (ctx, &last, subdir, &count) == -1)
789     return -1;
790
791   if (ctx->magic == M_MH) {
792     mh_sequences *mhs = mhs_new();
793     mh_read_sequences(mhs, ctx->path);
794     mh_update_maildir(md, mhs);
795     mhs_delete(&mhs);
796   }
797
798   if (ctx->magic == M_MAILDIR)
799     maildir_delayed_parsing (ctx, md);
800
801   maildir_move_to_context (ctx, &md);
802   return 0;
803 }
804
805 static int mh_read_dir (CONTEXT* ctx) {
806   return _mh_read_dir (ctx, NULL);
807 }
808
809 /* read a maildir style mailbox */
810 static int maildir_read_dir (CONTEXT * ctx)
811 {
812   /* maildir looks sort of like MH, except that there are two subdirectories
813    * of the main folder path from which to read messages
814    */
815   if (_mh_read_dir (ctx, "new") == -1 || _mh_read_dir (ctx, "cur") == -1)
816     return -1;
817
818   return 0;
819 }
820
821 /*
822  * Open a new (temporary) message in an MH folder.
823  */
824
825 static int mh_open_new_message (MESSAGE * msg, CONTEXT * dest, HEADER * hdr __attribute__ ((unused)))
826 {
827   return mh_mkstemp (dest, &msg->fp, &msg->path);
828 }
829
830 static int ch_compar (const void *a, const void *b)
831 {
832   return (int) (*((const char *) a) - *((const char *) b));
833 }
834
835 static void maildir_flags (char *dest, ssize_t destlen, HEADER * hdr)
836 {
837   *dest = '\0';
838
839   /*
840    * The maildir specification requires that all files in the cur
841    * subdirectory have the :unique string appeneded, regardless of whether
842    * or not there are any flags.  If .old is set, we know that this message
843    * will end up in the cur directory, so we include it in the following
844    * test even though there is no associated flag.
845    */
846
847   if (hdr
848       && (hdr->flagged || hdr->replied || hdr->read || hdr->deleted
849           || hdr->old || hdr->maildir_flags)) {
850     char tmp[LONG_STRING];
851
852     snprintf (tmp, sizeof (tmp),
853               "%s%s%s%s%s",
854               hdr->flagged ? "F" : "",
855               hdr->replied ? "R" : "",
856               hdr->read ? "S" : "", hdr->deleted ? "T" : "",
857               NONULL (hdr->maildir_flags));
858     if (hdr->maildir_flags)
859       qsort (tmp, m_strlen(tmp), 1, ch_compar);
860     snprintf (dest, destlen, ":2,%s", tmp);
861   }
862 }
863
864
865 /*
866  * Open a new (temporary) message in a maildir folder.
867  * 
868  * Note that this uses _almost_ the maildir file name format, but
869  * with a {cur,new} prefix.
870  *
871  */
872
873 static int maildir_open_new_message (MESSAGE * msg, CONTEXT * dest, HEADER * hdr)
874 {
875   static int Counter = 0;
876   int fd;
877   char path[_POSIX_PATH_MAX];
878   char suffix[16];
879   char subdir[16];
880
881   if (hdr) {
882     short deleted = hdr->deleted;
883
884     hdr->deleted = 0;
885
886     maildir_flags (suffix, sizeof (suffix), hdr);
887
888     hdr->deleted = deleted;
889   }
890   else
891     *suffix = '\0';
892
893   if (hdr && (hdr->read || hdr->old))
894     m_strcpy(subdir, sizeof(subdir), "cur");
895   else
896     m_strcpy(subdir, sizeof(subdir), "new");
897
898   for (;;) {
899     snprintf (path, _POSIX_PATH_MAX, "%s/tmp/%s.%ld.%u_%d.%s%s",
900               dest->path, subdir, (long) time (NULL),
901               (unsigned int) getpid (), Counter++, NONULL (mod_core.shorthost), suffix);
902
903     umask (Umask);
904     if ((fd = open (path, O_WRONLY | O_EXCL | O_CREAT, 0666)) == -1) {
905       if (errno != EEXIST) {
906         mutt_perror (path);
907         return -1;
908       }
909     } else {
910       msg->path = m_strdup(path);
911       break;
912     }
913   }
914
915   if ((msg->fp = fdopen (fd, "w")) == NULL) {
916     p_delete(&msg->path);
917     close (fd);
918     unlink (path);
919     return -1;
920   }
921
922   return 0;
923 }
924
925 static int maildir_open_message(MESSAGE *msg, CONTEXT *ctx, int msgno)
926 {
927     HEADER *cur = ctx->hdrs[msgno];
928     char path[_POSIX_PATH_MAX];
929
930     snprintf (path, sizeof (path), "%s/%s", ctx->path, cur->path);
931
932     if ((msg->fp = fopen(path, "r")) == NULL
933     && errno == ENOENT && ctx->magic == M_MAILDIR) {
934         msg->fp = maildir_open_find_message (ctx->path, cur->path);
935     }
936
937     if (msg->fp == NULL) {
938         mutt_perror (path);
939         return -1;
940     }
941     return 0;
942 }
943
944 /*
945  * Commit a message to a maildir folder.
946  * 
947  * msg->path contains the file name of a file in tmp/. We take the
948  * flags from this file's name. 
949  *
950  * ctx is the mail folder we commit to.
951  * 
952  * hdr is a header structure to which we write the message's new
953  * file name.  This is used in the mh and maildir folder synch
954  * routines.  When this routine is invoked from mx_commit_message,
955  * hdr is NULL. 
956  *
957  * msg->path looks like this:
958  * 
959  *    tmp/{cur,new}.mutt-HOSTNAME-PID-COUNTER:flags
960  * 
961  * See also maildir_open_new_message().
962  * 
963  */
964
965 static int maildir_commit_message (MESSAGE * msg, CONTEXT * ctx, HEADER * hdr)
966 {
967   static int Counter = 0;
968   char subdir[4];
969   char suffix[16];
970   char path[_POSIX_PATH_MAX];
971   char full[_POSIX_PATH_MAX];
972   char *s;
973
974   if (m_fclose(&msg->fp) != 0)
975     return -1;
976
977   /* extract the subdir */
978   s = strrchr (msg->path, '/') + 1;
979   m_strcpy(subdir, sizeof(subdir), s);
980
981   /* extract the flags */
982   if ((s = strchr (s, ':')))
983     m_strcpy(suffix, sizeof(suffix), s);
984   else
985     suffix[0] = '\0';
986
987   /* construct a new file name. */
988   for (;;) {
989     snprintf (path, _POSIX_PATH_MAX, "%s/%ld.%u_%d.%s%s", subdir,
990               (long) time (NULL), (unsigned int) getpid (), Counter++,
991               NONULL (mod_core.shorthost), suffix);
992     snprintf (full, _POSIX_PATH_MAX, "%s/%s", ctx->path, path);
993
994     if (safe_rename (msg->path, full) == 0) {
995       if (hdr)
996         m_strreplace(&hdr->path, path);
997       p_delete(&msg->path);
998
999       /*
1000        * Adjust the mtime on the file to match the time at which this
1001        * message was received.  Currently this is only set when copying
1002        * messages between mailboxes, so we test to ensure that it is
1003        * actually set.
1004        */
1005       if (msg->received) {
1006         struct utimbuf ut;
1007
1008         ut.actime = msg->received;
1009         ut.modtime = msg->received;
1010         if (utime (full, &ut)) {
1011           mutt_perror (_
1012                        ("maildir_commit_message(): unable to set time on file"));
1013           return -1;
1014         }
1015       }
1016
1017       return 0;
1018     }
1019     else if (errno != EEXIST) {
1020       mutt_perror (ctx->path);
1021       return -1;
1022     }
1023   }
1024 }
1025
1026 /* 
1027  * commit a message to an MH folder.
1028  * 
1029  */
1030
1031
1032 static int _mh_commit_message (MESSAGE * msg, CONTEXT * ctx, HEADER * hdr,
1033                                short updseq)
1034 {
1035   DIR *dirp;
1036   struct dirent *de;
1037   char *cp, *dep;
1038   unsigned int n, hi = 0;
1039   char path[_POSIX_PATH_MAX];
1040   char tmp[16];
1041
1042   if (m_fclose(&msg->fp) != 0)
1043     return -1;
1044
1045   if ((dirp = opendir (ctx->path)) == NULL) {
1046     mutt_perror (ctx->path);
1047     return -1;
1048   }
1049
1050   /* figure out what the next message number is */
1051   while ((de = readdir (dirp)) != NULL) {
1052     dep = de->d_name;
1053     if (*dep == ',')
1054       dep++;
1055     cp = dep;
1056     while (*cp) {
1057       if (!isdigit ((unsigned char) *cp))
1058         break;
1059       cp++;
1060     }
1061     if (!*cp) {
1062       n = atoi (dep);
1063       if (n > hi)
1064         hi = n;
1065     }
1066   }
1067   closedir (dirp);
1068
1069   /* 
1070    * Now try to rename the file to the proper name.
1071    * 
1072    * Note: We may have to try multiple times, until we find a free
1073    * slot.
1074    */
1075
1076   for (;;) {
1077     hi++;
1078     snprintf (tmp, sizeof (tmp), "%d", hi);
1079     snprintf (path, sizeof (path), "%s/%s", ctx->path, tmp);
1080     if (safe_rename (msg->path, path) == 0) {
1081       if (hdr)
1082         m_strreplace(&hdr->path, tmp);
1083       p_delete(&msg->path);
1084       break;
1085     }
1086     else if (errno != EEXIST) {
1087       mutt_perror (ctx->path);
1088       return -1;
1089     }
1090   }
1091   if (updseq)
1092     mh_sequences_add_one (ctx, hi, !msg->flags.read, msg->flags.flagged,
1093                           msg->flags.replied);
1094   return 0;
1095 }
1096
1097 static int mh_commit_message (MESSAGE * msg, CONTEXT * ctx, HEADER * hdr) {
1098   return _mh_commit_message (msg, ctx, hdr, 1);
1099 }
1100
1101 /* Sync a message in an MH folder.
1102  * 
1103  * This code is also used for attachment deletion in maildir
1104  * folders.
1105  */
1106
1107 static int mh_rewrite_message (CONTEXT * ctx, int msgno)
1108 {
1109   HEADER *h = ctx->hdrs[msgno];
1110   MESSAGE *dest;
1111
1112   int rc;
1113   short restore = 1;
1114   char oldpath[_POSIX_PATH_MAX];
1115   char newpath[_POSIX_PATH_MAX];
1116   char partpath[_POSIX_PATH_MAX];
1117
1118   long old_body_offset = h->content->offset;
1119   long old_body_length = h->content->length;
1120   long old_hdr_lines = h->lines;
1121
1122   if ((dest = mx_open_new_message (ctx, h, 0)) == NULL)
1123     return -1;
1124
1125   if ((rc = mutt_copy_message (dest->fp, ctx, h,
1126                                M_CM_UPDATE, CH_UPDATE | CH_UPDATE_LEN)) == 0)
1127   {
1128     snprintf (oldpath, sizeof(oldpath), "%s/%s", ctx->path, h->path);
1129     m_strcpy(partpath, sizeof(partpath), h->path);
1130
1131     if (ctx->magic == M_MAILDIR)
1132       rc = maildir_commit_message (dest, ctx, h);
1133     else
1134       rc = _mh_commit_message (dest, ctx, h, 0);
1135
1136     mx_close_message (&dest);
1137
1138     if (rc == 0) {
1139       unlink (oldpath);
1140       restore = 0;
1141     }
1142
1143     /* 
1144      * Try to move the new message to the old place.
1145      * (MH only.)
1146      *
1147      * This is important when we are just updating flags.
1148      *
1149      * Note that there is a race condition against programs which
1150      * use the first free slot instead of the maximum message
1151      * number.  Mutt does _not_ behave like this.
1152      * 
1153      * Anyway, if this fails, the message is in the folder, so
1154      * all what happens is that a concurrently runnung mutt will
1155      * lose flag modifications.
1156      */
1157
1158     if (ctx->magic == M_MH && rc == 0) {
1159       snprintf (newpath, _POSIX_PATH_MAX, "%s/%s", ctx->path, h->path);
1160       if ((rc = safe_rename (newpath, oldpath)) == 0)
1161         m_strreplace(&h->path, partpath);
1162     }
1163   }
1164   else
1165     mx_close_message (&dest);
1166
1167   if (rc == -1 && restore) {
1168     h->content->offset = old_body_offset;
1169     h->content->length = old_body_length;
1170     h->lines = old_hdr_lines;
1171   }
1172
1173   body_list_wipe(&h->content->parts);
1174   return rc;
1175 }
1176
1177 static int mh_sync_message (CONTEXT * ctx, int msgno)
1178 {
1179   HEADER *h = ctx->hdrs[msgno];
1180
1181   if (h->attach_del || 
1182       (h->env && (h->env->refs_changed || h->env->irt_changed)))
1183     if (mh_rewrite_message (ctx, msgno) != 0)
1184       return -1;
1185
1186   return 0;
1187 }
1188
1189 static int maildir_sync_message (CONTEXT * ctx, int msgno)
1190 {
1191   HEADER *h = ctx->hdrs[msgno];
1192
1193   if (h->attach_del || 
1194       (h->env && (h->env->refs_changed || h->env->irt_changed))) {
1195     /* when doing attachment deletion/rethreading, fall back to the MH case. */
1196     if (mh_rewrite_message (ctx, msgno) != 0)
1197       return -1;
1198   }
1199   else {
1200     /* we just have to rename the file. */
1201
1202     char newpath[_POSIX_PATH_MAX];
1203     char partpath[_POSIX_PATH_MAX];
1204     char fullpath[_POSIX_PATH_MAX];
1205     char oldpath[_POSIX_PATH_MAX];
1206     char suffix[16];
1207     char *p;
1208
1209     if ((p = strrchr (h->path, '/')) == NULL) {
1210       return -1;
1211     }
1212     p++;
1213     m_strcpy(newpath, sizeof(newpath), p);
1214
1215     /* kill the previous flags */
1216     if ((p = strchr (newpath, ':')) != NULL)
1217       *p = 0;
1218
1219     maildir_flags (suffix, sizeof (suffix), h);
1220
1221     snprintf (partpath, sizeof (partpath), "%s/%s%s",
1222               (h->read || h->old) ? "cur" : "new", newpath, suffix);
1223     snprintf (fullpath, sizeof (fullpath), "%s/%s", ctx->path, partpath);
1224     snprintf (oldpath, sizeof (oldpath), "%s/%s", ctx->path, h->path);
1225
1226     if (m_strcmp(fullpath, oldpath) == 0) {
1227       /* message hasn't really changed */
1228       return 0;
1229     }
1230
1231     /* record that the message is possibly marked as trashed on disk */
1232     h->trash = h->deleted;
1233
1234     if (rename (oldpath, fullpath) != 0) {
1235       mutt_perror ("rename");
1236       return -1;
1237     }
1238     m_strreplace(&h->path, partpath);
1239   }
1240   return 0;
1241 }
1242
1243 static int mh_sync_mailbox (CONTEXT * ctx, int unused __attribute__ ((unused)), int *index_hint)
1244 {
1245   char path[_POSIX_PATH_MAX], tmp[_POSIX_PATH_MAX];
1246   int i, j;
1247
1248 #ifdef USE_HCACHE
1249   hcache_t *hc = NULL;
1250 #endif /* USE_HCACHE */
1251
1252   if (ctx->magic == M_MH)
1253     i = mh_check_mailbox (ctx, index_hint, 0);
1254   else
1255     i = maildir_check_mailbox (ctx, index_hint, 0);
1256
1257   if (i != 0)
1258     return i;
1259
1260 #ifdef USE_HCACHE
1261   if (ctx->magic == M_MAILDIR)
1262     hc = mutt_hcache_open(ctx->path);
1263 #endif /* USE_HCACHE */
1264
1265   for (i = 0; i < ctx->msgcount; i++) {
1266     if (ctx->hdrs[i]->deleted
1267         && (ctx->magic != M_MAILDIR || !option (OPTMAILDIRTRASH))) {
1268       snprintf (path, sizeof (path), "%s/%s", ctx->path, ctx->hdrs[i]->path);
1269       if (ctx->magic == M_MAILDIR
1270           || (option (OPTMHPURGE) && ctx->magic == M_MH)) {
1271 #ifdef USE_HCACHE
1272         if (ctx->magic == M_MAILDIR)
1273           mutt_hcache_delete (hc, ctx->hdrs[i]->path + 3,
1274                               &maildir_hcache_keylen);
1275 #endif /* USE_HCACHE */
1276         unlink (path);
1277       }
1278       else if (ctx->magic == M_MH) {
1279         /* MH just moves files out of the way when you delete them */
1280         if (*ctx->hdrs[i]->path != ',') {
1281           snprintf (tmp, sizeof (tmp), "%s/,%s", ctx->path,
1282                     ctx->hdrs[i]->path);
1283           unlink (tmp);
1284           rename (path, tmp);
1285         }
1286
1287       }
1288     }
1289     else if (ctx->hdrs[i]->changed || ctx->hdrs[i]->attach_del ||
1290              (ctx->magic == M_MAILDIR
1291               && (option (OPTMAILDIRTRASH) || ctx->hdrs[i]->trash)
1292               && (ctx->hdrs[i]->deleted != ctx->hdrs[i]->trash))) {
1293       if (ctx->magic == M_MAILDIR) {
1294         if (maildir_sync_message (ctx, i) == -1)
1295           goto err;
1296       }
1297       else {
1298         if (mh_sync_message (ctx, i) == -1)
1299           goto err;
1300       }
1301     }
1302   }
1303
1304 #ifdef USE_HCACHE
1305   if (ctx->magic == M_MAILDIR)
1306     mutt_hcache_close (&hc);
1307 #endif /* USE_HCACHE */
1308
1309   if (ctx->magic == M_MH)
1310     mh_update_sequences (ctx);
1311
1312   /* XXX race condition? */
1313
1314   maildir_update_mtime (ctx);
1315
1316   /* adjust indices */
1317
1318   if (ctx->deleted) {
1319     for (i = 0, j = 0; i < ctx->msgcount; i++) {
1320       if (!ctx->hdrs[i]->deleted
1321           || (ctx->magic == M_MAILDIR && option (OPTMAILDIRTRASH)))
1322         ctx->hdrs[i]->index = j++;
1323     }
1324   }
1325
1326   return 0;
1327
1328 err:
1329 #ifdef USE_HCACHE
1330   if (ctx->magic == M_MAILDIR)
1331     mutt_hcache_close (&hc);
1332 #endif /* USE_HCACHE */
1333   return -1;
1334 }
1335
1336 static char *maildir_canon_filename (char *dest, const char *src, ssize_t l)
1337 {
1338   char *t, *u;
1339
1340   if ((t = strrchr (src, '/')))
1341     src = t + 1;
1342
1343   m_strcpy(dest, l, src);
1344   if ((u = strrchr (dest, ':')))
1345     *u = '\0';
1346
1347   return dest;
1348 }
1349
1350 static void maildir_update_tables (CONTEXT * ctx, int *index_hint)
1351 {
1352   short old_sort;
1353   int old_count;
1354   int i, j;
1355
1356   if (Sort != SORT_ORDER) {
1357     old_sort = Sort;
1358     Sort = SORT_ORDER;
1359     mutt_sort_headers (ctx, 1);
1360     Sort = old_sort;
1361   }
1362
1363   old_count = ctx->msgcount;
1364   for (i = 0, j = 0; i < old_count; i++) {
1365     if (ctx->hdrs[i]->active && index_hint && *index_hint == i)
1366       *index_hint = j;
1367
1368     if (ctx->hdrs[i]->active)
1369       ctx->hdrs[i]->index = j++;
1370   }
1371
1372   mx_update_tables (ctx, 0);
1373   mutt_clear_threads (ctx);
1374 }
1375
1376 static void maildir_update_flags (CONTEXT * ctx, HEADER * o, HEADER * n)
1377 {
1378   /* save the global state here so we can reset it at the
1379    * end of list block if required.
1380    */
1381   int context_changed = ctx->changed;
1382
1383   /* user didn't modify this message.  alter the flags to
1384    * match the current state on disk.  This may not actually
1385    * do anything, but we can't tell right now.  mutt_set_flag()
1386    * will just ignore the call if the status bits are
1387    * already properly set.
1388    */
1389   mutt_set_flag (ctx, o, M_FLAG, n->flagged);
1390   mutt_set_flag (ctx, o, M_REPLIED, n->replied);
1391   mutt_set_flag (ctx, o, M_READ, n->read);
1392   mutt_set_flag (ctx, o, M_OLD, n->old);
1393
1394   /* mutt_set_flag() will set this, but we don't need to
1395    * sync the changes we made because we just updated the
1396    * context to match the current on-disk state of the
1397    * message.
1398    */
1399   o->changed = 0;
1400
1401   /* if the mailbox was not modified before we made these
1402    * changes, unset the changed flag since nothing needs to
1403    * be synchronized.
1404    */
1405   if (!context_changed)
1406     ctx->changed = 0;
1407 }
1408
1409
1410 /* This function handles arrival of new mail and reopening of
1411  * maildir folders.  The basic idea here is we check to see if either
1412  * the new or cur subdirectories have changed, and if so, we scan them
1413  * for the list of files.  We check for newly added messages, and
1414  * then merge the flags messages we already knew about.  We don't treat
1415  * either subdirectory differently, as mail could be copied directly into
1416  * the cur directory from another agent.
1417  */
1418 static int maildir_check_mailbox (CONTEXT * ctx, int *index_hint, int unused __attribute__ ((unused)))
1419 {
1420   struct stat st_new;           /* status of the "new" subdirectory */
1421   struct stat st_cur;           /* status of the "cur" subdirectory */
1422   char buf[_POSIX_PATH_MAX];
1423   int changed = 0;              /* bitmask representing which subdirectories
1424                                    have changed.  0x1 = new, 0x2 = cur */
1425   int occult = 0;               /* messages were removed from the mailbox */
1426   int have_new = 0;             /* messages were added to the mailbox */
1427   struct maildir *md;           /* list of messages in the mailbox */
1428   struct maildir **last, *p;
1429   int i;
1430   hash_t *fnames;                 /* hash table for quickly looking up the base filename
1431                                    for a maildir message */
1432
1433   if (!option (OPTCHECKNEW))
1434     return 0;
1435
1436   snprintf (buf, sizeof (buf), "%s/new", ctx->path);
1437   if (stat (buf, &st_new) == -1)
1438     return -1;
1439
1440   snprintf (buf, sizeof (buf), "%s/cur", ctx->path);
1441   if (stat (buf, &st_cur) == -1)
1442     return -1;
1443
1444   /* determine which subdirectories need to be scanned */
1445   if (st_new.st_mtime > ctx->mtime)
1446     changed = 1;
1447   if (st_cur.st_mtime > ctx->mtime_cur)
1448     changed |= 2;
1449
1450   if (!changed)
1451     return 0;                   /* nothing to do */
1452
1453   /* update the modification times on the mailbox */
1454   ctx->mtime_cur = st_cur.st_mtime;
1455   ctx->mtime = st_new.st_mtime;
1456
1457   /* do a fast scan of just the filenames in
1458    * the subdirectories that have changed.
1459    */
1460   md = NULL;
1461   last = &md;
1462   if (changed & 1)
1463     maildir_parse_dir (ctx, &last, "new", NULL);
1464   if (changed & 2)
1465     maildir_parse_dir (ctx, &last, "cur", NULL);
1466
1467   /* we create a hash table keyed off the canonical (sans flags) filename
1468    * of each message we scanned.  This is used in the loop over the
1469    * existing messages below to do some correlation.
1470    */
1471   fnames = hash_new (1031, 0);
1472
1473   for (p = md; p; p = p->next) {
1474     maildir_canon_filename (buf, p->h->path, sizeof (buf));
1475     p->canon_fname = m_strdup(buf);
1476     hash_insert (fnames, p->canon_fname, p);
1477   }
1478
1479   /* check for modifications and adjust flags */
1480   for (i = 0; i < ctx->msgcount; i++) {
1481     ctx->hdrs[i]->active = 0;
1482     maildir_canon_filename (buf, ctx->hdrs[i]->path, sizeof (buf));
1483     p = hash_find (fnames, buf);
1484     if (p && p->h) {
1485       /* message already exists, merge flags */
1486       ctx->hdrs[i]->active = 1;
1487
1488       /* check to see if the message has moved to a different
1489        * subdirectory.  If so, update the associated filename.
1490        */
1491       if (m_strcmp(ctx->hdrs[i]->path, p->h->path))
1492         m_strreplace(&ctx->hdrs[i]->path, p->h->path);
1493
1494       /* if the user hasn't modified the flags on this message, update
1495        * the flags we just detected.
1496        */
1497       if (!ctx->hdrs[i]->changed)
1498         maildir_update_flags (ctx, ctx->hdrs[i], p->h);
1499
1500       if (ctx->hdrs[i]->deleted == ctx->hdrs[i]->trash)
1501         ctx->hdrs[i]->deleted = p->h->deleted;
1502       ctx->hdrs[i]->trash = p->h->trash;
1503
1504       /* this is a duplicate of an existing header, so remove it */
1505       header_delete(&p->h);
1506     }
1507     /* This message was not in the list of messages we just scanned.
1508      * Check to see if we have enough information to know if the
1509      * message has disappeared out from underneath us.
1510      */
1511     else if (((changed & 1) && (!m_strncmp (ctx->hdrs[i]->path, "new/", 4))) ||
1512              ((changed & 2) && (!m_strncmp (ctx->hdrs[i]->path, "cur/", 4)))) {
1513       /* This message disappeared, so we need to simulate a "reopen"
1514        * event.  We know it disappeared because we just scanned the
1515        * subdirectory it used to reside in.
1516        */
1517       occult = 1;
1518     }
1519     else {
1520       /* This message resides in a subdirectory which was not
1521        * modified, so we assume that it is still present and
1522        * unchanged.
1523        */
1524       ctx->hdrs[i]->active = 1;
1525     }
1526   }
1527
1528   /* destroy the file name hash */
1529   hash_delete (&fnames, NULL);
1530
1531   /* If we didn't just get new mail, update the tables. */
1532   if (occult)
1533     maildir_update_tables (ctx, index_hint);
1534
1535   /* do any delayed parsing we need to do. */
1536   maildir_delayed_parsing (ctx, md);
1537
1538   /* Incorporate new messages */
1539   have_new = maildir_move_to_context (ctx, &md);
1540
1541   return occult ? M_REOPENED : (have_new ? M_NEW_MAIL : 0);
1542 }
1543
1544 /* 
1545  * This function handles arrival of new mail and reopening of
1546  * mh/maildir folders. Things are getting rather complex because we
1547  * don't have a well-defined "mailbox order", so the tricks from
1548  * mbox.c and mx.c won't work here.
1549  *
1550  * Don't change this code unless you _really_ understand what
1551  * happens.
1552  *
1553  */
1554
1555 static int mh_check_mailbox (CONTEXT * ctx, int *index_hint, int unused __attribute__ ((unused)))
1556 {
1557   char buf[_POSIX_PATH_MAX];
1558   struct stat st, st_cur;
1559   short modified = 0, have_new = 0, occult = 0;
1560   struct maildir *md = NULL, **last = &md, *p;
1561   mh_sequences *mhs;
1562   hash_t *fnames;
1563   int i;
1564
1565   if (!option (OPTCHECKNEW))
1566     return 0;
1567
1568   m_strcpy(buf, sizeof(buf), ctx->path);
1569   if (stat (buf, &st) == -1)
1570     return -1;
1571
1572   /* create .mh_sequences when there isn't one. */
1573   snprintf (buf, sizeof (buf), "%s/.mh_sequences", ctx->path);
1574   if ((i = stat (buf, &st_cur) == -1) && errno == ENOENT) {
1575     char *tmp;
1576     FILE *fp = NULL;
1577
1578     if (mh_mkstemp (ctx, &fp, &tmp) == 0) {
1579       m_fclose(&fp);
1580       if (safe_rename (tmp, buf) == -1)
1581         unlink (tmp);
1582       p_delete(&tmp);
1583     }
1584   }
1585
1586   if (i == -1 && stat (buf, &st_cur) == -1)
1587     modified = 1;
1588
1589   if (st.st_mtime > ctx->mtime || st_cur.st_mtime > ctx->mtime_cur)
1590     modified = 1;
1591
1592   if (!modified)
1593     return 0;
1594
1595   ctx->mtime_cur = st_cur.st_mtime;
1596   ctx->mtime = st.st_mtime;
1597
1598   maildir_parse_dir (ctx, &last, NULL, NULL);
1599   mhs = mhs_new();
1600   mh_read_sequences(mhs, ctx->path);
1601   mh_update_maildir(md, mhs);
1602   mhs_delete(&mhs);
1603
1604   /* check for modifications and adjust flags */
1605   fnames = hash_new (1031, 0);
1606
1607   for (p = md; p; p = p->next)
1608     hash_insert (fnames, p->h->path, p);
1609
1610   for (i = 0; i < ctx->msgcount; i++) {
1611     ctx->hdrs[i]->active = 0;
1612
1613     if ((p = hash_find (fnames, ctx->hdrs[i]->path)) && p->h &&
1614         (mutt_cmp_header (ctx->hdrs[i], p->h))) {
1615       ctx->hdrs[i]->active = 1;
1616       /* found the right message */
1617       if (!ctx->hdrs[i]->changed)
1618         maildir_update_flags (ctx, ctx->hdrs[i], p->h);
1619
1620       header_delete(&p->h);
1621     }
1622     else                        /* message has disappeared */
1623       occult = 1;
1624   }
1625
1626   /* destroy the file name hash */
1627
1628   hash_delete (&fnames, NULL);
1629
1630   /* If we didn't just get new mail, update the tables. */
1631   if (occult)
1632     maildir_update_tables (ctx, index_hint);
1633
1634   /* Incorporate new messages */
1635   have_new = maildir_move_to_context (ctx, &md);
1636
1637   return occult ? M_REOPENED : (have_new ? M_NEW_MAIL : 0);
1638 }
1639
1640
1641 /*
1642  * These functions try to find a message in a maildir folder when it
1643  * has moved under our feet.  Note that this code is rather expensive, but
1644  * then again, it's called rarely.
1645  */
1646 static FILE *_maildir_open_find_message(const char *folder, const char *unique,
1647                                         const char *subfolder)
1648 {
1649   char dir[_POSIX_PATH_MAX];
1650   char tunique[_POSIX_PATH_MAX];
1651   char fname[_POSIX_PATH_MAX];
1652
1653   DIR *dp;
1654   struct dirent *de;
1655
1656   FILE *fp = NULL;
1657   int oe = ENOENT;
1658
1659   snprintf (dir, sizeof (dir), "%s/%s", folder, subfolder);
1660
1661   if ((dp = opendir (dir)) == NULL) {
1662     errno = ENOENT;
1663     return NULL;
1664   }
1665
1666   while ((de = readdir (dp))) {
1667     maildir_canon_filename (tunique, de->d_name, sizeof (tunique));
1668
1669     if (!m_strcmp(tunique, unique)) {
1670       snprintf (fname, sizeof (fname), "%s/%s/%s", folder, subfolder,
1671                 de->d_name);
1672       fp = fopen(fname, "r");
1673       oe = errno;
1674       break;
1675     }
1676   }
1677
1678   closedir (dp);
1679
1680   errno = oe;
1681   return fp;
1682 }
1683
1684 FILE *maildir_open_find_message (const char *folder, const char *msg)
1685 {
1686   char unique[_POSIX_PATH_MAX];
1687   FILE *fp;
1688
1689   static unsigned int new_hits = 0, cur_hits = 0;       /* simple dynamic optimization */
1690
1691   maildir_canon_filename (unique, msg, sizeof (unique));
1692
1693   if ((fp =
1694        _maildir_open_find_message (folder, unique,
1695                                    new_hits > cur_hits ? "new" : "cur"))
1696       || errno != ENOENT) {
1697     if (new_hits < UINT_MAX && cur_hits < UINT_MAX) {
1698       new_hits += (new_hits > cur_hits ? 1 : 0);
1699       cur_hits += (new_hits > cur_hits ? 0 : 1);
1700     }
1701
1702     return fp;
1703   }
1704   if ((fp =
1705        _maildir_open_find_message (folder, unique,
1706                                    new_hits > cur_hits ? "cur" : "new"))
1707       || errno != ENOENT) {
1708     if (new_hits < UINT_MAX && cur_hits < UINT_MAX) {
1709       new_hits += (new_hits > cur_hits ? 0 : 1);
1710       cur_hits += (new_hits > cur_hits ? 1 : 0);
1711     }
1712
1713     return fp;
1714   }
1715
1716   return NULL;
1717 }
1718
1719
1720 /*
1721  * Returns:
1722  * 1 if there are no messages in the mailbox
1723  * 0 if there are messages in the mailbox
1724  * -1 on error
1725  */
1726 static int maildir_check_empty (const char *path)
1727 {
1728   DIR *dp;
1729   struct dirent *de;
1730   int r = 1;                    /* assume empty until we find a message */
1731   char frealpath[_POSIX_PATH_MAX];
1732   int iter = 0;
1733
1734   /* Strategy here is to look for any file not beginning with a period */
1735
1736   do {
1737     /* we do "cur" on the first iteration since its more likely that we'll
1738      * find old messages without having to scan both subdirs
1739      */
1740     snprintf (frealpath, sizeof (frealpath), "%s/%s", path,
1741               iter == 0 ? "cur" : "new");
1742     if ((dp = opendir (frealpath)) == NULL)
1743       return -1;
1744     while ((de = readdir (dp))) {
1745       if (*de->d_name != '.') {
1746         r = 0;
1747         break;
1748       }
1749     }
1750     closedir (dp);
1751     iter++;
1752   } while (r && iter < 2);
1753
1754   return r;
1755 }
1756
1757 /*
1758  * Returns:
1759  * 1 if there are no messages in the mailbox
1760  * 0 if there are messages in the mailbox
1761  * -1 on error
1762  */
1763 static int mh_check_empty (const char *path)
1764 {
1765   DIR *dp;
1766   struct dirent *de;
1767   int r = 1;                    /* assume empty until we find a message */
1768
1769   if ((dp = opendir (path)) == NULL)
1770     return -1;
1771   while ((de = readdir (dp))) {
1772     if (mh_valid_message (de->d_name)) {
1773       r = 0;
1774       break;
1775     }
1776   }
1777   closedir (dp);
1778
1779   return r;
1780 }
1781
1782 static int mh_is_magic(const char *path, struct stat *st)
1783 {
1784     static char const * const files[] = {
1785         ".mh_sequences", ".xmhcache", ".mew_cache",
1786         ".mew-cache", ".sylpheed_cache",
1787     };
1788
1789     if (S_ISDIR(st->st_mode)) {
1790         for (int i = 0; i < countof(files); i++) {
1791             char tmp[_POSIX_PATH_MAX];
1792
1793             snprintf(tmp, sizeof(tmp), "%s/%s", path, files[i]);
1794             if (access(tmp, F_OK) == 0)
1795                 return M_MH;
1796         }
1797     }
1798
1799     return -1;
1800 }
1801
1802 static int maildir_is_magic (const char *path, struct stat *st)
1803 {
1804     if (S_ISDIR(st->st_mode)) {
1805         char tmp[_POSIX_PATH_MAX];
1806         struct stat sb;
1807
1808         snprintf(tmp, sizeof(tmp), "%s/cur", path);
1809         if (stat(tmp, &sb) == 0 && S_ISDIR(sb.st_mode))
1810             return M_MAILDIR;
1811     }
1812
1813     return -1;
1814 }
1815
1816 static int mh_commit (MESSAGE* msg, CONTEXT* ctx) {
1817   return (mh_commit_message (msg, ctx, NULL));
1818 }
1819
1820 static int maildir_commit (MESSAGE* msg, CONTEXT* ctx) {
1821   return (maildir_commit_message (msg, ctx, NULL));
1822 }
1823
1824 mx_t const maildir_mx = {
1825     M_MAILDIR,
1826     1,
1827     maildir_is_magic,
1828     maildir_check_empty,
1829     access,
1830     maildir_read_dir,
1831     maildir_open_new_message,
1832     maildir_open_message,
1833     NULL,
1834     maildir_check_mailbox,
1835     NULL,
1836     mh_sync_mailbox,
1837     maildir_commit
1838 };
1839
1840 mx_t const mh_mx = {
1841     M_MH,
1842     1,
1843     mh_is_magic,
1844     mh_check_empty,
1845     access,
1846     mh_read_dir,
1847     mh_open_new_message,
1848     maildir_open_message,
1849     NULL,
1850     mh_check_mailbox,
1851     NULL,
1852     mh_sync_mailbox,
1853     mh_commit
1854 };