lib-mx/mx.c

   1 /*
   2  * Copyright notice from original mutt:
   3  * Copyright (C) 1996-2002 Michael R. Elkins <me@mutt.org>
   4  * Copyright (C) 1999-2000 Thomas Roessler <roessler@does-not-exist.org>
   5  *
   6  * This file is part of mutt-ng, see http://www.muttng.org/.
   7  * It's licensed under the GNU General Public License,
   8  * please see the file GPL in the top level source directory.
   9  */
  10
  11 #include <lib-lib/lib-lib.h>
  12
  13 #include <utime.h>
  14
  15 #include <lib-lua/lib-lua.h>
  16 #include <lib-sys/unix.h>
  17 #include <lib-mime/mime.h>
  18 #include <lib-ui/sidebar.h>
  19
  20 #include "mutt.h"
  21 #include "crypt.h"
  22 #include "pattern.h"
  23 #include "buffy.h"
  24 #include "mx.h"
  25 #include "mbox.h"
  26 #include "mh.h"
  27 #include "sort.h"
  28 #include "thread.h"
  29 #include "copy.h"
  30 #include "keymap.h"
  31 #include "compress.h"
  32 #include "dotlock.h"
  33
  34 #include <imap/imap.h>
  35 #include <pop/pop.h>
  36
  37 #ifdef USE_NNTP
  38 #include <nntp/nntp.h>
  39 #endif
  40
  41 static mx_t const *mxfmts[] = {
  42     &mbox_mx,
  43     &mmdf_mx,
  44     &mh_mx,
  45     &maildir_mx,
  46     &imap_mx,
  47     &pop_mx,
  48 #ifdef USE_NNTP
  49     &nntp_mx,
  50 #endif
  51     &compress_mx,
  52 };
  53
  54 #define MX_IDX(idx)          (idx >= 0 && idx < countof(mxfmts))
  55 #define mutt_is_spool(s)     (m_strcmp(Spoolfile, s) == 0)
  56
  57 /* parameters:
  58  * path - file to lock
  59  * retry - should retry if unable to lock?
  60  */
  61 static int invoke_dotlock (const char *path, int flags, int retry)
  62 {
  63   char cmd[LONG_STRING + _POSIX_PATH_MAX];
  64   char f[STRING + _POSIX_PATH_MAX];
  65   char r[STRING];
  66
  67   if (flags & DL_FL_RETRY)
  68     snprintf (r, sizeof (r), "-r %d ", retry ? MAXLOCKATTEMPT : 0);
  69
  70   mutt_quote_filename (f, sizeof (f), path);
  71
  72   snprintf(cmd, sizeof(cmd), "%s %s%s%s%s%s%s%s",
  73            MCore.dotlock,
  74            flags & DL_FL_TRY ? "-t " : "",
  75            flags & DL_FL_UNLOCK ? "-u " : "",
  76            flags & DL_FL_USEPRIV ? "-p " : "",
  77            flags & DL_FL_FORCE ? "-f " : "",
  78            flags & DL_FL_UNLINK ? "-d " : "",
  79            flags & DL_FL_RETRY ? r : "", f);
  80
  81   return mutt_system (cmd);
  82 }
  83
  84 static int dotlock_file (const char *path, int retry)
  85 {
  86   int r;
  87   int flags = DL_FL_USEPRIV | DL_FL_RETRY;
  88
  89   if (retry)
  90     retry = 1;
  91
  92 retry_lock:
  93   if ((r = invoke_dotlock (path, flags, retry)) == DL_EX_EXIST) {
  94     if (!option (OPTNOCURSES)) {
  95       char msg[LONG_STRING];
  96
  97       snprintf (msg, sizeof (msg),
  98                 _("Lock count exceeded, remove lock for %s?"), path);
  99       if (retry && mutt_yesorno (msg, M_YES) == M_YES) {
 100         flags |= DL_FL_FORCE;
 101         retry--;
 102         mutt_clear_error ();
 103         goto retry_lock;
 104       }
 105     }
 106     else {
 107       mutt_error (_("Can't dotlock %s.\n"), path);
 108     }
 109   }
 110   return (r == DL_EX_OK ? 0 : -1);
 111 }
 112
 113 static int undotlock_file (const char *path)
 114 {
 115   return (invoke_dotlock (path,  DL_FL_USEPRIV | DL_FL_UNLOCK, 0) ==
 116           DL_EX_OK ? 0 : -1);
 117 }
 118
 119 /* looks up index of type for path in mxfmts */
 120 static int mx_get_idx (const char* path) {
 121     int i = 0, t = 0;
 122     struct stat st;
 123
 124     /* first, test all non-local folders to avoid stat() call */
 125     for (i = 0; i < countof(mxfmts); i++) {
 126         if (!mxfmts[i]->local)
 127             t = mxfmts[i]->mx_is_magic(path, NULL);
 128         if (t >= 1)
 129             return (t-1);
 130     }
 131     if (stat (path, &st) == 0) {
 132         /* if stat() succeeded, keep testing until success and
 133          * pass stat() info so that we only need to do it once */
 134         for (i = 0; i < countof(mxfmts); i++) {
 135             if (mxfmts[i]->local)
 136                 t = mxfmts[i]->mx_is_magic(path, &st);
 137             if (t >= 1)
 138                 return (t-1);
 139         }
 140     }
 141     return (-1);
 142 }
 143
 144 /* Args:
 145  *      excl            if excl != 0, request an exclusive lock
 146  *      dot             if dot != 0, try to dotlock the file
 147  *      time_out        should retry locking?
 148  */
 149 int mx_lock_file (const char *path, int fd, int excl, int dot, int time_out)
 150 {
 151 #if defined (USE_FCNTL) || defined (USE_FLOCK)
 152   int count;
 153   int attempt;
 154   struct stat prev_sb;
 155 #endif
 156   int r = 0;
 157
 158 #ifdef USE_FCNTL
 159   struct flock lck;
 160
 161
 162   p_clear(&lck, 1);
 163   lck.l_type = excl ? F_WRLCK : F_RDLCK;
 164   lck.l_whence = SEEK_SET;
 165
 166   count = 0;
 167   attempt = 0;
 168   prev_sb.st_size = 0;
 169   while (fcntl (fd, F_SETLK, &lck) == -1) {
 170     struct stat sb;
 171
 172     if (errno != EAGAIN && errno != EACCES) {
 173       mutt_perror ("fcntl");
 174       return (-1);
 175     }
 176
 177     if (fstat (fd, &sb) != 0)
 178       sb.st_size = 0;
 179
 180     if (count == 0)
 181       prev_sb = sb;
 182
 183     /* only unlock file if it is unchanged */
 184     if (prev_sb.st_size == sb.st_size
 185         && ++count >= (time_out ? MAXLOCKATTEMPT : 0)) {
 186       if (time_out)
 187         mutt_error _("Timeout exceeded while attempting fcntl lock!");
 188
 189       return (-1);
 190     }
 191
 192     prev_sb = sb;
 193
 194     mutt_message (_("Waiting for fcntl lock... %d"), ++attempt);
 195     sleep (1);
 196   }
 197 #endif /* USE_FCNTL */
 198
 199 #ifdef USE_FLOCK
 200   count = 0;
 201   attempt = 0;
 202   while (flock (fd, (excl ? LOCK_EX : LOCK_SH) | LOCK_NB) == -1) {
 203     struct stat sb;
 204
 205     if (errno != EWOULDBLOCK) {
 206       mutt_perror ("flock");
 207       r = -1;
 208       break;
 209     }
 210
 211     if (fstat (fd, &sb) != 0)
 212       sb.st_size = 0;
 213
 214     if (count == 0)
 215       prev_sb = sb;
 216
 217     /* only unlock file if it is unchanged */
 218     if (prev_sb.st_size == sb.st_size
 219         && ++count >= (time_out ? MAXLOCKATTEMPT : 0)) {
 220       if (time_out)
 221         mutt_error _("Timeout exceeded while attempting flock lock!");
 222
 223       r = -1;
 224       break;
 225     }
 226
 227     prev_sb = sb;
 228
 229     mutt_message (_("Waiting for flock attempt... %d"), ++attempt);
 230     sleep (1);
 231   }
 232 #endif /* USE_FLOCK */
 233
 234   if (r == 0 && dot)
 235     r = dotlock_file (path, time_out);
 236
 237   if (r == -1) {
 238     /* release any other locks obtained in this routine */
 239
 240 #ifdef USE_FCNTL
 241     lck.l_type = F_UNLCK;
 242     fcntl (fd, F_SETLK, &lck);
 243 #endif /* USE_FCNTL */
 244
 245 #ifdef USE_FLOCK
 246     flock (fd, LOCK_UN);
 247 #endif /* USE_FLOCK */
 248
 249     return (-1);
 250   }
 251
 252   return 0;
 253 }
 254
 255 int mx_unlock_file (const char *path, int fd, int dot)
 256 {
 257 #ifdef USE_FCNTL
 258   struct flock unlockit;
 259
 260   p_clear(&unlockit, 1);
 261   unlockit.l_type = F_UNLCK;
 262   unlockit.l_whence = SEEK_SET;
 263   fcntl (fd, F_SETLK, &unlockit);
 264 #endif
 265
 266 #ifdef USE_FLOCK
 267   flock (fd, LOCK_UN);
 268 #endif
 269
 270   if (dot)
 271     undotlock_file (path);
 272
 273   return 0;
 274 }
 275
 276 static void mx_unlink_empty (const char *path)
 277 {
 278   int fd;
 279
 280   if ((fd = open (path, O_RDWR)) == -1)
 281     return;
 282
 283   if (mx_lock_file (path, fd, 1, 0, 1) == -1) {
 284     close (fd);
 285     return;
 286   }
 287
 288   invoke_dotlock(path, DL_FL_UNLINK, 1);
 289
 290   mx_unlock_file (path, fd, 0);
 291   close (fd);
 292 }
 293
 294 /* try to figure out what type of mailbox ``path'' is */
 295 int mx_get_magic (const char *path) {
 296   int i = 0;
 297
 298   if (m_strlen(path) == 0)
 299     return (-1);
 300   if ((i = mx_get_idx (path)) >= 0)
 301     return (mxfmts[i]->type);
 302   return (-1);
 303 }
 304
 305 int mx_is_local (int m) {
 306   if (!MX_IDX(m))
 307     return (0);
 308   return (mxfmts[m]->local);
 309 }
 310
 311 /*
 312  * set DefaultMagic to the given value
 313  */
 314 int mx_set_magic (const char *s)
 315 {
 316   if (ascii_strcasecmp (s, "mbox") == 0)
 317     DefaultMagic = M_MBOX;
 318   else if (ascii_strcasecmp (s, "mmdf") == 0)
 319     DefaultMagic = M_MMDF;
 320   else if (ascii_strcasecmp (s, "mh") == 0)
 321     DefaultMagic = M_MH;
 322   else if (ascii_strcasecmp (s, "maildir") == 0)
 323     DefaultMagic = M_MAILDIR;
 324   else
 325     return (-1);
 326
 327   return 0;
 328 }
 329
 330 /* mx_access: Wrapper for access, checks permissions on a given mailbox.
 331  *   We may be interested in using ACL-style flags at some point, currently
 332  *   we use the normal access() flags. */
 333 int mx_access (const char *path, int flags)
 334 {
 335   int i = 0;
 336
 337   if ((i = mx_get_idx (path)) >= 0 && mxfmts[i]->mx_access)
 338     return (mxfmts[i]->mx_access(path,flags));
 339   return (0);
 340 }
 341
 342 static int mx_open_mailbox_append (CONTEXT * ctx, int flags)
 343 {
 344   struct stat sb;
 345
 346   /* special case for appending to compressed folders -
 347    * even if we can not open them for reading */
 348   if (mutt_can_append_compressed (ctx->path))
 349     mutt_open_append_compressed (ctx);
 350
 351   ctx->append = 1;
 352
 353   if (mx_get_magic (ctx->path) == M_IMAP)
 354     return imap_open_mailbox_append (ctx);
 355
 356   if (stat (ctx->path, &sb) == 0) {
 357     ctx->magic = mx_get_magic (ctx->path);
 358
 359     switch (ctx->magic) {
 360     case 0:
 361       mutt_error (_("%s is not a mailbox."), ctx->path);
 362       /* fall through */
 363     case -1:
 364       return (-1);
 365     }
 366   }
 367   else if (errno == ENOENT) {
 368     ctx->magic = DefaultMagic;
 369
 370     if (ctx->magic == M_MH || ctx->magic == M_MAILDIR) {
 371       char tmp[_POSIX_PATH_MAX];
 372
 373       if (mkdir (ctx->path, S_IRWXU)) {
 374         mutt_perror (ctx->path);
 375         return (-1);
 376       }
 377
 378       if (ctx->magic == M_MAILDIR) {
 379         snprintf (tmp, sizeof (tmp), "%s/cur", ctx->path);
 380         if (mkdir (tmp, S_IRWXU)) {
 381           mutt_perror (tmp);
 382           rmdir (ctx->path);
 383           return (-1);
 384         }
 385
 386         snprintf (tmp, sizeof (tmp), "%s/new", ctx->path);
 387         if (mkdir (tmp, S_IRWXU)) {
 388           mutt_perror (tmp);
 389           snprintf (tmp, sizeof (tmp), "%s/cur", ctx->path);
 390           rmdir (tmp);
 391           rmdir (ctx->path);
 392           return (-1);
 393         }
 394         snprintf (tmp, sizeof (tmp), "%s/tmp", ctx->path);
 395         if (mkdir (tmp, S_IRWXU)) {
 396           mutt_perror (tmp);
 397           snprintf (tmp, sizeof (tmp), "%s/cur", ctx->path);
 398           rmdir (tmp);
 399           snprintf (tmp, sizeof (tmp), "%s/new", ctx->path);
 400           rmdir (tmp);
 401           rmdir (ctx->path);
 402           return (-1);
 403         }
 404       }
 405       else {
 406         int i;
 407
 408         snprintf (tmp, sizeof (tmp), "%s/.mh_sequences", ctx->path);
 409         if ((i = creat (tmp, S_IRWXU)) == -1) {
 410           mutt_perror (tmp);
 411           rmdir (ctx->path);
 412           return (-1);
 413         }
 414         close (i);
 415       }
 416     }
 417   }
 418   else {
 419     mutt_perror (ctx->path);
 420     return (-1);
 421   }
 422
 423   switch (ctx->magic) {
 424   case M_MBOX:
 425   case M_MMDF:
 426     if ((ctx->fp =
 427          safe_fopen (ctx->path, flags & M_NEWFOLDER ? "w" : "a")) == NULL
 428         || mbox_lock_mailbox (ctx, 1, 1) != 0) {
 429       if (!ctx->fp)
 430         mutt_perror (ctx->path);
 431       else {
 432         mutt_error (_("Couldn't lock %s\n"), ctx->path);
 433         m_fclose(&ctx->fp);
 434       }
 435       return (-1);
 436     }
 437     fseeko (ctx->fp, 0, 2);
 438     break;
 439
 440   case M_MH:
 441   case M_MAILDIR:
 442     /* nothing to do */
 443     break;
 444
 445   default:
 446     return (-1);
 447   }
 448
 449   return 0;
 450 }
 451
 452 /*
 453  * open a mailbox and parse it
 454  *
 455  * Args:
 456  *      flags   M_NOSORT        do not sort mailbox
 457  *              M_APPEND        open mailbox for appending
 458  *              M_READONLY      open mailbox in read-only mode
 459  *              M_QUIET         only print error messages
 460  *      ctx     if non-null, context struct to use
 461  */
 462 CONTEXT *mx_open_mailbox (const char *path, int flags, CONTEXT * pctx)
 463 {
 464   CONTEXT *ctx = pctx;
 465   int rc;
 466
 467   if (!ctx)
 468     ctx = p_new(CONTEXT, 1);
 469   p_clear(ctx, 1);
 470   ctx->path = m_strdup(path);
 471
 472   ctx->msgnotreadyet = -1;
 473   ctx->collapsed = 0;
 474
 475   if (flags & M_QUIET)
 476     ctx->quiet = 1;
 477   if (flags & M_READONLY)
 478     ctx->readonly = 1;
 479   if (flags & M_COUNT)
 480     ctx->counting = 1;
 481
 482   if (flags & (M_APPEND | M_NEWFOLDER)) {
 483     if (mx_open_mailbox_append (ctx, flags) != 0) {
 484       mx_fastclose_mailbox (ctx);
 485       if (!pctx)
 486         p_delete(&ctx);
 487       return NULL;
 488     }
 489     return ctx;
 490   }
 491
 492   if (!MX_IDX(ctx->magic-1))
 493     ctx->magic = mx_get_magic (path);
 494
 495   if (ctx->magic == M_COMPRESSED)
 496     mutt_open_read_compressed (ctx);
 497
 498   if (ctx->magic == 0)
 499     mutt_error (_("%s is not a mailbox."), path);
 500
 501   if (ctx->magic == -1)
 502     mutt_perror (path);
 503
 504   if (ctx->magic <= 0) {
 505     mx_fastclose_mailbox (ctx);
 506     if (!pctx)
 507       p_delete(&ctx);
 508     return (NULL);
 509   }
 510
 511   /* if the user has a `push' command in their .muttrc, or in a folder-hook,
 512    * it will cause the progress messages not to be displayed because
 513    * mutt_refresh() will think we are in the middle of a macro.  so set a
 514    * flag to indicate that we should really refresh the screen.
 515    */
 516   set_option (OPTFORCEREFRESH);
 517
 518   if (!ctx->quiet)
 519     mutt_message (_("Reading %s..."), ctx->path);
 520
 521   rc = mxfmts[ctx->magic-1]->mx_open_mailbox(ctx);
 522
 523   if (rc == 0) {
 524     if ((flags & M_NOSORT) == 0) {
 525       /* avoid unnecessary work since the mailbox is completely unthreaded
 526          to begin with */
 527       unset_option (OPTSORTSUBTHREADS);
 528       unset_option (OPTNEEDRESCORE);
 529       mutt_sort_headers (ctx, 1);
 530     }
 531     if (!ctx->quiet)
 532       mutt_clear_error ();
 533   }
 534   else {
 535     mx_fastclose_mailbox (ctx);
 536     if (!pctx)
 537       p_delete(&ctx);
 538   }
 539
 540   unset_option (OPTFORCEREFRESH);
 541   return (ctx);
 542 }
 543
 544 /* free up memory associated with the mailbox context */
 545 void mx_fastclose_mailbox (CONTEXT * ctx)
 546 {
 547   int i;
 548
 549   if (!ctx)
 550     return;
 551
 552   if (MX_IDX(ctx->magic-1) && mxfmts[ctx->magic-1]->mx_fastclose_mailbox)
 553     mxfmts[ctx->magic-1]->mx_fastclose_mailbox(ctx);
 554   if (ctx->subj_hash)
 555     hash_delete (&ctx->subj_hash, NULL);
 556   if (ctx->id_hash)
 557     hash_delete (&ctx->id_hash, NULL);
 558   mutt_clear_threads (ctx);
 559   for (i = 0; i < ctx->msgcount; i++)
 560     header_delete(&ctx->hdrs[i]);
 561   p_delete(&ctx->hdrs);
 562   p_delete(&ctx->v2r);
 563
 564   if (ctx->cinfo)
 565     mutt_fast_close_compressed (ctx);
 566
 567   p_delete(&ctx->path);
 568   p_delete(&ctx->pattern);
 569   pattern_list_wipe(&ctx->limit_pattern);
 570   m_fclose(&ctx->fp);
 571   p_clear(ctx, 1);
 572 }
 573
 574 /* save changes to disk */
 575 static int sync_mailbox (CONTEXT * ctx, int *index_hint)
 576 {
 577   int rc = -1;
 578
 579   if (!ctx->quiet)
 580     mutt_message (_("Writing %s..."), ctx->path);
 581
 582   if (MX_IDX(ctx->magic-1))
 583     /* the 1 is only of interest for IMAP and means EXPUNGE */
 584     rc = mxfmts[ctx->magic-1]->mx_sync_mailbox(ctx,1,index_hint);
 585
 586   if (rc == 0 && ctx->cinfo)
 587     return mutt_sync_compressed (ctx);
 588
 589   return rc;
 590 }
 591
 592 /* move deleted mails to the trash folder */
 593 static int trash_append (CONTEXT * ctx)
 594 {
 595   CONTEXT *ctx_trash;
 596   int i = 0;
 597   struct stat st, stc;
 598
 599   if (!TrashPath || !ctx->deleted ||
 600       (ctx->magic == M_MAILDIR && option (OPTMAILDIRTRASH)))
 601     return 0;
 602
 603   for (; i < ctx->msgcount && (!ctx->hdrs[i]->deleted ||
 604                                ctx->hdrs[i]->appended); i++);
 605   if (i == ctx->msgcount)
 606     return 0;                   /* nothing to be done */
 607
 608   if (mutt_save_confirm (TrashPath, &st) != 0) {
 609     mutt_error _("message(s) not deleted");
 610
 611     return -1;
 612   }
 613
 614   if (lstat (ctx->path, &stc) == 0 && stc.st_ino == st.st_ino
 615       && stc.st_dev == st.st_dev && stc.st_rdev == st.st_rdev)
 616     return 0;                   /* we are in the trash folder: simple sync */
 617
 618   if ((ctx_trash = mx_open_mailbox (TrashPath, M_APPEND, NULL)) != NULL) {
 619     for (i = 0; i < ctx->msgcount; i++)
 620       if (ctx->hdrs[i]->deleted && !ctx->hdrs[i]->appended
 621           && !ctx->hdrs[i]->purged
 622           && mutt_append_message (ctx_trash, ctx, ctx->hdrs[i], 0, 0) == -1) {
 623         mx_close_mailbox (ctx_trash, NULL);
 624         return -1;
 625       }
 626
 627     mx_close_mailbox (ctx_trash, NULL);
 628   }
 629   else {
 630     mutt_error _("Can't open trash folder");
 631
 632     return -1;
 633   }
 634
 635   return 0;
 636 }
 637
 638 /* save changes and close mailbox */
 639 static int _mx_close_mailbox (CONTEXT * ctx, int *index_hint)
 640 {
 641   int i, move_messages = 0, purge = 1, read_msgs = 0;
 642   int check;
 643   int isSpool = 0;
 644   CONTEXT f;
 645   char mbox[_POSIX_PATH_MAX];
 646   char buf[STRING];
 647
 648   if (!ctx)
 649     return 0;
 650
 651   ctx->closing = 1;
 652
 653 #ifdef USE_NNTP
 654   if (ctx->magic == M_NNTP) {
 655     int ret;
 656
 657     ret = nntp_close_mailbox (ctx);
 658     mx_fastclose_mailbox (ctx);
 659     return ret;
 660   }
 661 #endif
 662   if (ctx->readonly || ctx->dontwrite) {
 663     /* mailbox is readonly or we don't want to write */
 664     mx_fastclose_mailbox (ctx);
 665     return 0;
 666   }
 667
 668   if (ctx->append) {
 669     /* mailbox was opened in write-mode */
 670     if (ctx->magic == M_MBOX || ctx->magic == M_MMDF)
 671       mbox_close_mailbox (ctx);
 672     else
 673       mx_fastclose_mailbox (ctx);
 674     return 0;
 675   }
 676
 677   for (i = 0; i < ctx->msgcount; i++) {
 678     if (!ctx->hdrs[i]->deleted && ctx->hdrs[i]->read
 679         && !(ctx->hdrs[i]->flagged && option (OPTKEEPFLAGGED)))
 680       read_msgs++;
 681   }
 682
 683   if (read_msgs && quadoption (OPT_MOVE) != M_NO) {
 684     char *p;
 685
 686     if ((p = mutt_find_hook (M_MBOXHOOK, ctx->path))) {
 687       isSpool = 1;
 688       m_strcpy(mbox, sizeof(mbox), p);
 689     }
 690     else {
 691       m_strcpy(mbox, sizeof(mbox), NONULL(Inbox));
 692       isSpool = mutt_is_spool (ctx->path) && !mutt_is_spool (mbox);
 693     }
 694     mutt_expand_path (mbox, sizeof (mbox));
 695
 696     if (isSpool) {
 697       snprintf (buf, sizeof (buf), _("Move read messages to %s?"), mbox);
 698       if ((move_messages = query_quadoption (OPT_MOVE, buf)) == -1) {
 699         ctx->closing = 0;
 700         return (-1);
 701       }
 702     }
 703   }
 704
 705   /*
 706    * There is no point in asking whether or not to purge if we are
 707    * just marking messages as "trash".
 708    */
 709   if (ctx->deleted && !(ctx->magic == M_MAILDIR && option (OPTMAILDIRTRASH))) {
 710     snprintf (buf, sizeof (buf), ctx->deleted == 1
 711               ? _("Purge %d deleted message?") :
 712               _("Purge %d deleted messages?"), ctx->deleted);
 713     if ((purge = query_quadoption (OPT_DELETE, buf)) < 0) {
 714       ctx->closing = 0;
 715       return (-1);
 716     }
 717   }
 718
 719   /* IMAP servers manage the OLD flag themselves */
 720   if (ctx->magic != M_IMAP)
 721     if (option (OPTMARKOLD)) {
 722       for (i = 0; i < ctx->msgcount; i++) {
 723         if (!ctx->hdrs[i]->deleted && !ctx->hdrs[i]->old)
 724           mutt_set_flag (ctx, ctx->hdrs[i], M_OLD, 1);
 725       }
 726     }
 727
 728   if (move_messages) {
 729     mutt_message (_("Moving read messages to %s..."), mbox);
 730
 731     /* try to use server-side copy first */
 732     i = 1;
 733
 734     if (ctx->magic == M_IMAP && imap_is_magic (mbox, NULL) == M_IMAP) {
 735       /* tag messages for moving, and clear old tags, if any */
 736       for (i = 0; i < ctx->msgcount; i++)
 737         if (ctx->hdrs[i]->read && !ctx->hdrs[i]->deleted
 738             && !(ctx->hdrs[i]->flagged && option (OPTKEEPFLAGGED)))
 739           ctx->hdrs[i]->tagged = 1;
 740         else
 741           ctx->hdrs[i]->tagged = 0;
 742
 743       i = imap_copy_messages (ctx, NULL, mbox, 1);
 744     }
 745
 746     if (i == 0)                 /* success */
 747       mutt_clear_error ();
 748     else if (i == -1) {         /* horrible error, bail */
 749       ctx->closing = 0;
 750       return -1;
 751     }
 752     else                        /* use regular append-copy mode */
 753     {
 754       if (mx_open_mailbox (mbox, M_APPEND, &f) == NULL) {
 755         ctx->closing = 0;
 756         return -1;
 757       }
 758
 759       for (i = 0; i < ctx->msgcount; i++) {
 760         if (ctx->hdrs[i]->read && !ctx->hdrs[i]->deleted
 761             && !(ctx->hdrs[i]->flagged && option (OPTKEEPFLAGGED))) {
 762           if (mutt_append_message (&f, ctx, ctx->hdrs[i], 0, CH_UPDATE_LEN) ==
 763               0) {
 764             mutt_set_flag (ctx, ctx->hdrs[i], M_DELETE, 1);
 765             mutt_set_flag (ctx, ctx->hdrs[i], M_APPENDED, 1);
 766           }
 767           else {
 768             mx_close_mailbox (&f, NULL);
 769             ctx->closing = 0;
 770             return -1;
 771           }
 772         }
 773       }
 774
 775       mx_close_mailbox (&f, NULL);
 776     }
 777
 778   }
 779   else if (!ctx->changed && ctx->deleted == 0) {
 780     mutt_message _("Mailbox is unchanged.");
 781
 782     mx_fastclose_mailbox (ctx);
 783     return 0;
 784   }
 785
 786   /* copy mails to the trash before expunging */
 787   if (purge && ctx->deleted)
 788     if (trash_append (ctx) != 0) {
 789       ctx->closing = 0;
 790       return -1;
 791     }
 792
 793   /* allow IMAP to preserve the deleted flag across sessions */
 794   if (ctx->magic == M_IMAP) {
 795     if ((check = imap_sync_mailbox (ctx, purge, index_hint)) != 0) {
 796       ctx->closing = 0;
 797       return check;
 798     }
 799   }
 800   else
 801   {
 802     if (!purge) {
 803       for (i = 0; i < ctx->msgcount; i++)
 804         ctx->hdrs[i]->deleted = 0;
 805       ctx->deleted = 0;
 806     }
 807
 808     if (ctx->changed || ctx->deleted) {
 809       if ((check = sync_mailbox (ctx, index_hint)) != 0) {
 810         ctx->closing = 0;
 811         return check;
 812       }
 813     }
 814   }
 815
 816   if (move_messages)
 817     mutt_message (_("%d kept, %d moved, %d deleted."),
 818                   ctx->msgcount - ctx->deleted, read_msgs, ctx->deleted);
 819   else
 820     mutt_message (_("%d kept, %d deleted."),
 821                   ctx->msgcount - ctx->deleted, ctx->deleted);
 822
 823   if (ctx->msgcount == ctx->deleted &&
 824       (ctx->magic == M_MMDF || ctx->magic == M_MBOX) &&
 825       !mutt_is_spool (ctx->path) && !option (OPTSAVEEMPTY))
 826     mx_unlink_empty (ctx->path);
 827
 828   if (ctx->cinfo && mutt_slow_close_compressed (ctx))
 829     return (-1);
 830
 831   mx_fastclose_mailbox (ctx);
 832
 833   return 0;
 834 }
 835
 836 int mx_close_mailbox (CONTEXT * ctx, int *index_hint) {
 837   int ret = 0;
 838   if (!ctx)
 839     return (0);
 840   ret = _mx_close_mailbox (ctx, index_hint);
 841   sidebar_set_buffystats (ctx);
 842   return (ret);
 843 }
 844
 845 /* update a Context structure's internal tables. */
 846
 847 void mx_update_tables (CONTEXT * ctx, int committing)
 848 {
 849   int i, j;
 850
 851   /* update memory to reflect the new state of the mailbox */
 852   ctx->vcount = 0;
 853   ctx->vsize = 0;
 854   ctx->tagged = 0;
 855   ctx->deleted = 0;
 856   ctx->new = 0;
 857   ctx->unread = 0;
 858   ctx->changed = 0;
 859   ctx->flagged = 0;
 860 #define this_body ctx->hdrs[j]->content
 861   for (i = 0, j = 0; i < ctx->msgcount; i++) {
 862     if ((committing && (!ctx->hdrs[i]->deleted ||
 863                         (ctx->magic == M_MAILDIR
 864                          && option (OPTMAILDIRTRASH)))) || (!committing
 865                                                             && ctx->hdrs[i]->
 866                                                             active)) {
 867       if (i != j) {
 868         ctx->hdrs[j] = ctx->hdrs[i];
 869         ctx->hdrs[i] = NULL;
 870       }
 871       ctx->hdrs[j]->msgno = j;
 872       if (ctx->hdrs[j]->virtual != -1) {
 873         ctx->v2r[ctx->vcount] = j;
 874         ctx->hdrs[j]->virtual = ctx->vcount++;
 875         ctx->vsize += this_body->length + this_body->offset -
 876           this_body->hdr_offset;
 877       }
 878
 879       if (committing)
 880         ctx->hdrs[j]->changed = 0;
 881       else if (ctx->hdrs[j]->changed)
 882         ctx->changed++;
 883
 884       if (!committing
 885           || (ctx->magic == M_MAILDIR && option (OPTMAILDIRTRASH))) {
 886         if (ctx->hdrs[j]->deleted)
 887           ctx->deleted++;
 888       }
 889
 890       if (ctx->hdrs[j]->tagged)
 891         ctx->tagged++;
 892       if (ctx->hdrs[j]->flagged)
 893         ctx->flagged++;
 894       if (!ctx->hdrs[j]->read) {
 895         ctx->unread++;
 896         if (!ctx->hdrs[j]->old)
 897           ctx->new++;
 898       }
 899
 900       j++;
 901     }
 902     else {
 903       if (ctx->magic == M_MH || ctx->magic == M_MAILDIR)
 904         ctx->size -= (ctx->hdrs[i]->content->length +
 905                       ctx->hdrs[i]->content->offset -
 906                       ctx->hdrs[i]->content->hdr_offset);
 907       /* remove message from the hash tables */
 908       if (ctx->subj_hash && ctx->hdrs[i]->env->real_subj)
 909         hash_remove (ctx->subj_hash, ctx->hdrs[i]->env->real_subj,
 910                      ctx->hdrs[i], NULL);
 911       if (ctx->id_hash && ctx->hdrs[i]->env->message_id)
 912         hash_remove (ctx->id_hash, ctx->hdrs[i]->env->message_id,
 913                      ctx->hdrs[i], NULL);
 914       header_delete(&ctx->hdrs[i]);
 915     }
 916   }
 917 #undef this_body
 918   ctx->msgcount = j;
 919
 920   /* update sidebar count */
 921   sidebar_set_buffystats (ctx);
 922 }
 923
 924
 925 /* save changes to mailbox
 926  *
 927  * return values:
 928  *      0               success
 929  *      -1              error
 930  */
 931 static int _mx_sync_mailbox (CONTEXT * ctx, int *index_hint)
 932 {
 933   int rc, i;
 934   int purge = 1;
 935   int msgcount, deleted;
 936
 937   if (ctx->dontwrite) {
 938     char buf[STRING], tmp[STRING];
 939
 940     if (km_expand_key (buf, sizeof (buf),
 941                        km_find_func (MENU_MAIN, OP_TOGGLE_WRITE)))
 942       snprintf (tmp, sizeof (tmp), _(" Press '%s' to toggle write"), buf);
 943     else
 944       m_strcpy(tmp, sizeof(tmp), _("Use 'toggle-write' to re-enable write!"));
 945
 946     mutt_error (_("Mailbox is marked unwritable. %s"), tmp);
 947     return -1;
 948   }
 949   else if (ctx->readonly) {
 950     mutt_error _("Mailbox is read-only.");
 951
 952     return -1;
 953   }
 954
 955   if (!ctx->changed && !ctx->deleted) {
 956     mutt_message _("Mailbox is unchanged.");
 957
 958     return (0);
 959   }
 960
 961   if (ctx->deleted) {
 962     char buf[STRING];
 963
 964     snprintf (buf, sizeof (buf), ctx->deleted == 1
 965               ? _("Purge %d deleted message?") :
 966               _("Purge %d deleted messages?"), ctx->deleted);
 967     if ((purge = query_quadoption (OPT_DELETE, buf)) < 0)
 968       return (-1);
 969     else if (purge == M_NO) {
 970       if (!ctx->changed)
 971         return 0;               /* nothing to do! */
 972       /* let IMAP servers hold on to D flags */
 973       if (ctx->magic != M_IMAP)
 974       {
 975         for (i = 0; i < ctx->msgcount; i++)
 976           ctx->hdrs[i]->deleted = 0;
 977         ctx->deleted = 0;
 978       }
 979     }
 980     else if (ctx->last_tag && ctx->last_tag->deleted)
 981       ctx->last_tag = NULL;     /* reset last tagged msg now useless */
 982   }
 983
 984   /* really only for IMAP - imap_sync_mailbox results in a call to
 985    * mx_update_tables, so ctx->deleted is 0 when it comes back */
 986   msgcount = ctx->msgcount;
 987   deleted = ctx->deleted;
 988
 989   if (purge && ctx->deleted) {
 990     if (trash_append (ctx) == -1)
 991       return -1;
 992   }
 993
 994   if (ctx->magic == M_IMAP)
 995     rc = imap_sync_mailbox (ctx, purge, index_hint);
 996   else
 997     rc = sync_mailbox (ctx, index_hint);
 998   if (rc == 0) {
 999     if (ctx->magic == M_IMAP && !purge)
1000       mutt_message (_("Mailbox checkpointed."));
1001
1002     else
1003       mutt_message (_("%d kept, %d deleted."), msgcount - deleted, deleted);
1004
1005     mutt_sleep (0);
1006
1007     if (ctx->msgcount == ctx->deleted &&
1008         (ctx->magic == M_MBOX || ctx->magic == M_MMDF) &&
1009         !mutt_is_spool (ctx->path) && !option (OPTSAVEEMPTY)) {
1010       unlink (ctx->path);
1011       mx_fastclose_mailbox (ctx);
1012       return 0;
1013     }
1014
1015     /* if we haven't deleted any messages, we don't need to resort */
1016     /* ... except for certain folder formats which need "unsorted"
1017      * sort order in order to synchronize folders.
1018      *
1019      * MH and maildir are safe.  mbox-style seems to need re-sorting,
1020      * at least with the new threading code.
1021      */
1022     if (purge || (ctx->magic != M_MAILDIR && ctx->magic != M_MH)) {
1023       /* IMAP does this automatically after handling EXPUNGE */
1024       if (ctx->magic != M_IMAP)
1025       {
1026         mx_update_tables (ctx, 1);
1027         mutt_sort_headers (ctx, 1);     /* rethread from scratch */
1028       }
1029     }
1030   }
1031
1032   return (rc);
1033 }
1034
1035 int mx_sync_mailbox (CONTEXT* ctx, int* index_hint) {
1036   int ret = _mx_sync_mailbox (ctx, index_hint);
1037   sidebar_set_buffystats (ctx);
1038   return (ret);
1039 }
1040
1041 /* args:
1042  *      dest    destintation mailbox
1043  *      hdr     message being copied (required for maildir support, because
1044  *              the filename depends on the message flags)
1045  */
1046 MESSAGE *mx_open_new_message (CONTEXT * dest, HEADER * hdr, int flags)
1047 {
1048   MESSAGE *msg;
1049   address_t *p = NULL;
1050
1051   if (!MX_IDX(dest->magic-1)) {
1052     return (NULL);
1053   }
1054
1055   msg = p_new(MESSAGE, 1);
1056   msg->magic = dest->magic;
1057   msg->write = 1;
1058
1059   if (hdr) {
1060     msg->flags.flagged = hdr->flagged;
1061     msg->flags.replied = hdr->replied;
1062     msg->flags.read = hdr->read;
1063     msg->received = hdr->received;
1064   }
1065
1066   if (msg->received == 0)
1067     time (&msg->received);
1068
1069   if (mxfmts[dest->magic-1]->mx_open_new_message(msg, dest, hdr) == 0) {
1070     if (dest->magic == M_MMDF)
1071       fputs (MMDF_SEP, msg->fp);
1072
1073     if ((msg->magic == M_MBOX || msg->magic == M_MMDF) && flags & M_ADD_FROM) {
1074       if (hdr) {
1075         if (hdr->env->return_path)
1076           p = hdr->env->return_path;
1077         else if (hdr->env->sender)
1078           p = hdr->env->sender;
1079         else
1080           p = hdr->env->from;
1081       }
1082
1083       fprintf (msg->fp, "From %s %s", p ? p->mailbox : NONULL(MCore.username),
1084                ctime (&msg->received));
1085     }
1086   }
1087   else
1088     p_delete(&msg);
1089
1090   return msg;
1091 }
1092
1093 /* check for new mail */
1094 int mx_check_mailbox (CONTEXT * ctx, int *index_hint, int lock) {
1095   if (ctx->cinfo)
1096     return mutt_check_mailbox_compressed (ctx);
1097
1098   if (ctx) {
1099     if (ctx->locked)
1100       lock = 0;
1101     if (MX_IDX(ctx->magic-1) && mxfmts[ctx->magic-1]->mx_check_mailbox)
1102       return (mxfmts[ctx->magic-1]->mx_check_mailbox(ctx, index_hint, lock));
1103   }
1104
1105   return (-1);
1106 }
1107
1108 /* return a stream pointer for a message */
1109 MESSAGE *mx_open_message (CONTEXT * ctx, int msgno)
1110 {
1111   MESSAGE *msg;
1112
1113   msg = p_new(MESSAGE, 1);
1114   switch (msg->magic = ctx->magic) {
1115   case M_MBOX:
1116   case M_MMDF:
1117     msg->fp = ctx->fp;
1118     break;
1119
1120   case M_MH:
1121   case M_MAILDIR:
1122     {
1123       HEADER *cur = ctx->hdrs[msgno];
1124       char path[_POSIX_PATH_MAX];
1125
1126       snprintf (path, sizeof (path), "%s/%s", ctx->path, cur->path);
1127
1128       if ((msg->fp = fopen (path, "r")) == NULL && errno == ENOENT &&
1129           ctx->magic == M_MAILDIR)
1130         msg->fp = maildir_open_find_message (ctx->path, cur->path);
1131
1132       if (msg->fp == NULL) {
1133         mutt_perror (path);
1134         p_delete(&msg);
1135       }
1136     }
1137     break;
1138
1139   case M_IMAP:
1140     {
1141       if (imap_fetch_message (msg, ctx, msgno) != 0)
1142         p_delete(&msg);
1143       break;
1144     }
1145
1146   case M_POP:
1147     {
1148       if (pop_fetch_message (msg, ctx, msgno) != 0)
1149         p_delete(&msg);
1150       break;
1151     }
1152
1153 #ifdef USE_NNTP
1154   case M_NNTP:
1155     {
1156       if (nntp_fetch_message (msg, ctx, msgno) != 0)
1157         p_delete(&msg);
1158       break;
1159     }
1160 #endif /* USE_NNTP */
1161
1162   default:
1163     p_delete(&msg);
1164     break;
1165   }
1166   return (msg);
1167 }
1168
1169 /* commit a message to a folder */
1170
1171 int mx_commit_message (MESSAGE * msg, CONTEXT * ctx) {
1172   if (!(msg->write && ctx->append)) {
1173     return -1;
1174   }
1175   if (!ctx || !MX_IDX(ctx->magic-1) || !mxfmts[ctx->magic-1]->mx_commit_message)
1176     return (-1);
1177   return (mxfmts[ctx->magic-1]->mx_commit_message (msg, ctx));
1178 }
1179
1180 /* close a pointer to a message */
1181 int mx_close_message (MESSAGE ** msg)
1182 {
1183   int r = 0;
1184
1185   if ((*msg)->magic == M_MH || (*msg)->magic == M_MAILDIR
1186       || (*msg)->magic == M_IMAP
1187       || (*msg)->magic == M_POP
1188 #ifdef USE_NNTP
1189       || (*msg)->magic == M_NNTP
1190 #endif
1191     ) {
1192     r = m_fclose(&(*msg)->fp);
1193   }
1194   else
1195     (*msg)->fp = NULL;
1196
1197   if ((*msg)->path) {
1198     unlink ((*msg)->path);
1199     p_delete(&(*msg)->path);
1200   }
1201
1202   p_delete(msg);
1203   return (r);
1204 }
1205
1206 void mx_alloc_memory (CONTEXT * ctx)
1207 {
1208   int i;
1209   size_t s = MAX (sizeof (HEADER *), sizeof (int));
1210
1211   if ((ctx->hdrmax + 25) * s < ctx->hdrmax * s) {
1212     mutt_error _("Integer overflow -- can't allocate memory.");
1213
1214     sleep (1);
1215     mutt_exit (1);
1216   }
1217
1218   if (ctx->hdrs) {
1219     p_realloc(&ctx->hdrs, ctx->hdrmax += 25);
1220     p_realloc(&ctx->v2r, ctx->hdrmax);
1221   }
1222   else {
1223     ctx->hdrs = p_new(HEADER *, (ctx->hdrmax += 25));
1224     ctx->v2r = p_new(int, ctx->hdrmax);
1225   }
1226   for (i = ctx->msgcount; i < ctx->hdrmax; i++) {
1227     ctx->hdrs[i] = NULL;
1228     ctx->v2r[i] = -1;
1229   }
1230 }
1231
1232 /* this routine is called to update the counts in the context structure for
1233  * the last message header parsed.
1234  */
1235 void mx_update_context (CONTEXT * ctx, int new_messages)
1236 {
1237   HEADER *h;
1238   int msgno;
1239
1240   for (msgno = ctx->msgcount - new_messages; msgno < ctx->msgcount; msgno++) {
1241     h = ctx->hdrs[msgno];
1242
1243     /* NOTE: this _must_ be done before the check for mailcap! */
1244     h->security = crypt_query (h->content);
1245
1246     if (!ctx->pattern) {
1247       ctx->v2r[ctx->vcount] = msgno;
1248       h->virtual = ctx->vcount++;
1249     }
1250     else
1251       h->virtual = -1;
1252     h->msgno = msgno;
1253
1254     if (h->env->supersedes) {
1255       HEADER *h2;
1256
1257       if (!ctx->id_hash)
1258         ctx->id_hash = mutt_make_id_hash (ctx);
1259
1260       h2 = hash_find (ctx->id_hash, h->env->supersedes);
1261
1262       /* p_delete(&h->env->supersedes); should I ? */
1263       if (h2) {
1264         h2->superseded = 1;
1265         if (!ctx->counting && option (OPTSCORE))
1266           mutt_score_message (ctx, h2, 1);
1267       }
1268     }
1269
1270     /* add this message to the hash tables */
1271     if (ctx->id_hash && h->env->message_id)
1272       hash_insert (ctx->id_hash, h->env->message_id, h);
1273     if (!ctx->counting) {
1274       if (ctx->subj_hash && h->env->real_subj)
1275         hash_insert (ctx->subj_hash, h->env->real_subj, h);
1276
1277       if (option (OPTSCORE))
1278         mutt_score_message (ctx, h, 0);
1279     }
1280
1281     if (h->changed)
1282       ctx->changed = 1;
1283     if (h->flagged)
1284       ctx->flagged++;
1285     if (h->deleted)
1286       ctx->deleted++;
1287     if (!h->read) {
1288       ctx->unread++;
1289       if (!h->old)
1290         ctx->new++;
1291     }
1292   }
1293   /* update sidebar count */
1294   sidebar_set_buffystats (ctx);
1295 }
1296
1297 /*
1298  * Return:
1299  * 1 if the specified mailbox contains 0 messages.
1300  * 0 if the mailbox contains messages
1301  * -1 on error
1302  */
1303 int mx_check_empty (const char *path)
1304 {
1305   int i = 0;
1306   if ((i = mx_get_idx (path)) >= 0 && mxfmts[i]->mx_check_empty)
1307     return (mxfmts[i]->mx_check_empty(path));
1308   errno = EINVAL;
1309   return (-1);
1310 }
1311
1312 int mx_acl_check (CONTEXT* ctx, int flag) {
1313   if (!ctx || !MX_IDX(ctx->magic-1))
1314     return (0);
1315   /* if no acl_check defined for module, assume permission is granted */
1316   if (!mxfmts[ctx->magic-1]->mx_acl_check)
1317     return (1);
1318   return (mxfmts[ctx->magic-1]->mx_acl_check(ctx,flag));
1319 }
1320
1321 int mx_rebuild_cache (void) {
1322 #ifndef USE_HCACHE
1323   mutt_error (_("Support for header caching was not build in."));
1324   return (1);
1325 #else
1326   int i = 0, magic = 0;
1327   CONTEXT* ctx = NULL;
1328   BUFFY* b = NULL;
1329
1330   if (!Incoming.len) {
1331     mutt_error (_("No mailboxes defined."));
1332     return (1);
1333   }
1334
1335   for (i = 0; i < Incoming.len; i++) {
1336     b = Incoming.arr[i];
1337     magic = mx_get_magic (b->path);
1338     if (magic != M_MAILDIR && magic != M_MH && magic != M_IMAP)
1339       continue;
1340     sidebar_set_current (b->path);
1341     sidebar_draw ();
1342     if ((ctx = mx_open_mailbox (b->path,
1343                                 M_READONLY | M_NOSORT | M_COUNT,
1344                                 NULL)) != NULL)
1345       mx_close_mailbox (ctx, 0);
1346   }
1347   mutt_clear_error ();
1348
1349   if (Context && Context->path)
1350     sidebar_set_current (Context->path);
1351   sidebar_draw ();
1352
1353   return (0);
1354 #endif
1355 }
1356
1357 void mutt_parse_mime_message (CONTEXT * ctx, HEADER * cur)
1358 {
1359   MESSAGE *msg;
1360   int flags = 0;
1361
1362   do {
1363     if (cur->content->type != TYPEMESSAGE
1364         && cur->content->type != TYPEMULTIPART)
1365       break;                     /* nothing to do */
1366
1367     if (cur->content->parts)
1368       break;                     /* The message was parsed earlier. */
1369
1370     if ((msg = mx_open_message (ctx, cur->msgno))) {
1371       mutt_parse_part (msg->fp, cur->content);
1372
1373       cur->security = crypt_query (cur->content);
1374
1375       mx_close_message (&msg);
1376     }
1377   } while (0);
1378   mutt_count_body_parts (cur, flags | M_PARTS_RECOUNT);
1379 }