imap/message.c

   1 /*
   2  * Copyright notice from original mutt:
   3  * Copyright (C) 1996-9 Brandon Long <blong@fiction.net>
   4  * Copyright (C) 1999-2002 Brendan Cully <brendan@kublai.com>
   5  *
   6  * This file is part of mutt-ng, see http://www.muttng.org/.
   7  * It's licensed under the GNU General Public License,
   8  * please see the file GPL in the top level source directory.
   9  */
  10
  11 /* message parsing/updating functions */
  12
  13 #if HAVE_CONFIG_H
  14 # include "config.h"
  15 #endif
  16
  17 #include <stdlib.h>
  18 #include <ctype.h>
  19
  20 #include "mutt.h"
  21 #include "mutt_curses.h"
  22 #include "imap_private.h"
  23 #include "message.h"
  24 #include "mx.h"
  25
  26 #ifdef HAVE_PGP
  27 #include "pgp.h"
  28 #endif
  29
  30 #include "lib/mem.h"
  31 #include "lib/intl.h"
  32 #include "lib/str.h"
  33 #include "lib/debug.h"
  34
  35 #if HAVE_STDINT_H
  36 #include <stdint.h>
  37 #elif HAVE_INTTYPES_H
  38 #include <inttypes.h>
  39 #endif
  40
  41 static void flush_buffer (char *buf, size_t * len, CONNECTION * conn);
  42 static int msg_fetch_header (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
  43                              FILE * fp);
  44 static int msg_has_flag (LIST * flag_list, const char *flag);
  45 static int msg_parse_fetch (IMAP_HEADER * h, char *s);
  46 static char *msg_parse_flags (IMAP_HEADER * h, char *s);
  47
  48 #if USE_HCACHE
  49 static int msg_fetch_header_fetch (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
  50                                    FILE * fp);
  51 static size_t imap_hcache_keylen (const char *fn);
  52 #endif /* USE_HCACHE */
  53
  54 /* imap_read_headers:
  55  * Changed to read many headers instead of just one. It will return the
  56  * msgno of the last message read. It will return a value other than
  57  * msgend if mail comes in while downloading headers (in theory).
  58  */
  59 int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
  60 {
  61   CONTEXT *ctx;
  62   char buf[LONG_STRING];
  63   char hdrreq[STRING];
  64   FILE *fp;
  65   char tempfile[_POSIX_PATH_MAX];
  66   int msgno;
  67   IMAP_HEADER h;
  68   int rc, mfhrc, oldmsgcount;
  69   int fetchlast = 0;
  70   const char *want_headers =
  71     "DATE FROM SUBJECT TO CC MESSAGE-ID REFERENCES CONTENT-TYPE CONTENT-DESCRIPTION IN-REPLY-TO REPLY-TO LINES LIST-POST X-LABEL";
  72
  73 #if USE_HCACHE
  74   void *hc = NULL;
  75   unsigned long *uid_validity = NULL;
  76   char uid_buf[64];
  77 #endif /* USE_HCACHE */
  78
  79   ctx = idata->ctx;
  80
  81 #if USE_HCACHE
  82   hc = mutt_hcache_open (HeaderCache, ctx->path);
  83 #endif /* USE_HCACHE */
  84
  85   if (mutt_bit_isset (idata->capabilities, IMAP4REV1)) {
  86     snprintf (hdrreq, sizeof (hdrreq), "BODY.PEEK[HEADER.FIELDS (%s%s%s)]",
  87               want_headers, ImapHeaders ? " " : "",
  88               ImapHeaders ? ImapHeaders : "");
  89   }
  90   else if (mutt_bit_isset (idata->capabilities, IMAP4)) {
  91     snprintf (hdrreq, sizeof (hdrreq), "RFC822.HEADER.LINES (%s%s%s)",
  92               want_headers, ImapHeaders ? " " : "",
  93               ImapHeaders ? ImapHeaders : "");
  94   }
  95   else {                        /* Unable to fetch headers for lower versions */
  96     mutt_error _("Unable to fetch headers from this IMAP server version.");
  97
  98     mutt_sleep (2);             /* pause a moment to let the user see the error */
  99 #if USE_HCACHE
 100     mutt_hcache_close (hc);
 101 #endif /* USE_HCACHE */
 102     return -1;
 103   }
 104
 105   /* instead of downloading all headers and then parsing them, we parse them
 106    * as they come in. */
 107   mutt_mktemp (tempfile);
 108   if (!(fp = safe_fopen (tempfile, "w+"))) {
 109     mutt_error (_("Could not create temporary file %s"), tempfile);
 110     mutt_sleep (2);
 111 #if USE_HCACHE
 112     mutt_hcache_close (hc);
 113 #endif /* USE_HCACHE */
 114     return -1;
 115   }
 116   unlink (tempfile);
 117
 118   /* make sure context has room to hold the mailbox */
 119   while ((msgend) >= idata->ctx->hdrmax)
 120     mx_alloc_memory (idata->ctx);
 121
 122   oldmsgcount = ctx->msgcount;
 123   idata->reopen &= ~IMAP_NEWMAIL_PENDING;
 124   idata->newMailCount = 0;
 125
 126 #if USE_HCACHE
 127   snprintf (buf, sizeof (buf),
 128             "FETCH %d:%d (UID FLAGS)", msgbegin + 1, msgend + 1);
 129   fetchlast = msgend + 1;
 130
 131   imap_cmd_start (idata, buf);
 132
 133   for (msgno = msgbegin; msgno <= msgend; msgno++) {
 134     if (ReadInc && (!msgno || ((msgno + 1) % ReadInc == 0)))
 135       mutt_message (_("Evaluating cache... [%d/%d]"), msgno + 1, msgend + 1);
 136
 137     rewind (fp);
 138     memset (&h, 0, sizeof (h));
 139     h.data = safe_calloc (1, sizeof (IMAP_HEADER_DATA));
 140     do {
 141       mfhrc = 0;
 142
 143       rc = imap_cmd_step (idata);
 144       if (rc != IMAP_CMD_CONTINUE)
 145         break;
 146
 147       if ((mfhrc =
 148            msg_fetch_header_fetch (idata->ctx, &h, idata->cmd.buf, fp)) == -1)
 149         continue;
 150       else if (mfhrc < 0)
 151         break;
 152
 153       /* make sure we don't get remnants from older larger message headers */
 154       fputs ("\n\n", fp);
 155
 156       sprintf (uid_buf, "/%u", h.data->uid);    /* XXX --tg 21:41 04-07-11 */
 157       uid_validity =
 158         (unsigned long *) mutt_hcache_fetch (hc, uid_buf, &imap_hcache_keylen);
 159
 160       if (uid_validity != NULL && *uid_validity == idata->uid_validity) {
 161         ctx->hdrs[msgno] =
 162           mutt_hcache_restore ((unsigned char *) uid_validity, 0);
 163         ctx->hdrs[msgno]->index = h.sid - 1;
 164         if (h.sid != ctx->msgcount + 1)
 165           debug_print (1, ("msgcount and sequence ID are inconsistent!\n"));
 166         /* messages which have not been expunged are ACTIVE (borrowed from mh
 167          * folders) */
 168         ctx->hdrs[msgno]->active = 1;
 169         ctx->hdrs[msgno]->read = h.read;
 170         ctx->hdrs[msgno]->old = h.old;
 171         ctx->hdrs[msgno]->deleted = h.deleted;
 172         ctx->hdrs[msgno]->flagged = h.flagged;
 173         ctx->hdrs[msgno]->replied = h.replied;
 174         ctx->hdrs[msgno]->changed = h.changed;
 175         /*  ctx->hdrs[msgno]->received is restored from mutt_hcache_restore */
 176         ctx->hdrs[msgno]->data = (void *) (h.data);
 177
 178         ctx->msgcount++;
 179       }
 180       rewind (fp);
 181
 182       FREE (&uid_validity);
 183
 184     }
 185     while ((rc != IMAP_CMD_OK) && ((mfhrc == -1) ||
 186                                    ((msgno + 1) >= fetchlast)));
 187
 188     if ((mfhrc < -1) || ((rc != IMAP_CMD_CONTINUE) && (rc != IMAP_CMD_OK))) {
 189       imap_free_header_data ((void **) &h.data);
 190       fclose (fp);
 191       mutt_hcache_close (hc);
 192       return -1;
 193     }
 194   }
 195
 196   fetchlast = msgbegin;
 197 #endif /* USE_HCACHE */
 198
 199   for (msgno = msgbegin; msgno <= msgend; msgno++) {
 200     if (ReadInc && (!msgno || ((msgno + 1) % ReadInc == 0)))
 201       mutt_message (_("Fetching message headers... [%d/%d]"), msgno + 1,
 202                     msgend + 1);
 203
 204     if (ctx->hdrs[msgno])
 205       continue;
 206
 207     if (msgno + 1 > fetchlast) {
 208       fetchlast = msgno + 1;
 209       while ((fetchlast <= msgend) && (!ctx->hdrs[fetchlast]))
 210         fetchlast++;
 211
 212       /*
 213        * Make one request for everything. This makes fetching headers an
 214        * order of magnitude faster if you have a large mailbox.
 215        *
 216        * If we get more messages while doing this, we make another
 217        * request for all the new messages.
 218        */
 219       snprintf (buf, sizeof (buf),
 220                 "FETCH %d:%d (UID FLAGS INTERNALDATE RFC822.SIZE %s)",
 221                 msgno + 1, fetchlast, hdrreq);
 222
 223       imap_cmd_start (idata, buf);
 224     }
 225
 226     /* freshen fp, h */
 227     rewind (fp);
 228     memset (&h, 0, sizeof (h));
 229     h.data = safe_calloc (1, sizeof (IMAP_HEADER_DATA));
 230
 231     /* this DO loop does two things:
 232      * 1. handles untagged messages, so we can try again on the same msg
 233      * 2. fetches the tagged response at the end of the last message.
 234      */
 235     do {
 236       mfhrc = 0;
 237
 238       rc = imap_cmd_step (idata);
 239       if (rc != IMAP_CMD_CONTINUE)
 240         break;
 241
 242       if ((mfhrc =
 243            msg_fetch_header (idata->ctx, &h, idata->cmd.buf, fp)) == -1)
 244         continue;
 245       else if (mfhrc < 0)
 246         break;
 247
 248       /* make sure we don't get remnants from older larger message headers */
 249       fputs ("\n\n", fp);
 250
 251       /* update context with message header */
 252       ctx->hdrs[msgno] = mutt_new_header ();
 253
 254       ctx->hdrs[msgno]->index = h.sid - 1;
 255       if (h.sid != ctx->msgcount + 1)
 256         debug_print (1, ("msgcount and sequence ID are inconsistent!\n"));
 257       /* messages which have not been expunged are ACTIVE (borrowed from mh
 258        * folders) */
 259       ctx->hdrs[msgno]->active = 1;
 260       ctx->hdrs[msgno]->read = h.read;
 261       ctx->hdrs[msgno]->old = h.old;
 262       ctx->hdrs[msgno]->deleted = h.deleted;
 263       ctx->hdrs[msgno]->flagged = h.flagged;
 264       ctx->hdrs[msgno]->replied = h.replied;
 265       ctx->hdrs[msgno]->changed = h.changed;
 266       ctx->hdrs[msgno]->received = h.received;
 267       ctx->hdrs[msgno]->data = (void *) (h.data);
 268
 269       rewind (fp);
 270       /* NOTE: if Date: header is missing, mutt_read_rfc822_header depends
 271        *   on h.received being set */
 272       ctx->hdrs[msgno]->env = mutt_read_rfc822_header (fp, ctx->hdrs[msgno],
 273                                                        0, 0);
 274       /* content built as a side-effect of mutt_read_rfc822_header */
 275       ctx->hdrs[msgno]->content->length = h.content_length;
 276
 277 #if USE_HCACHE
 278       sprintf (uid_buf, "/%u", h.data->uid);
 279       mutt_hcache_store (hc, uid_buf, ctx->hdrs[msgno], idata->uid_validity,
 280                          &imap_hcache_keylen);
 281 #endif /* USE_HCACHE */
 282
 283       ctx->msgcount++;
 284     }
 285     while ((rc != IMAP_CMD_OK) && ((mfhrc == -1) ||
 286                                    ((msgno + 1) >= fetchlast)));
 287
 288     if ((mfhrc < -1) || ((rc != IMAP_CMD_CONTINUE) && (rc != IMAP_CMD_OK))) {
 289       imap_free_header_data ((void **) &h.data);
 290       fclose (fp);
 291 #if USE_HCACHE
 292       mutt_hcache_close (hc);
 293 #endif /* USE_HCACHE */
 294       return -1;
 295     }
 296
 297     /* in case we get new mail while fetching the headers */
 298     if (idata->reopen & IMAP_NEWMAIL_PENDING) {
 299       msgend = idata->newMailCount - 1;
 300       while ((msgend) >= ctx->hdrmax)
 301         mx_alloc_memory (ctx);
 302       idata->reopen &= ~IMAP_NEWMAIL_PENDING;
 303       idata->newMailCount = 0;
 304     }
 305   }
 306
 307 #if USE_HCACHE
 308   mutt_hcache_close (hc);
 309 #endif /* USE_HCACHE */
 310
 311   fclose (fp);
 312
 313   if (ctx->msgcount > oldmsgcount)
 314     mx_update_context (ctx, ctx->msgcount - oldmsgcount);
 315
 316   return msgend;
 317 }
 318
 319 int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
 320 {
 321   IMAP_DATA *idata;
 322   HEADER *h;
 323   char buf[LONG_STRING];
 324   char path[_POSIX_PATH_MAX];
 325   char *pc;
 326   long bytes;
 327   int uid;
 328   int cacheno;
 329   IMAP_CACHE *cache;
 330   int read;
 331   int rc;
 332
 333   /* Sam's weird courier server returns an OK response even when FETCH
 334    * fails. Thanks Sam. */
 335   short fetched = 0;
 336
 337   idata = (IMAP_DATA *) ctx->data;
 338   h = ctx->hdrs[msgno];
 339
 340   /* see if we already have the message in our cache */
 341   cacheno = HEADER_DATA (h)->uid % IMAP_CACHE_LEN;
 342   cache = &idata->cache[cacheno];
 343
 344   if (cache->path) {
 345     if (cache->uid == HEADER_DATA (h)->uid) {
 346       /* yes, so just return a pointer to the message */
 347       if (!(msg->fp = fopen (cache->path, "r"))) {
 348         mutt_perror (cache->path);
 349         return (-1);
 350       }
 351       return 0;
 352     }
 353     else {
 354       /* clear the previous entry */
 355       unlink (cache->path);
 356       FREE (&cache->path);
 357     }
 358   }
 359
 360   if (!isendwin ())
 361     mutt_message _("Fetching message...");
 362
 363   cache->uid = HEADER_DATA (h)->uid;
 364   mutt_mktemp (path);
 365   cache->path = safe_strdup (path);
 366   if (!(msg->fp = safe_fopen (path, "w+"))) {
 367     FREE (&cache->path);
 368     return -1;
 369   }
 370
 371   /* mark this header as currently inactive so the command handler won't
 372    * also try to update it. HACK until all this code can be moved into the
 373    * command handler */
 374   h->active = 0;
 375
 376   snprintf (buf, sizeof (buf), "UID FETCH %u %s", HEADER_DATA (h)->uid,
 377             (mutt_bit_isset (idata->capabilities, IMAP4REV1) ?
 378              (option (OPTIMAPPEEK) ? "BODY.PEEK[]" : "BODY[]") : "RFC822"));
 379
 380   imap_cmd_start (idata, buf);
 381   do {
 382     if ((rc = imap_cmd_step (idata)) != IMAP_CMD_CONTINUE)
 383       break;
 384
 385     pc = idata->cmd.buf;
 386     pc = imap_next_word (pc);
 387     pc = imap_next_word (pc);
 388
 389     if (!ascii_strncasecmp ("FETCH", pc, 5)) {
 390       while (*pc) {
 391         pc = imap_next_word (pc);
 392         if (pc[0] == '(')
 393           pc++;
 394         if (ascii_strncasecmp ("UID", pc, 3) == 0) {
 395           pc = imap_next_word (pc);
 396           uid = atoi (pc);
 397           if (uid != HEADER_DATA (h)->uid)
 398             mutt_error (_
 399                         ("The message index is incorrect. Try reopening the mailbox."));
 400         }
 401         else if ((ascii_strncasecmp ("RFC822", pc, 6) == 0) ||
 402                  (ascii_strncasecmp ("BODY[]", pc, 6) == 0)) {
 403           pc = imap_next_word (pc);
 404           if (imap_get_literal_count (pc, &bytes) < 0) {
 405             imap_error ("imap_fetch_message()", buf);
 406             goto bail;
 407           }
 408           if (imap_read_literal (msg->fp, idata, bytes) < 0)
 409             goto bail;
 410           /* pick up trailing line */
 411           if ((rc = imap_cmd_step (idata)) != IMAP_CMD_CONTINUE)
 412             goto bail;
 413           pc = idata->cmd.buf;
 414
 415           fetched = 1;
 416         }
 417         /* UW-IMAP will provide a FLAGS update here if the FETCH causes a
 418          * change (eg from \Unseen to \Seen).
 419          * Uncommitted changes in mutt take precedence. If we decide to
 420          * incrementally update flags later, this won't stop us syncing */
 421         else if ((ascii_strncasecmp ("FLAGS", pc, 5) == 0) && !h->changed) {
 422           if ((pc = imap_set_flags (idata, h, pc)) == NULL)
 423             goto bail;
 424         }
 425       }
 426     }
 427   }
 428   while (rc == IMAP_CMD_CONTINUE);
 429
 430   /* see comment before command start. */
 431   h->active = 1;
 432
 433   if (rc != IMAP_CMD_OK)
 434     goto bail;
 435
 436   if (!fetched || !imap_code (idata->cmd.buf))
 437     goto bail;
 438
 439   /* Update the header information.  Previously, we only downloaded a
 440    * portion of the headers, those required for the main display.
 441    */
 442   rewind (msg->fp);
 443   /* It may be that the Status header indicates a message is read, but the
 444    * IMAP server doesn't know the message has been \Seen. So we capture
 445    * the server's notion of 'read' and if it differs from the message info
 446    * picked up in mutt_read_rfc822_header, we mark the message (and context
 447    * changed). Another possiblity: ignore Status on IMAP?*/
 448   read = h->read;
 449   /* I hate do this here, since it's so low-level, but I'm not sure where
 450    * I can abstract it. Problem: the id and subj hashes lose their keys when
 451    * mutt_free_envelope gets called, but keep their spots in the hash. This
 452    * confuses threading. Alternatively we could try to merge the new
 453    * envelope into the old one. Also messy and lowlevel. */
 454   if (ctx->id_hash && h->env->message_id)
 455     hash_delete (ctx->id_hash, h->env->message_id, h, NULL);
 456   if (ctx->subj_hash && h->env->real_subj)
 457     hash_delete (ctx->subj_hash, h->env->real_subj, h, NULL);
 458   mutt_free_envelope (&h->env);
 459   h->env = mutt_read_rfc822_header (msg->fp, h, 0, 0);
 460   if (ctx->id_hash && h->env->message_id)
 461     hash_insert (ctx->id_hash, h->env->message_id, h, 0);
 462   if (ctx->subj_hash && h->env->real_subj)
 463     hash_insert (ctx->subj_hash, h->env->real_subj, h, 1);
 464
 465   /* see above. We want the new status in h->read, so we unset it manually
 466    * and let mutt_set_flag set it correctly, updating context. */
 467   if (read != h->read) {
 468     h->read = read;
 469     mutt_set_flag (ctx, h, M_NEW, read);
 470   }
 471
 472   h->lines = 0;
 473   fgets (buf, sizeof (buf), msg->fp);
 474   while (!feof (msg->fp)) {
 475     h->lines++;
 476     fgets (buf, sizeof (buf), msg->fp);
 477   }
 478
 479   h->content->length = ftell (msg->fp) - h->content->offset;
 480
 481   /* This needs to be done in case this is a multipart message */
 482 #if defined(HAVE_PGP) || defined(HAVE_SMIME)
 483   h->security = crypt_query (h->content);
 484 #endif
 485
 486   mutt_clear_error ();
 487   rewind (msg->fp);
 488
 489   return 0;
 490
 491 bail:
 492   safe_fclose (&msg->fp);
 493   if (cache->path) {
 494     unlink (cache->path);
 495     FREE (&cache->path);
 496   }
 497
 498   return -1;
 499 }
 500
 501 int imap_append_message (CONTEXT * ctx, MESSAGE * msg)
 502 {
 503   IMAP_DATA *idata;
 504   FILE *fp;
 505   char buf[LONG_STRING];
 506   char mbox[LONG_STRING];
 507   char mailbox[LONG_STRING];
 508   size_t len;
 509   int c, last;
 510   IMAP_MBOX mx;
 511   int rc;
 512
 513   idata = (IMAP_DATA *) ctx->data;
 514
 515   if (imap_parse_path (ctx->path, &mx))
 516     return -1;
 517
 518   imap_fix_path (idata, mx.mbox, mailbox, sizeof (mailbox));
 519
 520   if ((fp = fopen (msg->path, "r")) == NULL) {
 521     mutt_perror (msg->path);
 522     goto fail;
 523   }
 524
 525   /* currently we set the \Seen flag on all messages, but probably we
 526    * should scan the message Status header for flag info. Since we're
 527    * already rereading the whole file for length it isn't any more
 528    * expensive (it'd be nice if we had the file size passed in already
 529    * by the code that writes the file, but that's a lot of changes.
 530    * Ideally we'd have a HEADER structure with flag info here... */
 531   for (last = EOF, len = 0; (c = fgetc (fp)) != EOF; last = c) {
 532     if (c == '\n' && last != '\r')
 533       len++;
 534
 535     len++;
 536   }
 537   rewind (fp);
 538
 539   imap_munge_mbox_name (mbox, sizeof (mbox), mailbox);
 540   snprintf (buf, sizeof (buf), "APPEND %s (%s%s%s%s%s) {%lu}", mbox,
 541             msg->flags.read ? "\\Seen" : "",
 542             msg->flags.read && (msg->flags.replied
 543                                 || msg->flags.flagged) ? " " : "",
 544             msg->flags.replied ? "\\Answered" : "", msg->flags.replied
 545             && msg->flags.flagged ? " " : "",
 546             msg->flags.flagged ? "\\Flagged" : "", (unsigned long) len);
 547
 548   imap_cmd_start (idata, buf);
 549
 550   do
 551     rc = imap_cmd_step (idata);
 552   while (rc == IMAP_CMD_CONTINUE);
 553
 554   if (rc != IMAP_CMD_RESPOND) {
 555     char *pc;
 556
 557     debug_print (1, ("command failed: %s\n", idata->cmd.buf));
 558
 559     pc = idata->cmd.buf + SEQLEN;
 560     SKIPWS (pc);
 561     pc = imap_next_word (pc);
 562     mutt_error ("%s", pc);
 563     mutt_sleep (1);
 564     fclose (fp);
 565     goto fail;
 566   }
 567
 568   mutt_message _("Uploading message ...");
 569
 570   for (last = EOF, len = 0; (c = fgetc (fp)) != EOF; last = c) {
 571     if (c == '\n' && last != '\r')
 572       buf[len++] = '\r';
 573
 574     buf[len++] = c;
 575
 576     if (len > sizeof (buf) - 3)
 577       flush_buffer (buf, &len, idata->conn);
 578   }
 579
 580   if (len)
 581     flush_buffer (buf, &len, idata->conn);
 582
 583   mutt_socket_write (idata->conn, "\r\n");
 584   fclose (fp);
 585
 586   do
 587     rc = imap_cmd_step (idata);
 588   while (rc == IMAP_CMD_CONTINUE);
 589
 590   if (!imap_code (idata->cmd.buf)) {
 591     char *pc;
 592
 593     debug_print (1, ("command failed: %s\n", idata->cmd.buf));
 594     pc = idata->cmd.buf + SEQLEN;
 595     SKIPWS (pc);
 596     pc = imap_next_word (pc);
 597     mutt_error ("%s", pc);
 598     mutt_sleep (1);
 599     goto fail;
 600   }
 601
 602   FREE (&mx.mbox);
 603   return 0;
 604
 605 fail:
 606   FREE (&mx.mbox);
 607   return -1;
 608 }
 609
 610 /* imap_copy_messages: use server COPY command to copy messages to another
 611  *   folder.
 612  *   Return codes:
 613  *      -1: error
 614  *       0: success
 615  *       1: non-fatal error - try fetch/append */
 616 int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
 617 {
 618   IMAP_DATA *idata;
 619   BUFFER cmd, sync_cmd;
 620   char uid[11];
 621   char mbox[LONG_STRING];
 622   char mmbox[LONG_STRING];
 623   int rc;
 624   int n;
 625   IMAP_MBOX mx;
 626   int err_continue = M_NO;
 627
 628   idata = (IMAP_DATA *) ctx->data;
 629
 630   if (imap_parse_path (dest, &mx)) {
 631     debug_print (1, ("bad destination %s\n", dest));
 632     return -1;
 633   }
 634
 635   /* check that the save-to folder is in the same account */
 636   if (!mutt_account_match (&(CTX_DATA->conn->account), &(mx.account))) {
 637     debug_print (3, ("%s not same server as %s\n", dest, ctx->path));
 638     return 1;
 639   }
 640
 641   if (h && h->attach_del) {
 642     debug_print (3, ("Message contains attachments to be deleted\n"));
 643     return 1;
 644   }
 645
 646   imap_fix_path (idata, mx.mbox, mbox, sizeof (mbox));
 647
 648   memset (&sync_cmd, 0, sizeof (sync_cmd));
 649   memset (&cmd, 0, sizeof (cmd));
 650   mutt_buffer_addstr (&cmd, "UID COPY ");
 651
 652   /* Null HEADER* means copy tagged messages */
 653   if (!h) {
 654     /* if any messages have attachments to delete, fall through to FETCH
 655      * and APPEND. TODO: Copy what we can with COPY, fall through for the
 656      * remainder. */
 657     for (n = 0; n < ctx->msgcount; n++) {
 658       if (ctx->hdrs[n]->tagged && ctx->hdrs[n]->attach_del) {
 659         debug_print (3, ("Message contains attachments to be deleted\n"));
 660         return 1;
 661       }
 662
 663       if (ctx->hdrs[n]->tagged && ctx->hdrs[n]->active &&
 664           ctx->hdrs[n]->changed)
 665       {
 666         rc = imap_sync_message (idata, ctx->hdrs[n], &sync_cmd, &err_continue);
 667         if (rc < 0)
 668         {
 669           debug_print (1, ("could not sync\n"));
 670           goto fail;
 671         }
 672       }
 673     }
 674
 675     rc = imap_make_msg_set (idata, &cmd, M_TAG, 0);
 676     if (!rc) {
 677       debug_print (1, ("No messages tagged\n"));
 678       goto fail;
 679     }
 680     mutt_message (_("Copying %d messages to %s..."), rc, mbox);
 681   }
 682   else {
 683     mutt_message (_("Copying message %d to %s..."), h->index + 1, mbox);
 684     snprintf (uid, sizeof (uid), "%u", HEADER_DATA (h)->uid);
 685     mutt_buffer_addstr (&cmd, uid);
 686
 687     if (h->active && h->changed)
 688     {
 689       rc = imap_sync_message (idata, h, &sync_cmd, &err_continue);
 690       if (rc < 0)
 691       {
 692         debug_print (1, ("could not sync\n"));
 693         goto fail;
 694       }
 695     }
 696   }
 697
 698   /* let's get it on */
 699   mutt_buffer_addstr (&cmd, " ");
 700   imap_munge_mbox_name (mmbox, sizeof (mmbox), mbox);
 701   mutt_buffer_addstr (&cmd, mmbox);
 702
 703   rc = imap_exec (idata, cmd.data, IMAP_CMD_FAIL_OK);
 704   if (rc == -2) {
 705     /* bail out if command failed for reasons other than nonexistent target */
 706     if (ascii_strncasecmp
 707         (imap_get_qualifier (idata->cmd.buf), "[TRYCREATE]", 11)) {
 708       imap_error ("imap_copy_messages", idata->cmd.buf);
 709       goto fail;
 710     }
 711     debug_print (2, ("server suggests TRYCREATE\n"));
 712     snprintf (mmbox, sizeof (mmbox), _("Create %s?"), mbox);
 713     if (option (OPTCONFIRMCREATE) && mutt_yesorno (mmbox, 1) < 1) {
 714       mutt_clear_error ();
 715       goto fail;
 716     }
 717     if (imap_create_mailbox (idata, mbox) < 0)
 718       goto fail;
 719
 720     /* try again */
 721     rc = imap_exec (idata, cmd.data, 0);
 722   }
 723   if (rc != 0) {
 724     imap_error ("imap_copy_messages", idata->cmd.buf);
 725     goto fail;
 726   }
 727
 728   /* cleanup */
 729   if (delete) {
 730     if (!h)
 731       for (n = 0; n < ctx->msgcount; n++) {
 732         if (ctx->hdrs[n]->tagged) {
 733           mutt_set_flag (ctx, ctx->hdrs[n], M_DELETE, 1);
 734           mutt_set_flag (ctx, ctx->hdrs[n], M_APPENDED, 1);
 735           if (option (OPTDELETEUNTAG))
 736             mutt_set_flag (ctx, ctx->hdrs[n], M_TAG, 0);
 737         }
 738       }
 739     else {
 740       mutt_set_flag (ctx, h, M_DELETE, 1);
 741       mutt_set_flag (ctx, h, M_APPENDED, 1);
 742       if (option (OPTDELETEUNTAG))
 743         mutt_set_flag (ctx, h, M_TAG, 0);
 744     }
 745   }
 746
 747   if (cmd.data)
 748     FREE (&cmd.data);
 749   if (sync_cmd.data)
 750     FREE (&sync_cmd.data);
 751   FREE (&mx.mbox);
 752   return 0;
 753
 754 fail:
 755   if (cmd.data)
 756     FREE (&cmd.data);
 757   if (sync_cmd.data)
 758     FREE (&sync_cmd.data);
 759   FREE (&mx.mbox);
 760   return -1;
 761 }
 762
 763 /* imap_add_keywords: concatenate custom IMAP tags to list, if they
 764  *   appear in the folder flags list. Why wouldn't they? */
 765 void imap_add_keywords (char *s, HEADER * h, LIST * mailbox_flags,
 766                         size_t slen)
 767 {
 768   LIST *keywords;
 769
 770   if (!mailbox_flags || !HEADER_DATA (h) || !HEADER_DATA (h)->keywords)
 771     return;
 772
 773   keywords = HEADER_DATA (h)->keywords->next;
 774
 775   while (keywords) {
 776     if (msg_has_flag (mailbox_flags, keywords->data)) {
 777       safe_strcat (s, slen, keywords->data);
 778       safe_strcat (s, slen, " ");
 779     }
 780     keywords = keywords->next;
 781   }
 782 }
 783
 784 /* imap_free_header_data: free IMAP_HEADER structure */
 785 void imap_free_header_data (void **data)
 786 {
 787   /* this should be safe even if the list wasn't used */
 788   mutt_free_list (&(((IMAP_HEADER_DATA *) * data)->keywords));
 789
 790   FREE (data);
 791 }
 792
 793 /* imap_set_flags: fill out the message header according to the flags from
 794  *   the server. Expects a flags line of the form "FLAGS (flag flag ...)" */
 795 char *imap_set_flags (IMAP_DATA * idata, HEADER * h, char *s)
 796 {
 797   CONTEXT *ctx = idata->ctx;
 798   IMAP_HEADER newh;
 799   unsigned char readonly;
 800
 801   memset (&newh, 0, sizeof (newh));
 802   newh.data = safe_calloc (1, sizeof (IMAP_HEADER_DATA));
 803
 804   debug_print (2, ("parsing FLAGS\n"));
 805   if ((s = msg_parse_flags (&newh, s)) == NULL) {
 806     FREE (&newh.data);
 807     return NULL;
 808   }
 809
 810   /* YAUH (yet another ugly hack): temporarily set context to
 811    * read-write even if it's read-only, so *server* updates of
 812    * flags can be processed by mutt_set_flag. ctx->changed must
 813    * be restored afterwards */
 814   readonly = ctx->readonly;
 815   ctx->readonly = 0;
 816
 817   mutt_set_flag (ctx, h, M_NEW, !(newh.read || newh.old));
 818   mutt_set_flag (ctx, h, M_OLD, newh.old);
 819   mutt_set_flag (ctx, h, M_READ, newh.read);
 820   mutt_set_flag (ctx, h, M_DELETE, newh.deleted);
 821   mutt_set_flag (ctx, h, M_FLAG, newh.flagged);
 822   mutt_set_flag (ctx, h, M_REPLIED, newh.replied);
 823
 824   /* this message is now definitively *not* changed (mutt_set_flag
 825    * marks things changed as a side-effect) */
 826   h->changed = 0;
 827   ctx->changed &= ~readonly;
 828   ctx->readonly = readonly;
 829
 830   mutt_free_list (&(HEADER_DATA (h)->keywords));
 831   HEADER_DATA (h)->keywords = newh.data->keywords;
 832   FREE (&newh.data);
 833
 834   return s;
 835 }
 836
 837
 838 /* msg_fetch_header: import IMAP FETCH response into an IMAP_HEADER.
 839  *   Expects string beginning with * n FETCH.
 840  *   Returns:
 841  *      0 on success
 842  *     -1 if the string is not a fetch response
 843  *     -2 if the string is a corrupt fetch response */
 844 static int msg_fetch_header (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
 845                              FILE * fp)
 846 {
 847   IMAP_DATA *idata;
 848   long bytes;
 849   int rc = -1;                  /* default now is that string isn't FETCH response */
 850
 851   idata = (IMAP_DATA *) ctx->data;
 852
 853   if (buf[0] != '*')
 854     return rc;
 855
 856   /* skip to message number */
 857   buf = imap_next_word (buf);
 858   h->sid = atoi (buf);
 859
 860   /* find FETCH tag */
 861   buf = imap_next_word (buf);
 862   if (ascii_strncasecmp ("FETCH", buf, 5))
 863     return rc;
 864
 865   rc = -2;                      /* we've got a FETCH response, for better or worse */
 866   if (!(buf = strchr (buf, '(')))
 867     return rc;
 868   buf++;
 869
 870   /* FIXME: current implementation - call msg_parse_fetch - if it returns -2,
 871    *   read header lines and call it again. Silly. */
 872   if (msg_parse_fetch (h, buf) != -2)
 873     return rc;
 874
 875   if (imap_get_literal_count (buf, &bytes) == 0) {
 876     imap_read_literal (fp, idata, bytes);
 877
 878     /* we may have other fields of the FETCH _after_ the literal
 879      * (eg Domino puts FLAGS here). Nothing wrong with that, either.
 880      * This all has to go - we should accept literals and nonliterals
 881      * interchangeably at any time. */
 882     if (imap_cmd_step (idata) != IMAP_CMD_CONTINUE)
 883       return rc;
 884
 885     if (msg_parse_fetch (h, idata->cmd.buf) == -1)
 886       return rc;
 887   }
 888
 889   rc = 0;                       /* success */
 890
 891   /* subtract headers from message size - unfortunately only the subset of
 892    * headers we've requested. */
 893   h->content_length -= bytes;
 894
 895   return rc;
 896 }
 897
 898 #if USE_HCACHE
 899 static size_t imap_hcache_keylen (const char *fn)
 900 {
 901   return safe_strlen (fn);
 902 }
 903
 904 /* msg_fetch_header: import IMAP FETCH response into an IMAP_HEADER.
 905  *   Expects string beginning with * n FETCH.
 906  *   Returns:
 907  *      0 on success
 908  *     -1 if the string is not a fetch response
 909  *     -2 if the string is a corrupt fetch response */
 910 static int msg_fetch_header_fetch (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
 911                                    FILE * fp)
 912 {
 913   IMAP_DATA *idata;
 914   int rc = -1;                  /* default now is that string isn't FETCH response */
 915
 916   idata = (IMAP_DATA *) ctx->data;
 917
 918   if (buf[0] != '*')
 919     return rc;
 920
 921   /* skip to message number */
 922   buf = imap_next_word (buf);
 923   h->sid = atoi (buf);
 924
 925   /* find FETCH tag */
 926   buf = imap_next_word (buf);
 927   if (ascii_strncasecmp ("FETCH", buf, 5))
 928     return rc;
 929
 930   rc = -2;                      /* we've got a FETCH response, for better or worse */
 931   if (!(buf = strchr (buf, '(')))
 932     return rc;
 933   buf++;
 934
 935   if (msg_parse_fetch (h, buf) < 0) {
 936     return -2;
 937   }
 938
 939   if (!(buf = strchr (buf, ')')))
 940     return rc;
 941   buf++;
 942
 943   return 0;
 944 }
 945 #endif /* USE_HCACHE */
 946
 947
 948 /* msg_has_flag: do a caseless comparison of the flag against a flag list,
 949  *   return 1 if found or flag list has '\*', 0 otherwise */
 950 static int msg_has_flag (LIST * flag_list, const char *flag)
 951 {
 952   if (!flag_list)
 953     return 0;
 954
 955   flag_list = flag_list->next;
 956   while (flag_list) {
 957     if (!ascii_strncasecmp (flag_list->data, flag, safe_strlen (flag_list->data)))
 958       return 1;
 959
 960     flag_list = flag_list->next;
 961   }
 962
 963   return 0;
 964 }
 965
 966 /* msg_parse_fetch: handle headers returned from header fetch */
 967 static int msg_parse_fetch (IMAP_HEADER * h, char *s)
 968 {
 969   char tmp[SHORT_STRING];
 970   char *ptmp;
 971
 972   if (!s)
 973     return -1;
 974
 975   while (*s) {
 976     SKIPWS (s);
 977
 978     if (ascii_strncasecmp ("FLAGS", s, 5) == 0) {
 979       if ((s = msg_parse_flags (h, s)) == NULL)
 980         return -1;
 981     }
 982     else if (ascii_strncasecmp ("UID", s, 3) == 0) {
 983       s += 3;
 984       SKIPWS (s);
 985       h->data->uid = (unsigned int) atoi (s);
 986
 987       s = imap_next_word (s);
 988     }
 989     else if (ascii_strncasecmp ("INTERNALDATE", s, 12) == 0) {
 990       s += 12;
 991       SKIPWS (s);
 992       if (*s != '\"') {
 993         debug_print (1, ("bogus INTERNALDATE entry: %s\n", s));
 994         return -1;
 995       }
 996       s++;
 997       ptmp = tmp;
 998       while (*s && *s != '\"')
 999         *ptmp++ = *s++;
1000       if (*s != '\"')
1001         return -1;
1002       s++;                      /* skip past the trailing " */
1003       *ptmp = 0;
1004       h->received = imap_parse_date (tmp);
1005     }
1006     else if (ascii_strncasecmp ("RFC822.SIZE", s, 11) == 0) {
1007       s += 11;
1008       SKIPWS (s);
1009       ptmp = tmp;
1010       while (isdigit ((unsigned char) *s))
1011         *ptmp++ = *s++;
1012       *ptmp = 0;
1013       h->content_length = atoi (tmp);
1014     }
1015     else if (!ascii_strncasecmp ("BODY", s, 4) ||
1016              !ascii_strncasecmp ("RFC822.HEADER", s, 13)) {
1017       /* handle above, in msg_fetch_header */
1018       return -2;
1019     }
1020     else if (*s == ')')
1021       s++;                      /* end of request */
1022     else if (*s) {
1023       /* got something i don't understand */
1024       imap_error ("msg_parse_fetch", s);
1025       return -1;
1026     }
1027   }
1028
1029   return 0;
1030 }
1031
1032 /* msg_parse_flags: read a FLAGS token into an IMAP_HEADER */
1033 static char *msg_parse_flags (IMAP_HEADER * h, char *s)
1034 {
1035   int recent = 0;
1036
1037   /* sanity-check string */
1038   if (ascii_strncasecmp ("FLAGS", s, 5) != 0) {
1039     debug_print (1, ("not a FLAGS response: %s\n", s));
1040     return NULL;
1041   }
1042   s += 5;
1043   SKIPWS (s);
1044   if (*s != '(') {
1045     debug_print (1, ("bogus FLAGS response: %s\n", s));
1046     return NULL;
1047   }
1048   s++;
1049
1050   /* start parsing */
1051   while (*s && *s != ')') {
1052     if (ascii_strncasecmp ("\\deleted", s, 8) == 0) {
1053       s += 8;
1054       h->deleted = 1;
1055     }
1056     else if (ascii_strncasecmp ("\\flagged", s, 8) == 0) {
1057       s += 8;
1058       h->flagged = 1;
1059     }
1060     else if (ascii_strncasecmp ("\\answered", s, 9) == 0) {
1061       s += 9;
1062       h->replied = 1;
1063     }
1064     else if (ascii_strncasecmp ("\\seen", s, 5) == 0) {
1065       s += 5;
1066       h->read = 1;
1067     }
1068     else if (ascii_strncasecmp ("\\recent", s, 5) == 0) {
1069       s += 7;
1070       recent = 1;
1071     }
1072     else {
1073       /* store custom flags as well */
1074       char ctmp;
1075       char *flag_word = s;
1076
1077       if (!h->data->keywords)
1078         h->data->keywords = mutt_new_list ();
1079
1080       while (*s && !ISSPACE (*s) && *s != ')')
1081         s++;
1082       ctmp = *s;
1083       *s = '\0';
1084       mutt_add_list (h->data->keywords, flag_word);
1085       *s = ctmp;
1086     }
1087     SKIPWS (s);
1088   }
1089
1090   /* wrap up, or note bad flags response */
1091   if (*s == ')') {
1092     /* if a message is neither seen nor recent, it is OLD. */
1093     if (option (OPTMARKOLD) && !recent && !(h->read))
1094       h->old = 1;
1095     s++;
1096   }
1097   else {
1098     debug_print (1, ("Unterminated FLAGS response: %s\n", s));
1099     return NULL;
1100   }
1101
1102   return s;
1103 }
1104
1105 static void flush_buffer (char *buf, size_t * len, CONNECTION * conn)
1106 {
1107   buf[*len] = '\0';
1108   mutt_socket_write (conn, buf);
1109   *len = 0;
1110 }