imap/message.c

   1 /*
   2  * Copyright (C) 1996-9 Brandon Long <blong@fiction.net>
   3  * Copyright (C) 1999-2002 Brendan Cully <brendan@kublai.com>
   4  *
   5  *     This program is free software; you can redistribute it and/or modify
   6  *     it under the terms of the GNU General Public License as published by
   7  *     the Free Software Foundation; either version 2 of the License, or
   8  *     (at your option) any later version.
   9  *
  10  *     This program is distributed in the hope that it will be useful,
  11  *     but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  *     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  *     GNU General Public License for more details.
  14  *
  15  *     You should have received a copy of the GNU General Public License
  16  *     along with this program; if not, write to the Free Software
  17  *     Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
  18  */
  19
  20 /* message parsing/updating functions */
  21
  22 #if HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 #include <stdlib.h>
  27 #include <ctype.h>
  28
  29 #include "mutt.h"
  30 #include "mutt_curses.h"
  31 #include "imap_private.h"
  32 #include "message.h"
  33 #include "mx.h"
  34
  35 #ifdef HAVE_PGP
  36 #include "pgp.h"
  37 #endif
  38
  39 #if HAVE_STDINT_H
  40 #include <stdint.h>
  41 #elif HAVE_INTTYPES_H
  42 #include <inttypes.h>
  43 #endif
  44
  45 static void flush_buffer(char* buf, size_t* len, CONNECTION* conn);
  46 static int msg_fetch_header (CONTEXT* ctx, IMAP_HEADER* h, char* buf,
  47   FILE* fp);
  48 static int msg_has_flag (LIST* flag_list, const char* flag);
  49 static int msg_parse_fetch (IMAP_HEADER* h, char* s);
  50 static char* msg_parse_flags (IMAP_HEADER* h, char* s);
  51
  52 #if USE_HCACHE
  53 static int msg_fetch_header_fetch (CONTEXT* ctx, IMAP_HEADER* h, char* buf,
  54   FILE* fp);
  55 static size_t imap_hcache_keylen (const char *fn);
  56 #endif /* USE_HCACHE */
  57
  58 /* imap_read_headers:
  59  * Changed to read many headers instead of just one. It will return the
  60  * msgno of the last message read. It will return a value other than
  61  * msgend if mail comes in while downloading headers (in theory).
  62  */
  63 int imap_read_headers (IMAP_DATA* idata, int msgbegin, int msgend)
  64 {
  65   CONTEXT* ctx;
  66   char buf[LONG_STRING];
  67   char hdrreq[STRING];
  68   FILE *fp;
  69   char tempfile[_POSIX_PATH_MAX];
  70   int msgno;
  71   IMAP_HEADER h;
  72   int rc, mfhrc, oldmsgcount;
  73   int fetchlast = 0;
  74   const char *want_headers = "DATE FROM SUBJECT TO CC MESSAGE-ID REFERENCES CONTENT-TYPE CONTENT-DESCRIPTION IN-REPLY-TO REPLY-TO LINES LIST-POST X-LABEL";
  75
  76 #if USE_HCACHE
  77   void *hc   = NULL;
  78   uint64_t *uid_validity = NULL;
  79   char uid_buf[64];
  80 #endif /* USE_HCACHE */
  81
  82   ctx = idata->ctx;
  83
  84 #if USE_HCACHE
  85   hc = mutt_hcache_open (HeaderCache, ctx->path);
  86 #endif /* USE_HCACHE */
  87
  88   if (mutt_bit_isset (idata->capabilities,IMAP4REV1))
  89   {
  90     snprintf (hdrreq, sizeof (hdrreq), "BODY.PEEK[HEADER.FIELDS (%s%s%s)]",
  91               want_headers, ImapHeaders ? " " : "", ImapHeaders ? ImapHeaders : "");
  92   }
  93   else if (mutt_bit_isset (idata->capabilities,IMAP4))
  94   {
  95     snprintf (hdrreq, sizeof (hdrreq), "RFC822.HEADER.LINES (%s%s%s)",
  96       want_headers, ImapHeaders ? " " : "", ImapHeaders ? ImapHeaders : "");
  97   }
  98   else
  99   {     /* Unable to fetch headers for lower versions */
 100     mutt_error _("Unable to fetch headers from this IMAP server version.");
 101     mutt_sleep (2);     /* pause a moment to let the user see the error */
 102 #if USE_HCACHE
 103     mutt_hcache_close (hc);
 104 #endif /* USE_HCACHE */
 105     return -1;
 106   }
 107
 108   /* instead of downloading all headers and then parsing them, we parse them
 109    * as they come in. */
 110   mutt_mktemp (tempfile);
 111   if (!(fp = safe_fopen (tempfile, "w+")))
 112   {
 113     mutt_error (_("Could not create temporary file %s"), tempfile);
 114     mutt_sleep (2);
 115 #if USE_HCACHE
 116     mutt_hcache_close (hc);
 117 #endif /* USE_HCACHE */
 118     return -1;
 119   }
 120   unlink (tempfile);
 121
 122   /* make sure context has room to hold the mailbox */
 123   while ((msgend) >= idata->ctx->hdrmax)
 124     mx_alloc_memory (idata->ctx);
 125
 126   oldmsgcount = ctx->msgcount;
 127   idata->reopen &= ~IMAP_NEWMAIL_PENDING;
 128   idata->newMailCount = 0;
 129
 130 #if USE_HCACHE
 131   snprintf (buf, sizeof (buf),
 132     "FETCH %d:%d (UID FLAGS)", msgbegin + 1, msgend + 1);
 133   fetchlast = msgend + 1;
 134
 135   imap_cmd_start (idata, buf);
 136
 137   for (msgno = msgbegin; msgno <= msgend ; msgno++)
 138   {
 139     if (ReadInc && (!msgno || ((msgno+1) % ReadInc == 0)))
 140       mutt_message (_("Evaluating cache... [%d/%d]"), msgno + 1,
 141         msgend + 1);
 142
 143     rewind (fp);
 144     memset (&h, 0, sizeof (h));
 145     h.data = safe_calloc (1, sizeof (IMAP_HEADER_DATA));
 146     do
 147     {
 148       mfhrc = 0;
 149
 150       rc = imap_cmd_step (idata);
 151       if (rc != IMAP_CMD_CONTINUE)
 152         break;
 153
 154       if ((mfhrc = msg_fetch_header_fetch (idata->ctx, &h, idata->cmd.buf, fp)) == -1)
 155         continue;
 156       else if (mfhrc < 0)
 157         break;
 158
 159       /* make sure we don't get remnants from older larger message headers */
 160       fputs ("\n\n", fp);
 161
 162       sprintf(uid_buf, "/%u", h.data->uid); /* XXX --tg 21:41 04-07-11 */
 163       uid_validity = (uint64_t *) mutt_hcache_fetch (hc, uid_buf, &imap_hcache_keylen);
 164
 165       if (uid_validity != NULL
 166       && *uid_validity == idata->uid_validity) {
 167               ctx->hdrs[msgno] = mutt_hcache_restore((unsigned char *) uid_validity, 0);
 168               ctx->hdrs[msgno]->index = h.sid - 1;
 169               if (h.sid != ctx->msgcount + 1)
 170                       dprint (1, (debugfile, "imap_read_headers: msgcount and sequence ID are inconsistent!"));
 171               /* messages which have not been expunged are ACTIVE (borrowed from mh
 172                * folders) */
 173               ctx->hdrs[msgno]->active = 1;
 174               ctx->hdrs[msgno]->read = h.read;
 175               ctx->hdrs[msgno]->old = h.old;
 176               ctx->hdrs[msgno]->deleted = h.deleted;
 177               ctx->hdrs[msgno]->flagged = h.flagged;
 178               ctx->hdrs[msgno]->replied = h.replied;
 179               ctx->hdrs[msgno]->changed = h.changed;
 180               /*  ctx->hdrs[msgno]->received is restored from mutt_hcache_restore */
 181               ctx->hdrs[msgno]->data = (void *) (h.data);
 182
 183               ctx->msgcount++;
 184       }
 185       rewind (fp);
 186
 187       FREE(&uid_validity);
 188
 189     }
 190     while ((rc != IMAP_CMD_OK) && ((mfhrc == -1) ||
 191       ((msgno + 1) >= fetchlast)));
 192
 193     if ((mfhrc < -1) || ((rc != IMAP_CMD_CONTINUE) && (rc != IMAP_CMD_OK)))
 194     {
 195       imap_free_header_data ((void**) &h.data);
 196       fclose (fp);
 197   mutt_hcache_close (hc);
 198       return -1;
 199     }
 200   }
 201
 202   fetchlast = msgbegin;
 203 #endif /* USE_HCACHE */
 204
 205   for (msgno = msgbegin; msgno <= msgend ; msgno++)
 206   {
 207     if (ReadInc && (!msgno || ((msgno+1) % ReadInc == 0)))
 208       mutt_message (_("Fetching message headers... [%d/%d]"), msgno + 1,
 209         msgend + 1);
 210
 211     if (ctx->hdrs[msgno])
 212       continue;
 213
 214     if (msgno + 1 > fetchlast)
 215     {
 216       fetchlast = msgno + 1;
 217       while((fetchlast <= msgend) && (! ctx->hdrs[fetchlast]))
 218         fetchlast++;
 219
 220       /*
 221        * Make one request for everything. This makes fetching headers an
 222        * order of magnitude faster if you have a large mailbox.
 223        *
 224        * If we get more messages while doing this, we make another
 225        * request for all the new messages.
 226        */
 227       snprintf (buf, sizeof (buf),
 228         "FETCH %d:%d (UID FLAGS INTERNALDATE RFC822.SIZE %s)", msgno + 1,
 229         fetchlast, hdrreq);
 230
 231       imap_cmd_start (idata, buf);
 232     }
 233
 234     /* freshen fp, h */
 235     rewind (fp);
 236     memset (&h, 0, sizeof (h));
 237     h.data = safe_calloc (1, sizeof (IMAP_HEADER_DATA));
 238
 239     /* this DO loop does two things:
 240      * 1. handles untagged messages, so we can try again on the same msg
 241      * 2. fetches the tagged response at the end of the last message.
 242      */
 243     do
 244     {
 245       mfhrc = 0;
 246
 247       rc = imap_cmd_step (idata);
 248       if (rc != IMAP_CMD_CONTINUE)
 249         break;
 250
 251       if ((mfhrc = msg_fetch_header (idata->ctx, &h, idata->cmd.buf, fp)) == -1)
 252         continue;
 253       else if (mfhrc < 0)
 254         break;
 255
 256       /* make sure we don't get remnants from older larger message headers */
 257       fputs ("\n\n", fp);
 258
 259       /* update context with message header */
 260       ctx->hdrs[msgno] = mutt_new_header ();
 261
 262       ctx->hdrs[msgno]->index = h.sid - 1;
 263       if (h.sid != ctx->msgcount + 1)
 264         dprint (1, (debugfile, "imap_read_headers: msgcount and sequence ID are inconsistent!"));
 265       /* messages which have not been expunged are ACTIVE (borrowed from mh
 266        * folders) */
 267       ctx->hdrs[msgno]->active = 1;
 268       ctx->hdrs[msgno]->read = h.read;
 269       ctx->hdrs[msgno]->old = h.old;
 270       ctx->hdrs[msgno]->deleted = h.deleted;
 271       ctx->hdrs[msgno]->flagged = h.flagged;
 272       ctx->hdrs[msgno]->replied = h.replied;
 273       ctx->hdrs[msgno]->changed = h.changed;
 274       ctx->hdrs[msgno]->received = h.received;
 275       ctx->hdrs[msgno]->data = (void *) (h.data);
 276
 277       rewind (fp);
 278       /* NOTE: if Date: header is missing, mutt_read_rfc822_header depends
 279        *   on h.received being set */
 280       ctx->hdrs[msgno]->env = mutt_read_rfc822_header (fp, ctx->hdrs[msgno],
 281         0, 0);
 282       /* content built as a side-effect of mutt_read_rfc822_header */
 283       ctx->hdrs[msgno]->content->length = h.content_length;
 284
 285 #if USE_HCACHE
 286       sprintf(uid_buf, "/%u", h.data->uid);
 287       mutt_hcache_store(hc, uid_buf, ctx->hdrs[msgno], idata->uid_validity, &imap_hcache_keylen);
 288 #endif /* USE_HCACHE */
 289
 290       ctx->msgcount++;
 291     }
 292     while ((rc != IMAP_CMD_OK) && ((mfhrc == -1) ||
 293       ((msgno + 1) >= fetchlast)));
 294
 295     if ((mfhrc < -1) || ((rc != IMAP_CMD_CONTINUE) && (rc != IMAP_CMD_OK)))
 296     {
 297       imap_free_header_data ((void**) &h.data);
 298       fclose (fp);
 299 #if USE_HCACHE
 300   mutt_hcache_close (hc);
 301 #endif /* USE_HCACHE */
 302       return -1;
 303     }
 304
 305     /* in case we get new mail while fetching the headers */
 306     if (idata->reopen & IMAP_NEWMAIL_PENDING)
 307     {
 308       msgend = idata->newMailCount - 1;
 309       while ((msgend) >= ctx->hdrmax)
 310         mx_alloc_memory (ctx);
 311       idata->reopen &= ~IMAP_NEWMAIL_PENDING;
 312       idata->newMailCount = 0;
 313     }
 314   }
 315
 316 #if USE_HCACHE
 317   mutt_hcache_close (hc);
 318 #endif /* USE_HCACHE */
 319
 320   fclose(fp);
 321
 322   if (ctx->msgcount > oldmsgcount)
 323     mx_update_context (ctx, ctx->msgcount - oldmsgcount);
 324
 325   return msgend;
 326 }
 327
 328 int imap_fetch_message (MESSAGE *msg, CONTEXT *ctx, int msgno)
 329 {
 330   IMAP_DATA* idata;
 331   HEADER* h;
 332   char buf[LONG_STRING];
 333   char path[_POSIX_PATH_MAX];
 334   char *pc;
 335   long bytes;
 336   int uid;
 337   int cacheno;
 338   IMAP_CACHE *cache;
 339   int read;
 340   int rc;
 341   /* Sam's weird courier server returns an OK response even when FETCH
 342    * fails. Thanks Sam. */
 343   short fetched = 0;
 344
 345   idata = (IMAP_DATA*) ctx->data;
 346   h = ctx->hdrs[msgno];
 347
 348   /* see if we already have the message in our cache */
 349   cacheno = HEADER_DATA(h)->uid % IMAP_CACHE_LEN;
 350   cache = &idata->cache[cacheno];
 351
 352   if (cache->path)
 353   {
 354     if (cache->uid == HEADER_DATA(h)->uid)
 355     {
 356       /* yes, so just return a pointer to the message */
 357       if (!(msg->fp = fopen (cache->path, "r")))
 358       {
 359         mutt_perror (cache->path);
 360         return (-1);
 361       }
 362       return 0;
 363     }
 364     else
 365     {
 366       /* clear the previous entry */
 367       unlink (cache->path);
 368       FREE (&cache->path);
 369     }
 370   }
 371
 372   if (!isendwin())
 373     mutt_message _("Fetching message...");
 374
 375   cache->uid = HEADER_DATA(h)->uid;
 376   mutt_mktemp (path);
 377   cache->path = safe_strdup (path);
 378   if (!(msg->fp = safe_fopen (path, "w+")))
 379   {
 380     FREE (&cache->path);
 381     return -1;
 382   }
 383
 384   /* mark this header as currently inactive so the command handler won't
 385    * also try to update it. HACK until all this code can be moved into the
 386    * command handler */
 387   h->active = 0;
 388
 389   snprintf (buf, sizeof (buf), "UID FETCH %u %s", HEADER_DATA(h)->uid,
 390             (mutt_bit_isset (idata->capabilities, IMAP4REV1) ?
 391              (option (OPTIMAPPEEK) ? "BODY.PEEK[]" : "BODY[]") :
 392              "RFC822"));
 393
 394   imap_cmd_start (idata, buf);
 395   do
 396   {
 397     if ((rc = imap_cmd_step (idata)) != IMAP_CMD_CONTINUE)
 398       break;
 399
 400     pc = idata->cmd.buf;
 401     pc = imap_next_word (pc);
 402     pc = imap_next_word (pc);
 403
 404     if (!ascii_strncasecmp ("FETCH", pc, 5))
 405     {
 406       while (*pc)
 407       {
 408         pc = imap_next_word (pc);
 409         if (pc[0] == '(')
 410           pc++;
 411         if (ascii_strncasecmp ("UID", pc, 3) == 0)
 412         {
 413           pc = imap_next_word (pc);
 414           uid = atoi (pc);
 415           if (uid != HEADER_DATA(h)->uid)
 416             mutt_error (_("The message index is incorrect. Try reopening the mailbox."));
 417         }
 418         else if ((ascii_strncasecmp ("RFC822", pc, 6) == 0) ||
 419                  (ascii_strncasecmp ("BODY[]", pc, 6) == 0))
 420         {
 421           pc = imap_next_word (pc);
 422           if (imap_get_literal_count(pc, &bytes) < 0)
 423           {
 424             imap_error ("imap_fetch_message()", buf);
 425             goto bail;
 426           }
 427           if (imap_read_literal (msg->fp, idata, bytes) < 0)
 428             goto bail;
 429           /* pick up trailing line */
 430           if ((rc = imap_cmd_step (idata)) != IMAP_CMD_CONTINUE)
 431             goto bail;
 432           pc = idata->cmd.buf;
 433
 434           fetched = 1;
 435         }
 436         /* UW-IMAP will provide a FLAGS update here if the FETCH causes a
 437          * change (eg from \Unseen to \Seen).
 438          * Uncommitted changes in mutt take precedence. If we decide to
 439          * incrementally update flags later, this won't stop us syncing */
 440         else if ((ascii_strncasecmp ("FLAGS", pc, 5) == 0) && !h->changed)
 441         {
 442           if ((pc = imap_set_flags (idata, h, pc)) == NULL)
 443             goto bail;
 444         }
 445       }
 446     }
 447   }
 448   while (rc == IMAP_CMD_CONTINUE);
 449
 450   /* see comment before command start. */
 451   h->active = 1;
 452
 453   if (rc != IMAP_CMD_OK)
 454     goto bail;
 455
 456   if (!fetched || !imap_code (idata->cmd.buf))
 457     goto bail;
 458
 459   /* Update the header information.  Previously, we only downloaded a
 460    * portion of the headers, those required for the main display.
 461    */
 462   rewind (msg->fp);
 463   /* It may be that the Status header indicates a message is read, but the
 464    * IMAP server doesn't know the message has been \Seen. So we capture
 465    * the server's notion of 'read' and if it differs from the message info
 466    * picked up in mutt_read_rfc822_header, we mark the message (and context
 467    * changed). Another possiblity: ignore Status on IMAP?*/
 468   read = h->read;
 469   /* I hate do this here, since it's so low-level, but I'm not sure where
 470    * I can abstract it. Problem: the id and subj hashes lose their keys when
 471    * mutt_free_envelope gets called, but keep their spots in the hash. This
 472    * confuses threading. Alternatively we could try to merge the new
 473    * envelope into the old one. Also messy and lowlevel. */
 474   if (ctx->id_hash && h->env->message_id)
 475     hash_delete (ctx->id_hash, h->env->message_id, h, NULL);
 476   if (ctx->subj_hash && h->env->real_subj)
 477     hash_delete (ctx->subj_hash, h->env->real_subj, h, NULL);
 478   mutt_free_envelope (&h->env);
 479   h->env = mutt_read_rfc822_header (msg->fp, h, 0, 0);
 480   if (ctx->id_hash && h->env->message_id)
 481     hash_insert (ctx->id_hash, h->env->message_id, h, 0);
 482   if (ctx->subj_hash && h->env->real_subj)
 483     hash_insert (ctx->subj_hash, h->env->real_subj, h, 1);
 484
 485   /* see above. We want the new status in h->read, so we unset it manually
 486    * and let mutt_set_flag set it correctly, updating context. */
 487   if (read != h->read)
 488   {
 489     h->read = read;
 490     mutt_set_flag (ctx, h, M_NEW, read);
 491   }
 492
 493   h->lines = 0;
 494   fgets (buf, sizeof (buf), msg->fp);
 495   while (!feof (msg->fp))
 496   {
 497     h->lines++;
 498     fgets (buf, sizeof (buf), msg->fp);
 499   }
 500
 501   h->content->length = ftell (msg->fp) - h->content->offset;
 502
 503   /* This needs to be done in case this is a multipart message */
 504 #if defined(HAVE_PGP) || defined(HAVE_SMIME)
 505   h->security = crypt_query (h->content);
 506 #endif
 507
 508   mutt_clear_error();
 509   rewind (msg->fp);
 510
 511   return 0;
 512
 513 bail:
 514   safe_fclose (&msg->fp);
 515   if (cache->path)
 516   {
 517     unlink (cache->path);
 518     FREE (&cache->path);
 519   }
 520
 521   return -1;
 522 }
 523
 524 int imap_append_message (CONTEXT *ctx, MESSAGE *msg)
 525 {
 526   IMAP_DATA* idata;
 527   FILE *fp;
 528   char buf[LONG_STRING];
 529   char mbox[LONG_STRING];
 530   char mailbox[LONG_STRING];
 531   size_t len;
 532   int c, last;
 533   IMAP_MBOX mx;
 534   int rc;
 535
 536   idata = (IMAP_DATA*) ctx->data;
 537
 538   if (imap_parse_path (ctx->path, &mx))
 539     return -1;
 540
 541   imap_fix_path (idata, mx.mbox, mailbox, sizeof (mailbox));
 542
 543   if ((fp = fopen (msg->path, "r")) == NULL)
 544   {
 545     mutt_perror (msg->path);
 546     goto fail;
 547   }
 548
 549   /* currently we set the \Seen flag on all messages, but probably we
 550    * should scan the message Status header for flag info. Since we're
 551    * already rereading the whole file for length it isn't any more
 552    * expensive (it'd be nice if we had the file size passed in already
 553    * by the code that writes the file, but that's a lot of changes.
 554    * Ideally we'd have a HEADER structure with flag info here... */
 555   for (last = EOF, len = 0; (c = fgetc(fp)) != EOF; last = c)
 556   {
 557     if(c == '\n' && last != '\r')
 558       len++;
 559
 560     len++;
 561   }
 562   rewind (fp);
 563
 564   imap_munge_mbox_name (mbox, sizeof (mbox), mailbox);
 565   snprintf (buf, sizeof (buf), "APPEND %s (%s%s%s%s%s) {%lu}", mbox,
 566             msg->flags.read    ? "\\Seen"      : "",
 567             msg->flags.read && (msg->flags.replied || msg->flags.flagged) ? " " : "",
 568             msg->flags.replied ? "\\Answered" : "",
 569             msg->flags.replied && msg->flags.flagged ? " " : "",
 570             msg->flags.flagged ? "\\Flagged"  : "",
 571             (unsigned long) len);
 572
 573   imap_cmd_start (idata, buf);
 574
 575   do
 576     rc = imap_cmd_step (idata);
 577   while (rc == IMAP_CMD_CONTINUE);
 578
 579   if (rc != IMAP_CMD_RESPOND)
 580   {
 581     char *pc;
 582
 583     dprint (1, (debugfile, "imap_append_message(): command failed: %s\n",
 584                 idata->cmd.buf));
 585
 586     pc = idata->cmd.buf + SEQLEN;
 587     SKIPWS (pc);
 588     pc = imap_next_word (pc);
 589     mutt_error ("%s", pc);
 590     mutt_sleep (1);
 591     fclose (fp);
 592     goto fail;
 593   }
 594
 595   mutt_message _("Uploading message ...");
 596
 597   for (last = EOF, len = 0; (c = fgetc(fp)) != EOF; last = c)
 598   {
 599     if (c == '\n' && last != '\r')
 600       buf[len++] = '\r';
 601
 602     buf[len++] = c;
 603
 604     if (len > sizeof(buf) - 3)
 605       flush_buffer(buf, &len, idata->conn);
 606   }
 607
 608   if (len)
 609     flush_buffer(buf, &len, idata->conn);
 610
 611   mutt_socket_write (idata->conn, "\r\n");
 612   fclose (fp);
 613
 614   do
 615     rc = imap_cmd_step (idata);
 616   while (rc == IMAP_CMD_CONTINUE);
 617
 618   if (!imap_code (idata->cmd.buf))
 619   {
 620     char *pc;
 621
 622     dprint (1, (debugfile, "imap_append_message(): command failed: %s\n",
 623                 idata->cmd.buf));
 624     pc = idata->cmd.buf + SEQLEN;
 625     SKIPWS (pc);
 626     pc = imap_next_word (pc);
 627     mutt_error ("%s", pc);
 628     mutt_sleep (1);
 629     goto fail;
 630   }
 631
 632   FREE (&mx.mbox);
 633   return 0;
 634
 635  fail:
 636   FREE (&mx.mbox);
 637   return -1;
 638 }
 639
 640 /* imap_copy_messages: use server COPY command to copy messages to another
 641  *   folder.
 642  *   Return codes:
 643  *      -1: error
 644  *       0: success
 645  *       1: non-fatal error - try fetch/append */
 646 int imap_copy_messages (CONTEXT* ctx, HEADER* h, char* dest, int delete)
 647 {
 648   IMAP_DATA* idata;
 649   BUFFER cmd;
 650   char uid[11];
 651   char mbox[LONG_STRING];
 652   char mmbox[LONG_STRING];
 653   int rc;
 654   int n;
 655   IMAP_MBOX mx;
 656
 657   idata = (IMAP_DATA*) ctx->data;
 658
 659   if (imap_parse_path (dest, &mx))
 660   {
 661     dprint (1, (debugfile, "imap_copy_messages: bad destination %s\n", dest));
 662     return -1;
 663   }
 664
 665   /* check that the save-to folder is in the same account */
 666   if (!mutt_account_match (&(CTX_DATA->conn->account), &(mx.account)))
 667   {
 668     dprint (3, (debugfile, "imap_copy_messages: %s not same server as %s\n",
 669       dest, ctx->path));
 670     return 1;
 671   }
 672
 673   if (h && h->attach_del)
 674   {
 675     dprint (3, (debugfile, "imap_copy_messages: Message contains attachments to be deleted\n"));
 676     return 1;
 677   }
 678
 679   imap_fix_path (idata, mx.mbox, mbox, sizeof (mbox));
 680
 681   memset (&cmd, 0, sizeof (cmd));
 682   mutt_buffer_addstr (&cmd, "UID COPY ");
 683
 684   /* Null HEADER* means copy tagged messages */
 685   if (!h)
 686   {
 687     /* if any messages have attachments to delete, fall through to FETCH
 688      * and APPEND. TODO: Copy what we can with COPY, fall through for the
 689      * remainder. */
 690     for (n = 0; n < ctx->msgcount; n++)
 691     {
 692       if (ctx->hdrs[n]->tagged && ctx->hdrs[n]->attach_del)
 693       {
 694         dprint (3, (debugfile, "imap_copy_messages: Message contains attachments to be deleted\n"));
 695         return 1;
 696       }
 697     }
 698
 699     rc = imap_make_msg_set (idata, &cmd, M_TAG, 0);
 700     if (!rc)
 701     {
 702       dprint (1, (debugfile, "imap_copy_messages: No messages tagged\n"));
 703       goto fail;
 704     }
 705     mutt_message (_("Copying %d messages to %s..."), rc, mbox);
 706   }
 707   else
 708   {
 709     mutt_message (_("Copying message %d to %s..."), h->index+1, mbox);
 710     snprintf (uid, sizeof (uid), "%u", HEADER_DATA (h)->uid);
 711     mutt_buffer_addstr (&cmd, uid);
 712   }
 713
 714   /* let's get it on */
 715   mutt_buffer_addstr (&cmd, " ");
 716   imap_munge_mbox_name (mmbox, sizeof (mmbox), mbox);
 717   mutt_buffer_addstr (&cmd, mmbox);
 718
 719   rc = imap_exec (idata, cmd.data, IMAP_CMD_FAIL_OK);
 720   if (rc == -2)
 721   {
 722     /* bail out if command failed for reasons other than nonexistent target */
 723     if (ascii_strncasecmp (imap_get_qualifier (idata->cmd.buf), "[TRYCREATE]", 11))
 724     {
 725       imap_error ("imap_copy_messages", idata->cmd.buf);
 726       goto fail;
 727     }
 728     dprint (2, (debugfile, "imap_copy_messages: server suggests TRYCREATE\n"));
 729     snprintf (mmbox, sizeof (mmbox), _("Create %s?"), mbox);
 730     if (option (OPTCONFIRMCREATE) && mutt_yesorno (mmbox, 1) < 1)
 731     {
 732       mutt_clear_error ();
 733       goto fail;
 734     }
 735     if (imap_create_mailbox (idata, mbox) < 0)
 736       goto fail;
 737
 738     /* try again */
 739     rc = imap_exec (idata, cmd.data, 0);
 740   }
 741   if (rc != 0)
 742   {
 743     imap_error ("imap_copy_messages", idata->cmd.buf);
 744     goto fail;
 745   }
 746
 747   /* cleanup */
 748   if (delete)
 749   {
 750     if (!h)
 751       for (n = 0; n < ctx->msgcount; n++)
 752       {
 753         if (ctx->hdrs[n]->tagged)
 754         {
 755           mutt_set_flag (ctx, ctx->hdrs[n], M_DELETE, 1);
 756           mutt_set_flag (ctx, ctx->hdrs[n], M_APPENDED, 1);
 757           if (option (OPTDELETEUNTAG))
 758             mutt_set_flag (ctx, ctx->hdrs[n], M_TAG, 0);
 759         }
 760       }
 761     else
 762     {
 763       mutt_set_flag (ctx, h, M_DELETE, 1);
 764       mutt_set_flag (ctx, h, M_APPENDED, 1);
 765       if (option (OPTDELETEUNTAG))
 766         mutt_set_flag (ctx, h, M_TAG, 0);
 767     }
 768   }
 769
 770   if (cmd.data)
 771     FREE (&cmd.data);
 772   FREE (&mx.mbox);
 773   return 0;
 774
 775  fail:
 776   if (cmd.data)
 777     FREE (&cmd.data);
 778   FREE (&mx.mbox);
 779   return -1;
 780 }
 781
 782 /* imap_add_keywords: concatenate custom IMAP tags to list, if they
 783  *   appear in the folder flags list. Why wouldn't they? */
 784 void imap_add_keywords (char* s, HEADER* h, LIST* mailbox_flags, size_t slen)
 785 {
 786   LIST *keywords;
 787
 788   if (!mailbox_flags || !HEADER_DATA(h) || !HEADER_DATA(h)->keywords)
 789     return;
 790
 791   keywords = HEADER_DATA(h)->keywords->next;
 792
 793   while (keywords)
 794   {
 795     if (msg_has_flag (mailbox_flags, keywords->data))
 796     {
 797       safe_strcat (s, slen, keywords->data);
 798       safe_strcat (s, slen, " ");
 799     }
 800     keywords = keywords->next;
 801   }
 802 }
 803
 804 /* imap_free_header_data: free IMAP_HEADER structure */
 805 void imap_free_header_data (void** data)
 806 {
 807   /* this should be safe even if the list wasn't used */
 808   mutt_free_list (&(((IMAP_HEADER_DATA*) *data)->keywords));
 809
 810   FREE (data);
 811 }
 812
 813 /* imap_set_flags: fill out the message header according to the flags from
 814  *   the server. Expects a flags line of the form "FLAGS (flag flag ...)" */
 815 char* imap_set_flags (IMAP_DATA* idata, HEADER* h, char* s)
 816 {
 817   CONTEXT* ctx = idata->ctx;
 818   IMAP_HEADER newh;
 819   unsigned char readonly;
 820
 821   memset (&newh, 0, sizeof (newh));
 822   newh.data = safe_calloc (1, sizeof (IMAP_HEADER_DATA));
 823
 824   dprint (2, (debugfile, "imap_fetch_message: parsing FLAGS\n"));
 825   if ((s = msg_parse_flags (&newh, s)) == NULL)
 826   {
 827     FREE (&newh.data);
 828     return NULL;
 829   }
 830
 831   /* YAUH (yet another ugly hack): temporarily set context to
 832    * read-write even if it's read-only, so *server* updates of
 833    * flags can be processed by mutt_set_flag. ctx->changed must
 834    * be restored afterwards */
 835   readonly = ctx->readonly;
 836   ctx->readonly = 0;
 837
 838   mutt_set_flag (ctx, h, M_NEW, !(newh.read || newh.old));
 839   mutt_set_flag (ctx, h, M_OLD, newh.old);
 840   mutt_set_flag (ctx, h, M_READ, newh.read);
 841   mutt_set_flag (ctx, h, M_DELETE, newh.deleted);
 842   mutt_set_flag (ctx, h, M_FLAG, newh.flagged);
 843   mutt_set_flag (ctx, h, M_REPLIED, newh.replied);
 844
 845   /* this message is now definitively *not* changed (mutt_set_flag
 846    * marks things changed as a side-effect) */
 847   h->changed = 0;
 848   ctx->changed &= ~readonly;
 849   ctx->readonly = readonly;
 850
 851   mutt_free_list (&(HEADER_DATA(h)->keywords));
 852   HEADER_DATA(h)->keywords = newh.data->keywords;
 853   FREE(&newh.data);
 854
 855   return s;
 856 }
 857
 858
 859 /* msg_fetch_header: import IMAP FETCH response into an IMAP_HEADER.
 860  *   Expects string beginning with * n FETCH.
 861  *   Returns:
 862  *      0 on success
 863  *     -1 if the string is not a fetch response
 864  *     -2 if the string is a corrupt fetch response */
 865 static int msg_fetch_header (CONTEXT* ctx, IMAP_HEADER* h, char* buf, FILE* fp)
 866 {
 867   IMAP_DATA* idata;
 868   long bytes;
 869   int rc = -1; /* default now is that string isn't FETCH response*/
 870
 871   idata = (IMAP_DATA*) ctx->data;
 872
 873   if (buf[0] != '*')
 874     return rc;
 875
 876   /* skip to message number */
 877   buf = imap_next_word (buf);
 878   h->sid = atoi (buf);
 879
 880   /* find FETCH tag */
 881   buf = imap_next_word (buf);
 882   if (ascii_strncasecmp ("FETCH", buf, 5))
 883     return rc;
 884
 885   rc = -2; /* we've got a FETCH response, for better or worse */
 886   if (!(buf = strchr (buf, '(')))
 887     return rc;
 888   buf++;
 889
 890   /* FIXME: current implementation - call msg_parse_fetch - if it returns -2,
 891    *   read header lines and call it again. Silly. */
 892   if (msg_parse_fetch (h, buf) != -2)
 893     return rc;
 894
 895   if (imap_get_literal_count (buf, &bytes) == 0)
 896   {
 897     imap_read_literal (fp, idata, bytes);
 898
 899     /* we may have other fields of the FETCH _after_ the literal
 900      * (eg Domino puts FLAGS here). Nothing wrong with that, either.
 901      * This all has to go - we should accept literals and nonliterals
 902      * interchangeably at any time. */
 903     if (imap_cmd_step (idata) != IMAP_CMD_CONTINUE)
 904       return rc;
 905
 906     if (msg_parse_fetch (h, idata->cmd.buf) == -1)
 907       return rc;
 908   }
 909
 910   rc = 0; /* success */
 911
 912   /* subtract headers from message size - unfortunately only the subset of
 913    * headers we've requested. */
 914   h->content_length -= bytes;
 915
 916   return rc;
 917 }
 918
 919 #if USE_HCACHE
 920 static size_t imap_hcache_keylen (const char *fn)
 921 {
 922   return mutt_strlen(fn);
 923 }
 924
 925 /* msg_fetch_header: import IMAP FETCH response into an IMAP_HEADER.
 926  *   Expects string beginning with * n FETCH.
 927  *   Returns:
 928  *      0 on success
 929  *     -1 if the string is not a fetch response
 930  *     -2 if the string is a corrupt fetch response */
 931 static int msg_fetch_header_fetch (CONTEXT* ctx, IMAP_HEADER* h, char* buf, FILE* fp)
 932 {
 933   IMAP_DATA* idata;
 934   int rc = -1; /* default now is that string isn't FETCH response*/
 935
 936   idata = (IMAP_DATA*) ctx->data;
 937
 938   if (buf[0] != '*')
 939     return rc;
 940
 941   /* skip to message number */
 942   buf = imap_next_word (buf);
 943   h->sid = atoi (buf);
 944
 945   /* find FETCH tag */
 946   buf = imap_next_word (buf);
 947   if (ascii_strncasecmp ("FETCH", buf, 5))
 948     return rc;
 949
 950   rc = -2; /* we've got a FETCH response, for better or worse */
 951   if (!(buf = strchr (buf, '(')))
 952     return rc;
 953   buf++;
 954
 955   if (msg_parse_fetch (h, buf) < 0) {
 956          return -2;
 957   }
 958
 959   if (!(buf = strchr (buf, ')')))
 960     return rc;
 961   buf++;
 962
 963   return 0;
 964 }
 965 #endif /* USE_HCACHE */
 966
 967
 968 /* msg_has_flag: do a caseless comparison of the flag against a flag list,
 969  *   return 1 if found or flag list has '\*', 0 otherwise */
 970 static int msg_has_flag (LIST* flag_list, const char* flag)
 971 {
 972   if (!flag_list)
 973     return 0;
 974
 975   flag_list = flag_list->next;
 976   while (flag_list)
 977   {
 978     if (!ascii_strncasecmp (flag_list->data, flag, strlen (flag_list->data)))
 979       return 1;
 980
 981     flag_list = flag_list->next;
 982   }
 983
 984   return 0;
 985 }
 986
 987 /* msg_parse_fetch: handle headers returned from header fetch */
 988 static int msg_parse_fetch (IMAP_HEADER *h, char *s)
 989 {
 990   char tmp[SHORT_STRING];
 991   char *ptmp;
 992
 993   if (!s)
 994     return -1;
 995
 996   while (*s)
 997   {
 998     SKIPWS (s);
 999
1000     if (ascii_strncasecmp ("FLAGS", s, 5) == 0)
1001     {
1002       if ((s = msg_parse_flags (h, s)) == NULL)
1003         return -1;
1004     }
1005     else if (ascii_strncasecmp ("UID", s, 3) == 0)
1006     {
1007       s += 3;
1008       SKIPWS (s);
1009       h->data->uid = (unsigned int) atoi (s);
1010
1011       s = imap_next_word (s);
1012     }
1013     else if (ascii_strncasecmp ("INTERNALDATE", s, 12) == 0)
1014     {
1015       s += 12;
1016       SKIPWS (s);
1017       if (*s != '\"')
1018       {
1019         dprint (1, (debugfile, "msg_parse_fetch(): bogus INTERNALDATE entry: %s\n", s));
1020         return -1;
1021       }
1022       s++;
1023       ptmp = tmp;
1024       while (*s && *s != '\"')
1025         *ptmp++ = *s++;
1026       if (*s != '\"')
1027         return -1;
1028       s++; /* skip past the trailing " */
1029       *ptmp = 0;
1030       h->received = imap_parse_date (tmp);
1031     }
1032     else if (ascii_strncasecmp ("RFC822.SIZE", s, 11) == 0)
1033     {
1034       s += 11;
1035       SKIPWS (s);
1036       ptmp = tmp;
1037       while (isdigit ((unsigned char) *s))
1038         *ptmp++ = *s++;
1039       *ptmp = 0;
1040       h->content_length = atoi (tmp);
1041     }
1042     else if (!ascii_strncasecmp ("BODY", s, 4) ||
1043       !ascii_strncasecmp ("RFC822.HEADER", s, 13))
1044     {
1045       /* handle above, in msg_fetch_header */
1046       return -2;
1047     }
1048     else if (*s == ')')
1049       s++; /* end of request */
1050     else if (*s)
1051     {
1052       /* got something i don't understand */
1053       imap_error ("msg_parse_fetch", s);
1054       return -1;
1055     }
1056   }
1057
1058   return 0;
1059 }
1060
1061 /* msg_parse_flags: read a FLAGS token into an IMAP_HEADER */
1062 static char* msg_parse_flags (IMAP_HEADER* h, char* s)
1063 {
1064   int recent = 0;
1065
1066   /* sanity-check string */
1067   if (ascii_strncasecmp ("FLAGS", s, 5) != 0)
1068   {
1069     dprint (1, (debugfile, "msg_parse_flags: not a FLAGS response: %s\n",
1070       s));
1071     return NULL;
1072   }
1073   s += 5;
1074   SKIPWS(s);
1075   if (*s != '(')
1076   {
1077     dprint (1, (debugfile, "msg_parse_flags: bogus FLAGS response: %s\n",
1078       s));
1079     return NULL;
1080   }
1081   s++;
1082
1083   /* start parsing */
1084   while (*s && *s != ')')
1085   {
1086     if (ascii_strncasecmp ("\\deleted", s, 8) == 0)
1087     {
1088       s += 8;
1089       h->deleted = 1;
1090     }
1091     else if (ascii_strncasecmp ("\\flagged", s, 8) == 0)
1092     {
1093       s += 8;
1094       h->flagged = 1;
1095     }
1096     else if (ascii_strncasecmp ("\\answered", s, 9) == 0)
1097     {
1098       s += 9;
1099       h->replied = 1;
1100     }
1101     else if (ascii_strncasecmp ("\\seen", s, 5) == 0)
1102     {
1103       s += 5;
1104       h->read = 1;
1105     }
1106     else if (ascii_strncasecmp ("\\recent", s, 5) == 0)
1107     {
1108       s += 7;
1109       recent = 1;
1110     }
1111     else
1112     {
1113       /* store custom flags as well */
1114       char ctmp;
1115       char* flag_word = s;
1116
1117       if (!h->data->keywords)
1118         h->data->keywords = mutt_new_list ();
1119
1120       while (*s && !ISSPACE (*s) && *s != ')')
1121         s++;
1122       ctmp = *s;
1123       *s = '\0';
1124       mutt_add_list (h->data->keywords, flag_word);
1125       *s = ctmp;
1126     }
1127     SKIPWS(s);
1128   }
1129
1130   /* wrap up, or note bad flags response */
1131   if (*s == ')')
1132   {
1133     /* if a message is neither seen nor recent, it is OLD. */
1134     if (option (OPTMARKOLD) && !recent && !(h->read))
1135       h->old = 1;
1136     s++;
1137   }
1138   else
1139   {
1140     dprint (1, (debugfile,
1141       "msg_parse_flags: Unterminated FLAGS response: %s\n", s));
1142     return NULL;
1143   }
1144
1145   return s;
1146 }
1147
1148 static void flush_buffer(char *buf, size_t *len, CONNECTION *conn)
1149 {
1150   buf[*len] = '\0';
1151   mutt_socket_write(conn, buf);
1152   *len = 0;
1153 }