workaround a stupid issue in how decoding is performed in mutt *sigh*
[apps/madmutt.git] / imap / message.c
index 9e7b39b..1871be3 100644 (file)
 
 /* message parsing/updating functions */
 
-#if HAVE_CONFIG_H
-# include "config.h"
-#endif
-
-#include <stdlib.h>
-#include <ctype.h>
-
-#include <lib-lib/mem.h>
-#include <lib-lib/ascii.h>
-#include <lib-lib/str.h>
-#include <lib-lib/buffer.h>
-#include <lib-lib/debug.h>
+#include <lib-lib/lib-lib.h>
 
-#include <lib-ui/curses.h>
+#include <lib-ui/lib-ui.h>
+#include <lib-mx/mx.h>
+#include <lib-mx/hcache.h>
 
 #include "mutt.h"
 #include "imap_private.h"
 #include "message.h"
-#include "mx.h"
-#include "hcache.h"
-
-#ifdef HAVE_PGP
-#include "pgp.h"
-#endif
-
-#include <lib-lib/macros.h>
-#include <lib-lib/file.h>
-
-#if HAVE_STDINT_H
-#include <stdint.h>
-#elif HAVE_INTTYPES_H
-#include <inttypes.h>
-#endif
 
 static void flush_buffer (char *buf, size_t * len, CONNECTION * conn);
 static int msg_fetch_header (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
@@ -54,7 +30,7 @@ static char *msg_parse_flags (IMAP_HEADER * h, char *s);
 #ifdef USE_HCACHE
 static int msg_fetch_header_fetch (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
                                    FILE * fp);
-static size_t imap_hcache_keylen (const char *fn);
+static ssize_t imap_hcache_keylen (const char *fn);
 #endif /* USE_HCACHE */
 
 /* imap_read_headers:
@@ -74,11 +50,11 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
   int rc, mfhrc, oldmsgcount;
   int fetchlast = 0;
   const char *want_headers =
-    "DATE FROM SUBJECT TO CC MESSAGE-ID REFERENCES CONTENT-TYPE CONTENT-DESCRIPTION IN-REPLY-TO REPLY-TO LINES string_list_t-POST X-LABEL";
+    "DATE FROM SUBJECT TO CC MESSAGE-ID REFERENCES CONTENT-TYPE CONTENT-DESCRIPTION IN-REPLY-TO REPLY-TO LINES LIST-POST X-LABEL";
 
 #ifdef USE_HCACHE
-  void *hc = NULL;
-  unsigned long *uid_validity = NULL;
+  hcache_t *hc = NULL;
+  long *uid_validity = NULL;
   char uid_buf[64];
 #endif /* USE_HCACHE */
 
@@ -103,13 +79,13 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
 
   /* instead of downloading all headers and then parsing them, we parse them
    * as they come in. */
-  mutt_mktemp (tempfile);
-  if (!(fp = safe_fopen (tempfile, "w+"))) {
-    mutt_error (_("Could not create temporary file %s"), tempfile);
-    mutt_sleep (2);
+  fp = m_tempfile(tempfile, sizeof(tempfile), NONULL(mod_core.tmpdir), NULL);
+  if (!fp) {
+    mutt_error(_("Could not create temporary file"));
+    mutt_sleep(2);
     return -1;
   }
-  unlink (tempfile);
+  unlink(tempfile);
 
   /* make sure context has room to hold the mailbox */
   while ((msgend) >= idata->ctx->hdrmax)
@@ -120,7 +96,7 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
   idata->newMailCount = 0;
 
 #ifdef USE_HCACHE
-  if ((hc = mutt_hcache_open (HeaderCache, ctx->path))) {
+  if ((hc = mutt_hcache_open(ctx->path))) {
 
     snprintf (buf, sizeof (buf),
               "FETCH %d:%d (UID FLAGS)", msgbegin + 1, msgend + 1);
@@ -143,7 +119,7 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
           break;
 
         if ((mfhrc =
-            msg_fetch_header_fetch (idata->ctx, &h, idata->cmd.buf, fp)) == -1)
+            msg_fetch_header_fetch (idata->ctx, &h, idata->cmd.buf.data, fp)) == -1)
           continue;
         else if (mfhrc < 0)
           break;
@@ -152,14 +128,11 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
         fputs ("\n\n", fp);
 
         sprintf (uid_buf, "/%u", h.data->uid);    /* XXX --tg 21:41 04-07-11 */
-        uid_validity =
-          (unsigned long *) mutt_hcache_fetch (hc, uid_buf, &imap_hcache_keylen);
+        uid_validity = mutt_hcache_fetch (hc, uid_buf, &imap_hcache_keylen);
 
         if (uid_validity != NULL && *uid_validity == idata->uid_validity) {
-          ctx->hdrs[msgno] = mutt_hcache_restore((unsigned char *) uid_validity, 0);
+          ctx->hdrs[msgno] = mutt_hcache_restore(uid_validity, 0);
           ctx->hdrs[msgno]->index = h.sid - 1;
-          if (h.sid != ctx->msgcount + 1)
-            debug_print (1, ("imap_read_headers: msgcount and sequence ID are inconsistent!"));
           /* messages which have not been expunged are ACTIVE (borrowed from mh 
           * folders) */
           ctx->hdrs[msgno]->active = 1;
@@ -184,9 +157,9 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
                                     ((msgno + 1) >= fetchlast)));
 
       if ((mfhrc < -1) || ((rc != IMAP_CMD_CONTINUE) && (rc != IMAP_CMD_OK))) {
-        imap_free_header_data ((void **) &h.data);
-        fclose (fp);
-        mutt_hcache_close (hc);
+        imap_free_header_data((void *)&h.data);
+        m_fclose(&fp);
+        mutt_hcache_close (&hc);
         return -1;
       }
     }
@@ -239,7 +212,7 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
         break;
 
       if ((mfhrc =
-           msg_fetch_header (idata->ctx, &h, idata->cmd.buf, fp)) == -1)
+           msg_fetch_header (idata->ctx, &h, idata->cmd.buf.data, fp)) == -1)
         continue;
       else if (mfhrc < 0)
         break;
@@ -251,8 +224,6 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
       ctx->hdrs[msgno] = header_new();
 
       ctx->hdrs[msgno]->index = h.sid - 1;
-      if (h.sid != ctx->msgcount + 1)
-        debug_print (1, ("msgcount and sequence ID are inconsistent!\n"));
       /* messages which have not been expunged are ACTIVE (borrowed from mh 
        * folders) */
       ctx->hdrs[msgno]->active = 1;
@@ -286,9 +257,9 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
 
     if ((mfhrc < -1) || ((rc != IMAP_CMD_CONTINUE) && (rc != IMAP_CMD_OK))) {
       imap_free_header_data ((void *)&h.data);
-      fclose (fp);
+      m_fclose(&fp);
 #ifdef USE_HCACHE
-      mutt_hcache_close (hc);
+      mutt_hcache_close (&hc);
 #endif /* USE_HCACHE */
       return -1;
     }
@@ -304,10 +275,10 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
   }
 
 #ifdef USE_HCACHE
-  mutt_hcache_close (hc);
+  mutt_hcache_close (&hc);
 #endif /* USE_HCACHE */
 
-  fclose (fp);
+  m_fclose(&fp);
 
   if (ctx->msgcount > oldmsgcount)
     mx_update_context (ctx, ctx->msgcount - oldmsgcount);
@@ -315,6 +286,50 @@ int imap_read_headers (IMAP_DATA * idata, int msgbegin, int msgend)
   return msgend;
 }
 
+/* move all the headers from extra not present in base into base */
+static void mutt_merge_envelopes(ENVELOPE* base, ENVELOPE** extra)
+{
+  /* copies each existing element if necessary, and sets the element
+  * to NULL in the source so that envelope_delete doesn't leave us
+  * with dangling pointers. */
+#define MOVE_ELEM(h) if (!base->h) { base->h = (*extra)->h; (*extra)->h = NULL; }
+  MOVE_ELEM(return_path);
+  MOVE_ELEM(from);
+  MOVE_ELEM(to);
+  MOVE_ELEM(cc);
+  MOVE_ELEM(bcc);
+  MOVE_ELEM(sender);
+  MOVE_ELEM(reply_to);
+  MOVE_ELEM(mail_followup_to);
+  MOVE_ELEM(list_post);
+  MOVE_ELEM(message_id);
+  MOVE_ELEM(supersedes);
+  MOVE_ELEM(date);
+  MOVE_ELEM(x_label);
+  if (!base->refs_changed) {
+    MOVE_ELEM(references);
+  }
+  if (!base->irt_changed) {
+    MOVE_ELEM(in_reply_to);
+  }
+  /* real_subj is subordinate to subject */
+  if (!base->subject) {
+    base->subject = (*extra)->subject;
+    base->real_subj = (*extra)->real_subj;
+    (*extra)->subject = NULL;
+    (*extra)->real_subj = NULL;
+  }
+  /* spam and user headers should never be hashed, and the new envelope may
+   * have better values. Use new versions regardless. */
+  mutt_buffer_free (&base->spam);
+  string_list_wipe(&base->userhdrs);
+  MOVE_ELEM(spam);
+  MOVE_ELEM(userhdrs);
+#undef MOVE_ELEM
+  
+  envelope_delete(extra);
+}
+
 int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
 {
   IMAP_DATA *idata;
@@ -327,7 +342,7 @@ int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
   int uid;
   int cacheno;
   IMAP_CACHE *cache;
-  int read;
+  int isread;
   int rc;
   progress_t bar;
 
@@ -356,12 +371,11 @@ int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
     mutt_message _("Fetching message...");
 
   cache->uid = HEADER_DATA (h)->uid;
-  mutt_mktemp (path);
-  cache->path = m_strdup(path);
-  if (!(msg->fp = safe_fopen (path, "w+"))) {
-    p_delete(&cache->path);
+  msg->fp = m_tempfile(path, sizeof(path), NONULL(mod_core.tmpdir), NULL);
+  if (!msg->fp) {
     return -1;
   }
+  cache->path = m_strdup(path);
 
   /* mark this header as currently inactive so the command handler won't
    * also try to update it. HACK until all this code can be moved into the
@@ -370,14 +384,14 @@ int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
 
   snprintf (buf, sizeof (buf), "UID FETCH %u %s", HEADER_DATA (h)->uid,
             (mutt_bit_isset (idata->capabilities, IMAP4REV1) ?
-             (option (OPTIMAPPEEK) ? "BODY.PEEK[]" : "BODY[]") : "RFC822"));
+             "BODY.PEEK[]" : "RFC822"));
 
   imap_cmd_start (idata, buf);
   do {
     if ((rc = imap_cmd_step (idata)) != IMAP_CMD_CONTINUE)
       break;
 
-    pc = idata->cmd.buf;
+    pc = idata->cmd.buf.data;
     pc = imap_next_word (pc);
     pc = imap_next_word (pc);
 
@@ -389,7 +403,7 @@ int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
         if (ascii_strncasecmp ("UID", pc, 3) == 0) {
           pc = imap_next_word (pc);
           uid = atoi (pc);
-          if (uid != HEADER_DATA (h)->uid)
+          if (uid != HEADER_DATA(h)->uid)
             mutt_error (_
                         ("The message index is incorrect. Try reopening the mailbox."));
         }
@@ -408,7 +422,7 @@ int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
           /* pick up trailing line */
           if ((rc = imap_cmd_step (idata)) != IMAP_CMD_CONTINUE)
             goto bail;
-          pc = idata->cmd.buf;
+          pc = idata->cmd.buf.data;
 
           fetched = 1;
         }
@@ -437,7 +451,7 @@ int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
   if (rc != IMAP_CMD_OK)
     goto bail;
 
-  if (!fetched || !imap_code (idata->cmd.buf))
+  if (!fetched || !imap_code (idata->cmd.buf.data))
     goto bail;
 
   /* Update the header information.  Previously, we only downloaded a
@@ -449,15 +463,15 @@ int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
    * the server's notion of 'read' and if it differs from the message info
    * picked up in mutt_read_rfc822_header, we mark the message (and context
    * changed). Another possiblity: ignore Status on IMAP?*/
-  read = h->read;
+  isread = h->read;
   newenv = mutt_read_rfc822_header (msg->fp, h, 0, 0);
   mutt_merge_envelopes(h->env, &newenv);
 
   /* see above. We want the new status in h->read, so we unset it manually
    * and let mutt_set_flag set it correctly, updating context. */
-  if (read != h->read) {
-    h->read = read;
-    mutt_set_flag (ctx, h, M_NEW, read);
+  if (isread != h->read) {
+    h->read = isread;
+    mutt_set_flag (ctx, h, M_NEW, isread);
   }
 
   h->lines = 0;
@@ -480,7 +494,7 @@ int imap_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
   return 0;
 
 bail:
-  safe_fclose (&msg->fp);
+  m_fclose(&msg->fp);
   if (cache->path) {
     unlink (cache->path);
     p_delete(&cache->path);
@@ -551,13 +565,11 @@ int imap_append_message (CONTEXT * ctx, MESSAGE * msg)
   if (rc != IMAP_CMD_RESPOND) {
     char *pc;
 
-    debug_print (1, ("command failed: %s\n", idata->cmd.buf));
-
-    pc = vskipspaces(idata->cmd.buf + SEQLEN);
+    pc = vskipspaces(idata->cmd.buf.data + SEQLEN);
     pc = imap_next_word (pc);
     mutt_error ("%s", pc);
     mutt_sleep (1);
-    fclose (fp);
+    m_fclose(&fp);
     goto fail;
   }
 
@@ -578,17 +590,16 @@ int imap_append_message (CONTEXT * ctx, MESSAGE * msg)
     flush_buffer (buf, &len, idata->conn);
 
   mutt_socket_write (idata->conn, "\r\n");
-  fclose (fp);
+  m_fclose(&fp);
 
   do
     rc = imap_cmd_step (idata);
   while (rc == IMAP_CMD_CONTINUE);
 
-  if (!imap_code (idata->cmd.buf)) {
+  if (!imap_code (idata->cmd.buf.data)) {
     char *pc;
 
-    debug_print (1, ("command failed: %s\n", idata->cmd.buf));
-    pc = vskipspaces(idata->cmd.buf + SEQLEN);
+    pc = vskipspaces(idata->cmd.buf.data + SEQLEN);
     pc = imap_next_word (pc);
     mutt_error ("%s", pc);
     mutt_sleep (1);
@@ -624,18 +635,15 @@ int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
   idata = (IMAP_DATA *) ctx->data;
 
   if (imap_parse_path (dest, &mx)) {
-    debug_print (1, ("bad destination %s\n", dest));
     return -1;
   }
 
   /* check that the save-to folder is in the same account */
   if (!mutt_account_match (&(CTX_DATA->conn->account), &(mx.account))) {
-    debug_print (3, ("%s not same server as %s\n", dest, ctx->path));
     return 1;
   }
 
   if (h && h->attach_del) {
-    debug_print (3, ("Message contains attachments to be deleted\n"));
     return 1;
   }
 
@@ -652,7 +660,6 @@ int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
      * remainder. */
     for (n = 0; n < ctx->msgcount; n++) {
       if (ctx->hdrs[n]->tagged && ctx->hdrs[n]->attach_del) {
-        debug_print (3, ("Message contains attachments to be deleted\n"));
         return 1;
       }
 
@@ -662,7 +669,6 @@ int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
        rc = imap_sync_message (idata, ctx->hdrs[n], &sync_cmd, &err_continue);
        if (rc < 0)
        {
-         debug_print (1, ("could not sync\n"));
          goto fail;
        }
       }
@@ -670,7 +676,6 @@ int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
 
     rc = imap_make_msg_set (idata, &cmd, M_TAG, 0);
     if (!rc) {
-      debug_print (1, ("No messages tagged\n"));
       goto fail;
     }
     mutt_message (_("Copying %d messages to %s..."), rc, mbox);
@@ -685,7 +690,6 @@ int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
       rc = imap_sync_message (idata, h, &sync_cmd, &err_continue);
       if (rc < 0)
       {
-       debug_print (1, ("could not sync\n"));
        goto fail;
       }
     }
@@ -700,11 +704,10 @@ int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
   if (rc == -2) {
     /* bail out if command failed for reasons other than nonexistent target */
     if (ascii_strncasecmp
-        (imap_get_qualifier (idata->cmd.buf), "[TRYCREATE]", 11)) {
-      imap_error ("imap_copy_messages", idata->cmd.buf);
+        (imap_get_qualifier (idata->cmd.buf.data), "[TRYCREATE]", 11)) {
+      imap_error ("imap_copy_messages", idata->cmd.buf.data);
       goto fail;
     }
-    debug_print (2, ("server suggests TRYCREATE\n"));
     snprintf (mmbox, sizeof (mmbox), _("Create %s?"), mbox);
     if (option (OPTCONFIRMCREATE) && mutt_yesorno (mmbox, 1) < 1) {
       mutt_clear_error ();
@@ -717,7 +720,7 @@ int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
     rc = imap_exec (idata, cmd.data, 0);
   }
   if (rc != 0) {
-    imap_error ("imap_copy_messages", idata->cmd.buf);
+    imap_error ("imap_copy_messages", idata->cmd.buf.data);
     goto fail;
   }
 
@@ -740,18 +743,14 @@ int imap_copy_messages (CONTEXT * ctx, HEADER * h, char *dest, int delete)
     }
   }
 
-  if (cmd.data)
-    p_delete(&cmd.data);
-  if (sync_cmd.data)
-    p_delete(&sync_cmd.data);
+  p_delete(&cmd.data);
+  p_delete(&sync_cmd.data);
   p_delete(&mx.mbox);
   return 0;
 
 fail:
-  if (cmd.data)
-    p_delete(&cmd.data);
-  if (sync_cmd.data)
-    p_delete(&sync_cmd.data);
+  p_delete(&cmd.data);
+  p_delete(&sync_cmd.data);
   p_delete(&mx.mbox);
   return -1;
 }
@@ -797,7 +796,6 @@ char *imap_set_flags (IMAP_DATA * idata, HEADER * h, char *s)
   p_clear(&newh, 1);
   newh.data = p_new(IMAP_HEADER_DATA, 1);
 
-  debug_print (2, ("parsing FLAGS\n"));
   if ((s = msg_parse_flags (&newh, s)) == NULL) {
     p_delete(&newh.data);
     return NULL;
@@ -878,7 +876,7 @@ static int msg_fetch_header (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
     if (imap_cmd_step (idata) != IMAP_CMD_CONTINUE)
       return rc;
 
-    if (msg_parse_fetch (h, idata->cmd.buf) == -1)
+    if (msg_parse_fetch (h, idata->cmd.buf.data) == -1)
       return rc;
   }
 
@@ -892,7 +890,7 @@ static int msg_fetch_header (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
 }
 
 #ifdef USE_HCACHE
-static size_t imap_hcache_keylen (const char *fn)
+static ssize_t imap_hcache_keylen (const char *fn)
 {
   return m_strlen(fn);
 }
@@ -904,7 +902,7 @@ static size_t imap_hcache_keylen (const char *fn)
  *     -1 if the string is not a fetch response
  *     -2 if the string is a corrupt fetch response */
 static int msg_fetch_header_fetch (CONTEXT * ctx, IMAP_HEADER * h, char *buf,
-                                   FILE * fp)
+                                   FILE * fp __attribute__ ((unused)))
 {
   IMAP_DATA *idata;
   int rc = -1;                  /* default now is that string isn't FETCH response */
@@ -962,7 +960,7 @@ static int msg_has_flag (string_list_t * flag_list, const char *flag)
 /* msg_parse_fetch: handle headers returned from header fetch */
 static int msg_parse_fetch (IMAP_HEADER * h, char *s)
 {
-  char tmp[SHORT_STRING];
+  char tmp[STRING];
   char *ptmp;
 
   if (!s)
@@ -984,7 +982,6 @@ static int msg_parse_fetch (IMAP_HEADER * h, char *s)
     else if (ascii_strncasecmp ("INTERNALDATE", s, 12) == 0) {
       s = vskipspaces(s + 12);
       if (*s != '\"') {
-        debug_print (1, ("bogus INTERNALDATE entry: %s\n", s));
         return -1;
       }
       s++;
@@ -1029,12 +1026,10 @@ static char *msg_parse_flags (IMAP_HEADER * h, char *s)
 
   /* sanity-check string */
   if (ascii_strncasecmp ("FLAGS", s, 5) != 0) {
-    debug_print (1, ("not a FLAGS response: %s\n", s));
     return NULL;
   }
   s = vskipspaces(s + 5);
   if (*s != '(') {
-    debug_print (1, ("bogus FLAGS response: %s\n", s));
     return NULL;
   }
   s++;
@@ -1087,7 +1082,6 @@ static char *msg_parse_flags (IMAP_HEADER * h, char *s)
     s++;
   }
   else {
-    debug_print (1, ("Unterminated FLAGS response: %s\n", s));
     return NULL;
   }