use my own APIS for headers, parameters and so on
[apps/madmutt.git] / imap / imap.c
index aa4453c..57648c6 100644 (file)
 # include "config.h"
 #endif
 
+#include <lib-lib/mem.h>
+#include <lib-lib/ascii.h>
+#include <lib-lib/str.h>
+#include <lib-lib/buffer.h>
+
 #include "mutt.h"
-#include "mutt_curses.h"
 #include "mx.h"
 #include "globals.h"
 #include "sort.h"
 #if defined(USE_SSL) || defined(USE_GNUTLS)
 # include "mutt_ssl.h"
 #endif
+#include "buffy.h"
 
-#include "lib/mem.h"
-#include "lib/intl.h"
-#include "lib/str.h"
+#include <lib-lib/macros.h>
+#include "lib/debug.h"
 
 #include <unistd.h>
 #include <ctype.h>
@@ -46,7 +50,9 @@ static int imap_check_capabilities (IMAP_DATA * idata);
 static void imap_set_flag (IMAP_DATA * idata, int aclbit, int flag,
                            const char *str, char *flags, size_t flsize);
 
-/* imap_access: Check permissions on an IMAP mailbox. */
+/* imap_access: Check permissions on an IMAP mailbox.
+ * TODO: ACL checks. Right now we assume if it exists we can
+ * mess with it. */
 int imap_access (const char *path, int flags)
 {
   IMAP_DATA *idata;
@@ -61,26 +67,32 @@ int imap_access (const char *path, int flags)
   if (!(idata = imap_conn_find (&mx.account,
                                 option (OPTIMAPPASSIVE) ? M_IMAP_CONN_NONEW :
                                 0))) {
-    FREE (&mx.mbox);
+    p_delete(&mx.mbox);
     return -1;
   }
 
   imap_fix_path (idata, mx.mbox, mailbox, sizeof (mailbox));
-  FREE (&mx.mbox);
+
+  /* we may already be in the folder we're checking */
+  if (!ascii_strcmp(idata->mailbox, mx.mbox)) {
+    p_delete(&mx.mbox);
+    return 0;
+  }
+
+  p_delete(&mx.mbox);
   imap_munge_mbox_name (mbox, sizeof (mbox), mailbox);
 
-  /* TODO: ACL checks. Right now we assume if it exists we can mess with it. */
   if (mutt_bit_isset (idata->capabilities, IMAP4REV1))
     snprintf (buf, sizeof (buf), "STATUS %s (UIDVALIDITY)", mbox);
   else if (mutt_bit_isset (idata->capabilities, STATUS))
     snprintf (buf, sizeof (buf), "STATUS %s (UID-VALIDITY)", mbox);
   else {
-    dprint (2, (debugfile, "imap_access: STATUS not supported?\n"));
+    debug_print (2, ("STATUS not supported?\n"));
     return -1;
   }
 
   if (imap_exec (idata, buf, IMAP_CMD_FAIL_OK) < 0) {
-    dprint (1, (debugfile, "imap_access: Can't check STATUS of %s\n", mbox));
+    debug_print (1, ("Can't check STATUS of %s\n", mbox));
     return -1;
   }
 
@@ -127,7 +139,7 @@ int imap_delete_mailbox (CONTEXT * ctx, IMAP_MBOX mx)
     if (!(idata = imap_conn_find (&mx.account,
                                   option (OPTIMAPPASSIVE) ? M_IMAP_CONN_NONEW
                                   : 0))) {
-      FREE (&mx.mbox);
+      p_delete(&mx.mbox);
       return -1;
     }
   }
@@ -171,21 +183,18 @@ void imap_logout_all (void)
 /* imap_read_literal: read bytes bytes from server into file. Not explicitly
  *   buffered, relies on FILE buffering. NOTE: strips \r from \r\n.
  *   Apparently even literals use \r\n-terminated strings ?! */
-int imap_read_literal (FILE * fp, IMAP_DATA * idata, long bytes)
+int imap_read_literal (FILE * fp, IMAP_DATA * idata, long bytes, progress_t* bar)
 {
   long pos;
   char c;
 
   int r = 0;
 
-  dprint (2, (debugfile, "imap_read_literal: reading %ld bytes\n", bytes));
+  debug_print (2, ("reading %ld bytes\n", bytes));
 
   for (pos = 0; pos < bytes; pos++) {
     if (mutt_socket_readchar (idata->conn, &c) != 1) {
-      dprint (1,
-              (debugfile,
-               "imap_read_literal: error during read, %ld bytes read\n",
-               pos));
+      debug_print (1, ("error during read, %ld bytes read\n", pos));
       idata->status = IMAP_FATAL;
 
       return -1;
@@ -203,9 +212,11 @@ int imap_read_literal (FILE * fp, IMAP_DATA * idata, long bytes)
       r = 0;
 #endif
     fputc (c, fp);
+    if (bar && !(pos % 1024))
+      mutt_progress_bar (bar, pos);
 #ifdef DEBUG
-    if (debuglevel >= IMAP_LOG_LTRL)
-      fputc (c, debugfile);
+    if (DebugFile && DebugLevel >= IMAP_LOG_LTRL)
+      fputc (c, DebugFile);
 #endif
   }
 
@@ -224,9 +235,7 @@ void imap_expunge_mailbox (IMAP_DATA * idata)
     h = idata->ctx->hdrs[i];
 
     if (h->index == -1) {
-      dprint (2,
-              (debugfile, "Expunging message UID %d.\n",
-               HEADER_DATA (h)->uid));
+      debug_print (2, ("Expunging message UID %d.\n", HEADER_DATA (h)->uid));
 
       h->active = 0;
 
@@ -235,7 +244,7 @@ void imap_expunge_mailbox (IMAP_DATA * idata)
       if (idata->cache[cacheno].uid == HEADER_DATA (h)->uid &&
           idata->cache[cacheno].path) {
         unlink (idata->cache[cacheno].path);
-        FREE (&idata->cache[cacheno].path);
+        p_delete(&idata->cache[cacheno].path);
       }
 
       imap_free_header_data (&h->data);
@@ -277,11 +286,11 @@ static int imap_get_delim (IMAP_DATA * idata)
   while (rc == IMAP_CMD_CONTINUE);
 
   if (rc != IMAP_CMD_OK) {
-    dprint (1, (debugfile, "imap_get_delim: failed.\n"));
+    debug_print (1, ("failed.\n"));
     return -1;
   }
 
-  dprint (2, (debugfile, "Delimiter: %c\n", idata->delim));
+  debug_print (2, ("Delimiter: %c\n", idata->delim));
 
   return -1;
 }
@@ -328,6 +337,7 @@ IMAP_DATA *imap_conn_find (const ACCOUNT * account, int flags)
   CONNECTION *conn;
   IMAP_DATA *idata;
   ACCOUNT *creds;
+  int new = 0;
 
   if (!(conn = mutt_conn_find (NULL, account)))
     return NULL;
@@ -364,6 +374,7 @@ IMAP_DATA *imap_conn_find (const ACCOUNT * account, int flags)
 
     conn->data = idata;
     idata->conn = conn;
+    new = 1;
   }
 
   if (idata->state == IMAP_DISCONNECTED)
@@ -372,16 +383,20 @@ IMAP_DATA *imap_conn_find (const ACCOUNT * account, int flags)
     if (!imap_authenticate (idata)) {
       idata->state = IMAP_AUTHENTICATED;
       if (idata->conn->ssf)
-        dprint (2, (debugfile, "Communication encrypted at %d bits\n",
-                    idata->conn->ssf));
+        debug_print (2, ("Communication encrypted at %d bits\n", idata->conn->ssf));
     }
     else
       mutt_account_unsetpass (&idata->conn->account);
 
-    FREE (&idata->capstr);
+    p_delete(&idata->capstr);
   }
-  if (idata->state == IMAP_AUTHENTICATED)
+  if (new && idata->state == IMAP_AUTHENTICATED) {
     imap_get_delim (idata);
+    if (option (OPTIMAPCHECKSUBSCRIBED)) {
+      mutt_message _("Checking mailbox subscriptions");
+      imap_exec (idata, "LSUB \"\" \"*\"", 0);
+    }
+  }
 
   return idata;
 }
@@ -396,10 +411,6 @@ int imap_open_connection (IMAP_DATA * idata)
   idata->state = IMAP_CONNECTED;
 
   if (imap_cmd_step (idata) != IMAP_CMD_CONTINUE) {
-    mutt_error (_("Unexpected response received from server: %s"),
-                idata->cmd.buf);
-    mutt_sleep (1);
-
     mutt_socket_close (idata->conn);
     idata->state = IMAP_DISCONNECTED;
     return -1;
@@ -411,20 +422,21 @@ int imap_open_connection (IMAP_DATA * idata)
       goto bail;
 #if defined(USE_SSL) || defined(USE_GNUTLS)
     /* Attempt STARTTLS if available and desired. */
-    if (mutt_bit_isset (idata->capabilities, STARTTLS) && !idata->conn->ssf) {
+    if (!idata->conn->ssf && (option(OPTSSLFORCETLS) || 
+                              mutt_bit_isset (idata->capabilities, STARTTLS))) {
       int rc;
 
-      if ((rc = query_quadoption (OPT_SSLSTARTTLS,
-                                  _("Secure connection with TLS?"))) == -1)
+      if (option (OPTSSLFORCETLS))
+        rc = M_YES;
+      else if ((rc = query_quadoption (OPT_SSLSTARTTLS,
+                                       _("Secure connection with TLS?"))) == -1)
         goto err_close_conn;
       if (rc == M_YES) {
         if ((rc = imap_exec (idata, "STARTTLS", IMAP_CMD_FAIL_OK)) == -1)
           goto bail;
         if (rc != -2) {
-#ifdef USE_SSL
+#if defined (USE_SSL) || defined (USE_GNUTLS)
           if (mutt_ssl_starttls (idata->conn))
-#elif USE_GNUTLS
-          if (mutt_gnutls_starttls (idata->conn))
 #endif
           {
             mutt_error (_("Could not negotiate TLS connection"));
@@ -439,13 +451,19 @@ int imap_open_connection (IMAP_DATA * idata)
         }
       }
     }
+
+    if (option(OPTSSLFORCETLS) && ! idata->conn->ssf) {
+      mutt_error _("Encrypted connection unavailable");
+      mutt_sleep (1);
+      goto err_close_conn;
+    }
 #endif
   }
   else if (ascii_strncasecmp ("* PREAUTH", idata->cmd.buf, 9) == 0) {
     idata->state = IMAP_AUTHENTICATED;
     if (imap_check_capabilities (idata) != 0)
       goto bail;
-    FREE (&idata->capstr);
+    p_delete(&idata->capstr);
   }
   else {
     imap_error ("imap_open_connection()", buf);
@@ -458,7 +476,7 @@ err_close_conn:
   mutt_socket_close (idata->conn);
   idata->state = IMAP_DISCONNECTED;
 bail:
-  FREE (&idata->capstr);
+  p_delete(&idata->capstr);
   return -1;
 }
 
@@ -472,13 +490,12 @@ static char *imap_get_flags (LIST ** hflags, char *s)
 
   /* sanity-check string */
   if (ascii_strncasecmp ("FLAGS", s, 5) != 0) {
-    dprint (1, (debugfile, "imap_get_flags: not a FLAGS response: %s\n", s));
+    debug_print (1, ("not a FLAGS response: %s\n", s));
     return NULL;
   }
-  s += 5;
-  SKIPWS (s);
+  s = vskipspaces(s + 5);
   if (*s != '(') {
-    dprint (1, (debugfile, "imap_get_flags: bogus FLAGS response: %s\n", s));
+    debug_print (1, ("bogus FLAGS response: %s\n", s));
     return NULL;
   }
 
@@ -487,8 +504,7 @@ static char *imap_get_flags (LIST ** hflags, char *s)
   *hflags = flags;
 
   while (*s && *s != ')') {
-    s++;
-    SKIPWS (s);
+    s = vskipspaces(s + 1);
     flag_word = s;
     while (*s && (*s != ')') && !ISSPACE (*s))
       s++;
@@ -501,8 +517,7 @@ static char *imap_get_flags (LIST ** hflags, char *s)
 
   /* note bad flags response */
   if (*s != ')') {
-    dprint (1, (debugfile,
-                "imap_get_flags: Unterminated FLAGS response: %s\n", s));
+    debug_print (1, ("Unterminated FLAGS response: %s\n", s));
     mutt_free_list (hflags);
 
     return NULL;
@@ -541,12 +556,12 @@ int imap_open_mailbox (CONTEXT * ctx)
 
   /* Clean up path and replace the one in the ctx */
   imap_fix_path (idata, mx.mbox, buf, sizeof (buf));
-  FREE (&(idata->mailbox));
-  idata->mailbox = safe_strdup (buf);
+  p_delete(&(idata->mailbox));
+  idata->mailbox = m_strdup(buf);
   imap_qualify_path (buf, sizeof (buf), &mx, idata->mailbox);
 
-  FREE (&(ctx->path));
-  ctx->path = safe_strdup (buf);
+  p_delete(&(ctx->path));
+  ctx->path = m_strdup(buf);
 
   idata->ctx = ctx;
 
@@ -577,14 +592,14 @@ int imap_open_mailbox (CONTEXT * ctx)
     if (ascii_strncasecmp ("FLAGS", pc, 5) == 0) {
       /* don't override PERMANENTFLAGS */
       if (!idata->flags) {
-        dprint (2, (debugfile, "Getting mailbox FLAGS\n"));
+        debug_print (2, ("Getting mailbox FLAGS\n"));
         if ((pc = imap_get_flags (&(idata->flags), pc)) == NULL)
           goto fail;
       }
     }
     /* PERMANENTFLAGS are massaged to look like FLAGS, then override FLAGS */
     else if (ascii_strncasecmp ("OK [PERMANENTFLAGS", pc, 18) == 0) {
-      dprint (2, (debugfile, "Getting mailbox PERMANENTFLAGS\n"));
+      debug_print (2, ("Getting mailbox PERMANENTFLAGS\n"));
       /* safe to call on NULL */
       mutt_free_list (&(idata->flags));
       /* skip "OK [PERMANENT" so syntax is the same as FLAGS */
@@ -595,7 +610,7 @@ int imap_open_mailbox (CONTEXT * ctx)
 #ifdef USE_HCACHE
     /* save UIDVALIDITY for the header cache */
     else if (ascii_strncasecmp ("OK [UIDVALIDITY", pc, 14) == 0) {
-      dprint (2, (debugfile, "Getting mailbox UIDVALIDITY\n"));
+      debug_print (2, ("Getting mailbox UIDVALIDITY\n"));
       pc += 3;
       pc = imap_next_word (pc);
 
@@ -629,26 +644,25 @@ int imap_open_mailbox (CONTEXT * ctx)
   if (!ascii_strncasecmp
       (imap_get_qualifier (idata->cmd.buf), "[READ-ONLY]", 11)
       && !mutt_bit_isset (idata->capabilities, ACL)) {
-    dprint (2, (debugfile, "Mailbox is read-only.\n"));
+    debug_print (2, ("Mailbox is read-only.\n"));
     ctx->readonly = 1;
   }
 
 #ifdef DEBUG
   /* dump the mailbox flags we've found */
-  if (debuglevel > 2) {
+  if (DebugLevel > 2) {
     if (!idata->flags)
-      dprint (3, (debugfile, "No folder flags found\n"));
+      debug_print (3, ("No folder flags found\n"));
     else {
       LIST *t = idata->flags;
 
-      dprint (3, (debugfile, "Mailbox flags: "));
+      debug_print (3, ("Mailbox flags:\n"));
 
       t = t->next;
       while (t) {
-        dprint (3, (debugfile, "[%s] ", t->data));
+        debug_print (3, ("[%s]\n", t->data));
         t = t->next;
       }
-      dprint (3, (debugfile, "\n"));
     }
   }
 #endif
@@ -675,8 +689,8 @@ int imap_open_mailbox (CONTEXT * ctx)
   }
 
   ctx->hdrmax = count;
-  ctx->hdrs = safe_calloc (count, sizeof (HEADER *));
-  ctx->v2r = safe_calloc (count, sizeof (int));
+  ctx->hdrs = p_new(HEADER *, count);
+  ctx->v2r = p_new(int, count);
   ctx->msgcount = 0;
   if (count && (imap_read_headers (idata, 0, count - 1) < 0)) {
     mutt_error _("Error opening mailbox");
@@ -685,16 +699,15 @@ int imap_open_mailbox (CONTEXT * ctx)
     goto fail;
   }
 
-  dprint (2,
-          (debugfile, "imap_open_mailbox: msgcount is %d\n", ctx->msgcount));
-  FREE (&mx.mbox);
+  debug_print (2, ("msgcount is %d\n", ctx->msgcount));
+  p_delete(&mx.mbox);
   return 0;
 
 fail:
   if (idata->state == IMAP_SELECTED)
     idata->state = IMAP_AUTHENTICATED;
 fail_noidata:
-  FREE (&mx.mbox);
+  p_delete(&mx.mbox);
   return -1;
 }
 
@@ -702,9 +715,8 @@ int imap_open_mailbox_append (CONTEXT * ctx)
 {
   CONNECTION *conn;
   IMAP_DATA *idata;
-  char buf[LONG_STRING], mbox[LONG_STRING];
+  char buf[LONG_STRING];
   char mailbox[LONG_STRING];
-  int r;
   IMAP_MBOX mx;
 
   if (imap_parse_path (ctx->path, &mx))
@@ -713,52 +725,31 @@ int imap_open_mailbox_append (CONTEXT * ctx)
   /* in APPEND mode, we appear to hijack an existing IMAP connection -
    * ctx is brand new and mostly empty */
 
-  if (!(idata = imap_conn_find (&(mx.account), 0)))
-    goto fail;
+  if (!(idata = imap_conn_find (&(mx.account), 0))) {
+    p_delete(&mx.mbox);
+    return (-1);
+  }
   conn = idata->conn;
 
   ctx->magic = M_IMAP;
   ctx->data = idata;
 
-  /* check mailbox existance */
-
   imap_fix_path (idata, mx.mbox, mailbox, sizeof (mailbox));
 
-  imap_munge_mbox_name (mbox, sizeof (mbox), mailbox);
-
-  if (mutt_bit_isset (idata->capabilities, IMAP4REV1))
-    snprintf (buf, sizeof (buf), "STATUS %s (UIDVALIDITY)", mbox);
-  else if (mutt_bit_isset (idata->capabilities, STATUS))
-    /* We have no idea what the other guy wants. UW imapd 8.3 wants this
-     * (but it does not work if another mailbox is selected) */
-    snprintf (buf, sizeof (buf), "STATUS %s (UID-VALIDITY)", mbox);
-  else {
-    /* STATUS not supported */
-    mutt_message _("Unable to append to IMAP mailboxes at this server");
-
-    goto fail;
-  }
+  p_delete(&mx.mbox);
 
-  r = imap_exec (idata, buf, IMAP_CMD_FAIL_OK);
-  if (r == -2) {
-    /* command failed cause folder doesn't exist */
-    snprintf (buf, sizeof (buf), _("Create %s?"), mailbox);
-    if (option (OPTCONFIRMCREATE) && mutt_yesorno (buf, 1) < 1)
-      goto fail;
+  /* really we should also check for W_OK */
+  if (!imap_access (ctx->path, F_OK))
+    return 0;
 
-    if (imap_create_mailbox (idata, mailbox) < 0)
-      goto fail;
-  }
-  else if (r == -1)
-    /* Hmm, some other failure */
-    goto fail;
+  snprintf (buf, sizeof (buf), _("Create %s?"), mailbox);
+  if (option (OPTCONFIRMCREATE) && mutt_yesorno (buf, 1) < 1)
+    return -1;
 
-  FREE (&mx.mbox);
-  return 0;
+  if (imap_create_mailbox (idata, mailbox) < 0)
+    return -1;
 
-fail:
-  FREE (&mx.mbox);
-  return -1;
+  return (0);
 }
 
 /* imap_logout: Gracefully log out of server. */
@@ -769,14 +760,14 @@ void imap_logout (IMAP_DATA * idata)
   idata->status = IMAP_BYE;
   imap_cmd_start (idata, "LOGOUT");
   while (imap_cmd_step (idata) == IMAP_CMD_CONTINUE);
-  FREE (&idata->cmd.buf);
-  FREE (&idata);
+  p_delete(&idata->cmd.buf);
+  p_delete(&idata);
 }
 
 /*
 int imap_close_connection (CONTEXT *ctx)
 {
-  dprint (1, (debugfile, "imap_close_connection(): closing connection\n"));
+  debug_print (1, (debugfile, "imap_close_connection(): closing connection\n"));
   if (CTX_DATA->status != IMAP_BYE)
   {
     mutt_message _("Closing connection to IMAP server...");
@@ -792,12 +783,13 @@ int imap_close_connection (CONTEXT *ctx)
 
 /* imap_set_flag: append str to flags if we currently have permission
  *   according to aclbit */
-static void imap_set_flag (IMAP_DATA * idata, int aclbit, int flag,
-                           const char *str, char *flags, size_t flsize)
+static void imap_set_flag(IMAP_DATA *idata, int aclbit, int flag,
+                          const char *str, char *flags, size_t flsize)
 {
-  if (mutt_bit_isset (idata->rights, aclbit))
-    if (flag)
-      safe_strcat (flags, flsize, str);
+    if (mutt_bit_isset(idata->rights, aclbit)) {
+        if (flag)
+            m_strcat(flags, flsize, str);
+    }
 }
 
 /* imap_make_msg_set: make an IMAP4rev1 UID message set out of a set of
@@ -822,8 +814,7 @@ int imap_make_msg_set (IMAP_DATA * idata, BUFFER * buf, int flag, int changed)
   int started = 0;
 
   /* make copy of header pointers to sort in natural order */
-  hdrs = safe_calloc (idata->ctx->msgcount, sizeof (HEADER *));
-  memcpy (hdrs, idata->ctx->hdrs, idata->ctx->msgcount * sizeof (HEADER *));
+  hdrs = p_dup(idata->ctx->hdrs, idata->ctx->msgcount);
 
   if (Sort != SORT_ORDER) {
     oldsort = Sort;
@@ -878,7 +869,7 @@ int imap_make_msg_set (IMAP_DATA * idata, BUFFER * buf, int flag, int changed)
     }
   }
 
-  FREE (&hdrs);
+  p_delete(&hdrs);
 
   return count;
 }
@@ -913,7 +904,7 @@ int imap_sync_message (IMAP_DATA *idata, HEADER *hdr, BUFFER *cmd,
   if (mutt_bit_isset (idata->rights, ACL_WRITE))
     imap_add_keywords (flags, hdr, idata->flags, sizeof (flags));
 
-  mutt_remove_trailing_ws (flags);
+  m_strrtrim(flags);
 
   /* UW-IMAP is OK with null flags, Cyrus isn't. The only solution is to
    * explicitly revoke all system flags (if we have permission) */
@@ -924,7 +915,7 @@ int imap_sync_message (IMAP_DATA *idata, HEADER *hdr, BUFFER *cmd,
     imap_set_flag (idata, ACL_WRITE, 1, "\\Answered ", flags, sizeof (flags));
     imap_set_flag (idata, ACL_DELETE, 1, "\\Deleted ", flags, sizeof (flags));
 
-    mutt_remove_trailing_ws (flags);
+    m_strrtrim(flags);
 
     mutt_buffer_addstr (cmd, " -FLAGS.SILENT (");
   } else
@@ -972,17 +963,10 @@ int imap_sync_mailbox (CONTEXT * ctx, int expunge, int *index_hint)
   idata = (IMAP_DATA *) ctx->data;
 
   if (idata->state != IMAP_SELECTED) {
-    dprint (2, (debugfile, "imap_sync_mailbox: no mailbox selected\n"));
+    debug_print (2, ("no mailbox selected\n"));
     return -1;
   }
 
-  /* CLOSE purges deleted messages. If we don't want to purge them, we must
-   * tell imap_close_mailbox not to issue the CLOSE command */
-  if (expunge)
-    idata->noclose = 0;
-  else
-    idata->noclose = 1;
-
   /* This function is only called when the calling code expects the context
    * to be changed. */
   imap_allow_reopen (ctx);
@@ -990,7 +974,7 @@ int imap_sync_mailbox (CONTEXT * ctx, int expunge, int *index_hint)
   if ((rc = imap_check_mailbox (ctx, index_hint, 0)) != 0)
     return rc;
 
-  memset (&cmd, 0, sizeof (cmd));
+  p_clear(&cmd, 1);
 
   /* if we are expunging anyway, we can do deleted messages very quickly... */
   if (expunge && mutt_bit_isset (idata->rights, ACL_DELETE)) {
@@ -1025,17 +1009,13 @@ int imap_sync_mailbox (CONTEXT * ctx, int expunge, int *index_hint)
       /* if the message has been rethreaded or attachments have been deleted
        * we delete the message and reupload it.
        * This works better if we're expunging, of course. */
-      if (ctx->hdrs[n]->refs_changed || ctx->hdrs[n]->irt_changed ||
+      if ((ctx->hdrs[n]->env && (ctx->hdrs[n]->env->refs_changed || ctx->hdrs[n]->env->irt_changed)) ||
           ctx->hdrs[n]->attach_del) {
-        dprint (3,
-                (debugfile,
-                 "imap_sync_mailbox: Attachments to be deleted, falling back to _mutt_save_message\n"));
+        debug_print (3, ("Attachments to be deleted, falling back to _mutt_save_message\n"));
         if (!appendctx)
           appendctx = mx_open_mailbox (ctx->path, M_APPEND | M_QUIET, NULL);
         if (!appendctx) {
-          dprint (1,
-                  (debugfile,
-                   "imap_sync_mailbox: Error opening mailbox in append mode\n"));
+          debug_print (1, ("Error opening mailbox in append mode\n"));
         }
         else
           _mutt_save_message (ctx->hdrs[n], appendctx, 1, 0, 0);
@@ -1058,23 +1038,29 @@ int imap_sync_mailbox (CONTEXT * ctx, int expunge, int *index_hint)
     idata->reopen |= IMAP_EXPUNGE_EXPECTED;
     if (imap_exec (idata, "EXPUNGE", 0) != 0) {
       imap_error (_("imap_sync_mailbox: EXPUNGE failed"), idata->cmd.buf);
-      rc = -1;
+      rc = imap_reconnect (ctx);
       goto out;
     }
   }
 
+  if (expunge && ctx->closing) {
+    if (imap_exec (idata, "CLOSE", 0))
+      mutt_error (_("CLOSE failed"));
+    idata->state = IMAP_AUTHENTICATED;
+  }
+
   rc = 0;
 out:
   if (cmd.data)
-    FREE (&cmd.data);
+    p_delete(&cmd.data);
   if (appendctx) {
     mx_fastclose_mailbox (appendctx);
-    FREE (&appendctx);
+    p_delete(&appendctx);
   }
   return rc;
 }
 
-/* imap_close_mailbox: issue close command if neccessary, reset IMAP_DATA */
+/* imap_close_mailbox: clean up IMAP data in CONTEXT */
 void imap_close_mailbox (CONTEXT * ctx)
 {
   IMAP_DATA *idata;
@@ -1085,14 +1071,17 @@ void imap_close_mailbox (CONTEXT * ctx)
   if (!idata)
     return;
 
-  if ((idata->status != IMAP_FATAL) &&
-      (idata->state == IMAP_SELECTED) && (ctx == idata->ctx)) {
-    if (!(idata->noclose) && imap_exec (idata, "CLOSE", 0))
-      mutt_error (_("CLOSE failed"));
+  if (ctx == idata->ctx) {
+    if (idata->state != IMAP_FATAL && idata->state == IMAP_SELECTED) {
+      /* mx_close_mailbox won't sync if there are no deleted messages
+      * and the mailbox is unchanged, so we may have to close here */
+      if (!ctx->deleted && imap_exec (idata, "CLOSE", 0))
+        mutt_error (_("CLOSE failed"));
+      idata->state = IMAP_AUTHENTICATED;
+    }
 
     idata->reopen &= IMAP_REOPEN_ALLOW;
-    idata->state = IMAP_AUTHENTICATED;
-    FREE (&(idata->mailbox));
+    p_delete(&(idata->mailbox));
     mutt_free_list (&idata->flags);
     idata->ctx = NULL;
   }
@@ -1104,7 +1093,7 @@ void imap_close_mailbox (CONTEXT * ctx)
   for (i = 0; i < IMAP_CACHE_LEN; i++) {
     if (idata->cache[i].path) {
       unlink (idata->cache[i].path);
-      FREE (&idata->cache[i].path);
+      p_delete(&idata->cache[i].path);
     }
   }
 }
@@ -1126,7 +1115,7 @@ int imap_check_mailbox (CONTEXT * ctx, int *index_hint, int force)
 
   idata = (IMAP_DATA *) ctx->data;
 
-  if ((force || time (NULL) > idata->lastread + Timeout)
+  if ((force || time (NULL) >= idata->lastread + Timeout)
       && imap_exec (idata, "NOOP", 0) != 0)
     return -1;
 
@@ -1146,9 +1135,12 @@ int imap_check_mailbox (CONTEXT * ctx, int *index_hint, int force)
   return result;
 }
 
-/* returns count of recent messages if new = 1, else count of total messages.
- * (useful for at least postponed function)
- * Question of taste: use RECENT or UNSEEN for new?
+/*
+ * count messages:
+ *      new == 1:  recent
+ *      new == 2:  unseen
+ *      otherwise: total
+ * return:
  *   0+   number of messages in mailbox
  *  -1    error while polling mailboxes
  */
@@ -1173,30 +1165,30 @@ int imap_mailbox_check (char *path, int new)
     connflags = M_IMAP_CONN_NONEW;
 
   if (!(idata = imap_conn_find (&(mx.account), connflags))) {
-    FREE (&mx.mbox);
+    p_delete(&mx.mbox);
     return -1;
   }
   conn = idata->conn;
 
   imap_fix_path (idata, mx.mbox, buf, sizeof (buf));
-  FREE (&mx.mbox);
+  p_delete(&mx.mbox);
 
   imap_munge_mbox_name (mbox, sizeof (mbox), buf);
-  strfcpy (mbox_unquoted, buf, sizeof (mbox_unquoted));
+  m_strcpy(mbox_unquoted, sizeof(mbox_unquoted), buf);
 
   /* The draft IMAP implementor's guide warns againts using the STATUS
    * command on a mailbox that you have selected 
    */
 
-  if (safe_strcmp (mbox_unquoted, idata->mailbox) == 0
+  if (m_strcmp(mbox_unquoted, idata->mailbox) == 0
       || (ascii_strcasecmp (mbox_unquoted, "INBOX") == 0
-          && safe_strcasecmp (mbox_unquoted, idata->mailbox) == 0)) {
-    strfcpy (buf, "NOOP", sizeof (buf));
+          && m_strcasecmp(mbox_unquoted, idata->mailbox) == 0)) {
+    m_strcpy(buf, sizeof(buf), "NOOP");
   }
   else if (mutt_bit_isset (idata->capabilities, IMAP4REV1) ||
            mutt_bit_isset (idata->capabilities, STATUS)) {
     snprintf (buf, sizeof (buf), "STATUS %s (%s)", mbox,
-              new ? "RECENT" : "MESSAGES");
+              new == 1 ? "RECENT" : (new == 2 ? "UNSEEN" : "MESSAGES"));
   }
   else
     /* Server does not support STATUS, and this is not the current mailbox.
@@ -1215,22 +1207,19 @@ int imap_mailbox_check (char *path, int new)
       /* The mailbox name may or may not be quoted here. We could try to 
        * munge the server response and compare with quoted (or vise versa)
        * but it is probably more efficient to just strncmp against both. */
-      if (safe_strncmp (mbox_unquoted, s, safe_strlen (mbox_unquoted)) == 0
-          || safe_strncmp (mbox, s, safe_strlen (mbox)) == 0) {
+      if (m_strncmp(mbox_unquoted, s, m_strlen(mbox_unquoted)) == 0
+          || m_strncmp(mbox, s, m_strlen(mbox)) == 0) {
         s = imap_next_word (s);
         s = imap_next_word (s);
         if (isdigit ((unsigned char) *s)) {
           if (*s != '0') {
             msgcount = atoi (s);
-            dprint (2,
-                    (debugfile, "%d new messages in %s\n", msgcount, path));
+            debug_print (2, ("%d new messages in %s\n", msgcount, path));
           }
         }
       }
       else
-        dprint (1,
-                (debugfile,
-                 "imap_mailbox_check: STATUS response doesn't match requested mailbox.\n"));
+        debug_print (1, ("STATUS response doesn't match requested mailbox.\n"));
     }
   }
   while (rc == IMAP_CMD_CONTINUE);
@@ -1238,6 +1227,137 @@ int imap_mailbox_check (char *path, int new)
   return msgcount;
 }
 
+/* returns number of patterns in the search that should be done server-side
+ * (eg are full-text) */
+static int do_search (const pattern_t* search, int allpats)
+{
+  int rc = 0;
+  const pattern_t* pat;
+
+  for (pat = search; pat; pat = pat->next) {
+    switch (pat->op) {
+      case M_BODY:
+      case M_HEADER:
+      case M_WHOLE_MSG:
+        if (pat->stringmatch)
+          rc++;
+        break;
+      default:
+      if (pat->child && do_search (pat->child, 1))
+        rc++;
+    }
+
+    if (!allpats)
+      break;
+  }
+
+  return rc;
+}
+
+/* convert mutt pattern_t to IMAP SEARCH command containing only elements
+* that require full-text search (mutt already has what it needs for most
+* match types, and does a better job (eg server doesn't support regexps). */
+static int imap_compile_search (const pattern_t* pat, BUFFER* buf)
+{
+  if (! do_search (pat, 0))
+    return 0;
+
+  if (pat->not)
+    mutt_buffer_addstr (buf, "NOT ");
+
+  if (pat->child) {
+    int clauses;
+
+    if ((clauses = do_search (pat->child, 1)) > 0) {
+      const pattern_t* clause = pat->child;
+
+      mutt_buffer_addch (buf, '(');
+
+      while (clauses) {
+        if (do_search (clause, 0)) {
+          if (pat->op == M_OR && clauses > 1)
+            mutt_buffer_addstr (buf, "OR ");
+          clauses--;
+          if (imap_compile_search (clause, buf) < 0)
+            return -1;
+
+          if (clauses)
+            mutt_buffer_addch (buf, ' ');
+          
+          clause = clause->next;
+        }
+      }
+
+      mutt_buffer_addch (buf, ')');
+    }
+  } else {
+    char term[STRING];
+    char *delim;
+
+    switch (pat->op) {
+      case M_HEADER:
+        mutt_buffer_addstr (buf, "HEADER ");
+
+        /* extract header name */
+        if (! (delim = strchr (pat->str, ':'))) {
+          mutt_error (_("Header search without header name: %s"), pat->str);
+          return -1;
+        }
+        *delim = '\0';
+        imap_quote_string (term, sizeof (term), pat->str);
+        mutt_buffer_addstr (buf, term);
+        mutt_buffer_addch (buf, ' ');
+
+        /* and field */
+        *delim++ = ':';
+        delim = vskipspaces(delim);
+        imap_quote_string (term, sizeof (term), delim);
+        mutt_buffer_addstr (buf, term);
+        break;
+
+      case M_BODY:
+        mutt_buffer_addstr (buf, "BODY ");
+        imap_quote_string (term, sizeof (term), pat->str);
+        mutt_buffer_addstr (buf, term);
+        break;
+
+      case M_WHOLE_MSG:
+        mutt_buffer_addstr (buf, "TEXT ");
+        imap_quote_string (term, sizeof (term), pat->str);
+        mutt_buffer_addstr (buf, term);
+      break;
+    }
+  }
+
+  return 0;
+}
+
+int imap_search (CONTEXT* ctx, const pattern_t* pat) {
+  BUFFER buf;
+  IMAP_DATA* idata = (IMAP_DATA*)ctx->data;
+  int i;
+
+  for (i = 0; i < ctx->msgcount; i++)
+    ctx->hdrs[i]->matched = 0;
+
+  if (!do_search (pat, 1))
+    return 0;
+
+  p_clear(&buf, 1);
+  mutt_buffer_addstr (&buf, "UID SEARCH ");
+  if (imap_compile_search (pat, &buf) < 0) {
+    p_delete(&buf.data);
+    return -1;
+  }
+  if (imap_exec (idata, buf.data, 0) < 0) {
+    p_delete(&buf.data);
+    return -1;
+  }
+
+  p_delete(&buf.data);
+  return 0;
+}
+
 /* all this listing/browsing is a mess. I don't like that name is a pointer
  *   into idata->buf (used to be a pointer into the passed in buffer, just
  *   as bad), nor do I like the fact that the fetch is done here. This
@@ -1318,44 +1438,115 @@ int imap_subscribe (char *path, int subscribe)
   IMAP_DATA *idata;
   char buf[LONG_STRING];
   char mbox[LONG_STRING];
+  char errstr[STRING];
+  BUFFER err, token;
   IMAP_MBOX mx;
 
-  if (mx_get_magic (path) == M_IMAP || imap_parse_path (path, &mx)) {
+  if (mx_get_magic (path) != M_IMAP || imap_parse_path (path, &mx) < 0) {
     mutt_error (_("Bad mailbox name"));
     return -1;
   }
 
-
   if (!(idata = imap_conn_find (&(mx.account), 0)))
     goto fail;
 
   conn = idata->conn;
 
   imap_fix_path (idata, mx.mbox, buf, sizeof (buf));
+
+  if (option (OPTIMAPCHECKSUBSCRIBED)) {
+    p_clear(&token, 1);
+    err.data = errstr;
+    err.dsize = sizeof (errstr);
+    snprintf (mbox, sizeof (mbox), "%smailboxes \"%s\"",
+              subscribe ? "" : "un", path);
+    if (mutt_parse_rc_line (mbox, &token, &err))
+      debug_print (1, ("Error adding subscribed mailbox: %s\n", errstr));
+    p_delete(&token.data);
+  }
+
   if (subscribe)
     mutt_message (_("Subscribing to %s..."), buf);
   else
     mutt_message (_("Unsubscribing to %s..."), buf);
   imap_munge_mbox_name (mbox, sizeof (mbox), buf);
 
-  snprintf (buf, sizeof (buf), "%s %s", subscribe ? "SUBSCRIBE" :
-            "UNSUBSCRIBE", mbox);
+  snprintf (buf, sizeof (buf), "%sSUBSCRIBE %s", subscribe ? "" : "UN", mbox);
 
   if (imap_exec (idata, buf, 0) < 0)
     goto fail;
 
-  FREE (&mx.mbox);
+  p_delete(&mx.mbox);
   return 0;
 
 fail:
-  FREE (&mx.mbox);
+  p_delete(&mx.mbox);
   return -1;
 }
 
+/* trim dest to the length of the longest prefix it shares with src,
+ * returning the length of the trimmed string */
+static int longest_common_prefix (char *dest, const char* src,
+                                  int start, size_t dlen) {
+  int pos = start;
+
+  while (pos < dlen && dest[pos] && dest[pos] == src[pos])
+    pos++;
+  dest[pos] = '\0';
+
+  return pos;
+}
+
+/* look for IMAP URLs to complete from defined mailboxes. Could be extended
+ * to complete over open connections and account/folder hooks too. */
+static int imap_complete_hosts (char *dest, size_t len) {
+  BUFFY* mailbox;
+  CONNECTION* conn;
+  int rc = -1;
+  int matchlen;
+  int i = 0;
+
+  matchlen = m_strlen(dest);
+  if (list_empty (Incoming))
+    return (-1);
+  for (i = 0; i < Incoming->length; i++) {
+    mailbox = (BUFFY*) Incoming->data[i];
+    if (!m_strncmp(dest, mailbox->path, matchlen)) {
+      if (rc) {
+        m_strcpy(dest, len, mailbox->path);
+        rc = 0;
+      } else
+        longest_common_prefix (dest, mailbox->path, matchlen, len);
+    }
+  }
+
+  for (conn = mutt_socket_head (); conn && conn->next; conn = conn->next) {
+    ciss_url_t url;
+    char urlstr[LONG_STRING];
+
+    if (conn->account.type != M_ACCT_TYPE_IMAP)
+      continue;
+
+    mutt_account_tourl (&conn->account, &url);
+    /* FIXME: how to handle multiple users on the same host? */
+    url.user = NULL;
+    url.path = NULL;
+    url_ciss_tostring (&url, urlstr, sizeof (urlstr), 0);
+    if (!m_strncmp(dest, urlstr, matchlen)) {
+      if (rc) {
+        m_strcpy(dest, len, urlstr);
+        rc = 0;
+      } else
+        longest_common_prefix (dest, urlstr, matchlen, len);
+    }
+  }
+
+  return rc;
+}
+
 /* imap_complete: given a partial IMAP folder path, return a string which
  *   adds as much to the path as is unique */
-int imap_complete (char *dest, size_t dlen, char *path)
-{
+int imap_complete (char *dest, size_t dlen, char *path) {
   CONNECTION *conn;
   IMAP_DATA *idata;
   char list[LONG_STRING];
@@ -1366,18 +1557,20 @@ int imap_complete (char *dest, size_t dlen, char *path)
   char completion[LONG_STRING];
   int clen, matchlen = 0;
   int completions = 0;
-  int pos = 0;
   IMAP_MBOX mx;
 
-  /* verify passed in path is an IMAP path */
-  if (imap_parse_path (path, &mx)) {
-    dprint (2, (debugfile, "imap_complete: bad path %s\n", path));
-    return -1;
+  if (imap_parse_path (path, &mx) || !mx.mbox) {
+    m_strcpy(dest, dlen, path);
+    return imap_complete_hosts (dest, dlen);
   }
 
-  /* don't open a new socket just for completion */
-  if (!(idata = imap_conn_find (&(mx.account), M_IMAP_CONN_NONEW)))
-    goto fail;
+  /* don't open a new socket just for completion. Instead complete over
+   * known mailboxes/hooks/etc */
+  if (!(idata = imap_conn_find (&(mx.account), M_IMAP_CONN_NONEW))) {
+    p_delete(&mx.mbox);
+    m_strcpy(dest, dlen, path);
+    return imap_complete_hosts (dest, dlen);
+  }
   conn = idata->conn;
 
   /* reformat path for IMAP list, and append wildcard */
@@ -1394,7 +1587,7 @@ int imap_complete (char *dest, size_t dlen, char *path)
   imap_cmd_start (idata, buf);
 
   /* and see what the results are */
-  strfcpy (completion, NONULL (mx.mbox), sizeof (completion));
+  m_strcpy(completion, sizeof(completion), NONULL(mx.mbox));
   do {
     if (imap_parse_list_response (idata, &list_word, &noselect, &noinferiors,
                                   &delim))
@@ -1407,25 +1600,19 @@ int imap_complete (char *dest, size_t dlen, char *path)
       /* if the folder isn't selectable, append delimiter to force browse
        * to enter it on second tab. */
       if (noselect) {
-        clen = safe_strlen (list_word);
+        clen = m_strlen(list_word);
         list_word[clen++] = delim;
         list_word[clen] = '\0';
       }
       /* copy in first word */
       if (!completions) {
-        strfcpy (completion, list_word, sizeof (completion));
-        matchlen = safe_strlen (completion);
+        m_strcpy(completion, sizeof(completion), list_word);
+        matchlen = m_strlen(completion);
         completions++;
         continue;
       }
 
-      pos = 0;
-      while (pos < matchlen && list_word[pos] &&
-             completion[pos] == list_word[pos])
-        pos++;
-      completion[pos] = '\0';
-      matchlen = pos;
-
+      matchlen = longest_common_prefix (completion, list_word, 0, matchlen);
       completions++;
     }
   }
@@ -1436,12 +1623,10 @@ int imap_complete (char *dest, size_t dlen, char *path)
     imap_qualify_path (dest, dlen, &mx, completion);
     mutt_pretty_mailbox (dest);
 
-    FREE (&mx.mbox);
+    p_delete(&mx.mbox);
     return 0;
   }
 
-fail:
-  FREE (&mx.mbox);
   return -1;
 }