well this makes things fail for people ...
[apps/madmutt.git] / lib-mime / rfc822parse.c
index ebd7b82..49e806d 100644 (file)
  * please see the file GPL in the top level source directory.
  */
 
-#if HAVE_CONFIG_H
-# include "config.h"
-#endif
-
-#include <stdio.h>
-
-#include <lib-lib/mem.h>
-#include <lib-lib/str.h>
-#include <lib-lib/ascii.h>
-#include <lib-lib/macros.h>
-#include <lib-lib/buffer.h>
-#include <lib-lib/date.h>
+#include <lib-lib/lib-lib.h>
 
 #include "recvattach.h"
-#include "url.h"
-
-#include "lib/debug.h"
-
+#include "charset.h"
 #include "mime.h"
 
 /* Reads an arbitrarily long header field, and looks ahead for continuation
@@ -100,9 +86,9 @@ ssize_t mutt_read_rfc822_line(FILE *f, char **line, ssize_t *n)
 }
 
 /* TODO: Make that a string list somehow */
-LIST *mutt_parse_references(char *s, int in_reply_to)
+string_list_t *mutt_parse_references(char *s, int in_reply_to)
 {
-    LIST *lst = NULL;
+    string_list_t *lst = NULL;
     int n = 0;
     char *o = NULL;
 
@@ -130,8 +116,8 @@ LIST *mutt_parse_references(char *s, int in_reply_to)
                 o = NULL;
             } else {
                 new = p_new(char, n + m + 1);
-                strcpy(new, o);
-                strcpy(new + n, s);
+                m_strcpy(new, n + m + 1, o);
+                m_strcpy(new + n, m + 1, s);
             }
         }
 
@@ -143,14 +129,14 @@ LIST *mutt_parse_references(char *s, int in_reply_to)
          */
         if (new) {
             char *at = strchr(new, '@');
-            LIST *tmp;
+            string_list_t *tmp;
 
             if (!at || strchr(at + 1, '@') || (in_reply_to && at - new <= 8)) {
                 p_delete(&new);
                 continue;
             }
 
-            tmp = p_new(LIST, 1);
+            tmp = p_new(string_list_t, 1);
             tmp->data = new;
             tmp->next = lst;
             lst = tmp;
@@ -162,50 +148,54 @@ LIST *mutt_parse_references(char *s, int in_reply_to)
 
 int mutt_check_encoding(const char *s)
 {
-#define COMPARE(tok, value)                             \
-    if (!ascii_strncasecmp(tok, s, sizeof(tok) - 1)) {  \
-        return value;                                   \
+    int tok = mime_which_token(s, -1);
+    switch (tok) {
+      case MIME_7BIT:
+        return ENC7BIT;
+      case MIME_8BIT:
+        return ENC8BIT;
+      case MIME_BINARY:
+        return ENCBINARY;
+      case MIME_QUOTED_PRINTABLE:
+        return ENCQUOTEDPRINTABLE;
+      case MIME_BASE64:
+        return ENCBASE64;
+      case MIME_X_UUENCODE:
+        return ENCUUENCODED;
+      default:
+        return ENCOTHER;
     }
-    COMPARE("7bit", ENC7BIT);
-    COMPARE("8bit", ENC8BIT);
-    COMPARE("binary", ENCBINARY);
-    COMPARE("quoted-printable", ENCQUOTEDPRINTABLE);
-    COMPARE("base64", ENCBASE64);
-    COMPARE("x-uuencode", ENCUUENCODED);
-#undef COMPARE
-
-    return ENCOTHER;
 }
 
 int mutt_check_mime_type(const char *s)
 {
-#define COMPARE(tok, value)                             \
-    if (!ascii_strncasecmp(tok, s, sizeof(tok) - 1)) {  \
-        return value;                                   \
+    int tok;
+
+    if (!m_strcmp(s, "*") || !m_strcmp(s, ".*"))
+        return TYPEANY;
+
+    tok = mime_which_token(s, -1);
+    switch (tok) {
+      case MIME_TEXT:        return TYPETEXT;
+      case MIME_MULTIPART:   return TYPEMULTIPART;
+      case MIME_APPLICATION: return TYPEAPPLICATION;
+      case MIME_MESSAGE:     return TYPEMESSAGE;
+      case MIME_IMAGE:       return TYPEIMAGE;
+      case MIME_AUDIO:       return TYPEAUDIO;
+      case MIME_VIDEO:       return TYPEVIDEO;
+      case MIME_MODEL:       return TYPEMODEL;
+      default:               return TYPEOTHER;
     }
-  COMPARE("text", TYPETEXT);
-  COMPARE("multipart", TYPEMULTIPART);
-  COMPARE("application", TYPEAPPLICATION);
-  COMPARE("message", TYPEMESSAGE);
-  COMPARE("image", TYPEIMAGE);
-  COMPARE("audio", TYPEAUDIO);
-  COMPARE("video", TYPEVIDEO);
-  COMPARE("model", TYPEMODEL);
-  COMPARE("*",  TYPEANY);
-  COMPARE(".*", TYPEANY);
-#undef COMPARE
-
-  return TYPEOTHER;
 }
 
-static PARAMETER *parse_parameters(const char *s)
+static parameter_t *parse_parameters(const char *s)
 {
-    PARAMETER *res = NULL;
-    PARAMETER **list = &res;
+    parameter_t *res = NULL;
+    parameter_t **list = &res;
 
     while (*s) {
         const char *p;
-        PARAMETER *new;
+        parameter_t *new;
         int i;
 
         s = skipspaces(s);
@@ -237,12 +227,10 @@ static PARAMETER *parse_parameters(const char *s)
 
             s++;
             for (i = 0; *s && i < ssizeof(buffer) - 1; i++, s++) {
-                if (!option(OPTSTRICTMIME)) {
-                    /* As iso-2022-* has a characer of '"' with non-ascii state,
-                     * ignore it. */
-                    if (*s == 0x1b && i < ssizeof(buffer) - 2) {
-                        state_ascii = s[1] == '(' && (s[2] == 'B' || s[2] == 'J');
-                    }
+                /* As iso-2022-* has a characer of '"' with non-ascii state,
+                 * ignore it. */
+                if (*s == 0x1b && i < ssizeof(buffer) - 2) {
+                    state_ascii = s[1] == '(' && (s[2] == 'B' || s[2] == 'J');
                 }
                 if (state_ascii && *s == '"')
                     break;
@@ -278,7 +266,7 @@ void mutt_parse_content_type(char *s, BODY *ct)
     char *subtype;
 
     p_delete(&ct->subtype);
-    parameter_delete(&ct->parameter);
+    parameter_list_wipe(&ct->parameter);
 
     /* First extract any existing parameters */
     if ((pc = strchr(s, ';')) != NULL) {
@@ -288,7 +276,7 @@ void mutt_parse_content_type(char *s, BODY *ct)
         /* Some pre-RFC1521 gateways still use the "name=filename" convention,
          * but if a filename has already been set in the content-disposition,
          * let that take precedence, and don't set it here */
-        pc = mutt_get_parameter("name", ct->parameter);
+        pc = parameter_getval(ct->parameter, "name");
         if (pc && !ct->filename)
             ct->filename = m_strdup(pc);
     }
@@ -312,7 +300,7 @@ void mutt_parse_content_type(char *s, BODY *ct)
          * field, so we can attempt to convert the type to BODY here.
          */
         switch (ct->type) {
-            char buffer[SHORT_STRING];
+            char buffer[STRING];
 
           case TYPETEXT:
             ct->subtype = m_strdup("plain");
@@ -340,17 +328,15 @@ void mutt_parse_content_type(char *s, BODY *ct)
 
     /* Default character set for text types. */
     if (ct->type == TYPETEXT) {
-        pc = mutt_get_parameter("charset", ct->parameter);
+        pc = parameter_getval(ct->parameter, "charset");
         if (!pc) {
-            mutt_set_parameter("charset",
-                               option(OPTSTRICTMIME) ? "us-ascii" :
-                               mutt_get_first_charset(AssumedCharset),
-                               &ct->parameter);
+            parameter_setval(&ct->parameter, "charset",
+                             charset_getfirst(mod_cset.assumed_charset));
         }
     }
 }
 
-static void parse_content_disposition(char *s, BODY *ct)
+static void parse_content_disposition(const char *s, BODY *ct)
 {
     if (!ascii_strncasecmp(s, "inline", 6)) {
         ct->disposition = DISPINLINE;
@@ -362,14 +348,14 @@ static void parse_content_disposition(char *s, BODY *ct)
 
     /* Check to see if a default filename was given */
     if ((s = strchr (s, ';'))) {
-        PARAMETER *parms = parse_parameters(vskipspaces(s));
+        parameter_t *parms = parse_parameters(vskipspaces(s));
 
-        if ((s = mutt_get_parameter("filename", parms)))
+        if ((s = parameter_getval(parms, "filename")))
             m_strreplace(&ct->filename, s);
-        if ((s = mutt_get_parameter ("name", parms)))
+        if ((s = parameter_getval(parms, "name")))
             ct->form_name = m_strdup(s);
 
-        parameter_delete(&parms);
+        parameter_list_wipe(&parms);
     }
 }
 
@@ -381,7 +367,7 @@ static void parse_content_disposition(char *s, BODY *ct)
  */
 BODY *mutt_read_mime_header(FILE *fp, int digest)
 {
-    BODY *body = mutt_new_body ();
+    BODY *body = body_new();
     char *line = p_new(char, LONG_STRING);
     ssize_t linelen = LONG_STRING;
     char *p;
@@ -399,21 +385,28 @@ BODY *mutt_read_mime_header(FILE *fp, int digest)
             if (!*p)
                 continue;
         } else {
-            debug_print (1, ("bogus MIME header: %s\n", line));
             break;
         }
 
-        if (!ascii_strncasecmp(line, "content-", 8)) {
-            if (!ascii_strcasecmp("type", line + 8))
-                mutt_parse_content_type (p, body);
-            else if (!ascii_strcasecmp ("transfer-encoding", line + 8))
-                body->encoding = mutt_check_encoding (p);
-            else if (!ascii_strcasecmp ("disposition", line + 8))
-                parse_content_disposition(p, body);
-            else if (!ascii_strcasecmp ("description", line + 8)) {
-                m_strreplace(&body->description, p);
-                rfc2047_decode(&body->description);
-            }
+        switch (mime_which_token(line, -1)) {
+          case MIME_CONTENT_TYPE:
+            mutt_parse_content_type (p, body);
+            break;
+
+          case MIME_CONTENT_TRANSFER_ENCODING:
+            body->encoding = mutt_check_encoding (p);
+            break;
+
+          case MIME_CONTENT_DISPOSITION:
+            parse_content_disposition(p, body);
+            break;
+
+          case MIME_CONTENT_DESCRIPTION:
+            m_strreplace(&body->description, p);
+            rfc2047_decode(&body->description);
+            break;
+
+          default: break;
         }
     }
 
@@ -426,7 +419,7 @@ BODY *mutt_read_mime_header(FILE *fp, int digest)
     }
 
     p_delete(&line);
-    return (body);
+    return body;
 }
 
 void mutt_parse_part(FILE *fp, BODY *b)
@@ -435,20 +428,20 @@ void mutt_parse_part(FILE *fp, BODY *b)
 
     switch (b->type) {
       case TYPEMULTIPART:
-        bound = mutt_get_parameter("boundary", b->parameter);
+        bound = parameter_getval(b->parameter, "boundary");
         fseeko(fp, b->offset, SEEK_SET);
         b->parts = mutt_parse_multipart(fp, bound, b->offset + b->length,
-                           !ascii_strcasecmp("digest", b->subtype));
+                                        mime_which_token(b->subtype, -1) == MIME_DIGEST);
         break;
 
       case TYPEMESSAGE:
         if (b->subtype) {
             fseeko(fp, b->offset, SEEK_SET);
 
-            if (mutt_is_message_type(b->type, b->subtype)) {
+            if (mutt_is_message_type(b)) {
                 b->parts = mutt_parse_messageRFC822(fp, b);
             } else
-            if (!ascii_strcasecmp(b->subtype, "external-body") == 0) {
+            if (mime_which_token(b->subtype, -1) == MIME_EXTERNAL_BODY) {
                 b->parts = mutt_read_mime_header(fp, 0);
             } else {
                 return;
@@ -563,7 +556,7 @@ mutt_parse_multipart(FILE *fp, const char *bound, off_t end_off, int digest)
                  */
 
                 if (new->offset > end_off) {
-                    mutt_free_body(&new);
+                    body_list_wipe(&new);
                     break;
                 }
 
@@ -585,82 +578,9 @@ mutt_parse_multipart(FILE *fp, const char *bound, off_t end_off, int digest)
             mutt_parse_part(fp, b);
     }
 
-    return (head);
+    return head;
 }
 
-static const char *
-uncomment_timezone(char *buf, size_t buflen, const char *tz)
-{
-    char *p;
-
-    if (*tz != '(')
-        return tz;                  /* no need to do anything */
-
-    tz = vskipspaces(tz + 1);
-    p = strpbrk(tz, " )");
-    if (!p)
-        return tz;
-
-    m_strncpy(buf, buflen, tz, p - tz);
-    return buf;
-}
-
-static struct tz_t {
-    char tzname[5];
-    unsigned char zhours;
-    unsigned char zminutes;
-    unsigned char zoccident;      /* west of UTC? */
-} TimeZones[] = {
-    {"aat", 1, 0, 1},             /* Atlantic Africa Time */
-    {"adt", 4, 0, 0},             /* Arabia DST */
-    {"ast", 3, 0, 0},             /* Arabia */
-    /*{ "ast",   4,  0, 1 }, *//* Atlantic */
-    {"bst", 1, 0, 0},             /* British DST */
-    {"cat", 1, 0, 0},             /* Central Africa */
-    {"cdt", 5, 0, 1},
-    {"cest", 2, 0, 0},            /* Central Europe DST */
-    {"cet", 1, 0, 0},             /* Central Europe */
-    {"cst", 6, 0, 1},
-    /*{ "cst",   8,  0, 0 }, *//* China */
-    /*{ "cst",   9, 30, 0 }, *//* Australian Central Standard Time */
-    {"eat", 3, 0, 0},             /* East Africa */
-    {"edt", 4, 0, 1},
-    {"eest", 3, 0, 0},            /* Eastern Europe DST */
-    {"eet", 2, 0, 0},             /* Eastern Europe */
-    {"egst", 0, 0, 0},            /* Eastern Greenland DST */
-    {"egt", 1, 0, 1},             /* Eastern Greenland */
-    {"est", 5, 0, 1},
-    {"gmt", 0, 0, 0},
-    {"gst", 4, 0, 0},             /* Presian Gulf */
-    {"hkt", 8, 0, 0},             /* Hong Kong */
-    {"ict", 7, 0, 0},             /* Indochina */
-    {"idt", 3, 0, 0},             /* Israel DST */
-    {"ist", 2, 0, 0},             /* Israel */
-    /*{ "ist",   5, 30, 0 }, *//* India */
-    {"jst", 9, 0, 0},             /* Japan */
-    {"kst", 9, 0, 0},             /* Korea */
-    {"mdt", 6, 0, 1},
-    {"met", 1, 0, 0},             /* this is now officially CET */
-    {"msd", 4, 0, 0},             /* Moscow DST */
-    {"msk", 3, 0, 0},             /* Moscow */
-    {"mst", 7, 0, 1},
-    {"nzdt", 13, 0, 0},           /* New Zealand DST */
-    {"nzst", 12, 0, 0},           /* New Zealand */
-    {"pdt", 7, 0, 1},
-    {"pst", 8, 0, 1},
-    {"sat", 2, 0, 0},             /* South Africa */
-    {"smt", 4, 0, 0},             /* Seychelles */
-    {"sst", 11, 0, 1},            /* Samoa */
-    /*{ "sst",   8,  0, 0 }, *//* Singapore */
-    {"utc", 0, 0, 0},
-    {"wat", 0, 0, 0},             /* West Africa */
-    {"west", 1, 0, 0},            /* Western Europe DST */
-    {"wet", 0, 0, 0},             /* Western Europe */
-    {"wgst", 2, 0, 1},            /* Western Greenland DST */
-    {"wgt", 3, 0, 1},             /* Western Greenland */
-    {"wst", 8, 0, 0},             /* Western Australia */
-};
-
 /* parses a date string in RFC822 format:
  *
  * Date: [ weekday , ] day-of-month month year hour:minute:second timezone
@@ -670,192 +590,87 @@ static struct tz_t {
  */
 time_t mutt_parse_date(const char *s, HEADER *h)
 {
-    int zhours = 0, zminutes = 0, zoccident = 0;
-    char scratch[SHORT_STRING];
     struct tm tm;
-    int count = 0;
-    char *p;
-
-    /* Don't modify our argument. Fixed-size buffer is ok here since
-       the date format imposes a natural limit.  */
-
-    m_strcpy(scratch, sizeof(scratch), s);
-
-    /* kill the day of the week, if it exists. */
-    p = strchr(scratch, ',');
-    p = vskipspaces(p ? p + 1 : scratch);
+    const char *loc;
+    time_t tz;
 
+    loc = setlocale(LC_ALL, "C");
     p_clear(&tm, 1);
+    if (strptime(s, "%a, %d %b %Y %H:%M:%S %z", &tm))
+        goto ok;
+    p_clear(&tm, 1);
+    if (strptime(s, "%a, %d %b %Y %H:%M %z", &tm))
+        goto ok;
+    setlocale(LC_ALL, "");
+    return 0;
 
-    while ((p = strtok (p, " \t")) != NULL) {
-        char tzstr[SHORT_STRING];
-        const char *ptz;
-
-        switch (count) {
-          case 0:                    /* day of the month */
-            if (!isdigit((unsigned char)*p))
-                return -1;
-            tm.tm_mday = atoi(p);
-            if (tm.tm_mday > 31)
-                return -1;
-            break;
-
-          case 1:                    /* month of the year */
-            tm.tm_mon = mutt_check_month(p);
-            if (tm.tm_mon < 0)
-                return -1;
-            break;
-
-          case 2:                    /* year */
-            tm.tm_year = atoi(p);
-            if (tm.tm_year < 50)
-                tm.tm_year += 100;
-            else if (tm.tm_year >= 1900)
-                tm.tm_year -= 1900;
-            break;
-
-          case 3:                    /* time of day */
-            tm.tm_hour = strtol(p, &p, 10);
-            if (*p++ != ':')
-                return -1;
-            tm.tm_min  = strtol(p, &p, 10);
-            if (*p++ == ':') {
-                tm.tm_sec = strtol(p, &p, 10);
-            } else {
-                tm.tm_sec = 0;
-            }
-            break;
-
-          case 4:                    /* timezone */
-            /* sometimes we see things like (MST) or (-0700) so attempt to
-             * compensate by uncommenting the string if non-RFC822 compliant
-             */
-            ptz = uncomment_timezone(tzstr, sizeof(tzstr), p);
-
-            if (*ptz == '+' || *ptz == '-') {
-                if (isdigit((unsigned char)ptz[1])
-                &&  isdigit((unsigned char)ptz[2])
-                &&  isdigit((unsigned char)ptz[3])
-                &&  isdigit((unsigned char)ptz[4]))
-                {
-                    zoccident = ptz[0] == '-';
-                    zhours    = (ptz[1] - '0') * 10 + (ptz[2] - '0');
-                    zminutes  = (ptz[3] - '0') * 10 + (ptz[4] - '0');
-                }
-            } else {
-                struct tz_t *tz;
-
-                /* This is safe to do: A pointer to a struct equals a pointer to its
-                 * first element*/
-                tz = bsearch(ptz, TimeZones, countof(TimeZones), sizeof(TimeZones[0]),
-                             (int (*)(const void *, const void *))ascii_strcasecmp);
-
-                if (tz) {
-                    zhours = tz->zhours;
-                    zminutes = tz->zminutes;
-                    zoccident = tz->zoccident;
-                }
-
-                /* ad hoc support for the European MET (now officially CET) TZ */
-                if (ascii_strcasecmp(p, "MET") == 0) {
-                    if ((p = strtok (NULL, " \t")) && !ascii_strcasecmp(p, "DST")) {
-                        zhours++;
-                    }
-                }
-            }
-            break;
-        }
-        count++;
-        p = NULL;
-    }
-
-    if (count < 4) {  /* don't check for missing timezone */
-        debug_print (1, ("error parsing date format, using received time\n"));
-        return -1;
-    }
-
-    if (h) {
-        h->zhours    = zhours;
-        h->zminutes  = zminutes;
-        h->zoccident = zoccident;
-    }
-
-    return mutt_mktime(&tm, 0) + (zoccident ? 1 : -1) * (zhours * 3600 + zminutes * 60);
+  ok:
+    setlocale(LC_ALL, "");
+    tz = tm.tm_gmtoff;
+    return timegm(&tm) - tz;
 }
 
-#include "rfc822hdrs.h"
-
-void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
-                            short user_hdrs, short weed, short do_2047,
-                            LIST **lastp)
+string_list_t **mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
+                              short weed, short do_2047, string_list_t **user_hdrs)
 {
-    switch (rfc822_well_known(line)) {
-      case HDR_APPARENTLY_FROM:
+    switch (mime_which_token(line, -1)) {
+      case MIME_APPARENTLY_FROM:
         e->from = rfc822_parse_adrlist (e->from, p);
         break;
 
-      case HDR_APPARENTLY_TO:
+      case MIME_APPARENTLY_TO:
         e->to = rfc822_parse_adrlist (e->to, p);
         break;
 
-      case HDR_BCC:
+      case MIME_BCC:
         e->bcc = rfc822_parse_adrlist (e->bcc, p);
         break;
 
-      case HDR_CC:
+      case MIME_CC:
         e->cc = rfc822_parse_adrlist (e->cc, p);
         break;
 
-      case HDR_CONTENT_DESCRIPTION:
+      case MIME_CONTENT_DESCRIPTION:
         if (hdr) {
             m_strreplace(&hdr->content->description, p);
             rfc2047_decode(&hdr->content->description);
         }
         break;
 
-      case HDR_CONTENT_DISPOSITION:
+      case MIME_CONTENT_DISPOSITION:
         if (hdr)
             parse_content_disposition(p, hdr->content);
         break;
 
-      case HDR_CONTENT_LENGTH:
+      case MIME_CONTENT_LENGTH:
         if (hdr) {
             if ((hdr->content->length = atoi(p)) < 0)
                 hdr->content->length = -1;
         }
         break;
 
-      case HDR_CONTENT_TRANSFER_ENCODING:
+      case MIME_CONTENT_TRANSFER_ENCODING:
         if (hdr)
             hdr->content->encoding = mutt_check_encoding(p);
         break;
 
-      case HDR_CONTENT_TYPE:
+      case MIME_CONTENT_TYPE:
         if (hdr)
             mutt_parse_content_type (p, hdr->content);
         break;
 
-      case HDR_DATE:
+      case MIME_DATE:
         m_strreplace(&e->date, p);
         if (hdr)
             hdr->date_sent = mutt_parse_date (p, hdr);
         break;
 
-      case HDR_EXPIRES:
+      case MIME_EXPIRES:
         if (hdr && mutt_parse_date (p, NULL) < time (NULL))
             hdr->expired = 1;
         break;
 
-#ifdef USE_NNTP
-      case HDR_FOLLOWUP_TO:
-        if (!e->followup_to) {
-            m_strrtrim(p);
-            e->followup_to = m_strdup(skipspaces(p));
-        }
-        break;
-#endif
-
-      case HDR_FROM:
+      case MIME_FROM:
         e->from = rfc822_parse_adrlist(e->from, p);
         /* don't leave from info NULL if there's an invalid address (or
          * whatever) in From: field; mutt would just display it as empty
@@ -867,12 +682,12 @@ void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
         }
         break;
 
-      case HDR_IN_REPLY_TO:
-        mutt_free_list(&e->in_reply_to);
+      case MIME_IN_REPLY_TO:
+        string_list_wipe(&e->in_reply_to);
         e->in_reply_to = mutt_parse_references(p, 1);
         break;
 
-      case HDR_LINES:
+      case MIME_LINES:
         if (hdr) {
             /* HACK - mutt has, for a very short time, produced negative
                Lines header values.  Ignore them. */
@@ -880,9 +695,9 @@ void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
         }
         break;
 
-      case HDR_LIST_POST:
+      case MIME_LIST_POST:
         /* RFC 2369.  FIXME: We should ignore whitespace, but don't. */
-        if (strncmp(p, "NO", 2)) {
+        if (m_strncmp(p, "NO", 2)) {
             char *beg, *end;
 
             for (beg = strchr (p, '<'); beg; beg = strchr (end, ',')) {
@@ -900,16 +715,16 @@ void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
         }
         break;
 
-      case HDR_MAIL_FOLLOWUP_TO:
+      case MIME_MAIL_FOLLOWUP_TO:
         e->mail_followup_to = rfc822_parse_adrlist(e->mail_followup_to, p);
         break;
 
-      case HDR_MAIL_REPLY_TO:
-        address_delete (&e->reply_to);
+      case MIME_MAIL_REPLY_TO:
+        address_list_wipe(&e->reply_to);
         e->reply_to = rfc822_parse_adrlist(e->reply_to, p);
         break;
 
-      case HDR_MESSAGE_ID:
+      case MIME_MESSAGE_ID:
         {
             const char *beg, *end;
 
@@ -921,25 +736,17 @@ void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
         }
         break;
 
-      case HDR_MIME_VERSION:
+      case MIME_MIME_VERSION:
         if (hdr)
             hdr->mime = 1;
         break;
 
-#ifdef USE_NNTP
-      case HDR_NEWSGROUPS:
-        p_delete(&e->newsgroups);
-        m_strrtrim(p);
-        e->newsgroups = m_strdup(skipspaces(p));
-        break;
-#endif
-
-      case HDR_ORGANIZATION:
-        if (!e->organization && m_strcasecmp(p, "unknown"))
+      case MIME_ORGANIZATION:
+        if (!e->organization && mime_which_token(p, -1) == MIME_UNKNOWN)
             e->organization = m_strdup(p);
         break;
 
-      case HDR_RECEIVED:
+      case MIME_RECEIVED:
         if (hdr && !hdr->received) {
             char *d = strchr(p, ';');
             if (d)
@@ -947,24 +754,24 @@ void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
         }
         break;
 
-      case HDR_REFERENCES:
-        mutt_free_list(&e->references);
+      case MIME_REFERENCES:
+        string_list_wipe(&e->references);
         e->references = mutt_parse_references(p, 0);
         break;
 
-      case HDR_REPLY_TO:
+      case MIME_REPLY_TO:
         e->reply_to = rfc822_parse_adrlist(e->reply_to, p);
         break;
 
-      case HDR_RETURN_PATH:
+      case MIME_RETURN_PATH:
         e->return_path = rfc822_parse_adrlist(e->return_path, p);
         break;
 
-      case HDR_SENDER:
+      case MIME_SENDER:
         e->sender = rfc822_parse_adrlist (e->sender, p);
         break;
 
-      case HDR_STATUS:
+      case MIME_STATUS:
         if (hdr) {
             while (*p) {
                 switch (*p) {
@@ -983,40 +790,26 @@ void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
         }
         break;
 
-      case HDR_SUBJECT:
+      case MIME_SUBJECT:
         if (!e->subject)
             e->subject = m_strdup(p);
         break;
 
-      case HDR_SUPERCEDES:
-      case HDR_SUPERSEDES:
+      case MIME_SUPERCEDES:
+      case MIME_SUPERSEDES:
         if (hdr)
             e->supersedes = m_strdup(p);
         break;
 
-      case HDR_TO:
+      case MIME_TO:
         e->to = rfc822_parse_adrlist(e->to, p);
         break;
 
-#ifdef USE_NNTP
-      case HDR_X_COMMENT_TO:
-        if (!e->x_comment_to)
-            e->x_comment_to = m_strdup(p);
-        break;
-#endif
-
-      case HDR_X_LABEL:
+      case MIME_X_LABEL:
         e->x_label = m_strdup(p);
         break;
 
-#ifdef USE_NNTP
-      case HDR_XREF:
-        if (!e->xref)
-            e->xref = m_strdup(p);
-        break;
-#endif
-
-      case HDR_X_STATUS:
+      case MIME_X_STATUS:
         if (hdr) {
             while (*p) {
                 switch (*p) {
@@ -1038,33 +831,26 @@ void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
         break;
 
       default:
-        if (!user_hdrs) {
-            return;
-        }
+        if (!user_hdrs)
+            break;
+
         /* restore the original line */
         line[m_strlen(line)] = ':';
 
-        if (weed && option(OPTWEED) && mutt_matches_ignore(line, Ignore)
-        && !mutt_matches_ignore(line, UnIgnore)) {
-            return;
-        }
-
-        if (*lastp) {
-            (*lastp)->next = mutt_new_list();
-            (*lastp) = (*lastp)->next;
-        } else {
-            (*lastp) = e->userhdrs = mutt_new_list ();
+        if (weed && string_list_contains(Ignore, line, "*")
+        && !string_list_contains(UnIgnore, line, "*")) {
+            break;
         }
 
-        (*lastp)->data = m_strdup(line);
+        *user_hdrs = string_item_new();
+        (*user_hdrs)->data = m_strdup(line);
         if (do_2047)
-            rfc2047_decode(&(*lastp)->data);
+            rfc2047_decode(&(*user_hdrs)->data);
+        return &(*user_hdrs)->next;
     }
-}
-
-/*** XXX: MC READ MARK ***/
-
 
+    return user_hdrs;
+}
 
 /* mutt_read_rfc822_header() -- parses a RFC822 header
  *
@@ -1084,262 +870,238 @@ void mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
  * Returns:     newly allocated envelope structure.  You should free it by
  *              envelope_delete() when envelope stay unneeded.
  */
-ENVELOPE *mutt_read_rfc822_header (FILE * f, HEADER * hdr, short user_hdrs,
-                                   short weed)
+ENVELOPE *
+mutt_read_rfc822_header(FILE *f, HEADER *hdr, short user_hdrs, short weed)
 {
-  ENVELOPE *e = envelope_new();
-  LIST *last = NULL;
-  char *line = p_new(char, LONG_STRING);
-  char *p;
-  off_t loc;
-  ssize_t linelen = LONG_STRING;
-  char buf[LONG_STRING + 1];
-
-  if (hdr) {
-    if (hdr->content == NULL) {
-      hdr->content = mutt_new_body ();
-
-      /* set the defaults from RFC1521 */
-      hdr->content->type = TYPETEXT;
-      hdr->content->subtype = m_strdup("plain");
-      hdr->content->encoding = ENC7BIT;
-      hdr->content->length = -1;
-
-      /* RFC 2183 says this is arbitrary */
-      hdr->content->disposition = DISPINLINE;
-    }
-  }
-
-  while ((loc = ftello (f)),
-         mutt_read_rfc822_line (f, &line, &linelen))
-  {
-    if ((p = strpbrk (line, ": \t")) == NULL || *p != ':') {
-      char return_path[LONG_STRING];
-      time_t t;
-
-      /* some bogus MTAs will quote the original "From " line */
-      if (m_strncmp(">From ", line, 6) == 0)
-        continue;               /* just ignore */
-      else if (is_from (line, return_path, sizeof (return_path), &t)) {
-        /* MH somtimes has the From_ line in the middle of the header! */
-        if (hdr && !hdr->received)
-          hdr->received = t - mutt_local_tz (t);
-        continue;
-      }
-
-      fseeko (f, loc, 0);
-      break;                    /* end of header */
+    ENVELOPE *e = envelope_new();
+    string_list_t **last = user_hdrs ? &e->userhdrs : NULL;
+
+    char *line = p_new(char, LONG_STRING);
+    ssize_t linelen = LONG_STRING;
+    off_t loc;
+
+    if (hdr && !hdr->content) {
+        hdr->content = body_new();
+
+        /* set the defaults from RFC1521 */
+        hdr->content->type     = TYPETEXT;
+        hdr->content->subtype  = m_strdup("plain");
+        hdr->content->encoding = ENC7BIT;
+        hdr->content->length   = -1;
+
+        /* RFC 2183 says this is arbitrary */
+        hdr->content->disposition = DISPINLINE;
     }
 
-    *buf = '\0';
-
-    if (mutt_match_spam_list (line, SpamList, buf, sizeof (buf))) {
-      if (!rx_list_match (NoSpamList, line)) {
-
-        /* if spam tag already exists, figure out how to amend it */
-        if (e->spam && *buf) {
-          /* If SpamSep defined, append with separator */
-          if (SpamSep) {
-            mutt_buffer_addstr (e->spam, SpamSep);
-            mutt_buffer_addstr (e->spam, buf);
-          }
-
-          /* else overwrite */
-          else {
-            e->spam->dptr = e->spam->data;
-            *e->spam->dptr = '\0';
-            mutt_buffer_addstr (e->spam, buf);
-          }
-        }
+    while ((loc = ftello(f)),
+           mutt_read_rfc822_line(f, &line, &linelen))
+    {
+        char buf[LONG_STRING + 1] = "";
+        char *p;
+
+        p = strpbrk(line, ": \t");
+        if (!p || *p != ':') {
+            /* some bogus MTAs will quote the original "From " line */
+            if (!m_strncmp(">From ", line, 6) || !m_strncmp("From ", line, 5))
+                continue;               /* just ignore */
 
-        /* spam tag is new, and match expr is non-empty; copy */
-        else if (!e->spam && *buf) {
-          e->spam = mutt_buffer_from (NULL, buf);
+            fseeko(f, loc, 0);
+            break;                    /* end of header */
         }
 
-        /* match expr is empty; plug in null string if no existing tag */
-        else if (!e->spam) {
-          e->spam = mutt_buffer_from (NULL, "");
+        if (rx_list_match2(SpamList, line, buf, sizeof(buf))
+        && !rx_list_match(NoSpamList, line))
+        {
+            /* if spam tag already exists, figure out how to amend it */
+            if (e->spam && *buf) {
+                if (mod_mime.spam_separator) {
+                    mutt_buffer_addstr(e->spam, mod_mime.spam_separator);
+                } else {
+                    mutt_buffer_reset(e->spam);
+                }
+                mutt_buffer_addstr(e->spam, buf);
+            }
+
+            if (!e->spam) {
+                e->spam = mutt_buffer_from(NULL, buf);
+            }
         }
 
-        if (e->spam && e->spam->data)
-          debug_print (5, ("spam = %s\n", e->spam->data));
-      }
-    }
+        *p++ = '\0';
+        p = vskipspaces(p);
+        if (!*p)
+            continue;                 /* skip empty header fields */
 
-    *p++ = 0;
-    p = vskipspaces(p);
-    if (!*p)
-      continue;                 /* skip empty header fields */
-
-    mutt_parse_rfc822_line (e, hdr, line, p, user_hdrs, weed, 1, &last);
-  }
-
-  p_delete(&line);
-
-  if (hdr) {
-    hdr->content->hdr_offset = hdr->offset;
-    hdr->content->offset = ftello (f);
-    rfc2047_decode_envelope(e);
-    /* check for missing or invalid date */
-    if (hdr->date_sent <= 0) {
-      debug_print (1, ("no date found, using received "
-                       "time from msg separator\n"));
-      hdr->date_sent = hdr->received;
+        last = mutt_parse_rfc822_line(e, hdr, line, p, weed, 1, last);
     }
-  }
 
-  return (e);
-}
+    p_delete(&line);
 
-address_t *mutt_parse_adrlist (address_t * p, const char *s)
-{
-  const char *q;
-
-  /* check for a simple whitespace separated list of addresses */
-  if ((q = strpbrk (s, "\"<>():;,\\")) == NULL) {
-    char tmp[HUGE_STRING];
-    char *r;
-
-    m_strcpy(tmp, sizeof(tmp), s);
-    r = tmp;
-    while ((r = strtok (r, " \t")) != NULL) {
-      p = rfc822_parse_adrlist (p, r);
-      r = NULL;
+    if (hdr) {
+        hdr->content->hdr_offset = hdr->offset;
+        hdr->content->offset     = ftello(f);
+        rfc2047_decode_envelope(e);
+        /* check for missing or invalid date */
+        if (hdr->date_sent <= 0) {
+            hdr->date_sent = hdr->received;
+        }
     }
-  }
-  else
-    p = rfc822_parse_adrlist (p, s);
 
-  return p;
+    return e;
 }
 
-
 /* Compares mime types to the ok and except lists */
-int count_body_parts_check(LIST **checklist, BODY *b, int dflt) {
-  LIST *type;
-  ATTACH_MATCH *a;
+static int count_body_parts_check(string_list_t **checklist, BODY *b)
+{
+    string_list_t *type;
 
-  /* If list is null, use default behavior. */
-  if (! *checklist) {
-    /*return dflt;*/
-    return 0;
-  }
-
-  for (type = *checklist; type; type = type->next) {
-    a = (ATTACH_MATCH *)type->data;
-    debug_print(5, ("cbpc: %s %d/%s ?? %s/%s [%d]... ",
-               dflt ? "[OK] " : "[EXCL] ",
-               b->type, b->subtype, a->major, a->minor, a->major_int));
-    if ((a->major_int == TYPEANY || a->major_int == b->type) &&
-        !regexec(&a->minor_rx, b->subtype, 0, NULL, 0)) {
-      debug_print(5, ("yes\n"));
-      return 1;
-    } else {
-      debug_print(5, ("no\n"));
+    for (type = *checklist; type; type = type->next) {
+        ATTACH_MATCH *a = (ATTACH_MATCH *)type->data;
+
+        if ((a->major_int == TYPEANY || a->major_int == b->type)
+        &&  !regexec(&a->minor_rx, b->subtype, 0, NULL, 0)) {
+            return 1;
+        }
     }
-  }
-  return 0;
+
+    return 0;
 }
 
-#define AT_COUNT(why) { shallcount = 1; }
-#define AT_NOCOUNT(why) { shallcount = 0; }
+static int count_body_parts (BODY *body, int flags)
+{
+    int count = 0;
+    BODY *bp;
 
-int count_body_parts (BODY *body, int flags) {
-  int count = 0;
-  int shallcount, shallrecurse;
-  BODY *bp;
+    if (!body)
+        return 0;
 
-  if (body == NULL)
-    return 0;
+    for (bp = body; bp != NULL; bp = bp->next) {
+        /* Initial disposition is to count and not to recurse this part. */
+        int shallcount, shallrecurse, iscontainer;
+        int tok = mime_which_token(bp->subtype, -1);
 
-  for (bp = body; bp != NULL; bp = bp->next) {
-    /* Initial disposition is to count and not to recurse this part. */
-    AT_COUNT("default");
-    shallrecurse = 0;
-
-    debug_print(5, ("bp: desc=\"%s\"; fn=\"%s\", type=\"%d/%s\"\n",
-               bp->description ? bp->description : ("none"),
-               bp->filename ? bp->filename :
-               bp->d_filename ? bp->d_filename : "(none)",
-               bp->type, bp->subtype ? bp->subtype : "*"));
-
-    if (bp->type == TYPEMESSAGE) {
-      shallrecurse = 1;
-
-      /* If it's an external body pointer, don't recurse it. */
-      if (!ascii_strcasecmp (bp->subtype, "external-body"))
-        shallrecurse = 0;
-
-      /* Don't count containers if they're top-level. */
-      if (flags & M_PARTS_TOPLEVEL)
-        AT_NOCOUNT("top-level message/*");
-    } else if (bp->type == TYPEMULTIPART) {
-      /* Always recurse multiparts, except multipart/alternative. */
-      shallrecurse = 1;
-      if (!m_strcasecmp(bp->subtype, "alternative"))
-        shallrecurse = 0;
-
-      /* Don't count containers if they're top-level. */
-      if (flags & M_PARTS_TOPLEVEL)
-        AT_NOCOUNT("top-level multipart");
-    }
+        iscontainer  = bp->type == TYPEMESSAGE || bp->type == TYPEMULTIPART;
 
-    if (bp->disposition == DISPINLINE &&
-        bp->type != TYPEMULTIPART && bp->type != TYPEMESSAGE && bp == body)
-      AT_NOCOUNT("ignore fundamental inlines");
-
-    /* If this body isn't scheduled for enumeration already, don't bother
-     * profiling it further. */
-
-    if (shallcount) {
-      /* Turn off shallcount if message type is not in ok list,
-       * or if it is in except list. Check is done separately for
-       * inlines vs. attachments.
-       */
-
-      if (bp->disposition == DISPATTACH) {
-        if (!count_body_parts_check(&AttachAllow, bp, 1))
-          AT_NOCOUNT("attach not allowed");
-        if (count_body_parts_check(&AttachExclude, bp, 0))
-          AT_NOCOUNT("attach excluded");
-      } else {
-        if (!count_body_parts_check(&InlineAllow, bp, 1))
-          AT_NOCOUNT("inline not allowed");
-        if (count_body_parts_check(&InlineExclude, bp, 0))
-          AT_NOCOUNT("excluded");
-      }
-    }
+        /* don't recurse in external bodies or multipart/alternatives */
+        shallrecurse = (bp->type == TYPEMESSAGE && tok != MIME_EXTERNAL_BODY)
+                    || (bp->type == TYPEMULTIPART && tok != MIME_ALTERNATIVE);
 
-    if (shallcount)
-      count++;
-    bp->attach_qualifies = shallcount ? 1 : 0;
+        /* Don't count top level containers and fundamental inlines */
+        shallcount   = !(iscontainer && (flags & M_PARTS_TOPLEVEL))
+                    && !(!iscontainer && bp->disposition == DISPINLINE && bp == body);
 
-    debug_print(5, ("cbp: %p shallcount = %d\n", bp, shallcount));
+        if (shallcount) {
+            /* Turn off shallcount if message type is not in ok list,
+             * or if it is in except list. Check is done separately for
+             * inlines vs. attachments.
+             */
 
-    if (shallrecurse) {
-      debug_print(5, ("cbp: %p pre count = %d\n", bp, count));
-      bp->attach_count = count_body_parts(bp->parts, flags & ~M_PARTS_TOPLEVEL);
-      count += bp->attach_count;
-      debug_print(5, ("cbp: %p post count = %d\n", bp, count));
+            if (bp->disposition == DISPATTACH) {
+                if (!count_body_parts_check(&AttachAllow, bp))
+                    shallcount = 0;
+                if (count_body_parts_check(&AttachExclude, bp))
+                    shallcount = 0;
+            } else {
+                if (!count_body_parts_check(&InlineAllow, bp))
+                    shallcount = 0;
+                if (count_body_parts_check(&InlineExclude, bp))
+                    shallcount = 0;
+            }
+        }
+
+        bp->attach_qualifies = shallcount;
+        count += shallcount;
+
+        if (shallrecurse) {
+            bp->attach_count = count_body_parts(bp->parts,
+                                                flags & ~M_PARTS_TOPLEVEL);
+            count += bp->attach_count;
+        }
     }
-  }
 
-  debug_print(5, ("bp: return %d\n", count < 0 ? 0 : count));
-  return count < 0 ? 0 : count;
+    return count;
 }
 
-int mutt_count_body_parts (HEADER *hdr, int flags) {
-  if (!option (OPTCOUNTATTACH))
-    return (0);
-  if (hdr->attach_valid && !(flags & M_PARTS_RECOUNT))
+int mutt_count_body_parts(HEADER *hdr, int flags)
+{
+    if (hdr->attach_valid && !(flags & M_PARTS_RECOUNT))
+        return hdr->attach_total;
+
+    if (AttachAllow || AttachExclude || InlineAllow || InlineExclude)
+        hdr->attach_total = count_body_parts(hdr->content,
+                                             flags | M_PARTS_TOPLEVEL);
+    else
+        hdr->attach_total = 0;
+
+    hdr->attach_valid = 1;
     return hdr->attach_total;
+}
+
+/*
+ * A valid message separator looks like:
+ *
+ * From [ <return-path> ] <weekday> <month> <day> <time> [ <timezone> ] <year>
+ */
+bool is_from(const char *s, char *path, ssize_t pathlen, time_t *tp)
+{
+    const char *p;
+    struct tm tm;
+    char *loc;
+    int q = 0;
+
+    if (path)
+        *path = 0;
+
+    if (m_strncmp("From ", s, 5) != 0)
+        return false;
 
-  if (AttachAllow || AttachExclude || InlineAllow || InlineExclude)
-    hdr->attach_total = count_body_parts(hdr->content, flags | M_PARTS_TOPLEVEL);
-  else
-    hdr->attach_total = 0;
+    s = skipspaces(s + 5);         /* skip over the From part. */
+    if (!*s)
+        return false;
 
-  hdr->attach_valid = 1;
-  return hdr->attach_total;
+    for (p = s; *p && (q || !ISSPACE(*p)); p++) {
+        if (*p == '\\') {
+            if (*++p == '\0')
+                return false;
+        }
+        else if (*p == '"') {
+            q = !q;
+        }
+    }
+
+    if (q || !*p)
+        return false;
+
+    if (path)
+        m_strncpy(path, pathlen, s, p - s);
+
+    s = vskipspaces(p + 1);
+    if (!*s)
+        return false;
+
+    loc = setlocale(LC_TIME, "C");
+    for (int i = 0; i < 4; i++) {
+        static char const * const formats[] = {
+            "%a %b %d %H:%M:%S %Y",
+            "%a %b %d %H:%M:%S %z %Y",
+            "%a %b %d %H:%M %Y",
+            "%a %b %d %H:%M %z %Y",
+        };
+
+        p_clear(&tm, 1);
+        p = strptime(s, formats[i], &tm);
+        if (p) {
+            s = p;
+            goto ok;
+        }
+    }
+    setlocale(LC_TIME, loc);
+    return false;
+
+  ok:
+    if (tp) {
+        *tp = tm.tm_gmtoff;
+        *tp = timegm(&tm) - *tp;
+    }
+    return true;
 }