more moves and dead code
[apps/madmutt.git] / lib-mime / rfc822parse.c
1 /*
2  *  This program is free software; you can redistribute it and/or modify
3  *  it under the terms of the GNU General Public License as published by
4  *  the Free Software Foundation; either version 2 of the License, or (at
5  *  your option) any later version.
6  *
7  *  This program is distributed in the hope that it will be useful, but
8  *  WITHOUT ANY WARRANTY; without even the implied warranty of
9  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
10  *  General Public License for more details.
11  *
12  *  You should have received a copy of the GNU General Public License
13  *  along with this program; if not, write to the Free Software
14  *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston,
15  *  MA 02110-1301, USA.
16  *
17  *  Copyright © 2006 Pierre Habouzit
18  */
19
20 /*
21  * Copyright notice from original mutt:
22  * Copyright (C) 1996-2000 Michael R. Elkins <me@mutt.org>
23  *
24  * This file is part of mutt-ng, see http://www.muttng.org/.
25  * It's licensed under the GNU General Public License,
26  * please see the file GPL in the top level source directory.
27  */
28
29 #include <lib-lib/lib-lib.h>
30
31 #include "recvattach.h"
32
33 #include "charset.h"
34 #include "mime.h"
35
36 /* Reads an arbitrarily long header field, and looks ahead for continuation
37  * lines.  ``line'' must point to a dynamically allocated string; it is
38  * increased if more space is required to fit the whole line.
39  */
40 ssize_t mutt_read_rfc822_line(FILE *f, char **line, ssize_t *n)
41 {
42     ssize_t pos = 0;
43
44     for (;;) {
45         char *p = *line;
46
47         /* end of file or end of headers */
48         if (!fgets(p + pos, *n - pos, f) || (ISSPACE(*p) && pos == 0)) {
49             *p = '\0';
50             return 0;
51         }
52
53         pos += m_strlen(p + pos);
54         if (p[pos - 1] == '\n') {
55             int c;
56
57             /* remove trailing spaces. safe: p[0] is not a space */
58             do {
59                 p[--pos] = '\0';
60             } while (ISSPACE(p[pos]));
61
62             /* check to see if the next line is a continuation line */
63             c = fgetc(f);
64             if (c != ' ' && c != '\t') {
65                 /* next line is a separate header field or EOH */
66                 ungetc(c, f);
67                 return pos;
68             }
69
70             /* eat tabs and spaces from the beginning of the continuation line */
71             do {
72                 c = fgetc(f);
73             } while (c == ' ' || c == '\t');
74             ungetc(c, f);
75
76             /* string is still terminated because we removed at least one
77                whitespace char above */
78             p[pos++] = ' ';
79         }
80
81         if (*n < pos + STRING) {
82             /* grow the buffer */
83             *n += STRING;
84             p_realloc(line, *n);
85         }
86     }
87 }
88
89 /* TODO: Make that a string list somehow */
90 string_list_t *mutt_parse_references(char *s, int in_reply_to)
91 {
92     string_list_t *lst = NULL;
93     int n = 0;
94     char *o = NULL;
95
96     /* some mail clients add other garbage besides message-ids, so do a quick
97      * check to make sure this looks like a valid message-id
98      * some idiotic clients also break their message-ids between lines, deal
99      * with that too (give up if it's more than two lines, though)
100      */
101
102     for (s = strtok(s, " \t;"); s; s = strtok(NULL, " \t;")) {
103         char *new = NULL;
104
105         if (*s == '<') {
106             n = m_strlen(s);
107             if (s[n - 1] != '>') {
108                 o = s;
109                 continue;
110             }
111
112             new = m_strdup(s);
113         } else if (o) {
114             ssize_t m = m_strlen(s);
115
116             if (s[m - 1] != '>') {
117                 o = NULL;
118             } else {
119                 new = p_new(char, n + m + 1);
120                 strcpy(new, o);
121                 strcpy(new + n, s);
122             }
123         }
124
125         /* make sure that this really does look like a message-id.
126          * it should have exactly one @, and if we're looking at
127          * an in-reply-to header, make sure that the part before
128          * the @ has more than eight characters or it's probably
129          * an email address
130          */
131         if (new) {
132             char *at = strchr(new, '@');
133             string_list_t *tmp;
134
135             if (!at || strchr(at + 1, '@') || (in_reply_to && at - new <= 8)) {
136                 p_delete(&new);
137                 continue;
138             }
139
140             tmp = p_new(string_list_t, 1);
141             tmp->data = new;
142             tmp->next = lst;
143             lst = tmp;
144         }
145     }
146
147     return lst;
148 }
149
150 int mutt_check_encoding(const char *s)
151 {
152     int tok = mime_which_token(s, -1);
153     switch (tok) {
154       case MIME_7BIT:
155         return ENC7BIT;
156       case MIME_8BIT:
157         return ENC8BIT;
158       case MIME_BINARY:
159         return ENCBINARY;
160       case MIME_QUOTED_PRINTABLE:
161         return ENCQUOTEDPRINTABLE;
162       case MIME_BASE64:
163         return ENCBASE64;
164       case MIME_X_UUENCODE:
165         return ENCUUENCODED;
166       default:
167         return ENCOTHER;
168     }
169 }
170
171 int mutt_check_mime_type(const char *s)
172 {
173     int tok;
174
175     if (!m_strcmp(s, "*") || !m_strcmp(s, ".*"))
176         return TYPEANY;
177
178     tok = mime_which_token(s, -1);
179     switch (tok) {
180       case MIME_TEXT:        return TYPETEXT;
181       case MIME_MULTIPART:   return TYPEMULTIPART;
182       case MIME_APPLICATION: return TYPEAPPLICATION;
183       case MIME_MESSAGE:     return TYPEMESSAGE;
184       case MIME_IMAGE:       return TYPEIMAGE;
185       case MIME_AUDIO:       return TYPEAUDIO;
186       case MIME_VIDEO:       return TYPEVIDEO;
187       case MIME_MODEL:       return TYPEMODEL;
188       default:               return TYPEOTHER;
189     }
190 }
191
192 static parameter_t *parse_parameters(const char *s)
193 {
194     parameter_t *res = NULL;
195     parameter_t **list = &res;
196
197     while (*s) {
198         const char *p;
199         parameter_t *new;
200         int i;
201
202         s = skipspaces(s);
203         if (*s == '=')             /* parameters are fucked up, go away */
204             break;
205
206         p = strpbrk(s, "=;");
207         if (!p)
208             break;
209
210         if (*p == ';') {
211             /* if we hit a ; now the parameter has no value, just skip it */
212             s = p + 1;
213             continue;
214         }
215
216         i = p - s;
217         new = parameter_new();
218         new->attribute = p_dupstr(s, i);
219
220         while (--i >= 0 && ISSPACE(new->attribute[i])) {
221             new->attribute[i] = '\0';
222         }
223         s = skipspaces(p + 1);                      /* skip over the = */
224
225         if (*s == '"') {
226             char buffer[LONG_STRING];
227             int state_ascii = 1;
228
229             s++;
230             for (i = 0; *s && i < ssizeof(buffer) - 1; i++, s++) {
231                 if (!option(OPTSTRICTMIME)) {
232                     /* As iso-2022-* has a characer of '"' with non-ascii state,
233                      * ignore it. */
234                     if (*s == 0x1b && i < ssizeof(buffer) - 2) {
235                         state_ascii = s[1] == '(' && (s[2] == 'B' || s[2] == 'J');
236                     }
237                 }
238                 if (state_ascii && *s == '"')
239                     break;
240
241                 if (*s == '\\') {
242                     buffer[i] = *++s;
243                 } else {
244                     buffer[i] = *s;
245                 }
246             }
247
248             new->value = p_dupstr(buffer, i);
249         } else {
250             for (p = s; *p && *p != ' ' && *p != ';'; p++);
251             new->value = p_dupstr(s, p - s);
252         }
253
254         *list = new;
255         list = &new->next;
256
257         s = strchr(s, ';');           /* Find the next parameter */
258         if (!s)
259             break;                    /* no more parameters */
260     }
261
262     rfc2231_decode_parameters(&res);
263     return res;
264 }
265
266 void mutt_parse_content_type(char *s, BODY *ct)
267 {
268     char *pc;
269     char *subtype;
270
271     p_delete(&ct->subtype);
272     parameter_list_wipe(&ct->parameter);
273
274     /* First extract any existing parameters */
275     if ((pc = strchr(s, ';')) != NULL) {
276         *pc++ = '\0';
277         ct->parameter = parse_parameters(vskipspaces(pc));
278
279         /* Some pre-RFC1521 gateways still use the "name=filename" convention,
280          * but if a filename has already been set in the content-disposition,
281          * let that take precedence, and don't set it here */
282         pc = parameter_getval(ct->parameter, "name");
283         if (pc && !ct->filename)
284             ct->filename = m_strdup(pc);
285     }
286
287     /* Now get the subtype */
288     if ((subtype = strchr (s, '/'))) {
289         *subtype++ = '\0';
290         for (pc = subtype; *pc && !ISSPACE(*pc) && *pc != ';'; pc++);
291         ct->subtype = p_dupstr(subtype, pc - subtype);
292     }
293
294     /* Finally, get the major type */
295     ct->type = mutt_check_mime_type(s);
296
297     if (ct->type == TYPEOTHER) {
298         ct->xtype = m_strdup(s);
299     }
300
301     if (!ct->subtype) {
302         /* Some older non-MIME mailers (i.e., mailtool, elm) have a content-type
303          * field, so we can attempt to convert the type to BODY here.
304          */
305         switch (ct->type) {
306             char buffer[SHORT_STRING];
307
308           case TYPETEXT:
309             ct->subtype = m_strdup("plain");
310             break;
311
312           case TYPEAUDIO:
313             ct->subtype = m_strdup("basic");
314             break;
315
316           case TYPEMESSAGE:
317             ct->subtype = m_strdup("rfc822");
318             break;
319
320           case TYPEOTHER:
321             ct->type = TYPEAPPLICATION;
322             snprintf(buffer, sizeof(buffer), "x-%s", s);
323             ct->subtype = m_strdup(buffer);
324             break;
325
326           default:
327             ct->subtype = m_strdup("x-unknown");
328             break;
329         }
330     }
331
332     /* Default character set for text types. */
333     if (ct->type == TYPETEXT) {
334         pc = parameter_getval(ct->parameter, "charset");
335         if (!pc) {
336             parameter_setval(&ct->parameter, "charset",
337                              option(OPTSTRICTMIME)
338                              ? "us-ascii"
339                              : charset_getfirst(AssumedCharset));
340         }
341     }
342 }
343
344 static void parse_content_disposition(const char *s, BODY *ct)
345 {
346     if (!ascii_strncasecmp(s, "inline", 6)) {
347         ct->disposition = DISPINLINE;
348     } else if (!ascii_strncasecmp(s, "form-data", 9)) {
349         ct->disposition = DISPFORMDATA;
350     } else {
351         ct->disposition = DISPATTACH;
352     }
353
354     /* Check to see if a default filename was given */
355     if ((s = strchr (s, ';'))) {
356         parameter_t *parms = parse_parameters(vskipspaces(s));
357
358         if ((s = parameter_getval(parms, "filename")))
359             m_strreplace(&ct->filename, s);
360         if ((s = parameter_getval(parms, "name")))
361             ct->form_name = m_strdup(s);
362
363         parameter_list_wipe(&parms);
364     }
365 }
366
367 /* args:
368  *      fp      stream to read from
369  *
370  *      digest  1 if reading subparts of a multipart/digest, 0
371  *              otherwise
372  */
373 BODY *mutt_read_mime_header(FILE *fp, int digest)
374 {
375     BODY *body = body_new();
376     char *line = p_new(char, LONG_STRING);
377     ssize_t linelen = LONG_STRING;
378     char *p;
379
380     body->hdr_offset  = ftello(fp);
381     body->encoding    = ENC7BIT;    /* default from RFC1521 */
382     body->disposition = DISPINLINE;
383     body->type        = digest ? TYPEMESSAGE : TYPETEXT;
384
385     while (mutt_read_rfc822_line(fp, &line, &linelen)) {
386         /* Find the value of the current header */
387         if ((p = strchr(line, ':'))) {
388             *p++ = '\0';
389             p = vskipspaces(p);
390             if (!*p)
391                 continue;
392         } else {
393             break;
394         }
395
396         switch (mime_which_token(line, -1)) {
397           case MIME_CONTENT_TYPE:
398             mutt_parse_content_type (p, body);
399             break;
400
401           case MIME_CONTENT_TRANSFER_ENCODING:
402             body->encoding = mutt_check_encoding (p);
403             break;
404
405           case MIME_CONTENT_DISPOSITION:
406             parse_content_disposition(p, body);
407             break;
408
409           case MIME_CONTENT_DESCRIPTION:
410             m_strreplace(&body->description, p);
411             rfc2047_decode(&body->description);
412             break;
413
414           default: break;
415         }
416     }
417
418     body->offset = ftello(fp);       /* Mark the start of the real data */
419     if (!body->subtype) {
420         if (body->type == TYPETEXT)
421             body->subtype = m_strdup("plain");
422         if (body->type == TYPEMESSAGE)
423             body->subtype = m_strdup("rfc822");
424     }
425
426     p_delete(&line);
427     return (body);
428 }
429
430 void mutt_parse_part(FILE *fp, BODY *b)
431 {
432     char *bound = 0;
433
434     switch (b->type) {
435       case TYPEMULTIPART:
436         bound = parameter_getval(b->parameter, "boundary");
437         fseeko(fp, b->offset, SEEK_SET);
438         b->parts = mutt_parse_multipart(fp, bound, b->offset + b->length,
439                                         mime_which_token(b->subtype, -1) == MIME_DIGEST);
440         break;
441
442       case TYPEMESSAGE:
443         if (b->subtype) {
444             fseeko(fp, b->offset, SEEK_SET);
445
446             if (mutt_is_message_type(b->type, b->subtype)) {
447                 b->parts = mutt_parse_messageRFC822(fp, b);
448             } else
449             if (mime_which_token(b->subtype, -1) == MIME_EXTERNAL_BODY) {
450                 b->parts = mutt_read_mime_header(fp, 0);
451             } else {
452                 return;
453             }
454         }
455         break;
456
457       default:
458         return;
459     }
460
461     /* try to recover from parsing error */
462     if (!b->parts) {
463         b->type = TYPETEXT;
464         m_strreplace(&b->subtype, "plain");
465     }
466 }
467
468 /* parse a MESSAGE/RFC822 body
469  *
470  * args:
471  *      fp              stream to read from
472  *
473  *      parent          structure which contains info about the message/rfc822
474  *                      body part
475  *
476  * NOTE: this assumes that `parent->length' has been set!
477  */
478 BODY *mutt_parse_messageRFC822(FILE * fp, BODY * parent)
479 {
480     BODY *msg;
481
482     parent->hdr = header_new();
483     parent->hdr->offset = ftello(fp);
484     parent->hdr->env    = mutt_read_rfc822_header(fp, parent->hdr, 0, 0);
485
486     msg = parent->hdr->content;
487
488     /* ignore the length given in the content-length since it could be wrong
489        and we already have the info to calculate the correct length */
490     /* if (msg->length == -1) */
491     /* if body of this message is empty, we can end up with a negative length */
492     msg->length = MAX(0, parent->length - (msg->offset - parent->offset));
493
494     mutt_parse_part(fp, msg);
495
496     return msg;
497 }
498
499 /* parse a multipart structure
500  *
501  * args:
502  *      fp              stream to read from
503  *
504  *      bound           body separator
505  *
506  *      end_off         length of the multipart body (used when the final
507  *                      boundary is missing to avoid reading too far)
508  *
509  *      digest          1 if reading a multipart/digest, 0 otherwise
510  */
511
512 BODY *
513 mutt_parse_multipart(FILE *fp, const char *bound, off_t end_off, int digest)
514 {
515     char buffer[LONG_STRING];
516     BODY *head = NULL;
517     BODY **last = &head;
518     int blen = m_strlen(bound);
519     int final = 0;                /* did we see the ending boundary? */
520
521     if (!blen) {
522         mutt_error _("multipart message has no boundary parameter!");
523         return NULL;
524     }
525
526     while (ftello(fp) < end_off && fgets(buffer, sizeof(buffer), fp)) {
527         int len, crlf, i;
528
529         len  = m_strlen(buffer);
530         crlf = len > 1 && buffer[len - 2] == '\r';
531
532         if (buffer[0] == '-' && buffer[1] == '-'
533         && !m_strncmp(buffer + 2, bound, blen))
534         {
535             if (*last) {
536                 BODY *b = *last;
537
538                 /* if the body is empty, we can end up with a -1 length */
539                 b->length = MAX(0, ftello(fp) - b->offset - len - 1 - crlf);
540                 if (b->parts && b->parts->length == 0) {
541                     b->parts->length = ftello(fp) - b->parts->offset
542                                      - len - 1 - crlf;
543                 }
544             }
545
546             /* Remove any trailing whitespace, up to the length of the boundary */
547             for (i = len - 1; ISSPACE(buffer[i]) && i >= blen + 2; i--)
548                 buffer[i] = '\0';
549
550             /* Check for the end boundary */
551             final = buffer[blen + 3] == '-' && buffer[blen + 4] == '-';
552             if (final)
553                 break;
554
555             if (buffer[2 + blen] == '\0') {
556                 BODY *new = mutt_read_mime_header(fp, digest);
557
558                 /*
559                  * Consistency checking - catch
560                  * bad attachment end boundaries
561                  */
562
563                 if (new->offset > end_off) {
564                     body_list_wipe(&new);
565                     break;
566                 }
567
568                 if (*last)
569                     last = &(*last)->next;
570                 *last = new;
571             }
572         }
573     }
574
575     /* in case of missing end boundary, set the length to something reasonable */
576     if (*last && (*last)->length == 0 && !final)
577         (*last)->length = end_off - (*last)->offset;
578
579     /* parse recursive MIME parts */
580     {
581         BODY *b;
582         for (b = head; b; b = b->next)
583             mutt_parse_part(fp, b);
584     }
585
586     return (head);
587 }
588
589 static const char *
590 uncomment_timezone(char *buf, size_t buflen, const char *tz)
591 {
592     char *p;
593
594     if (*tz != '(')
595         return tz;                  /* no need to do anything */
596
597     tz = vskipspaces(tz + 1);
598     p = strpbrk(tz, " )");
599     if (!p)
600         return tz;
601
602     m_strncpy(buf, buflen, tz, p - tz);
603     return buf;
604 }
605
606 /* parses a date string in RFC822 format:
607  *
608  * Date: [ weekday , ] day-of-month month year hour:minute:second timezone
609  *
610  * This routine assumes that `h' has been initialized to 0.  the `timezone'
611  * field is optional, defaulting to +0000 if missing.
612  */
613 time_t mutt_parse_date(const char *s, HEADER *h)
614 {
615     int zhours = 0, zminutes = 0, zoccident = 0;
616     char scratch[SHORT_STRING];
617     struct tm tm;
618     int count = 0;
619     char *p;
620
621     /* Don't modify our argument. Fixed-size buffer is ok here since
622        the date format imposes a natural limit.  */
623
624     m_strcpy(scratch, sizeof(scratch), s);
625
626     /* kill the day of the week, if it exists. */
627     p = strchr(scratch, ',');
628     p = vskipspaces(p ? p + 1 : scratch);
629
630     p_clear(&tm, 1);
631
632     while ((p = strtok (p, " \t")) != NULL) {
633         char tzstr[SHORT_STRING];
634         const char *ptz;
635
636         switch (count) {
637           case 0:                    /* day of the month */
638             if (!isdigit((unsigned char)*p))
639                 return -1;
640             tm.tm_mday = atoi(p);
641             if (tm.tm_mday > 31)
642                 return -1;
643             break;
644
645           case 1:                    /* month of the year */
646             tm.tm_mon = mutt_check_month(p);
647             if (tm.tm_mon < 0)
648                 return -1;
649             break;
650
651           case 2:                    /* year */
652             tm.tm_year = atoi(p);
653             if (tm.tm_year < 50)
654                 tm.tm_year += 100;
655             else if (tm.tm_year >= 1900)
656                 tm.tm_year -= 1900;
657             break;
658
659           case 3:                    /* time of day */
660             tm.tm_hour = strtol(p, &p, 10);
661             if (*p++ != ':')
662                 return -1;
663             tm.tm_min  = strtol(p, &p, 10);
664             if (*p++ == ':') {
665                 tm.tm_sec = strtol(p, &p, 10);
666             } else {
667                 tm.tm_sec = 0;
668             }
669             break;
670
671           case 4:                    /* timezone */
672             /* sometimes we see things like (MST) or (-0700) so attempt to
673              * compensate by uncommenting the string if non-RFC822 compliant
674              */
675             ptz = uncomment_timezone(tzstr, sizeof(tzstr), p);
676
677             if (*ptz == '+' || *ptz == '-') {
678                 if (isdigit((unsigned char)ptz[1])
679                 &&  isdigit((unsigned char)ptz[2])
680                 &&  isdigit((unsigned char)ptz[3])
681                 &&  isdigit((unsigned char)ptz[4]))
682                 {
683                     zoccident = ptz[0] == '-';
684                     zhours    = (ptz[1] - '0') * 10 + (ptz[2] - '0');
685                     zminutes  = (ptz[3] - '0') * 10 + (ptz[4] - '0');
686                 }
687             }
688             break;
689         }
690         count++;
691         p = NULL;
692     }
693
694     if (count < 4) {  /* don't check for missing timezone */
695         return -1;
696     }
697
698     if (h) {
699         h->zhours    = zhours;
700         h->zminutes  = zminutes;
701         h->zoccident = zoccident;
702     }
703
704     return mutt_mktime(&tm, 0) + (zoccident ? 1 : -1) * (zhours * 3600 + zminutes * 60);
705 }
706
707 string_list_t **mutt_parse_rfc822_line(ENVELOPE *e, HEADER *hdr, char *line, char *p,
708                               short weed, short do_2047, string_list_t **user_hdrs)
709 {
710     switch (mime_which_token(line, -1)) {
711       case MIME_APPARENTLY_FROM:
712         e->from = rfc822_parse_adrlist (e->from, p);
713         break;
714
715       case MIME_APPARENTLY_TO:
716         e->to = rfc822_parse_adrlist (e->to, p);
717         break;
718
719       case MIME_BCC:
720         e->bcc = rfc822_parse_adrlist (e->bcc, p);
721         break;
722
723       case MIME_CC:
724         e->cc = rfc822_parse_adrlist (e->cc, p);
725         break;
726
727       case MIME_CONTENT_DESCRIPTION:
728         if (hdr) {
729             m_strreplace(&hdr->content->description, p);
730             rfc2047_decode(&hdr->content->description);
731         }
732         break;
733
734       case MIME_CONTENT_DISPOSITION:
735         if (hdr)
736             parse_content_disposition(p, hdr->content);
737         break;
738
739       case MIME_CONTENT_LENGTH:
740         if (hdr) {
741             if ((hdr->content->length = atoi(p)) < 0)
742                 hdr->content->length = -1;
743         }
744         break;
745
746       case MIME_CONTENT_TRANSFER_ENCODING:
747         if (hdr)
748             hdr->content->encoding = mutt_check_encoding(p);
749         break;
750
751       case MIME_CONTENT_TYPE:
752         if (hdr)
753             mutt_parse_content_type (p, hdr->content);
754         break;
755
756       case MIME_DATE:
757         m_strreplace(&e->date, p);
758         if (hdr)
759             hdr->date_sent = mutt_parse_date (p, hdr);
760         break;
761
762       case MIME_EXPIRES:
763         if (hdr && mutt_parse_date (p, NULL) < time (NULL))
764             hdr->expired = 1;
765         break;
766
767 #ifdef USE_NNTP
768       case MIME_FOLLOWUP_TO:
769         if (!e->followup_to) {
770             m_strrtrim(p);
771             e->followup_to = m_strdup(skipspaces(p));
772         }
773         break;
774 #endif
775
776       case MIME_FROM:
777         e->from = rfc822_parse_adrlist(e->from, p);
778         /* don't leave from info NULL if there's an invalid address (or
779          * whatever) in From: field; mutt would just display it as empty
780          * and mark mail/(esp.) news article as your own. aaargh! this
781          * bothered me for _years_ */
782         if (!e->from) {
783             e->from = address_new();
784             e->from->personal = m_strdup(p);
785         }
786         break;
787
788       case MIME_IN_REPLY_TO:
789         string_list_wipe(&e->in_reply_to);
790         e->in_reply_to = mutt_parse_references(p, 1);
791         break;
792
793       case MIME_LINES:
794         if (hdr) {
795             /* HACK - mutt has, for a very short time, produced negative
796                Lines header values.  Ignore them. */
797             hdr->lines = MAX(0, atoi(p));
798         }
799         break;
800
801       case MIME_LIST_POST:
802         /* RFC 2369.  FIXME: We should ignore whitespace, but don't. */
803         if (strncmp(p, "NO", 2)) {
804             char *beg, *end;
805
806             for (beg = strchr (p, '<'); beg; beg = strchr (end, ',')) {
807                 ++beg;
808                 if (!(end = strchr (beg, '>')))
809                     break;
810
811                 /* Take the first mailto URL */
812                 if (url_check_scheme (beg) == U_MAILTO) {
813                     p_delete(&e->list_post);
814                     e->list_post = p_dupstr(beg, end - beg);
815                     break;
816                 }
817             }
818         }
819         break;
820
821       case MIME_MAIL_FOLLOWUP_TO:
822         e->mail_followup_to = rfc822_parse_adrlist(e->mail_followup_to, p);
823         break;
824
825       case MIME_MAIL_REPLY_TO:
826         address_list_wipe(&e->reply_to);
827         e->reply_to = rfc822_parse_adrlist(e->reply_to, p);
828         break;
829
830       case MIME_MESSAGE_ID:
831         {
832             const char *beg, *end;
833
834             /* We add a new "Message-ID:" when building a message */
835             p_delete(&e->message_id);
836
837             if ((beg = strchr(p, '<')) && (end = strchr(beg, '>')))
838                 e->message_id = p_dupstr(beg, (end - beg) + 1);
839         }
840         break;
841
842       case MIME_MIME_VERSION:
843         if (hdr)
844             hdr->mime = 1;
845         break;
846
847 #ifdef USE_NNTP
848       case MIME_NEWSGROUPS:
849         p_delete(&e->newsgroups);
850         m_strrtrim(p);
851         e->newsgroups = m_strdup(skipspaces(p));
852         break;
853 #endif
854
855       case MIME_ORGANIZATION:
856         if (!e->organization && mime_which_token(p, -1) == MIME_UNKNOWN)
857             e->organization = m_strdup(p);
858         break;
859
860       case MIME_RECEIVED:
861         if (hdr && !hdr->received) {
862             char *d = strchr(p, ';');
863             if (d)
864                 hdr->received = mutt_parse_date(d + 1, NULL);
865         }
866         break;
867
868       case MIME_REFERENCES:
869         string_list_wipe(&e->references);
870         e->references = mutt_parse_references(p, 0);
871         break;
872
873       case MIME_REPLY_TO:
874         e->reply_to = rfc822_parse_adrlist(e->reply_to, p);
875         break;
876
877       case MIME_RETURN_PATH:
878         e->return_path = rfc822_parse_adrlist(e->return_path, p);
879         break;
880
881       case MIME_SENDER:
882         e->sender = rfc822_parse_adrlist (e->sender, p);
883         break;
884
885       case MIME_STATUS:
886         if (hdr) {
887             while (*p) {
888                 switch (*p) {
889                   case 'r':
890                     hdr->replied = 1;
891                     break;
892                   case 'O':
893                     hdr->old = 1;
894                     break;
895                   case 'R':
896                     hdr->read = 1;
897                     break;
898                 }
899                 p++;
900             }
901         }
902         break;
903
904       case MIME_SUBJECT:
905         if (!e->subject)
906             e->subject = m_strdup(p);
907         break;
908
909       case MIME_SUPERCEDES:
910       case MIME_SUPERSEDES:
911         if (hdr)
912             e->supersedes = m_strdup(p);
913         break;
914
915       case MIME_TO:
916         e->to = rfc822_parse_adrlist(e->to, p);
917         break;
918
919 #ifdef USE_NNTP
920       case MIME_X_COMMENT_TO:
921         if (!e->x_comment_to)
922             e->x_comment_to = m_strdup(p);
923         break;
924 #endif
925
926       case MIME_X_LABEL:
927         e->x_label = m_strdup(p);
928         break;
929
930 #ifdef USE_NNTP
931       case MIME_XREF:
932         if (!e->xref)
933             e->xref = m_strdup(p);
934         break;
935 #endif
936
937       case MIME_X_STATUS:
938         if (hdr) {
939             while (*p) {
940                 switch (*p) {
941                   case 'A':
942                     hdr->replied = 1;
943                     break;
944                   case 'D':
945                     hdr->deleted = 1;
946                     break;
947                   case 'F':
948                     hdr->flagged = 1;
949                     break;
950                   default:
951                     break;
952                 }
953                 p++;
954             }
955         }
956         break;
957
958       default:
959         if (!user_hdrs)
960             break;
961
962         /* restore the original line */
963         line[m_strlen(line)] = ':';
964
965         if (weed && option(OPTWEED) && mutt_matches_ignore(line, Ignore)
966         && !mutt_matches_ignore(line, UnIgnore)) {
967             break;
968         }
969
970         *user_hdrs = string_item_new();
971         (*user_hdrs)->data = m_strdup(line);
972         if (do_2047)
973             rfc2047_decode(&(*user_hdrs)->data);
974         return &(*user_hdrs)->next;
975     }
976
977     return user_hdrs;
978 }
979
980 /* mutt_read_rfc822_header() -- parses a RFC822 header
981  *
982  * Args:
983  *
984  * f            stream to read from
985  *
986  * hdr          header structure of current message (optional).
987  *
988  * user_hdrs    If set, store user headers.  Used for recall-message and
989  *              postpone modes.
990  *
991  * weed         If this parameter is set and the user has activated the
992  *              $weed option, honor the header weed list for user headers.
993  *              Used for recall-message.
994  *
995  * Returns:     newly allocated envelope structure.  You should free it by
996  *              envelope_delete() when envelope stay unneeded.
997  */
998 ENVELOPE *
999 mutt_read_rfc822_header(FILE *f, HEADER *hdr, short user_hdrs, short weed)
1000 {
1001     ENVELOPE *e = envelope_new();
1002     string_list_t **last = user_hdrs ? &e->userhdrs : NULL;
1003
1004     char *line = p_new(char, LONG_STRING);
1005     ssize_t linelen = LONG_STRING;
1006     off_t loc;
1007
1008     if (hdr && !hdr->content) {
1009         hdr->content = body_new();
1010
1011         /* set the defaults from RFC1521 */
1012         hdr->content->type     = TYPETEXT;
1013         hdr->content->subtype  = m_strdup("plain");
1014         hdr->content->encoding = ENC7BIT;
1015         hdr->content->length   = -1;
1016
1017         /* RFC 2183 says this is arbitrary */
1018         hdr->content->disposition = DISPINLINE;
1019     }
1020
1021     while ((loc = ftello(f)),
1022            mutt_read_rfc822_line(f, &line, &linelen))
1023     {
1024         char buf[LONG_STRING + 1] = "";
1025         char *p;
1026
1027         p = strpbrk(line, ": \t");
1028         if (!p || *p != ':') {
1029             char return_path[LONG_STRING];
1030             time_t t;
1031
1032             /* some bogus MTAs will quote the original "From " line */
1033             if (!m_strncmp(">From ", line, 6))
1034                 continue;               /* just ignore */
1035
1036             if (is_from(line, return_path, sizeof(return_path), &t)) {
1037                 /* MH somtimes has the From_ line in the middle of the header! */
1038                 if (hdr && !hdr->received)
1039                     hdr->received = t - mutt_local_tz(t);
1040                 continue;
1041             }
1042
1043             fseeko(f, loc, 0);
1044             break;                    /* end of header */
1045         }
1046
1047         if (mutt_match_spam_list(line, SpamList, buf, sizeof(buf))) {
1048             if (!rx_list_match(NoSpamList, line)) {
1049                 /* if spam tag already exists, figure out how to amend it */
1050                 if (e->spam && *buf) {
1051                     if (SpamSep) {
1052                         /* If SpamSep defined, append with separator */
1053                         mutt_buffer_addstr(e->spam, SpamSep);
1054                         mutt_buffer_addstr(e->spam, buf);
1055                     } else {
1056                         /* else overwrite */
1057                         mutt_buffer_reset(e->spam);
1058                         mutt_buffer_addstr(e->spam, buf);
1059                     }
1060                 }
1061                 else if (!e->spam && *buf) {
1062                     /* spam tag is new, and match expr is non-empty; copy */
1063                     e->spam = mutt_buffer_from(NULL, buf);
1064                 }
1065                 else if (!e->spam) {
1066                     /* match expr is empty; plug in null string if no existing tag */
1067                     e->spam = mutt_buffer_from(NULL, "");
1068                 }
1069             }
1070         }
1071
1072         *p++ = '\0';
1073         p = vskipspaces(p);
1074         if (!*p)
1075             continue;                 /* skip empty header fields */
1076
1077         last = mutt_parse_rfc822_line(e, hdr, line, p, weed, 1, last);
1078     }
1079
1080     p_delete(&line);
1081
1082     if (hdr) {
1083         hdr->content->hdr_offset = hdr->offset;
1084         hdr->content->offset     = ftello(f);
1085         rfc2047_decode_envelope(e);
1086         /* check for missing or invalid date */
1087         if (hdr->date_sent <= 0) {
1088             hdr->date_sent = hdr->received;
1089         }
1090     }
1091
1092     return e;
1093 }
1094
1095 /* Compares mime types to the ok and except lists */
1096 static int count_body_parts_check(string_list_t **checklist, BODY *b)
1097 {
1098     string_list_t *type;
1099
1100     for (type = *checklist; type; type = type->next) {
1101         ATTACH_MATCH *a = (ATTACH_MATCH *)type->data;
1102
1103         if ((a->major_int == TYPEANY || a->major_int == b->type)
1104         &&  !regexec(&a->minor_rx, b->subtype, 0, NULL, 0)) {
1105             return 1;
1106         }
1107     }
1108
1109     return 0;
1110 }
1111
1112 static int count_body_parts (BODY *body, int flags)
1113 {
1114     int count = 0;
1115     BODY *bp;
1116
1117     if (!body)
1118         return 0;
1119
1120     for (bp = body; bp != NULL; bp = bp->next) {
1121         /* Initial disposition is to count and not to recurse this part. */
1122         int shallcount, shallrecurse, iscontainer;
1123         int tok = mime_which_token(bp->subtype, -1);
1124
1125         iscontainer  = bp->type == TYPEMESSAGE || bp->type == TYPEMULTIPART;
1126
1127         /* don't recurse in external bodies or multipart/alternatives */
1128         shallrecurse = (bp->type == TYPEMESSAGE && tok != MIME_EXTERNAL_BODY)
1129                     || (bp->type == TYPEMULTIPART && tok != MIME_ALTERNATIVE);
1130
1131         /* Don't count top level containers and fundamental inlines */
1132         shallcount   = !(iscontainer && (flags & M_PARTS_TOPLEVEL))
1133                     && !(!iscontainer && bp->disposition == DISPINLINE && bp == body);
1134
1135         if (shallcount) {
1136             /* Turn off shallcount if message type is not in ok list,
1137              * or if it is in except list. Check is done separately for
1138              * inlines vs. attachments.
1139              */
1140
1141             if (bp->disposition == DISPATTACH) {
1142                 if (!count_body_parts_check(&AttachAllow, bp))
1143                     shallcount = 0;
1144                 if (count_body_parts_check(&AttachExclude, bp))
1145                     shallcount = 0;
1146             } else {
1147                 if (!count_body_parts_check(&InlineAllow, bp))
1148                     shallcount = 0;
1149                 if (count_body_parts_check(&InlineExclude, bp))
1150                     shallcount = 0;
1151             }
1152         }
1153
1154         bp->attach_qualifies = shallcount;
1155         count += shallcount;
1156
1157         if (shallrecurse) {
1158             bp->attach_count = count_body_parts(bp->parts,
1159                                                 flags & ~M_PARTS_TOPLEVEL);
1160             count += bp->attach_count;
1161         }
1162     }
1163
1164     return count;
1165 }
1166
1167 int mutt_count_body_parts(HEADER *hdr, int flags)
1168 {
1169     if (!option(OPTCOUNTATTACH))
1170         return 0;
1171
1172     if (hdr->attach_valid && !(flags & M_PARTS_RECOUNT))
1173         return hdr->attach_total;
1174
1175     if (AttachAllow || AttachExclude || InlineAllow || InlineExclude)
1176         hdr->attach_total = count_body_parts(hdr->content,
1177                                              flags | M_PARTS_TOPLEVEL);
1178     else
1179         hdr->attach_total = 0;
1180
1181     hdr->attach_valid = 1;
1182     return hdr->attach_total;
1183 }