68e14fce93a037364f055085bd27da3df867c490
[apps/madmutt.git] / nntp / newsrc.c
1 /*
2  * Copyright notice from original mutt:
3  * Copyright (C) 1998 Brandon Long <blong@fiction.net>
4  * Copyright (C) 1999 Andrej Gritsenko <andrej@lucky.net>
5  * Copyright (C) 2000-2001 Vsevolod Volkov <vvv@mutt.org.ua>
6  *
7  * This file is part of mutt-ng, see http://www.muttng.org/.
8  * It's licensed under the GNU General Public License,
9  * please see the file GPL in the top level source directory.
10  */
11
12 #include <lib-lib/lib-lib.h>
13
14 #include <libgen.h>
15
16 #include <lib-mime/mime.h>
17 #include <lib-ui/curses.h>
18 #include <lib-mx/mx.h>
19
20 #include "mutt.h"
21 #include "sort.h"
22 #include "nntp.h"
23
24 void nntp_add_to_list (NNTP_SERVER * s, NNTP_DATA * d)
25 {
26   string_list_t *l;
27
28   if (!s || !d)
29     return;
30
31   l = p_new(string_list_t, 1);
32   if (s->list)
33     s->tail->next = l;
34   else
35     s->list = l;
36   s->tail = l;
37   l->data = (void *) d;
38 }
39
40 static int nntp_parse_newsrc_line (NNTP_SERVER * news, char *line)
41 {
42   NNTP_DATA *data;
43   char group[LONG_STRING];
44   int x = 1;
45   char *p = line, *b, *h;
46   ssize_t len;
47
48   while (*p) {
49     if (*p++ == ',')
50       x++;
51   }
52
53   p = line;
54   while (*p && (*p != ':' && *p != '!'))
55     p++;
56   if (!*p)
57     return -1;
58   len = MIN(p + 1 - line, ssizeof(group));
59   m_strcpy(group, len, line);
60   if ((data = (NNTP_DATA *) hash_find (news->newsgroups, group)) == NULL) {
61     data = xmalloc(sizeof(NNTP_DATA) + m_strlen(group) + 1);
62     data->group = (char *) data + sizeof (NNTP_DATA);
63     strcpy (data->group, group);
64     data->nserv = news;
65     data->deleted = 1;
66     if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
67       news->newsgroups =
68         hash_resize (news->newsgroups, news->newsgroups->nelem * 2);
69     hash_insert (news->newsgroups, data->group, data, 0);
70     nntp_add_to_list (news, data);
71   }
72   else
73     p_delete(&data->entries);
74
75   data->rc = 1;
76   data->entries = p_new(NEWSRC_ENTRY, x * 2);
77   data->max = x * 2;
78
79   if (*p == ':')
80     data->subscribed = 1;
81   else
82     data->subscribed = 0;
83
84   p++;
85   b = p;
86   x = 0;
87   while (*b) {
88     while (*p && *p != ',' && *p != '\n')
89       p++;
90     if (*p) {
91       *p = '\0';
92       p++;
93     }
94     if ((h = strchr (b, '-'))) {
95       *h = '\0';
96       h++;
97       data->entries[x].first = atoi (b);
98       data->entries[x].last = atoi (h);
99     }
100     else {
101       data->entries[x].first = atoi (b);
102       data->entries[x].last = data->entries[x].first;
103     }
104     b = p;
105     if (data->entries[x].last != 0)
106       x++;
107   }
108   if (x && !data->lastMessage)
109     data->lastMessage = data->entries[x - 1].last;
110   data->num = x;
111   mutt_newsgroup_stat (data);
112
113   return 0;
114 }
115
116 static int slurp_newsrc (NNTP_SERVER * news)
117 {
118   FILE *fp;
119   char *buf;
120   struct stat sb;
121
122   news->stat = stat (news->newsrc, &sb);
123   news->size = sb.st_size;
124   news->mtime = sb.st_mtime;
125
126   if ((fp = safe_fopen (news->newsrc, "r")) == NULL)
127     return -1;
128   /* hmm, should we use dotlock? */
129   if (mx_lock_file (news->newsrc, fileno (fp), 0, 0, 1)) {
130     m_fclose(&fp);
131     return -1;
132   }
133
134   buf = p_new(char, sb.st_size + 1);
135   while (fgets (buf, sb.st_size + 1, fp))
136     nntp_parse_newsrc_line (news, buf);
137   p_delete(&buf);
138
139   mx_unlock_file (news->newsrc, fileno (fp), 0);
140   m_fclose(&fp);
141   return 0;
142 }
143
144 void nntp_cache_expand (char *dst, const char *src)
145 {
146   snprintf (dst, _POSIX_PATH_MAX, "%s/%s", NewsCacheDir, src);
147   mutt_expand_path (dst, _POSIX_PATH_MAX);
148 }
149
150 /* Loads $news_cache_dir/.index into memory, loads newsserver data
151  * and newsgroup cache names */
152 static int nntp_parse_cacheindex (NNTP_SERVER * news)
153 {
154   struct stat st;
155   char buf[HUGE_STRING], *cp;
156   char dir[_POSIX_PATH_MAX], file[_POSIX_PATH_MAX];
157   FILE *idx;
158   NNTP_DATA *data;
159   int l, m, t;
160
161   /* check is server name defined or not */
162   if (!news || !news->conn || !news->conn->account.host)
163     return -1;
164   unset_option (OPTNEWSCACHE);
165   if (!NewsCacheDir || !*NewsCacheDir)
166     return 0;
167
168   m_strcpy(dir, sizeof(dir), NewsCacheDir);
169   mutt_expand_path (dir, sizeof (dir));
170
171   if (lstat (dir, &st) || (st.st_mode & S_IFDIR) == 0) {
172     snprintf (buf, sizeof (buf), _("Directory %s not exist. Create it?"),
173               dir);
174     if (mutt_yesorno (buf, M_YES) != M_YES
175         || mkdir (dir, (S_IRWXU + S_IRWXG + S_IRWXO))) {
176       mutt_error _("Cache directory not created!");
177
178       return -1;
179     }
180     mutt_clear_error ();
181   }
182
183   set_option (OPTNEWSCACHE);
184
185   p_delete(&news->cache);
186   snprintf (buf, sizeof (buf), "%s/.index", dir);
187   if (!(idx = safe_fopen (buf, "a+")))
188     return 0;
189   rewind (idx);
190   while (fgets (buf, sizeof (buf), idx)) {
191     buf[m_strlen(buf) - 1] = 0;  /* strip ending '\n' */
192     if (!m_strncmp(buf, "#: ", 3) &&
193         !m_strcasecmp(buf + 3, news->conn->account.host))
194       break;
195   }
196   while (fgets (buf, sizeof (buf), idx)) {
197     cp = buf;
198     while (*cp && *cp != ' ')
199       cp++;
200     if (!*cp)
201       continue;
202     cp[0] = 0;
203     if (!m_strcmp(buf, "#:"))
204       break;
205     sscanf (cp + 1, "%s %d %d", file, &l, &m);
206     if (!m_strcmp(buf, "ALL")) {
207       news->cache = m_strdup(file);
208       news->newgroups_time = m;
209     }
210     else if (news->newsgroups) {
211       if ((data = (NNTP_DATA *) hash_find (news->newsgroups, buf)) == NULL) {
212         data = xmalloc(sizeof(NNTP_DATA) + m_strlen(buf) + 1);
213         data->group = (char *) data + sizeof (NNTP_DATA);
214         strcpy (data->group, buf);
215         data->nserv = news;
216         data->deleted = 1;
217         if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
218           news->newsgroups =
219             hash_resize (news->newsgroups, news->newsgroups->nelem * 2);
220         hash_insert (news->newsgroups, data->group, data, 0);
221         nntp_add_to_list (news, data);
222       }
223       data->cache = m_strdup(file);
224       t = 0;
225       if (!data->firstMessage || data->lastMessage < m)
226         t = 1;
227       if (!data->firstMessage)
228         data->firstMessage = l;
229       if (data->lastMessage < m)
230         data->lastMessage = m;
231       data->lastCached = m;
232       if (t || !data->unread)
233         mutt_newsgroup_stat (data);
234     }
235   }
236   m_fclose(&idx);
237   return 0;
238 }
239
240 const char *nntp_format_str (char *dest, ssize_t destlen, char op,
241                              const char *src, const char *fmt,
242                              const char *ifstring, const char *elsestring,
243                              unsigned long data, format_flag flags)
244 {
245   char fn[SHORT_STRING], tmp[SHORT_STRING];
246
247   switch (op) {
248   case 's':
249     m_strcpy(fn, sizeof (fn), NewsServer);
250     m_strtolower(fn);
251     snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
252     snprintf (dest, destlen, tmp, fn);
253     break;
254   }
255   return (src);
256 }
257
258 /* nntp_parse_url: given an NNPT URL, return host, port,
259  * username, password and newsgroup will recognise. */
260 int nntp_parse_url (const char *server, ACCOUNT * act,
261                     char *group, ssize_t group_len)
262 {
263   ciss_url_t url;
264   char *c;
265   int ret = -1;
266
267   /* Defaults */
268   act->flags = 0;
269   act->port = NNTP_PORT;
270   act->type = M_ACCT_TYPE_NNTP;
271
272   c = m_strdup(server);
273   url_parse_ciss (&url, c);
274
275   if (url.scheme == U_NNTP || url.scheme == U_NNTPS) {
276     if (url.scheme == U_NNTPS) {
277       act->flags |= M_ACCT_SSL;
278       act->port = NNTP_SSL_PORT;
279     }
280
281     *group = '\0';
282     if (url.path)
283       m_strcpy(group, group_len, url.path);
284
285     ret = mutt_account_fromurl (act, &url);
286   }
287
288   p_delete(&c);
289   return ret;
290 }
291
292 void nntp_expand_path (char *line, ssize_t len, ACCOUNT * act)
293 {
294   ciss_url_t url;
295
296   url.path = m_strdup(line);
297   mutt_account_tourl (act, &url);
298   url_ciss_tostring (&url, line, len, 0);
299   p_delete(&url.path);
300 }
301
302 /*
303  * Automatically loads a newsrc into memory, if necessary.
304  * Checks the size/mtime of a newsrc file, if it doesn't match, load
305  * again.  Hmm, if a system has broken mtimes, this might mean the file
306  * is reloaded every time, which we'd have to fix.
307  *
308  * a newsrc file is a line per newsgroup, with the newsgroup, then a 
309  * ':' denoting subscribed or '!' denoting unsubscribed, then a 
310  * comma separated list of article numbers and ranges.
311  */
312 NNTP_SERVER *mutt_select_newsserver (char *server)
313 {
314   char file[_POSIX_PATH_MAX];
315   char *buf, *p;
316   string_list_t *list;
317   ACCOUNT act;
318   NNTP_SERVER *serv;
319   CONNECTION *conn;
320
321   p_clear(&act, 1);
322
323   if (!server || !*server) {
324     mutt_error _("No newsserver defined!");
325
326     return NULL;
327   }
328
329   buf = p = p_new(char, m_strlen(server) + 10);
330   if (url_check_scheme (server) == U_UNKNOWN) {
331     strcpy (buf, "nntp://");
332     p = strchr (buf, '\0');
333   }
334   strcpy (p, server);
335
336   if ((nntp_parse_url (buf, &act, file, sizeof (file))) < 0 || *file) {
337     p_delete(&buf);
338     mutt_error (_("%s is an invalid newsserver specification!"), server);
339     return NULL;
340   }
341   p_delete(&buf);
342
343   conn = mutt_conn_find (NULL, &act);
344   if (!conn)
345     return NULL;
346
347   mutt_FormatString (file, sizeof (file), NONULL (NewsRc), nntp_format_str, 0,
348                      0);
349   mutt_expand_path (file, sizeof (file));
350
351   serv = (NNTP_SERVER *) conn->data;
352   if (serv) {
353     struct stat sb;
354
355     /* externally modified? */
356     if (serv->stat != stat (file, &sb) || (!serv->stat &&
357                                            (serv->size != sb.st_size
358                                             || serv->mtime != sb.st_mtime))) {
359       for (list = serv->list; list; list = list->next) {
360         NNTP_DATA *data = (NNTP_DATA *) list->data;
361
362         if (data) {
363           data->subscribed = 0;
364           data->rc = 0;
365           data->num = 0;
366         }
367       }
368       slurp_newsrc (serv);
369       nntp_clear_cacheindex (serv);
370     }
371
372     if (serv->status == NNTP_BYE)
373       serv->status = NNTP_NONE;
374     nntp_check_newgroups (serv, 0);
375     return serv;
376   }
377
378   /* New newsserver */
379   serv = p_new(NNTP_SERVER, 1);
380   serv->conn = conn;
381   serv->newsrc = m_strdup(file);
382   serv->newsgroups = hash_create (1009);
383   slurp_newsrc (serv);          /* load .newsrc */
384   nntp_parse_cacheindex (serv); /* load .index */
385   if (option (OPTNEWSCACHE) && serv->cache && nntp_get_cache_all (serv) >= 0)
386     nntp_check_newgroups (serv, 1);
387   else if (nntp_get_active (serv) < 0) {
388     hash_destroy (&serv->newsgroups, nntp_delete_data);
389     for (list = serv->list; list; list = list->next)
390       list->data = NULL;
391     string_list_wipe(&serv->list);
392     p_delete(&serv->newsrc);
393     p_delete(&serv->cache);
394     p_delete(&serv);
395     return NULL;
396   }
397   nntp_clear_cacheindex (serv);
398   conn->data = (void *) serv;
399
400   return serv;
401 }
402
403 /* 
404  * full status flags are not supported by nntp, but we can fake some
405  * of them.  This is how:
406  * Read = a read message number is in the .newsrc
407  * New = a message is new since we last read this newsgroup
408  * Old = anything else
409  * So, Read is marked as such in the newsrc, old is anything that is 
410  * "skipped" in the newsrc, and new is anything not in the newsrc nor
411  * in the cache. By skipped, I mean before the last unread message
412  */
413 void nntp_get_status (CONTEXT * ctx, HEADER * h, char *group, int article)
414 {
415   NNTP_DATA *data = (NNTP_DATA *) ctx->data;
416   int x;
417
418   if (group)
419     data = (NNTP_DATA *) hash_find (data->nserv->newsgroups, group);
420
421   if (!data) {
422     return;
423   }
424
425   for (x = 0; x < data->num; x++) {
426     if ((article >= data->entries[x].first) &&
427         (article <= data->entries[x].last)) {
428       /* we cannot use mutt_set_flag() because mx_update_context()
429          didn't called yet */
430       h->read = 1;
431       return;
432     }
433   }
434   /* If article was not cached yet, it is new! :) */
435   if (!data->cache || article > data->lastCached)
436     return;
437   /* Old articles are articles which aren't read but an article after them
438    * has been cached */
439   if (option (OPTMARKOLD))
440     h->old = 1;
441 }
442
443 void mutt_newsgroup_stat (NNTP_DATA * data)
444 {
445   int i;
446   unsigned int first, last;
447
448   data->unread = 0;
449   if (data->lastMessage == 0 || data->firstMessage > data->lastMessage)
450     return;
451
452   data->unread = data->lastMessage - data->firstMessage + 1;
453   for (i = 0; i < data->num; i++) {
454     first = data->entries[i].first;
455     if (first < data->firstMessage)
456       first = data->firstMessage;
457     last = data->entries[i].last;
458     if (last > data->lastMessage)
459       last = data->lastMessage;
460     if (first <= last)
461       data->unread -= last - first + 1;
462   }
463 }
464
465 static int puti (char *line, int num)
466 {
467   char *p, s[32];
468
469   for (p = s; num;) {
470     *p++ = '0' + num % 10;
471     num /= 10;
472   }
473   while (p > s)
474     *line++ = *--p, num++;
475   *line = '\0';
476   return num;
477 }
478
479 static void nntp_create_newsrc_line (NNTP_DATA * data, char **buf,
480                                      char **pline, ssize_t * buflen)
481 {
482   char *line = *pline;
483   ssize_t len = *buflen - (*pline - *buf);
484   int x, i;
485
486   if (len < LONG_STRING * 10) {
487     len += *buflen;
488     *buflen *= 2;
489     line = *buf;
490     p_realloc(buf, *buflen);
491     line = *buf + (*pline - line);
492   }
493   strcpy (line, data->group);
494   len -= m_strlen(line) + 1;
495   line += m_strlen(line);
496   *line++ = data->subscribed ? ':' : '!';
497   *line++ = ' ';
498   *line = '\0';
499
500   for (x = 0; x < data->num; x++) {
501     if (len < LONG_STRING) {
502       len += *buflen;
503       *buflen *= 2;
504       *pline = line;
505       line = *buf;
506       p_realloc(buf, *buflen);
507       line = *buf + (*pline - line);
508     }
509     if (x) {
510       *line++ = ',';
511       len--;
512     }
513
514     i = puti (line, data->entries[x].first);
515     line += i;
516     len -= i;
517     if (data->entries[x].first != data->entries[x].last) {
518       *line++ = '-';
519       len--;
520       i = puti (line, data->entries[x].last);
521       line += i;
522       len -= i;
523     }
524   }
525   *line++ = '\n';
526   *line = '\0';
527   *pline = line;
528 }
529
530 void newsrc_gen_entries (CONTEXT * ctx)
531 {
532   NNTP_DATA *data = (NNTP_DATA *) ctx->data;
533   int series, x;
534   unsigned int last = 0, first = 1;
535   int save_sort = SORT_ORDER;
536
537   if (Sort != SORT_ORDER) {
538     save_sort = Sort;
539     Sort = SORT_ORDER;
540     mutt_sort_headers (ctx, 0);
541   }
542
543   if (!data->max) {
544     data->entries = p_new(NEWSRC_ENTRY, 5);
545     data->max = 5;
546   }
547
548   /*
549    * Set up to fake initial sequence from 1 to the article before the 
550    * first article in our list
551    */
552   data->num = 0;
553   series = 1;
554
555   for (x = 0; x < ctx->msgcount; x++) {
556     if (series) {               /* search for first unread */
557       /*
558        * We don't actually check sequential order, since we mark 
559        * "missing" entries as read/deleted
560        */
561       last = ctx->hdrs[x]->article_num;
562       if (last >= data->firstMessage && !ctx->hdrs[x]->deleted &&
563           !ctx->hdrs[x]->read) {
564         if (data->num >= data->max) {
565           data->max = data->max * 2;
566           p_realloc(&data->entries, data->max);
567         }
568         data->entries[data->num].first = first;
569         data->entries[data->num].last = last - 1;
570         data->num++;
571         series = 0;
572       }
573     }
574     else {                      /* search for first read */
575
576       if (ctx->hdrs[x]->deleted || ctx->hdrs[x]->read) {
577         first = last + 1;
578         series = 1;
579       }
580       last = ctx->hdrs[x]->article_num;
581     }
582   }
583   if (series && first <= data->lastLoaded) {
584     if (data->num >= data->max) {
585       data->max = data->max * 2;
586       p_realloc(&data->entries, data->max);
587     }
588     data->entries[data->num].first = first;
589     data->entries[data->num].last = data->lastLoaded;
590     data->num++;
591   }
592
593   if (save_sort != Sort) {
594     Sort = save_sort;
595     mutt_sort_headers (ctx, 0);
596   }
597 }
598
599 static int mutt_update_list_file (char *filename, char *section,
600                                   const char *key, char *line) {
601   FILE *ifp;
602   FILE *ofp;
603   char buf[HUGE_STRING];
604   char tmpf[_POSIX_PATH_MAX], lnk[_POSIX_PATH_MAX];
605   char *c;
606   int ext = 0, done = 0, r = 0, l = 0;
607
608   /* if file not exist, create it */
609   if ((ifp = safe_fopen (filename, "a")))
610     m_fclose(&ifp);
611   if (!(ifp = safe_fopen (filename, "r"))) {
612     mutt_error (_("Unable to open %s for reading"), filename);
613     return -1;
614   }
615   if (mx_lock_file (filename, fileno (ifp), 0, 0, 1)) {
616     m_fclose(&ifp);
617     mutt_error (_("Unable to lock %s"), filename);
618     return -1;
619   }
620
621   /* use m_tempfile() to get a tempfile in the same
622    * directory as filename is so that we can follow symlinks
623    * via rename(2); as dirname(2) may modify its argument,
624    * temporarily use buf as copy of it
625    */
626   m_strcpy(buf, sizeof(buf), filename);
627   ofp = m_tempfile(tmpf, sizeof(tmpf), dirname(buf), filename);
628   if (!ofp) {
629     m_fclose(&ifp);
630     mutt_error (_("Unable to open %s for writing"), tmpf);
631     return -1;
632   }
633
634   if (section) {
635     while (r != EOF && !done && fgets (buf, sizeof (buf), ifp)) {
636       r = fputs (buf, ofp);
637       c = buf;
638       while (*c && *c != '\n') c++;
639       c[0] = 0; /* strip EOL */
640       if (!strncmp (buf, "#: ", 3) && !m_strcasecmp(buf+3, section))
641         done++;
642     }
643     if (r != EOF && !done) {
644       snprintf (buf, sizeof(buf), "#: %s\n", section);
645       r = fputs (buf, ofp);
646     }
647     done = 0;
648   }
649
650   while (r != EOF && fgets (buf, sizeof (buf), ifp)) {
651     if (ext) {
652       c = buf;
653       while (*c && (*c != '\r') && (*c != '\n')) c++;
654       c--;
655       if (*c != '\\') ext = 0;
656     } else if ((section && !strncmp (buf, "#: ", 3))) {
657       if (!done && line) {
658         fputs (line, ofp);
659         fputc ('\n', ofp);
660       }
661       r = fputs (buf, ofp);
662       done++;
663       break;
664     } else if (key && !strncmp (buf, key, strlen(key)) &&
665                (!*key || buf[strlen(key)] == ' ')) {
666       c = buf;
667       ext = 0;
668       while (*c && (*c != '\r') && (*c != '\n')) c++;
669       c--;
670       if (*c == '\\') ext = 1;
671       if (!done && line) {
672         r = fputs (line, ofp);
673         if (*key)
674           r = fputc ('\n', ofp);
675         done++;
676       }
677     } else {
678       r = fputs (buf, ofp);
679     }
680   }
681
682   while (r != EOF && fgets (buf, sizeof (buf), ifp))
683     r = fputs (buf, ofp);
684
685   /* If there wasn't a line to replace, put it on the end of the file */
686   if (r != EOF && !done && line) {
687     fputs (line, ofp);
688     r = fputc ('\n', ofp);
689   }
690   mx_unlock_file (filename, fileno (ifp), 0);
691   m_fclose(&ofp);
692   m_fclose(&ifp);
693   if (r == EOF) {
694     unlink (tmpf);
695     mutt_error (_("Can't write %s"), tmpf);
696     return -1;
697   }
698   lnk[0] = '\0';
699   if ((l = readlink (filename, lnk, sizeof(lnk)-1)) > 0)
700     lnk[l] = '\0';
701   if (rename (tmpf, l > 0 ? lnk : filename) < 0) {
702     unlink (tmpf);
703     mutt_error (_("Can't rename %s to %s"), tmpf, l > 0 ? lnk : filename);
704     return -1;
705   }
706   return 0;
707 }
708
709 int mutt_newsrc_update (NNTP_SERVER * news)
710 {
711   char *buf, *line;
712   NNTP_DATA *data;
713   string_list_t *tmp;
714   int r = -1;
715   ssize_t len, llen;
716
717   if (!news)
718     return -1;
719   llen = len = 10 * LONG_STRING;
720   line = buf = p_new(char, len);
721   /* we will generate full newsrc here */
722   for (tmp = news->list; tmp; tmp = tmp->next) {
723     data = (NNTP_DATA *) tmp->data;
724     if (!data || !data->rc)
725       continue;
726     nntp_create_newsrc_line (data, &buf, &line, &llen);
727     line += m_strlen(line);
728   }
729   /* newrc being fully rewritten */
730   if (news->newsrc &&
731       (r = mutt_update_list_file(news->newsrc, NULL, "", buf)) == 0) {
732     struct stat st;
733
734     stat (news->newsrc, &st);
735     news->size = st.st_size;
736     news->mtime = st.st_mtime;
737   }
738   p_delete(&buf);
739   return r;
740 }
741
742 static FILE *mutt_mkname (char *s)
743 {
744   char buf[_POSIX_PATH_MAX], *pc;
745   int fd;
746   FILE *fp;
747
748   nntp_cache_expand (buf, s);
749   if ((fp = safe_fopen (buf, "w")))
750     return fp;
751
752   nntp_cache_expand (buf, "cache-XXXXXX");
753   pc = buf + m_strlen(buf) - 12; /* positioning to "cache-XXXXXX" */
754   if ((fd = mkstemp (buf)) == -1)
755     return NULL;
756   strcpy (s, pc);               /* generated name */
757   return fdopen (fd, "w");
758 }
759
760 /* Updates info into .index file: ALL or about selected newsgroup */
761 static int nntp_update_cacheindex (NNTP_SERVER * serv, NNTP_DATA * data)
762 {
763   char buf[LONG_STRING];
764   char file[_POSIX_PATH_MAX];
765   const char *key = "ALL";
766
767   if (!serv || !serv->conn || !serv->conn->account.host)
768     return -1;
769
770   if (data && data->group) {
771     key = data->group;
772     snprintf (buf, sizeof (buf), "%s %s %d %d", key, data->cache,
773               data->firstMessage, data->lastLoaded);
774   }
775   else {
776     m_strcpy(file, sizeof(file), serv->cache);
777     snprintf (buf, sizeof (buf), "ALL %s 0 %d", file,
778               (int) serv->newgroups_time);
779   }
780   nntp_cache_expand (file, ".index");
781   return mutt_update_list_file (file, serv->conn->account.host, key, buf);
782 }
783
784 /* Remove cache files of unsubscribed newsgroups */
785 void nntp_clear_cacheindex (NNTP_SERVER * news)
786 {
787   NNTP_DATA *data;
788   string_list_t *tmp;
789
790   if (option (OPTSAVEUNSUB) || !news)
791     return;
792
793   for (tmp = news->list; tmp; tmp = tmp->next) {
794     data = (NNTP_DATA *) tmp->data;
795     if (!data || data->subscribed || !data->cache)
796       continue;
797     nntp_delete_cache (data);
798   }
799   return;
800 }
801
802 int nntp_save_cache_index (NNTP_SERVER * news)
803 {
804   char buf[HUGE_STRING];
805   char file[_POSIX_PATH_MAX];
806   NNTP_DATA *d;
807   FILE *f;
808   string_list_t *l;
809
810   if (!news || !news->newsgroups)
811     return -1;
812   if (!option (OPTNEWSCACHE))
813     return 0;
814
815   if (news->cache) {
816     nntp_cache_expand (file, news->cache);
817     unlink (file);
818     f = safe_fopen (file, "w");
819   }
820   else {
821     m_strcpy(buf, sizeof(buf), news->conn->account.host);
822     f = mutt_mkname (buf);
823     news->cache = m_strdup(buf);
824     nntp_cache_expand (file, buf);
825   }
826   if (!f)
827     return -1;
828
829   for (l = news->list; l; l = l->next) {
830     if ((d = (NNTP_DATA *) l->data) && !d->deleted) {
831       if (d->desc)
832         snprintf (buf, sizeof (buf), "%s %d %d %c %s\n", d->group,
833                   d->lastMessage, d->firstMessage, d->allowed ? 'y' : 'n',
834                   d->desc);
835       else
836         snprintf (buf, sizeof (buf), "%s %d %d %c\n", d->group,
837                   d->lastMessage, d->firstMessage, d->allowed ? 'y' : 'n');
838       if (fputs (buf, f) == EOF) {
839         m_fclose(&f);
840         unlink (file);
841         return -1;
842       }
843     }
844   }
845   m_fclose(&f);
846
847   if (nntp_update_cacheindex (news, NULL)) {
848     unlink (file);
849     return -1;
850   }
851   return 0;
852 }
853
854 int nntp_save_cache_group (CONTEXT * ctx)
855 {
856   char buf[HUGE_STRING], addr[STRING];
857   char file[_POSIX_PATH_MAX];
858   FILE *f;
859   HEADER *h;
860   struct tm *tm;
861   int i = 0, save = SORT_ORDER;
862   int prev = 0;
863
864   if (!option (OPTNEWSCACHE))
865     return 0;
866   if (!ctx || !ctx->data || ctx->magic != M_NNTP)
867     return -1;
868
869   if (((NNTP_DATA *) ctx->data)->cache) {
870     nntp_cache_expand (file, ((NNTP_DATA *) ctx->data)->cache);
871     unlink (file);
872     f = safe_fopen (file, "w");
873   }
874   else {
875     snprintf (buf, sizeof (buf), "%s-%s",
876               ((NNTP_DATA *) ctx->data)->nserv->conn->account.host,
877               ((NNTP_DATA *) ctx->data)->group);
878     f = mutt_mkname (buf);
879     ((NNTP_DATA *) ctx->data)->cache = m_strdup(buf);
880     nntp_cache_expand (file, buf);
881   }
882   if (!f)
883     return -1;
884
885   if (Sort != SORT_ORDER) {
886     save = Sort;
887     Sort = SORT_ORDER;
888     mutt_sort_headers (ctx, 0);
889   }
890
891   /* Save only $nntp_context messages... */
892   ((NNTP_DATA *) ctx->data)->lastCached = 0;
893   if (NntpContext && ctx->msgcount > NntpContext)
894     i = ctx->msgcount - NntpContext;
895   for (; i < ctx->msgcount; i++) {
896     if (!ctx->hdrs[i]->deleted && ctx->hdrs[i]->article_num != prev) {
897       h = ctx->hdrs[i];
898       addr[0] = 0;
899       rfc822_addrcat(addr, sizeof(addr), h->env->from, 0);
900       tm = gmtime (&h->date_sent);
901       snprintf (buf, sizeof (buf),
902                 "%d\t%s\t%s\t%d %s %d %02d:%02d:%02d GMT\t%s\t",
903                 h->article_num, h->env->subject, addr, tm->tm_mday,
904                 Months[tm->tm_mon], tm->tm_year + 1900, tm->tm_hour,
905                 tm->tm_min, tm->tm_sec, h->env->message_id);
906       fputs (buf, f);
907       if (h->env->references)
908         mutt_write_references (h->env->references, f);
909       snprintf (buf, sizeof (buf), "\t%zd\t%d\tXref: %s\n",
910                 h->content->length, h->lines, NONULL (h->env->xref));
911       if (fputs (buf, f) == EOF) {
912         m_fclose(&f);
913         unlink (file);
914         return -1;
915       }
916     }
917     prev = ctx->hdrs[i]->article_num;
918   }
919
920   if (save != Sort) {
921     Sort = save;
922     mutt_sort_headers (ctx, 0);
923   }
924   m_fclose(&f);
925
926   if (nntp_update_cacheindex (((NNTP_DATA *) ctx->data)->nserv,
927                               (NNTP_DATA *) ctx->data)) {
928     unlink (file);
929     return -1;
930   }
931   ((NNTP_DATA *) ctx->data)->lastCached =
932     ((NNTP_DATA *) ctx->data)->lastLoaded;
933   return 0;
934 }
935
936 void nntp_delete_cache (NNTP_DATA * data)
937 {
938   char buf[_POSIX_PATH_MAX];
939
940   if (!option (OPTNEWSCACHE) || !data || !data->cache || !data->nserv)
941     return;
942
943   nntp_cache_expand (buf, data->cache);
944   unlink (buf);
945   p_delete(&data->cache);
946   data->lastCached = 0;
947   nntp_cache_expand (buf, ".index");
948   mutt_update_list_file (buf, data->nserv->conn->account.host, data->group,
949                          NULL);
950 }
951
952 NNTP_DATA *mutt_newsgroup_subscribe (NNTP_SERVER * news, char *group)
953 {
954   NNTP_DATA *data;
955
956   if (!news || !news->newsgroups || !group || !*group)
957     return NULL;
958   if (!(data = (NNTP_DATA *) hash_find (news->newsgroups, group))) {
959     data = xmalloc(sizeof(NNTP_DATA) + m_strlen(group) + 1);
960     data->group = (char *) data + sizeof (NNTP_DATA);
961     strcpy (data->group, group);
962     data->nserv = news;
963     data->deleted = 1;
964     if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
965       news->newsgroups =
966         hash_resize (news->newsgroups, news->newsgroups->nelem * 2);
967     hash_insert (news->newsgroups, data->group, data, 0);
968     nntp_add_to_list (news, data);
969   }
970   if (!data->subscribed) {
971     data->subscribed = 1;
972     data->rc = 1;
973   }
974   return data;
975 }
976
977 NNTP_DATA *mutt_newsgroup_unsubscribe (NNTP_SERVER * news, char *group)
978 {
979   NNTP_DATA *data;
980
981   if (!news || !news->newsgroups || !group || !*group ||
982       !(data = (NNTP_DATA *) hash_find (news->newsgroups, group)))
983     return NULL;
984   if (data->subscribed) {
985     data->subscribed = 0;
986     if (!option (OPTSAVEUNSUB))
987       data->rc = 0;
988   }
989   return data;
990 }
991
992 NNTP_DATA *mutt_newsgroup_catchup (NNTP_SERVER * news, char *group)
993 {
994   NNTP_DATA *data;
995
996   if (!news || !news->newsgroups || !group || !*group ||
997       !(data = (NNTP_DATA *) hash_find (news->newsgroups, group)))
998     return NULL;
999   if (!data->max) {
1000     data->entries = p_new(NEWSRC_ENTRY, 5);
1001     data->max = 5;
1002   }
1003   data->num = 1;
1004   data->entries[0].first = 1;
1005   data->unread = 0;
1006   data->entries[0].last = data->lastMessage;
1007   if (Context && Context->data == data) {
1008     int x;
1009
1010     for (x = 0; x < Context->msgcount; x++)
1011       mutt_set_flag (Context, Context->hdrs[x], M_READ, 1);
1012   }
1013   return data;
1014 }
1015
1016 NNTP_DATA *mutt_newsgroup_uncatchup (NNTP_SERVER * news, char *group)
1017 {
1018   NNTP_DATA *data;
1019
1020   if (!news || !news->newsgroups || !group || !*group ||
1021       !(data = (NNTP_DATA *) hash_find (news->newsgroups, group)))
1022     return NULL;
1023   if (!data->max) {
1024     data->entries = p_new(NEWSRC_ENTRY, 5);
1025     data->max = 5;
1026   }
1027   data->num = 1;
1028   data->entries[0].first = 1;
1029   data->entries[0].last = data->firstMessage - 1;
1030   if (Context && Context->data == data) {
1031     int x;
1032
1033     data->unread = Context->msgcount;
1034     for (x = 0; x < Context->msgcount; x++)
1035       mutt_set_flag (Context, Context->hdrs[x], M_READ, 0);
1036   }
1037   else
1038     data->unread = data->lastMessage - data->entries[0].last;
1039   return data;
1040 }
1041
1042 /* this routine gives the first newsgroup with new messages */
1043 void nntp_buffy (char* dst, ssize_t dstlen) {
1044   string_list_t *list;
1045   int count = 0;
1046
1047   /* forward to current group */
1048   for (list = CurrentNewsSrv->list; list; list = list->next) {
1049     NNTP_DATA *data = (NNTP_DATA *) list->data;
1050     if (data && data->subscribed && data->unread && 
1051         Context && Context->magic == M_NNTP &&
1052         m_strcmp(data->group, ((NNTP_DATA *) Context->data)->group) == 0) {
1053       list = list->next;
1054       break;
1055     }
1056   }
1057
1058   *dst = '\0';
1059
1060   while (count < 2) {
1061
1062     if (!list)
1063       list = CurrentNewsSrv->list;
1064
1065     for (; list; list = list->next) {
1066       NNTP_DATA *data = (NNTP_DATA *) list->data;
1067
1068       if (data && data->subscribed && data->unread) {
1069         if (Context && Context->magic == M_NNTP &&
1070             !m_strcmp(data->group, ((NNTP_DATA *) Context->data)->group)) {
1071           unsigned int i, unread = 0;
1072
1073           for (i = 0; i < Context->msgcount; i++)
1074             if (!Context->hdrs[i]->read && !Context->hdrs[i]->deleted)
1075               unread++;
1076           if (!unread)
1077             continue;
1078         }
1079         m_strcpy(dst, dstlen, data->group);
1080         break;
1081       }
1082     }
1083     /* done if found */
1084     if (dst && *dst)
1085       return;
1086     count++;
1087   }
1088   *dst = '\0';
1089 }