nntp/newsrc.c

   1 /*
   2  * Copyright notice from original mutt:
   3  * Copyright (C) 1998 Brandon Long <blong@fiction.net>
   4  * Copyright (C) 1999 Andrej Gritsenko <andrej@lucky.net>
   5  * Copyright (C) 2000-2001 Vsevolod Volkov <vvv@mutt.org.ua>
   6  *
   7  * This file is part of mutt-ng, see http://www.muttng.org/.
   8  * It's licensed under the GNU General Public License,
   9  * please see the file GPL in the top level source directory.
  10  */
  11
  12 #ifdef HAVE_CONFIG_H
  13 #include <config.h>
  14 #endif
  15
  16 #include <lib-lib/mem.h>
  17
  18 #include "mutt.h"
  19 #include "mutt_curses.h"
  20 #include "sort.h"
  21 #include "mx.h"
  22 #include "mime.h"
  23 #include "nntp.h"
  24 #include "rfc822.h"
  25 #include "rfc1524.h"
  26 #include "rfc2047.h"
  27
  28 #include "lib/str.h"
  29 #include "lib/intl.h"
  30 #include "lib/debug.h"
  31
  32 #include <unistd.h>
  33 #include <string.h>
  34 #include <ctype.h>
  35 #include <stdlib.h>
  36 #include <libgen.h>
  37 #include <sys/stat.h>
  38
  39 void nntp_add_to_list (NNTP_SERVER * s, NNTP_DATA * d)
  40 {
  41   LIST *l;
  42
  43   if (!s || !d)
  44     return;
  45
  46   l = p_new(LIST, 1);
  47   if (s->list)
  48     s->tail->next = l;
  49   else
  50     s->list = l;
  51   s->tail = l;
  52   l->data = (void *) d;
  53 }
  54
  55 static int nntp_parse_newsrc_line (NNTP_SERVER * news, char *line)
  56 {
  57   NNTP_DATA *data;
  58   char group[LONG_STRING];
  59   int x = 1;
  60   char *p = line, *b, *h;
  61   size_t len;
  62
  63   while (*p) {
  64     if (*p++ == ',')
  65       x++;
  66   }
  67
  68   p = line;
  69   while (*p && (*p != ':' && *p != '!'))
  70     p++;
  71   if (!*p)
  72     return -1;
  73   len = p + 1 - line;
  74   if (len > sizeof (group))
  75     len = sizeof (group);
  76   strfcpy (group, line, len);
  77   if ((data = (NNTP_DATA *) hash_find (news->newsgroups, group)) == NULL) {
  78     data = xmalloc(sizeof(NNTP_DATA) + str_len(group) + 1);
  79     data->group = (char *) data + sizeof (NNTP_DATA);
  80     strcpy (data->group, group);
  81     data->nserv = news;
  82     data->deleted = 1;
  83     if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
  84       news->newsgroups =
  85         hash_resize (news->newsgroups, news->newsgroups->nelem * 2);
  86     hash_insert (news->newsgroups, data->group, data, 0);
  87     nntp_add_to_list (news, data);
  88   }
  89   else
  90     p_delete(&data->entries);
  91
  92   data->rc = 1;
  93   data->entries = p_new(NEWSRC_ENTRY, x * 2);
  94   data->max = x * 2;
  95
  96   if (*p == ':')
  97     data->subscribed = 1;
  98   else
  99     data->subscribed = 0;
 100
 101   p++;
 102   b = p;
 103   x = 0;
 104   while (*b) {
 105     while (*p && *p != ',' && *p != '\n')
 106       p++;
 107     if (*p) {
 108       *p = '\0';
 109       p++;
 110     }
 111     if ((h = strchr (b, '-'))) {
 112       *h = '\0';
 113       h++;
 114       data->entries[x].first = atoi (b);
 115       data->entries[x].last = atoi (h);
 116     }
 117     else {
 118       data->entries[x].first = atoi (b);
 119       data->entries[x].last = data->entries[x].first;
 120     }
 121     b = p;
 122     if (data->entries[x].last != 0)
 123       x++;
 124   }
 125   if (x && !data->lastMessage)
 126     data->lastMessage = data->entries[x - 1].last;
 127   data->num = x;
 128   mutt_newsgroup_stat (data);
 129   debug_print (2, ("Newsgroup %s\n", data->group));
 130
 131   return 0;
 132 }
 133
 134 static int slurp_newsrc (NNTP_SERVER * news)
 135 {
 136   FILE *fp;
 137   char *buf;
 138   struct stat sb;
 139
 140   news->stat = stat (news->newsrc, &sb);
 141   news->size = sb.st_size;
 142   news->mtime = sb.st_mtime;
 143
 144   if ((fp = safe_fopen (news->newsrc, "r")) == NULL)
 145     return -1;
 146   /* hmm, should we use dotlock? */
 147   if (mx_lock_file (news->newsrc, fileno (fp), 0, 0, 1)) {
 148     fclose (fp);
 149     return -1;
 150   }
 151
 152   buf = p_new(char, sb.st_size + 1);
 153   while (fgets (buf, sb.st_size + 1, fp))
 154     nntp_parse_newsrc_line (news, buf);
 155   p_delete(&buf);
 156
 157   mx_unlock_file (news->newsrc, fileno (fp), 0);
 158   fclose (fp);
 159   return 0;
 160 }
 161
 162 void nntp_cache_expand (char *dst, const char *src)
 163 {
 164   snprintf (dst, _POSIX_PATH_MAX, "%s/%s", NewsCacheDir, src);
 165   mutt_expand_path (dst, _POSIX_PATH_MAX);
 166 }
 167
 168 /* Loads $news_cache_dir/.index into memory, loads newsserver data
 169  * and newsgroup cache names */
 170 static int nntp_parse_cacheindex (NNTP_SERVER * news)
 171 {
 172   struct stat st;
 173   char buf[HUGE_STRING], *cp;
 174   char dir[_POSIX_PATH_MAX], file[_POSIX_PATH_MAX];
 175   FILE *index;
 176   NNTP_DATA *data;
 177   int l, m, t;
 178
 179   /* check is server name defined or not */
 180   if (!news || !news->conn || !news->conn->account.host)
 181     return -1;
 182   unset_option (OPTNEWSCACHE);
 183   if (!NewsCacheDir || !*NewsCacheDir)
 184     return 0;
 185
 186   strfcpy (dir, NewsCacheDir, sizeof (dir));
 187   mutt_expand_path (dir, sizeof (dir));
 188
 189   if (lstat (dir, &st) || (st.st_mode & S_IFDIR) == 0) {
 190     snprintf (buf, sizeof (buf), _("Directory %s not exist. Create it?"),
 191               dir);
 192     if (mutt_yesorno (buf, M_YES) != M_YES
 193         || mkdir (dir, (S_IRWXU + S_IRWXG + S_IRWXO))) {
 194       mutt_error _("Cache directory not created!");
 195
 196       return -1;
 197     }
 198     mutt_clear_error ();
 199   }
 200
 201   set_option (OPTNEWSCACHE);
 202
 203   p_delete(&news->cache);
 204   snprintf (buf, sizeof (buf), "%s/.index", dir);
 205   if (!(index = safe_fopen (buf, "a+")))
 206     return 0;
 207   rewind (index);
 208   while (fgets (buf, sizeof (buf), index)) {
 209     buf[str_len (buf) - 1] = 0;  /* strip ending '\n' */
 210     if (!str_ncmp (buf, "#: ", 3) &&
 211         !str_casecmp (buf + 3, news->conn->account.host))
 212       break;
 213   }
 214   while (fgets (buf, sizeof (buf), index)) {
 215     cp = buf;
 216     while (*cp && *cp != ' ')
 217       cp++;
 218     if (!*cp)
 219       continue;
 220     cp[0] = 0;
 221     if (!str_cmp (buf, "#:"))
 222       break;
 223     sscanf (cp + 1, "%s %d %d", file, &l, &m);
 224     if (!str_cmp (buf, "ALL")) {
 225       news->cache = str_dup (file);
 226       news->newgroups_time = m;
 227     }
 228     else if (news->newsgroups) {
 229       if ((data = (NNTP_DATA *) hash_find (news->newsgroups, buf)) == NULL) {
 230         data = xmalloc(sizeof(NNTP_DATA) + str_len(buf) + 1);
 231         data->group = (char *) data + sizeof (NNTP_DATA);
 232         strcpy (data->group, buf);
 233         data->nserv = news;
 234         data->deleted = 1;
 235         if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
 236           news->newsgroups =
 237             hash_resize (news->newsgroups, news->newsgroups->nelem * 2);
 238         hash_insert (news->newsgroups, data->group, data, 0);
 239         nntp_add_to_list (news, data);
 240       }
 241       data->cache = str_dup (file);
 242       t = 0;
 243       if (!data->firstMessage || data->lastMessage < m)
 244         t = 1;
 245       if (!data->firstMessage)
 246         data->firstMessage = l;
 247       if (data->lastMessage < m)
 248         data->lastMessage = m;
 249       data->lastCached = m;
 250       if (t || !data->unread)
 251         mutt_newsgroup_stat (data);
 252     }
 253   }
 254   fclose (index);
 255   return 0;
 256 }
 257
 258 const char *nntp_format_str (char *dest, size_t destlen, char op,
 259                              const char *src, const char *fmt,
 260                              const char *ifstring, const char *elsestring,
 261                              unsigned long data, format_flag flags)
 262 {
 263   char fn[SHORT_STRING], tmp[SHORT_STRING];
 264
 265   switch (op) {
 266   case 's':
 267     strncpy (fn, NewsServer, sizeof (fn) - 1);
 268     str_tolower (fn);
 269     snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
 270     snprintf (dest, destlen, tmp, fn);
 271     break;
 272   }
 273   return (src);
 274 }
 275
 276 /* nntp_parse_url: given an NNPT URL, return host, port,
 277  * username, password and newsgroup will recognise. */
 278 int nntp_parse_url (const char *server, ACCOUNT * acct,
 279                     char *group, size_t group_len)
 280 {
 281   ciss_url_t url;
 282   char *c;
 283   int ret = -1;
 284
 285   /* Defaults */
 286   acct->flags = 0;
 287   acct->port = NNTP_PORT;
 288   acct->type = M_ACCT_TYPE_NNTP;
 289
 290   c = str_dup (server);
 291   url_parse_ciss (&url, c);
 292
 293   if (url.scheme == U_NNTP || url.scheme == U_NNTPS) {
 294     if (url.scheme == U_NNTPS) {
 295       acct->flags |= M_ACCT_SSL;
 296       acct->port = NNTP_SSL_PORT;
 297     }
 298
 299     *group = '\0';
 300     if (url.path)
 301       strfcpy (group, url.path, group_len);
 302
 303     ret = mutt_account_fromurl (acct, &url);
 304   }
 305
 306   p_delete(&c);
 307   return ret;
 308 }
 309
 310 void nntp_expand_path (char *line, size_t len, ACCOUNT * acct)
 311 {
 312   ciss_url_t url;
 313
 314   url.path = str_dup (line);
 315   mutt_account_tourl (acct, &url);
 316   url_ciss_tostring (&url, line, len, 0);
 317   p_delete(&url.path);
 318 }
 319
 320 /*
 321  * Automatically loads a newsrc into memory, if necessary.
 322  * Checks the size/mtime of a newsrc file, if it doesn't match, load
 323  * again.  Hmm, if a system has broken mtimes, this might mean the file
 324  * is reloaded every time, which we'd have to fix.
 325  *
 326  * a newsrc file is a line per newsgroup, with the newsgroup, then a
 327  * ':' denoting subscribed or '!' denoting unsubscribed, then a
 328  * comma separated list of article numbers and ranges.
 329  */
 330 NNTP_SERVER *mutt_select_newsserver (char *server)
 331 {
 332   char file[_POSIX_PATH_MAX];
 333   char *buf, *p;
 334   LIST *list;
 335   ACCOUNT acct;
 336   NNTP_SERVER *serv;
 337   CONNECTION *conn;
 338
 339   memset (&acct, 0, sizeof (ACCOUNT));
 340
 341   if (!server || !*server) {
 342     mutt_error _("No newsserver defined!");
 343
 344     return NULL;
 345   }
 346
 347   buf = p = p_new(char, str_len (server) + 10);
 348   if (url_check_scheme (server) == U_UNKNOWN) {
 349     strcpy (buf, "nntp://");
 350     p = strchr (buf, '\0');
 351   }
 352   strcpy (p, server);
 353
 354   if ((nntp_parse_url (buf, &acct, file, sizeof (file))) < 0 || *file) {
 355     p_delete(&buf);
 356     mutt_error (_("%s is an invalid newsserver specification!"), server);
 357     return NULL;
 358   }
 359   p_delete(&buf);
 360
 361   conn = mutt_conn_find (NULL, &acct);
 362   if (!conn)
 363     return NULL;
 364
 365   mutt_FormatString (file, sizeof (file), NONULL (NewsRc), nntp_format_str, 0,
 366                      0);
 367   mutt_expand_path (file, sizeof (file));
 368
 369   serv = (NNTP_SERVER *) conn->data;
 370   if (serv) {
 371     struct stat sb;
 372
 373     /* externally modified? */
 374     if (serv->stat != stat (file, &sb) || (!serv->stat &&
 375                                            (serv->size != sb.st_size
 376                                             || serv->mtime != sb.st_mtime))) {
 377       for (list = serv->list; list; list = list->next) {
 378         NNTP_DATA *data = (NNTP_DATA *) list->data;
 379
 380         if (data) {
 381           data->subscribed = 0;
 382           data->rc = 0;
 383           data->num = 0;
 384         }
 385       }
 386       slurp_newsrc (serv);
 387       nntp_clear_cacheindex (serv);
 388     }
 389
 390     if (serv->status == NNTP_BYE)
 391       serv->status = NNTP_NONE;
 392     nntp_check_newgroups (serv, 0);
 393     return serv;
 394   }
 395
 396   /* New newsserver */
 397   serv = p_new(NNTP_SERVER, 1);
 398   serv->conn = conn;
 399   serv->newsrc = str_dup (file);
 400   serv->newsgroups = hash_create (1009);
 401   slurp_newsrc (serv);          /* load .newsrc */
 402   nntp_parse_cacheindex (serv); /* load .index */
 403   if (option (OPTNEWSCACHE) && serv->cache && nntp_get_cache_all (serv) >= 0)
 404     nntp_check_newgroups (serv, 1);
 405   else if (nntp_get_active (serv) < 0) {
 406     hash_destroy (&serv->newsgroups, nntp_delete_data);
 407     for (list = serv->list; list; list = list->next)
 408       list->data = NULL;
 409     mutt_free_list (&serv->list);
 410     p_delete(&serv->newsrc);
 411     p_delete(&serv->cache);
 412     p_delete(&serv);
 413     return NULL;
 414   }
 415   nntp_clear_cacheindex (serv);
 416   conn->data = (void *) serv;
 417
 418   return serv;
 419 }
 420
 421 /*
 422  * full status flags are not supported by nntp, but we can fake some
 423  * of them.  This is how:
 424  * Read = a read message number is in the .newsrc
 425  * New = a message is new since we last read this newsgroup
 426  * Old = anything else
 427  * So, Read is marked as such in the newsrc, old is anything that is
 428  * "skipped" in the newsrc, and new is anything not in the newsrc nor
 429  * in the cache. By skipped, I mean before the last unread message
 430  */
 431 void nntp_get_status (CONTEXT * ctx, HEADER * h, char *group, int article)
 432 {
 433   NNTP_DATA *data = (NNTP_DATA *) ctx->data;
 434   int x;
 435
 436   if (group)
 437     data = (NNTP_DATA *) hash_find (data->nserv->newsgroups, group);
 438
 439   if (!data) {
 440 #ifdef DEBUG
 441     if (group)
 442       debug_print (3, ("newsgroup %s not found\n", group));
 443 #endif
 444     return;
 445   }
 446
 447   for (x = 0; x < data->num; x++) {
 448     if ((article >= data->entries[x].first) &&
 449         (article <= data->entries[x].last)) {
 450       /* we cannot use mutt_set_flag() because mx_update_context()
 451          didn't called yet */
 452       h->read = 1;
 453       return;
 454     }
 455   }
 456   /* If article was not cached yet, it is new! :) */
 457   if (!data->cache || article > data->lastCached)
 458     return;
 459   /* Old articles are articles which aren't read but an article after them
 460    * has been cached */
 461   if (option (OPTMARKOLD))
 462     h->old = 1;
 463 }
 464
 465 void mutt_newsgroup_stat (NNTP_DATA * data)
 466 {
 467   int i;
 468   unsigned int first, last;
 469
 470   data->unread = 0;
 471   if (data->lastMessage == 0 || data->firstMessage > data->lastMessage)
 472     return;
 473
 474   data->unread = data->lastMessage - data->firstMessage + 1;
 475   for (i = 0; i < data->num; i++) {
 476     first = data->entries[i].first;
 477     if (first < data->firstMessage)
 478       first = data->firstMessage;
 479     last = data->entries[i].last;
 480     if (last > data->lastMessage)
 481       last = data->lastMessage;
 482     if (first <= last)
 483       data->unread -= last - first + 1;
 484   }
 485 }
 486
 487 static int puti (char *line, int num)
 488 {
 489   char *p, s[32];
 490
 491   for (p = s; num;) {
 492     *p++ = '0' + num % 10;
 493     num /= 10;
 494   }
 495   while (p > s)
 496     *line++ = *--p, num++;
 497   *line = '\0';
 498   return num;
 499 }
 500
 501 static void nntp_create_newsrc_line (NNTP_DATA * data, char **buf,
 502                                      char **pline, size_t * buflen)
 503 {
 504   char *line = *pline;
 505   size_t len = *buflen - (*pline - *buf);
 506   int x, i;
 507
 508   if (len < LONG_STRING * 10) {
 509     len += *buflen;
 510     *buflen *= 2;
 511     line = *buf;
 512     p_realloc(buf, *buflen);
 513     line = *buf + (*pline - line);
 514   }
 515   strcpy (line, data->group);
 516   len -= str_len (line) + 1;
 517   line += str_len (line);
 518   *line++ = data->subscribed ? ':' : '!';
 519   *line++ = ' ';
 520   *line = '\0';
 521
 522   for (x = 0; x < data->num; x++) {
 523     if (len < LONG_STRING) {
 524       len += *buflen;
 525       *buflen *= 2;
 526       *pline = line;
 527       line = *buf;
 528       p_realloc(buf, *buflen);
 529       line = *buf + (*pline - line);
 530     }
 531     if (x) {
 532       *line++ = ',';
 533       len--;
 534     }
 535
 536 #if 0
 537     if (data->entries[x].first == data->entries[x].last)
 538       snprintf (line, len, "%d%n", data->entries[x].first, &i);
 539     else
 540       snprintf (line, len, "%d-%d%n",
 541                 data->entries[x].first, data->entries[x].last, &i);
 542     len -= i;
 543     line += i;
 544 #else
 545     i = puti (line, data->entries[x].first);
 546     line += i;
 547     len -= i;
 548     if (data->entries[x].first != data->entries[x].last) {
 549       *line++ = '-';
 550       len--;
 551       i = puti (line, data->entries[x].last);
 552       line += i;
 553       len -= i;
 554     }
 555 #endif
 556   }
 557   *line++ = '\n';
 558   *line = '\0';
 559   *pline = line;
 560 }
 561
 562 void newsrc_gen_entries (CONTEXT * ctx)
 563 {
 564   NNTP_DATA *data = (NNTP_DATA *) ctx->data;
 565   int series, x;
 566   unsigned int last = 0, first = 1;
 567   int save_sort = SORT_ORDER;
 568
 569   if (Sort != SORT_ORDER) {
 570     save_sort = Sort;
 571     Sort = SORT_ORDER;
 572     mutt_sort_headers (ctx, 0);
 573   }
 574
 575   if (!data->max) {
 576     data->entries = p_new(NEWSRC_ENTRY, 5);
 577     data->max = 5;
 578   }
 579
 580   /*
 581    * Set up to fake initial sequence from 1 to the article before the
 582    * first article in our list
 583    */
 584   data->num = 0;
 585   series = 1;
 586
 587   for (x = 0; x < ctx->msgcount; x++) {
 588     if (series) {               /* search for first unread */
 589       /*
 590        * We don't actually check sequential order, since we mark
 591        * "missing" entries as read/deleted
 592        */
 593       last = ctx->hdrs[x]->article_num;
 594       if (last >= data->firstMessage && !ctx->hdrs[x]->deleted &&
 595           !ctx->hdrs[x]->read) {
 596         if (data->num >= data->max) {
 597           data->max = data->max * 2;
 598           p_realloc(&data->entries, data->max);
 599         }
 600         data->entries[data->num].first = first;
 601         data->entries[data->num].last = last - 1;
 602         data->num++;
 603         series = 0;
 604       }
 605     }
 606     else {                      /* search for first read */
 607
 608       if (ctx->hdrs[x]->deleted || ctx->hdrs[x]->read) {
 609         first = last + 1;
 610         series = 1;
 611       }
 612       last = ctx->hdrs[x]->article_num;
 613     }
 614   }
 615   if (series && first <= data->lastLoaded) {
 616     if (data->num >= data->max) {
 617       data->max = data->max * 2;
 618       p_realloc(&data->entries, data->max);
 619     }
 620     data->entries[data->num].first = first;
 621     data->entries[data->num].last = data->lastLoaded;
 622     data->num++;
 623   }
 624
 625   if (save_sort != Sort) {
 626     Sort = save_sort;
 627     mutt_sort_headers (ctx, 0);
 628   }
 629 }
 630
 631 static int mutt_update_list_file (char *filename, char *section,
 632                                   char *key, char *line) {
 633   FILE *ifp;
 634   FILE *ofp;
 635   char buf[HUGE_STRING];
 636   char tmpfile[_POSIX_PATH_MAX], link[_POSIX_PATH_MAX];
 637   char *c;
 638   int ext = 0, done = 0, r = 0, l = 0;
 639
 640   /* if file not exist, create it */
 641   if ((ifp = safe_fopen (filename, "a")))
 642     fclose (ifp);
 643   debug_print (1, ("Opening %s\n", filename));
 644   if (!(ifp = safe_fopen (filename, "r"))) {
 645     mutt_error (_("Unable to open %s for reading"), filename);
 646     return -1;
 647   }
 648   if (mx_lock_file (filename, fileno (ifp), 0, 0, 1)) {
 649     fclose (ifp);
 650     mutt_error (_("Unable to lock %s"), filename);
 651     return -1;
 652   }
 653   /* use mutt_adv_mktemp() to get a tempfile in the same
 654    * directory as filename is so that we can follow symlinks
 655    * via rename(2); as dirname(2) may modify its argument,
 656    * temporarily use buf as copy of it
 657    */
 658   strncpy (buf, filename, sizeof (buf));
 659   strncpy (tmpfile, basename (filename), sizeof (tmpfile));
 660   mutt_adv_mktemp ((const char*) dirname (buf), tmpfile, sizeof (tmpfile));
 661   debug_print (1, ("Opening %s\n", tmpfile));
 662   if (!(ofp = fopen (tmpfile, "w"))) {
 663     fclose (ifp);
 664     mutt_error (_("Unable to open %s for writing"), tmpfile);
 665     return -1;
 666   }
 667
 668   if (section) {
 669     while (r != EOF && !done && fgets (buf, sizeof (buf), ifp)) {
 670       r = fputs (buf, ofp);
 671       c = buf;
 672       while (*c && *c != '\n') c++;
 673       c[0] = 0; /* strip EOL */
 674       if (!strncmp (buf, "#: ", 3) && !str_casecmp (buf+3, section))
 675         done++;
 676     }
 677     if (r != EOF && !done) {
 678       snprintf (buf, sizeof(buf), "#: %s\n", section);
 679       r = fputs (buf, ofp);
 680     }
 681     done = 0;
 682   }
 683
 684   while (r != EOF && fgets (buf, sizeof (buf), ifp)) {
 685     if (ext) {
 686       c = buf;
 687       while (*c && (*c != '\r') && (*c != '\n')) c++;
 688       c--;
 689       if (*c != '\\') ext = 0;
 690     } else if ((section && !strncmp (buf, "#: ", 3))) {
 691       if (!done && line) {
 692         fputs (line, ofp);
 693         fputc ('\n', ofp);
 694       }
 695       r = fputs (buf, ofp);
 696       done++;
 697       break;
 698     } else if (key && !strncmp (buf, key, strlen(key)) &&
 699                (!*key || buf[strlen(key)] == ' ')) {
 700       c = buf;
 701       ext = 0;
 702       while (*c && (*c != '\r') && (*c != '\n')) c++;
 703       c--;
 704       if (*c == '\\') ext = 1;
 705       if (!done && line) {
 706         r = fputs (line, ofp);
 707         if (*key)
 708           r = fputc ('\n', ofp);
 709         done++;
 710       }
 711     } else {
 712       r = fputs (buf, ofp);
 713     }
 714   }
 715
 716   while (r != EOF && fgets (buf, sizeof (buf), ifp))
 717     r = fputs (buf, ofp);
 718
 719   /* If there wasn't a line to replace, put it on the end of the file */
 720   if (r != EOF && !done && line) {
 721     fputs (line, ofp);
 722     r = fputc ('\n', ofp);
 723   }
 724   mx_unlock_file (filename, fileno (ifp), 0);
 725   fclose (ofp);
 726   fclose (ifp);
 727   if (r == EOF) {
 728     unlink (tmpfile);
 729     mutt_error (_("Can't write %s"), tmpfile);
 730     return -1;
 731   }
 732   link[0] = '\0';
 733   if ((l = readlink (filename, link, sizeof (link)-1)) > 0)
 734     link[l] = '\0';
 735   debug_print (1, ("Renaming %s to %s\n",tmpfile, l > 0 ? link : filename));
 736   if (rename (tmpfile, l > 0 ? link : filename) < 0) {
 737     unlink (tmpfile);
 738     mutt_error (_("Can't rename %s to %s"), tmpfile, l > 0 ? link : filename);
 739     return -1;
 740   }
 741   return 0;
 742 }
 743
 744 int mutt_newsrc_update (NNTP_SERVER * news)
 745 {
 746   char *buf, *line;
 747   NNTP_DATA *data;
 748   LIST *tmp;
 749   int r = -1;
 750   size_t len, llen;
 751
 752   if (!news)
 753     return -1;
 754   llen = len = 10 * LONG_STRING;
 755   line = buf = p_new(char, len);
 756   /* we will generate full newsrc here */
 757   for (tmp = news->list; tmp; tmp = tmp->next) {
 758     data = (NNTP_DATA *) tmp->data;
 759     if (!data || !data->rc)
 760       continue;
 761     nntp_create_newsrc_line (data, &buf, &line, &llen);
 762     debug_print (2, ("Added to newsrc: %s\n", line));
 763     line += str_len (line);
 764   }
 765   /* newrc being fully rewritten */
 766   if (news->newsrc &&
 767       (r = mutt_update_list_file (news->newsrc, NULL, "", buf)) == 0) {
 768     struct stat st;
 769
 770     stat (news->newsrc, &st);
 771     news->size = st.st_size;
 772     news->mtime = st.st_mtime;
 773   }
 774   p_delete(&buf);
 775   return r;
 776 }
 777
 778 static FILE *mutt_mkname (char *s)
 779 {
 780   char buf[_POSIX_PATH_MAX], *pc;
 781   int fd;
 782   FILE *fp;
 783
 784   nntp_cache_expand (buf, s);
 785   if ((fp = safe_fopen (buf, "w")))
 786     return fp;
 787
 788   nntp_cache_expand (buf, "cache-XXXXXX");
 789   pc = buf + str_len (buf) - 12; /* positioning to "cache-XXXXXX" */
 790   if ((fd = mkstemp (buf)) == -1)
 791     return NULL;
 792   strcpy (s, pc);               /* generated name */
 793   return fdopen (fd, "w");
 794 }
 795
 796 /* Updates info into .index file: ALL or about selected newsgroup */
 797 static int nntp_update_cacheindex (NNTP_SERVER * serv, NNTP_DATA * data)
 798 {
 799   char buf[LONG_STRING], *key = "ALL";
 800   char file[_POSIX_PATH_MAX];
 801
 802   if (!serv || !serv->conn || !serv->conn->account.host)
 803     return -1;
 804
 805   if (data && data->group) {
 806     key = data->group;
 807     snprintf (buf, sizeof (buf), "%s %s %d %d", key, data->cache,
 808               data->firstMessage, data->lastLoaded);
 809   }
 810   else {
 811     strfcpy (file, serv->cache, sizeof (file));
 812     snprintf (buf, sizeof (buf), "ALL %s 0 %d", file,
 813               (int) serv->newgroups_time);
 814   }
 815   nntp_cache_expand (file, ".index");
 816   return mutt_update_list_file (file, serv->conn->account.host, key, buf);
 817 }
 818
 819 /* Remove cache files of unsubscribed newsgroups */
 820 void nntp_clear_cacheindex (NNTP_SERVER * news)
 821 {
 822   NNTP_DATA *data;
 823   LIST *tmp;
 824
 825   if (option (OPTSAVEUNSUB) || !news)
 826     return;
 827
 828   for (tmp = news->list; tmp; tmp = tmp->next) {
 829     data = (NNTP_DATA *) tmp->data;
 830     if (!data || data->subscribed || !data->cache)
 831       continue;
 832     nntp_delete_cache (data);
 833     debug_print (2, ("Removed from .index: %s\n", data->group));
 834   }
 835   return;
 836 }
 837
 838 int nntp_save_cache_index (NNTP_SERVER * news)
 839 {
 840   char buf[HUGE_STRING];
 841   char file[_POSIX_PATH_MAX];
 842   NNTP_DATA *d;
 843   FILE *f;
 844   LIST *l;
 845
 846   if (!news || !news->newsgroups)
 847     return -1;
 848   if (!option (OPTNEWSCACHE))
 849     return 0;
 850
 851   if (news->cache) {
 852     nntp_cache_expand (file, news->cache);
 853     unlink (file);
 854     f = safe_fopen (file, "w");
 855   }
 856   else {
 857     strfcpy (buf, news->conn->account.host, sizeof (buf));
 858     f = mutt_mkname (buf);
 859     news->cache = str_dup (buf);
 860     nntp_cache_expand (file, buf);
 861   }
 862   if (!f)
 863     return -1;
 864
 865   for (l = news->list; l; l = l->next) {
 866     if ((d = (NNTP_DATA *) l->data) && !d->deleted) {
 867       if (d->desc)
 868         snprintf (buf, sizeof (buf), "%s %d %d %c %s\n", d->group,
 869                   d->lastMessage, d->firstMessage, d->allowed ? 'y' : 'n',
 870                   d->desc);
 871       else
 872         snprintf (buf, sizeof (buf), "%s %d %d %c\n", d->group,
 873                   d->lastMessage, d->firstMessage, d->allowed ? 'y' : 'n');
 874       if (fputs (buf, f) == EOF) {
 875         fclose (f);
 876         unlink (file);
 877         return -1;
 878       }
 879     }
 880   }
 881   fclose (f);
 882
 883   if (nntp_update_cacheindex (news, NULL)) {
 884     unlink (file);
 885     return -1;
 886   }
 887   return 0;
 888 }
 889
 890 int nntp_save_cache_group (CONTEXT * ctx)
 891 {
 892   char buf[HUGE_STRING], addr[STRING];
 893   char file[_POSIX_PATH_MAX];
 894   FILE *f;
 895   HEADER *h;
 896   struct tm *tm;
 897   int i = 0, save = SORT_ORDER;
 898   int prev = 0;
 899
 900   if (!option (OPTNEWSCACHE))
 901     return 0;
 902   if (!ctx || !ctx->data || ctx->magic != M_NNTP)
 903     return -1;
 904
 905   if (((NNTP_DATA *) ctx->data)->cache) {
 906     nntp_cache_expand (file, ((NNTP_DATA *) ctx->data)->cache);
 907     unlink (file);
 908     f = safe_fopen (file, "w");
 909   }
 910   else {
 911     snprintf (buf, sizeof (buf), "%s-%s",
 912               ((NNTP_DATA *) ctx->data)->nserv->conn->account.host,
 913               ((NNTP_DATA *) ctx->data)->group);
 914     f = mutt_mkname (buf);
 915     ((NNTP_DATA *) ctx->data)->cache = str_dup (buf);
 916     nntp_cache_expand (file, buf);
 917   }
 918   if (!f)
 919     return -1;
 920
 921   if (Sort != SORT_ORDER) {
 922     save = Sort;
 923     Sort = SORT_ORDER;
 924     mutt_sort_headers (ctx, 0);
 925   }
 926
 927   /* Save only $nntp_context messages... */
 928   ((NNTP_DATA *) ctx->data)->lastCached = 0;
 929   if (NntpContext && ctx->msgcount > NntpContext)
 930     i = ctx->msgcount - NntpContext;
 931   for (; i < ctx->msgcount; i++) {
 932     if (!ctx->hdrs[i]->deleted && ctx->hdrs[i]->article_num != prev) {
 933       h = ctx->hdrs[i];
 934       addr[0] = 0;
 935       rfc822_write_address (addr, sizeof (addr), h->env->from, 0);
 936       tm = gmtime (&h->date_sent);
 937       snprintf (buf, sizeof (buf),
 938                 "%d\t%s\t%s\t%d %s %d %02d:%02d:%02d GMT\t%s\t",
 939                 h->article_num, h->env->subject, addr, tm->tm_mday,
 940                 Months[tm->tm_mon], tm->tm_year + 1900, tm->tm_hour,
 941                 tm->tm_min, tm->tm_sec, h->env->message_id);
 942       fputs (buf, f);
 943       if (h->env->references)
 944         mutt_write_references (h->env->references, f);
 945       snprintf (buf, sizeof (buf), "\t%zd\t%d\tXref: %s\n",
 946                 h->content->length, h->lines, NONULL (h->env->xref));
 947       if (fputs (buf, f) == EOF) {
 948         fclose (f);
 949         unlink (file);
 950         return -1;
 951       }
 952     }
 953     prev = ctx->hdrs[i]->article_num;
 954   }
 955
 956   if (save != Sort) {
 957     Sort = save;
 958     mutt_sort_headers (ctx, 0);
 959   }
 960   fclose (f);
 961
 962   if (nntp_update_cacheindex (((NNTP_DATA *) ctx->data)->nserv,
 963                               (NNTP_DATA *) ctx->data)) {
 964     unlink (file);
 965     return -1;
 966   }
 967   ((NNTP_DATA *) ctx->data)->lastCached =
 968     ((NNTP_DATA *) ctx->data)->lastLoaded;
 969   return 0;
 970 }
 971
 972 void nntp_delete_cache (NNTP_DATA * data)
 973 {
 974   char buf[_POSIX_PATH_MAX];
 975
 976   if (!option (OPTNEWSCACHE) || !data || !data->cache || !data->nserv)
 977     return;
 978
 979   nntp_cache_expand (buf, data->cache);
 980   unlink (buf);
 981   p_delete(&data->cache);
 982   data->lastCached = 0;
 983   nntp_cache_expand (buf, ".index");
 984   mutt_update_list_file (buf, data->nserv->conn->account.host, data->group,
 985                          NULL);
 986 }
 987
 988 NNTP_DATA *mutt_newsgroup_subscribe (NNTP_SERVER * news, char *group)
 989 {
 990   NNTP_DATA *data;
 991
 992   if (!news || !news->newsgroups || !group || !*group)
 993     return NULL;
 994   if (!(data = (NNTP_DATA *) hash_find (news->newsgroups, group))) {
 995     data = xmalloc(sizeof(NNTP_DATA) + str_len(group) + 1);
 996     data->group = (char *) data + sizeof (NNTP_DATA);
 997     strcpy (data->group, group);
 998     data->nserv = news;
 999     data->deleted = 1;
1000     if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
1001       news->newsgroups =
1002         hash_resize (news->newsgroups, news->newsgroups->nelem * 2);
1003     hash_insert (news->newsgroups, data->group, data, 0);
1004     nntp_add_to_list (news, data);
1005   }
1006   if (!data->subscribed) {
1007     data->subscribed = 1;
1008     data->rc = 1;
1009   }
1010   return data;
1011 }
1012
1013 NNTP_DATA *mutt_newsgroup_unsubscribe (NNTP_SERVER * news, char *group)
1014 {
1015   NNTP_DATA *data;
1016
1017   if (!news || !news->newsgroups || !group || !*group ||
1018       !(data = (NNTP_DATA *) hash_find (news->newsgroups, group)))
1019     return NULL;
1020   if (data->subscribed) {
1021     data->subscribed = 0;
1022     if (!option (OPTSAVEUNSUB))
1023       data->rc = 0;
1024   }
1025   return data;
1026 }
1027
1028 NNTP_DATA *mutt_newsgroup_catchup (NNTP_SERVER * news, char *group)
1029 {
1030   NNTP_DATA *data;
1031
1032   if (!news || !news->newsgroups || !group || !*group ||
1033       !(data = (NNTP_DATA *) hash_find (news->newsgroups, group)))
1034     return NULL;
1035   if (!data->max) {
1036     data->entries = p_new(NEWSRC_ENTRY, 5);
1037     data->max = 5;
1038   }
1039   data->num = 1;
1040   data->entries[0].first = 1;
1041   data->unread = 0;
1042   data->entries[0].last = data->lastMessage;
1043   if (Context && Context->data == data) {
1044     int x;
1045
1046     for (x = 0; x < Context->msgcount; x++)
1047       mutt_set_flag (Context, Context->hdrs[x], M_READ, 1);
1048   }
1049   return data;
1050 }
1051
1052 NNTP_DATA *mutt_newsgroup_uncatchup (NNTP_SERVER * news, char *group)
1053 {
1054   NNTP_DATA *data;
1055
1056   if (!news || !news->newsgroups || !group || !*group ||
1057       !(data = (NNTP_DATA *) hash_find (news->newsgroups, group)))
1058     return NULL;
1059   if (!data->max) {
1060     data->entries = p_new(NEWSRC_ENTRY, 5);
1061     data->max = 5;
1062   }
1063   data->num = 1;
1064   data->entries[0].first = 1;
1065   data->entries[0].last = data->firstMessage - 1;
1066   if (Context && Context->data == data) {
1067     int x;
1068
1069     data->unread = Context->msgcount;
1070     for (x = 0; x < Context->msgcount; x++)
1071       mutt_set_flag (Context, Context->hdrs[x], M_READ, 0);
1072   }
1073   else
1074     data->unread = data->lastMessage - data->entries[0].last;
1075   return data;
1076 }
1077
1078 /* this routine gives the first newsgroup with new messages */
1079 void nntp_buffy (char* dst, size_t dstlen) {
1080   LIST *list;
1081   int count = 0;
1082
1083   /* forward to current group */
1084   for (list = CurrentNewsSrv->list; list; list = list->next) {
1085     NNTP_DATA *data = (NNTP_DATA *) list->data;
1086     if (data && data->subscribed && data->unread &&
1087         Context && Context->magic == M_NNTP &&
1088         str_cmp (data->group, ((NNTP_DATA *) Context->data)->group) == 0) {
1089       list = list->next;
1090       break;
1091     }
1092   }
1093
1094   *dst = '\0';
1095
1096   while (count < 2) {
1097
1098     if (!list)
1099       list = CurrentNewsSrv->list;
1100
1101     for (; list; list = list->next) {
1102       NNTP_DATA *data = (NNTP_DATA *) list->data;
1103
1104       if (data && data->subscribed && data->unread) {
1105         if (Context && Context->magic == M_NNTP &&
1106             !str_cmp (data->group, ((NNTP_DATA *) Context->data)->group)) {
1107           unsigned int i, unread = 0;
1108
1109           for (i = 0; i < Context->msgcount; i++)
1110             if (!Context->hdrs[i]->read && !Context->hdrs[i]->deleted)
1111               unread++;
1112           if (!unread)
1113             continue;
1114         }
1115         strncpy (dst, data->group, dstlen);
1116         break;
1117       }
1118     }
1119     /* done if found */
1120     if (dst && *dst)
1121       return;
1122     count++;
1123   }
1124   *dst = '\0';
1125 }