LISTGROUP isn't as efficient as XOVER. Only use it if needed.
[apps/madmutt.git] / nntp / nntp.c
index 5fbe0c7..aad5bb2 100644 (file)
@@ -9,47 +9,53 @@
  * please see the file GPL in the top level source directory.
  */
 
-#ifdef HAVE_CONFIG_H
-#include <config.h>
-#endif
+#include <lib-lib/lib-lib.h>
+
+#include <lib-mime/mime.h>
+#include <lib-ui/curses.h>
+#include <lib-ui/sidebar.h>
+#include <lib-mx/mx.h>
 
 #include "mutt.h"
-#include "mutt_curses.h"
 #include "sort.h"
-#include "mx.h"
-#include "mime.h"
-#include "rfc1524.h"
-#include "rfc2047.h"
-#include "mailbox.h"
 #include "nntp.h"
+#include "buffy.h"
+#include "crypt.h"
 
-#ifdef HAVE_PGP
-#include "pgp.h"
-#endif
+static unsigned int _checked = 0;
 
-#ifdef HAVE_SMIME
-#include "smime.h"
-#endif
+void nntp_sync_sidebar (NNTP_DATA* data) {
+  int i = 0;
+  BUFFY* tmp = NULL;
+  char buf[STRING];
 
-#include "lib/mem.h"
-#include "lib/str.h"
-#include "lib/intl.h"
+  if (!Incoming.len)
+    return;
 
-#include <unistd.h>
-#include <string.h>
-#include <ctype.h>
-#include <stdlib.h>
+  snprintf(buf, sizeof (buf), "nntp%s://%s%s%s%s/%s",
+           data->nserv->conn->account.has_ssl ? "s" : "",
+           NONULL(data->nserv->conn->account.user),
+           *data->nserv->conn->account.pass ? ":" : "",
+           *data->nserv->conn->account.pass ? data->nserv->conn->account.pass : "",
+           data->nserv->conn->account.host,
+           data->group);
 
-static unsigned int _checked = 0;
+  /* bail out if group not found via mailboxes */
+  if ((i = buffy_lookup (buf)) < 0)
+    return;
 
-#ifdef DEBUG
-static void nntp_error (const char *where, const char *msg)
-{
-  dprint (1,
-          (debugfile, "nntp_error(): unexpected response in %s: %s\n", where,
-           msg));
+  tmp = Incoming.arr[i];
+  /* copied from browser.c */
+  if (option (OPTMARKOLD) &&
+      data->lastCached >= data->firstMessage &&
+      data->lastCached <= data->lastMessage)
+    tmp->msg_unread = data->lastMessage - data->lastCached;
+  else
+    tmp->msg_unread = data->unread;
+  tmp->new = data->unread > 0;
+  /* this is closest to a "total" count we can get */
+  tmp->msgcount = data->lastMessage - data->firstMessage;
 }
-#endif /* DEBUG */
 
 static int nntp_auth (NNTP_SERVER * serv)
 {
@@ -57,8 +63,8 @@ static int nntp_auth (NNTP_SERVER * serv)
   char buf[STRING];
   unsigned char flags = conn->account.flags;
 
-  if (mutt_account_getuser (&conn->account) || !conn->account.user[0] ||
-      mutt_account_getpass (&conn->account) || !conn->account.pass[0]) {
+  if (mutt_account_getuser(&conn->account) || !conn->account.user[0] ||
+      mutt_account_getpass(&conn->account) || !conn->account.pass[0]) {
     conn->account.flags = flags;
     return -2;
   }
@@ -72,19 +78,14 @@ static int nntp_auth (NNTP_SERVER * serv)
     return -1;
   }
 
-#ifdef DEBUG
-  /* don't print the password unless we're at the ungodly debugging level */
-  if (debuglevel < M_SOCK_LOG_FULL)
-    dprint (M_SOCK_LOG_CMD, (debugfile, "> AUTHINFO PASS *\n"));
-#endif
   snprintf (buf, sizeof (buf), "AUTHINFO PASS %s\r\n", conn->account.pass);
-  mutt_socket_write_d (conn, buf, M_SOCK_LOG_FULL);
+  mutt_socket_write(conn, buf);
   if (mutt_socket_readln (buf, sizeof (buf), conn) < 0) {
     conn->account.flags = flags;
     return -1;
   }
 
-  if (mutt_strncmp ("281", buf, 3)) {
+  if (m_strncmp("281", buf, 3)) {
     conn->account.flags = flags;
     mutt_error _("Login failed.");
 
@@ -119,20 +120,18 @@ static int nntp_connect_and_auth (NNTP_SERVER * serv)
   if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
     return nntp_connect_error (serv);
 
-  if (!mutt_strncmp ("200", buf, 3))
+  if (!m_strncmp("200", buf, 3))
     mutt_message (_("Connected to %s. Posting ok."), conn->account.host);
-  else if (!mutt_strncmp ("201", buf, 3))
+  else if (!m_strncmp("201", buf, 3))
     mutt_message (_("Connected to %s. Posting NOT ok."), conn->account.host);
   else {
-    mutt_socket_close (conn);
-    mutt_remove_trailing_ws (buf);
-    mutt_error ("%s", buf);
+    mutt_socket_close(conn);
+    m_strrtrim(buf);
+    mutt_error("%s", buf);
     sleep (2);
     return -1;
   }
 
-  sleep (1);
-
   /* Tell INN to switch to mode reader if it isn't so. Ignore all
      returned codes and messages. */
   mutt_socket_write (conn, "MODE READER\r\n");
@@ -143,7 +142,7 @@ static int nntp_connect_and_auth (NNTP_SERVER * serv)
   if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
     return nntp_connect_error (serv);
 
-  if (!(conn->account.flags & M_ACCT_USER) && mutt_strncmp ("480", buf, 3)) {
+  if (!conn->account.has_user && m_strncmp("480", buf, 3)) {
     serv->status = NNTP_OK;
     return 0;
   }
@@ -172,37 +171,41 @@ static int nntp_attempt_features (NNTP_SERVER * serv)
   char buf[LONG_STRING];
   CONNECTION *conn = serv->conn;
 
-  mutt_socket_write (conn, "LISTGROUP\r\n");
-  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-    return (nntp_connect_error (serv));
-  if (mutt_strncmp ("500", buf, 3))
-    serv->hasLISTGROUP = 1;
+  if (serv->feat_known)
+      return 0;
 
   mutt_socket_write (conn, "XOVER\r\n");
   if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
     return nntp_connect_error (serv);
-  if (mutt_strncmp ("500", buf, 3))
+  if (m_strncmp("500", buf, 3))
     serv->hasXOVER = 1;
 
   mutt_socket_write (conn, "XPAT\r\n");
   if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
     return nntp_connect_error (serv);
-  if (mutt_strncmp ("500", buf, 3))
+  if (m_strncmp("500", buf, 3))
     serv->hasXPAT = 1;
 
+  mutt_socket_write (conn, "LISTGROUP\r\n");
+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
+    return (nntp_connect_error (serv));
+  if (m_strncmp("500", buf, 3))
+    serv->hasLISTGROUP = 1;
+
   mutt_socket_write (conn, "XGTITLE +\r\n");
   if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
     return nntp_connect_error (serv);
-  if (mutt_strncmp ("500", buf, 3))
+  if (m_strncmp("500", buf, 3))
     serv->hasXGTITLE = 1;
 
-  if (!mutt_strncmp ("282", buf, 3)) {
+  if (!m_strncmp("282", buf, 3)) {
     do {
       if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
         return nntp_connect_error (serv);
     } while (!(buf[0] == '.' && buf[1] == '\0'));
   }
 
+  serv->feat_known = 1;
   return 0;
 }
 
@@ -221,11 +224,11 @@ static int nntp_open_connection (NNTP_SERVER * serv)
 
 static int nntp_reconnect (NNTP_SERVER * serv)
 {
-  char buf[SHORT_STRING];
+  char buf[STRING];
 
   mutt_socket_close (serv->conn);
 
-  FOREVER {
+  for (;;) {
     if (nntp_connect_and_auth (serv) == 0)
       return 0;
 
@@ -270,11 +273,11 @@ static int mutt_nntp_query (NNTP_DATA * data, char *line, size_t linelen)
       if (*line)
         done = FALSE;
     }
-    else if ((!mutt_strncmp ("480", buf, 3)) && nntp_auth (data->nserv) < 0)
+    else if ((!m_strncmp("480", buf, 3)) && nntp_auth (data->nserv) < 0)
       return -1;
   } while (!done);
 
-  strfcpy (line, buf, linelen);
+  m_strcpy(line, linelen, buf);
   return 0;
 }
 
@@ -288,19 +291,21 @@ static int mutt_nntp_query (NNTP_DATA * data, char *line, size_t linelen)
  * -2 - invalid command or execution error,
  * -3 - error in funct(*line, *data).
  */
-static int mutt_nntp_fetch (NNTP_DATA * nntp_data, char *query, char *msg,
-                            int (*funct) (char *, void *), void *data,
-                            int tagged)
+static int mutt_nntp_fetch (NNTP_DATA * nntp_data, const char *query,
+                            const char *msg, progress_t* bar,
+                            int (*funct) (char *, void *),
+                            void *data, int tagged)
 {
   char buf[LONG_STRING];
   char *inbuf, *p;
   int done = FALSE;
   int chunk, line;
+  long pos = 0;
   size_t lenbuf = 0;
   int ret;
 
   do {
-    strfcpy (buf, query, sizeof (buf));
+    m_strcpy(buf, sizeof(buf), query);
     if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0)
       return -1;
     if (buf[0] == '5')
@@ -310,11 +315,10 @@ static int mutt_nntp_fetch (NNTP_DATA * nntp_data, char *query, char *msg,
 
     ret = 0;
     line = 0;
-    inbuf = safe_malloc (sizeof (buf));
+    inbuf = p_new(char, sizeof(buf));
 
-    FOREVER {
-      chunk = mutt_socket_readln_d (buf, sizeof (buf), nntp_data->nserv->conn,
-                                    M_SOCK_LOG_HDR);
+    for (;;) {
+      chunk = mutt_socket_readln(buf, sizeof (buf), nntp_data->nserv->conn);
       if (chunk < 0)
         break;
 
@@ -328,18 +332,23 @@ static int mutt_nntp_fetch (NNTP_DATA * nntp_data, char *query, char *msg,
           p++;
       }
 
-      strfcpy (inbuf + lenbuf, p, sizeof (buf));
+      m_strcpy(inbuf + lenbuf, sizeof(buf), p);
+      pos += chunk;
 
-      if (chunk >= sizeof (buf)) {
-        lenbuf += mutt_strlen (p);
+      if (chunk >= ssizeof (buf)) {
+        lenbuf += m_strlen(p);
       }
       else {
-        line++;
-        if (msg && ReadInc && (line % ReadInc == 0)) {
-          if (tagged)
-            mutt_message (_("%s (tagged: %d) %d"), msg, tagged, line);
-          else
-            mutt_message ("%s %d", msg, line);
+        if (bar) {
+          mutt_progress_bar (bar, pos);
+        } else if (msg) {
+          line++;
+          if (ReadInc && (line % ReadInc == 0)) {
+            if (tagged)
+              mutt_message (_("%s (tagged: %d) %d"), msg, tagged, line);
+            else
+              mutt_message ("%s %d", msg, line);
+          }
         }
 
         if (ret == 0 && funct (inbuf, data) < 0)
@@ -347,9 +356,9 @@ static int mutt_nntp_fetch (NNTP_DATA * nntp_data, char *query, char *msg,
         lenbuf = 0;
       }
 
-      safe_realloc (&inbuf, lenbuf + sizeof (buf));
+      p_realloc(&inbuf, lenbuf + sizeof (buf));
     }
-    FREE (&inbuf);
+    p_delete(&inbuf);
     funct (NULL, data);
   }
   while (!done);
@@ -397,8 +406,8 @@ static void nntp_parse_xref (CONTEXT * ctx, char *group, char *xref,
     if (colon) {
       *colon = '\0';
       colon++;
-      nntp_get_status (ctx, h, p, atoi (colon));
-      if (h && h->article_num == 0 && mutt_strcmp (group, b) == 0)
+      nntp_get_status (ctx, h, b, atoi (colon));
+      if (h && h->article_num == 0 && m_strcmp(group, b) == 0)
         h->article_num = atoi (colon);
     }
   }
@@ -420,8 +429,8 @@ static int nntp_read_header (CONTEXT * ctx, const char *msgid,
   int ret;
   HEADER *h = ctx->hdrs[ctx->msgcount];
 
-  mutt_mktemp (tempfile);
-  if (!(f = safe_fopen (tempfile, "w+")))
+  f = m_tempfile(tempfile, sizeof(tempfile), NONULL(mod_core.tmpdir), NULL);
+  if (!f)
     return -1;
 
   if (!msgid)
@@ -429,20 +438,16 @@ static int nntp_read_header (CONTEXT * ctx, const char *msgid,
   else
     snprintf (buf, sizeof (buf), "HEAD %s\r\n", msgid);
 
-  ret = mutt_nntp_fetch (nntp_data, buf, NULL, nntp_read_tempfile, f, 0);
+  ret = mutt_nntp_fetch (nntp_data, buf, NULL, NULL, nntp_read_tempfile, f, 0);
   if (ret) {
-#ifdef DEBUG
-    if (ret != -1)
-      dprint (1, (debugfile, "nntp_read_header: %s\n", buf));
-#endif
-    fclose (f);
+    m_fclose(&f);
     unlink (tempfile);
     return (ret == -1 ? -1 : 1);
   }
 
   h->article_num = article_num;
   h->env = mutt_read_rfc822_header (f, h, 0, 0);
-  fclose (f);
+  m_fclose(&f);
   unlink (tempfile);
 
   if (h->env->xref != NULL)
@@ -458,9 +463,9 @@ static int nntp_read_header (CONTEXT * ctx, const char *msgid,
 
 static int parse_description (char *line, void *n)
 {
-#define news ((NNTP_SERVER *) n)
   register char *d = line;
   NNTP_DATA *data;
+  NNTP_SERVER *news = n;
 
   if (!line)
     return 0;
@@ -470,17 +475,15 @@ static int parse_description (char *line, void *n)
   d++;
   while (*d && (*d == '\t' || *d == ' '))
     d++;
-  dprint (2, (debugfile, "group: %s, desc: %s\n", line, d));
   if ((data = (NNTP_DATA *) hash_find (news->newsgroups, line)) != NULL &&
-      mutt_strcmp (d, data->desc)) {
-    FREE (&data->desc);
-    data->desc = safe_strdup (d);
+      m_strcmp(d, data->desc)) {
+    p_delete(&data->desc);
+    data->desc = m_strdup(d);
   }
   return 0;
-#undef news
 }
 
-static void nntp_get_desc (NNTP_DATA * data, char *mask, char *msg)
+static void nntp_get_desc (NNTP_DATA * data, const char *mask, char *msg, progress_t* bar)
 {
   char buf[STRING];
 
@@ -492,11 +495,8 @@ static void nntp_get_desc (NNTP_DATA * data, char *mask, char *msg)
     snprintf (buf, sizeof (buf), "XGTITLE %s\r\n", mask);
   else
     snprintf (buf, sizeof (buf), "LIST NEWSGROUPS %s\r\n", mask);
-  if (mutt_nntp_fetch (data, buf, msg, parse_description, data->nserv, 0) !=
+  if (mutt_nntp_fetch (data, buf, msg, bar, parse_description, data->nserv, 0) !=
       0) {
-#ifdef DEBUG
-    nntp_error ("nntp_get_desc()", buf);
-#endif
   }
 }
 
@@ -514,11 +514,11 @@ static int nntp_parse_xover (CONTEXT * ctx, char *buf, HEADER * hdr)
   char *p, *b;
   int x, done = 0;
 
-  hdr->env = mutt_new_envelope ();
-  hdr->env->newsgroups = safe_strdup (nntp_data->group);
-  hdr->content = mutt_new_body ();
+  hdr->env = envelope_new();
+  hdr->env->newsgroups = m_strdup(nntp_data->group);
+  hdr->content = body_new();
   hdr->content->type = TYPETEXT;
-  hdr->content->subtype = safe_strdup ("plain");
+  hdr->content->subtype = m_strdup("plain");
   hdr->content->encoding = ENC7BIT;
   hdr->content->disposition = DISPINLINE;
   hdr->content->length = -1;
@@ -539,35 +539,31 @@ static int nntp_parse_xover (CONTEXT * ctx, char *buf, HEADER * hdr)
       nntp_get_status (ctx, hdr, NULL, hdr->article_num);
       break;
     case 1:
-      hdr->env->subject = safe_strdup (b);
-      /* Now we need to do the things which would normally be done in 
-       * mutt_read_rfc822_header() */
-      if (hdr->env->subject) {
-        regmatch_t pmatch[1];
-
-        rfc2047_decode (&hdr->env->subject);
-
-        if (regexec (ReplyRegexp.rx, hdr->env->subject, 1, pmatch, 0) == 0)
-          hdr->env->real_subj = hdr->env->subject + pmatch[0].rm_eo;
-        else
-          hdr->env->real_subj = hdr->env->subject;
-      }
+      hdr->env->subject = m_strdup(b);
       break;
     case 2:
-      rfc822_free_address (&hdr->env->from);
+      address_list_wipe(&hdr->env->from);
       hdr->env->from = rfc822_parse_adrlist (hdr->env->from, b);
-      rfc2047_decode_adrlist (hdr->env->from);
+      /* same as for mutt_parse_rfc822_line():
+       * don't leave from info NULL if there's an invalid address (or
+       * whatever) in From: field; mutt would just display it as empty
+       * and mark mail/(esp.) news article as your own. aaargh! this
+       * bothered me for _years_ */
+      if (!hdr->env->from) {
+        hdr->env->from = address_new ();
+        hdr->env->from->personal = m_strdup(b);
+      }
       break;
     case 3:
       hdr->date_sent = mutt_parse_date (b, hdr);
       hdr->received = hdr->date_sent;
       break;
     case 4:
-      FREE (&hdr->env->message_id);
-      hdr->env->message_id = safe_strdup (b);
+      p_delete(&hdr->env->message_id);
+      hdr->env->message_id = m_strdup(b);
       break;
     case 5:
-      mutt_free_list (&hdr->env->references);
+      string_list_wipe(&hdr->env->references);
       hdr->env->references = mutt_parse_references (b, 0);
       break;
     case 6:
@@ -578,11 +574,12 @@ static int nntp_parse_xover (CONTEXT * ctx, char *buf, HEADER * hdr)
       break;
     case 8:
       if (!hdr->read)
-        FREE (&hdr->env->xref);
+        p_delete(&hdr->env->xref);
       b = b + 6;                /* skips the "Xref: " */
-      hdr->env->xref = safe_strdup (b);
+      hdr->env->xref = m_strdup(b);
       nntp_parse_xref (ctx, nntp_data->group, b, hdr);
     }
+    rfc2047_decode_envelope(hdr->env);
     if (!*p)
       return -1;
     b = p;
@@ -592,31 +589,30 @@ static int nntp_parse_xover (CONTEXT * ctx, char *buf, HEADER * hdr)
 
 typedef struct {
   CONTEXT *ctx;
-  unsigned int base;
-  unsigned int first;
-  unsigned int last;
-  unsigned short *messages;
-  char *msg;
+  int   first;
+  int   last;
+  bits_t messages;
+  const char *msg;
 } FETCH_CONTEXT;
 
-#define fc ((FETCH_CONTEXT *) c)
-static int _nntp_fetch_numbers (unsigned int num, void *c)
-{
-  if (num < fc->base || num > fc->last)
-    return 0;
-  fc->messages[num - fc->base] = 1;
-  return 0;
-}
 static int nntp_fetch_numbers (char *line, void *c)
 {
-  if (!line)
+    FETCH_CONTEXT *fc = c;
+
+    if (line) {
+        int num = atoi(line);
+        if (num < fc->first || num > fc->last)
+            return 0;
+
+        bit_set(&fc->messages, num);
+    }
     return 0;
-  return (_nntp_fetch_numbers ((unsigned int) atoi (line), c));
 }
 
 static int add_xover_line (char *line, void *c)
 {
-  unsigned int num, total;
+  int num, total;
+  FETCH_CONTEXT *fc = c;
   CONTEXT *ctx = fc->ctx;
   NNTP_DATA *data = (NNTP_DATA *) ctx->data;
 
@@ -625,13 +621,13 @@ static int add_xover_line (char *line, void *c)
 
   if (ctx->msgcount >= ctx->hdrmax)
     mx_alloc_memory (ctx);
-  ctx->hdrs[ctx->msgcount] = mutt_new_header ();
+  ctx->hdrs[ctx->msgcount] = header_new();
   ctx->hdrs[ctx->msgcount]->index = ctx->msgcount;
 
   nntp_parse_xover (ctx, line, ctx->hdrs[ctx->msgcount]);
   num = ctx->hdrs[ctx->msgcount]->article_num;
 
-  if (num >= fc->first && num <= fc->last && fc->messages[num - fc->base]) {
+  if (num >= fc->first && num <= fc->last) {
     ctx->msgcount++;
     if (num > data->lastLoaded)
       data->lastLoaded = num;
@@ -639,25 +635,21 @@ static int add_xover_line (char *line, void *c)
     total = fc->last - fc->first + 1;
     if (!ctx->quiet && fc->msg && ReadInc && (num % ReadInc == 0))
       mutt_message ("%s %d/%d", fc->msg, num, total);
+  } else {
+    header_delete(&ctx->hdrs[ctx->msgcount]);       /* skip it */
   }
-  else
-    mutt_free_header (&ctx->hdrs[ctx->msgcount]);       /* skip it */
 
   return 0;
 }
 
-#undef fc
 
-static int nntp_fetch_headers (CONTEXT * ctx, unsigned int first,
-                               unsigned int last)
+static int nntp_fetch_headers(CONTEXT * ctx, int first, int last)
 {
   char buf[HUGE_STRING];
-  char *msg = _("Fetching message headers...");
+  const char *msg = _("Fetching message headers...");
+  const char *msg2 = _("Fetching headers from cache...");
   NNTP_DATA *nntp_data = ((NNTP_DATA *) ctx->data);
-  int ret;
-  int num;
-  int oldmsgcount;
-  unsigned int current;
+  int ret, num, oldmsgcount, current;
   FILE *f;
   FETCH_CONTEXT fc;
 
@@ -668,79 +660,52 @@ static int nntp_fetch_headers (CONTEXT * ctx, unsigned int first,
   /* fetch list of articles */
   mutt_message _("Fetching list of articles...");
 
-  fc.ctx = ctx;
-  fc.base = first;
-  fc.last = last;
-  fc.messages = safe_calloc (last - first + 1, sizeof (unsigned short));
-  if (nntp_data->nserv->hasLISTGROUP) {
-    snprintf (buf, sizeof (buf), "LISTGROUP %s\r\n", nntp_data->group);
-    if (mutt_nntp_fetch (nntp_data, buf, NULL, nntp_fetch_numbers, &fc, 0) !=
-        0) {
-      mutt_error (_("LISTGROUP command failed: %s"), buf);
-      sleep (2);
-#ifdef DEBUG
-      nntp_error ("nntp_fetch_headers()", buf);
-#endif
-      FREE (&fc.messages);
-      return -1;
-    }
-  }
-  else {
-    /* mutt_nntp_query() issues a 'GROUP nntp_data->group' 
-     * command on its own if !*buf */
-    buf[0] = '\0';
-    mutt_nntp_query (nntp_data, buf, sizeof (buf));
-    if (sscanf (buf + 4, "%d %u %u %s", &num, &fc.first, &fc.last, buf) != 4) {
-      mutt_error (_("GROUP command failed: %s"), buf);
-      FREE (&fc.messages);
-      return (-1);
-    }
-    else {
-      for (num = fc.first; num < fc.last; num++)
-        _nntp_fetch_numbers (num, &fc);
-    }
-  }
+  fc.ctx   = ctx;
+  fc.first = first;
+  fc.last  = last;
 
   /* CACHE: must be loaded xover cache here */
   num = nntp_data->lastCached - first + 1;
   if (option (OPTNEWSCACHE) && nntp_data->cache && num > 0) {
-    nntp_cache_expand (buf, nntp_data->cache);
-    mutt_message _("Fetching headers from cache...");
-
-    if ((f = safe_fopen (buf, "r"))) {
-      int r = 0;
-
-      /* counting number of lines */
-      while (fgets (buf, sizeof (buf), f) != NULL)
-        r++;
-      rewind (f);
-      while (r > num && fgets (buf, sizeof (buf), f) != NULL)
-        r--;
-      oldmsgcount = ctx->msgcount;
-      fc.first = first;
-      fc.last = first + num - 1;
-      fc.msg = NULL;
-      while (fgets (buf, sizeof (buf), f) != NULL)
-        add_xover_line (buf, &fc);
-      fclose (f);
-      nntp_data->lastLoaded = fc.last;
-      first = fc.last + 1;
-      if (ctx->msgcount > oldmsgcount)
-        mx_update_context (ctx, ctx->msgcount - oldmsgcount);
+  nntp_cache_expand (buf, nntp_data->cache);
+  mutt_message (msg2);
+
+  if ((f = safe_fopen (buf, "r"))) {
+    int r = 0, c = 0;
+
+    /* counting number of lines */
+    while (fgets (buf, sizeof (buf), f) != NULL)
+      r++;
+    rewind (f);
+    while (r > num && fgets (buf, sizeof (buf), f) != NULL)
+      r--;
+    oldmsgcount = ctx->msgcount;
+    fc.first = first;
+    fc.last = first + num - 1;
+    fc.msg = NULL;
+    while (fgets (buf, sizeof (buf), f) != NULL) {
+      if (ReadInc && ((++c) % ReadInc == 0))
+        mutt_message ("%s %d/%d", msg2, c, r);
+      add_xover_line (buf, &fc);
     }
-    else
-      nntp_delete_cache (nntp_data);
+    m_fclose(&f);
+    nntp_data->lastLoaded = fc.last;
+    first = fc.last + 1;
+    if (ctx->msgcount > oldmsgcount)
+      mx_update_context (ctx, ctx->msgcount - oldmsgcount);
+  }
+  else
+    nntp_delete_cache (nntp_data);
   }
   num = last - first + 1;
   if (num <= 0) {
-    FREE (&fc.messages);
     return 0;
   }
 
   /*
-   * Without XOVER, we have to fetch each article header and parse
-   * it.  With XOVER, we ask for all of them
-   */
+  * Without XOVER, we have to fetch each article header and parse
+  * it.  With XOVER, we ask for all of them
+  */
   mutt_message (msg);
   if (nntp_data->nserv->hasXOVER) {
     oldmsgcount = ctx->msgcount;
@@ -748,32 +713,43 @@ static int nntp_fetch_headers (CONTEXT * ctx, unsigned int first,
     fc.last = last;
     fc.msg = msg;
     snprintf (buf, sizeof (buf), "XOVER %d-%d\r\n", first, last);
-    ret = mutt_nntp_fetch (nntp_data, buf, NULL, add_xover_line, &fc, 0);
+    ret = mutt_nntp_fetch (nntp_data, buf, NULL, NULL, add_xover_line, &fc, 0);
     if (ctx->msgcount > oldmsgcount)
       mx_update_context (ctx, ctx->msgcount - oldmsgcount);
     if (ret != 0) {
       mutt_error (_("XOVER command failed: %s"), buf);
-#ifdef DEBUG
-      nntp_error ("nntp_fetch_headers()", buf);
-#endif
-      FREE (&fc.messages);
       return -1;
     }
-    /* fetched OK */
-  }
-  else
+  } else {
+    bits_init(&fc.messages);
+
+    if (nntp_data->nserv->hasLISTGROUP) {
+      snprintf (buf, sizeof (buf), "LISTGROUP %s\r\n", nntp_data->group);
+      if (mutt_nntp_fetch(nntp_data, buf, NULL, NULL,
+                          nntp_fetch_numbers, &fc, 0))
+      {
+        mutt_error (_("LISTGROUP command failed: %s"), buf);
+        sleep (2);
+        bits_wipe(&fc.messages);
+        return -1;
+      }
+    } else {
+      for (num = first; num <= last; num++)
+        bit_set(&fc.messages, num);
+    }
+
     for (current = first; current <= last; current++) {
       HEADER *h;
 
       ret = current - first + 1;
       mutt_message ("%s %d/%d", msg, ret, num);
 
-      if (!fc.messages[current - fc.base])
+      if (!bit_isset(&fc.messages, current))
         continue;
 
       if (ctx->msgcount >= ctx->hdrmax)
         mx_alloc_memory (ctx);
-      h = ctx->hdrs[ctx->msgcount] = mutt_new_header ();
+      h = ctx->hdrs[ctx->msgcount] = header_new();
       h->index = ctx->msgcount;
 
       ret = nntp_read_header (ctx, NULL, current);
@@ -783,42 +759,45 @@ static int nntp_fetch_headers (CONTEXT * ctx, unsigned int first,
         mx_update_context (ctx, 1);
       }
       else
-        mutt_free_header (&h);  /* skip it */
+        header_delete(&h);  /* skip it */
       if (ret == -1) {
-        FREE (&fc.messages);
+        bits_wipe(&fc.messages);
         return -1;
       }
 
       if (current > nntp_data->lastLoaded)
         nntp_data->lastLoaded = current;
     }
-  FREE (&fc.messages);
+    bits_wipe(&fc.messages);
+  }
+
   nntp_data->lastLoaded = last;
   mutt_clear_error ();
   return 0;
 }
 
-/* 
+/*
  * currently, nntp "mailbox" is "newsgroup"
  */
-int nntp_open_mailbox (CONTEXT * ctx)
+static int nntp_open_mailbox (CONTEXT * ctx)
 {
   NNTP_DATA *nntp_data;
   NNTP_SERVER *serv;
   char buf[HUGE_STRING];
   char server[LONG_STRING];
-  int count = 0;
-  unsigned int first;
-  ACCOUNT acct;
+  int count = 0, first;
+  ACCOUNT act;
+
+  p_clear(&act, 1);
 
-  if (nntp_parse_url (ctx->path, &acct, buf, sizeof (buf)) < 0 || !*buf) {
+  if (nntp_parse_url (ctx->path, &act, buf, sizeof (buf)) < 0 || !*buf) {
     mutt_error (_("%s is an invalid newsgroup specification!"), ctx->path);
     mutt_sleep (2);
     return -1;
   }
 
   server[0] = '\0';
-  nntp_expand_path (server, sizeof (server), &acct);
+  nntp_expand_path (server, sizeof (server), &act);
   if (!(serv = mutt_select_newsserver (server)) || serv->status != NNTP_OK)
     return -1;
 
@@ -826,10 +805,10 @@ int nntp_open_mailbox (CONTEXT * ctx)
 
   /* create NNTP-specific state struct if nof found in list */
   if ((nntp_data = (NNTP_DATA *) hash_find (serv->newsgroups, buf)) == NULL) {
-    nntp_data = safe_calloc (1, sizeof (NNTP_DATA) + mutt_strlen (buf) + 1);
+    nntp_data = xmalloc(sizeof(NNTP_DATA) + m_strlen(buf) + 1);
     nntp_data->group = (char *) nntp_data + sizeof (NNTP_DATA);
     strcpy (nntp_data->group, buf);
-    hash_insert (serv->newsgroups, nntp_data->group, nntp_data, 0);
+    hash_insert (serv->newsgroups, nntp_data->group, nntp_data);
     nntp_add_to_list (serv, nntp_data);
   }
   ctx->data = nntp_data;
@@ -838,30 +817,27 @@ int nntp_open_mailbox (CONTEXT * ctx)
   mutt_message (_("Selecting %s..."), nntp_data->group);
 
   if (!nntp_data->desc) {
-    nntp_get_desc (nntp_data, nntp_data->group, NULL);
+    nntp_get_desc (nntp_data, nntp_data->group, NULL, NULL);
     if (nntp_data->desc)
       nntp_save_cache_index (serv);
   }
 
   buf[0] = 0;
   if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0) {
-#ifdef DEBUG
-    nntp_error ("nntp_open_mailbox()", buf);
-#endif
     return -1;
   }
 
-  if (mutt_strncmp ("211", buf, 3)) {
-    LIST *l = serv->list;
+  if (m_strncmp("211", buf, 3)) {
+    string_list_t *l = serv->list;
 
     /* GROUP command failed */
-    if (!mutt_strncmp ("411", buf, 3)) {
+    if (!m_strncmp("411", buf, 3)) {
       mutt_error (_("Newsgroup %s not found on server %s"),
                   nntp_data->group, serv->conn->account.host);
 
       /* CACHE: delete cache and line from .index */
       nntp_delete_cache (nntp_data);
-      hash_delete (serv->newsgroups, nntp_data->group, NULL,
+      hash_remove (serv->newsgroups, nntp_data->group, NULL,
                    nntp_delete_data);
       while (l && l->data != (void *) nntp_data)
         l = l->next;
@@ -898,8 +874,8 @@ int nntp_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
   char buf[LONG_STRING];
   char path[_POSIX_PATH_MAX];
   NNTP_CACHE *cache;
-  char *m = _("Fetching message...");
   int ret;
+  progress_t bar;
 
   /* see if we already have the message in our cache */
   cache =
@@ -913,17 +889,14 @@ int nntp_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
 
   /* clear the previous entry */
   unlink (cache->path);
-  free (cache->path);
-
-  mutt_message (m);
+  p_delete(&cache->path);
 
   cache->index = ctx->hdrs[msgno]->index;
-  mutt_mktemp (path);
-  cache->path = safe_strdup (path);
-  if (!(msg->fp = safe_fopen (path, "w+"))) {
-    FREE (&cache->path);
+  msg->fp = m_tempfile(path, sizeof(path), NONULL(mod_core.tmpdir), NULL);
+  if (!msg->fp) {
     return -1;
   }
+  cache->path = m_strdup(path);
 
   if (ctx->hdrs[msgno]->article_num == 0)
     snprintf (buf, sizeof (buf), "ARTICLE %s\r\n",
@@ -932,27 +905,30 @@ int nntp_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
     snprintf (buf, sizeof (buf), "ARTICLE %d\r\n",
               ctx->hdrs[msgno]->article_num);
 
-  ret = mutt_nntp_fetch ((NNTP_DATA *) ctx->data, buf, m, nntp_read_tempfile,
+  bar.msg = _("Fetching message...");
+  bar.size = 0;
+  mutt_progress_bar (&bar, 0);
+
+  ret = mutt_nntp_fetch ((NNTP_DATA *) ctx->data, buf, NULL, &bar, nntp_read_tempfile,
                          msg->fp, ctx->tagged);
   if (ret == 1) {
     mutt_error (_("Article %d not found on server"),
                 ctx->hdrs[msgno]->article_num);
-    dprint (1, (debugfile, "nntp_fetch_message: %s\n", buf));
   }
 
   if (ret) {
-    fclose (msg->fp);
+    m_fclose(&msg->fp);
     unlink (path);
-    FREE (&cache->path);
+    p_delete(&cache->path);
     return -1;
   }
 
-  mutt_free_envelope (&ctx->hdrs[msgno]->env);
+  envelope_delete(&ctx->hdrs[msgno]->env);
   ctx->hdrs[msgno]->env =
     mutt_read_rfc822_header (msg->fp, ctx->hdrs[msgno], 0, 0);
   /* fix content length */
-  fseek (msg->fp, 0, SEEK_END);
-  ctx->hdrs[msgno]->content->length = ftell (msg->fp) -
+  fseeko (msg->fp, 0, SEEK_END);
+  ctx->hdrs[msgno]->content->length = ftello (msg->fp) -
     ctx->hdrs[msgno]->content->offset;
 
   /* this is called in mutt before the open which fetches the message, 
@@ -965,9 +941,7 @@ int nntp_fetch_message (MESSAGE * msg, CONTEXT * ctx, int msgno)
    * full headers aren't parsed with XOVER, so the information wasn't
    * available then.
    */
-#if defined(HAVE_PGP) || defined(HAVE_SMIME)
   ctx->hdrs[msgno]->security = crypt_query (ctx->hdrs[msgno]->content);
-#endif /* HAVE_PGP || HAVE_SMIME */
 
   mutt_clear_error ();
   rewind (msg->fp);
@@ -999,7 +973,7 @@ int nntp_post (const char *msg)
     return -1;
   }
 
-  strfcpy (buf, "POST\r\n", sizeof (buf));
+  m_strcpy(buf, sizeof(buf), "POST\r\n");
   if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0) {
     mutt_error (_("Can't post article. Connection to %s lost."),
                 nntp_data->nserv->conn->account.host);
@@ -1013,7 +987,7 @@ int nntp_post (const char *msg)
   buf[0] = '.';
   buf[1] = '\0';
   while (fgets (buf + 1, sizeof (buf) - 2, f) != NULL) {
-    len = mutt_strlen (buf);
+    len = m_strlen(buf);
     if (buf[len - 1] == '\n') {
       buf[len - 1] = '\r';
       buf[len] = '\n';
@@ -1021,15 +995,15 @@ int nntp_post (const char *msg)
       buf[len] = '\0';
     }
     if (buf[1] == '.')
-      mutt_socket_write_d (nntp_data->nserv->conn, buf, M_SOCK_LOG_HDR);
+      mutt_socket_write(nntp_data->nserv->conn, buf);
     else
-      mutt_socket_write_d (nntp_data->nserv->conn, buf + 1, M_SOCK_LOG_HDR);
+      mutt_socket_write(nntp_data->nserv->conn, buf + 1);
   }
-  fclose (f);
+  m_fclose(&f);
 
-  if (buf[mutt_strlen (buf) - 1] != '\n')
-    mutt_socket_write_d (nntp_data->nserv->conn, "\r\n", M_SOCK_LOG_HDR);
-  mutt_socket_write_d (nntp_data->nserv->conn, ".\r\n", M_SOCK_LOG_HDR);
+  if (buf[m_strlen(buf) - 1] != '\n')
+    mutt_socket_write(nntp_data->nserv->conn, "\r\n");
+  mutt_socket_write(nntp_data->nserv->conn, ".\r\n");
   if (mutt_socket_readln (buf, sizeof (buf), nntp_data->nserv->conn) < 0) {
     mutt_error (_("Can't post article. Connection to %s lost."),
                 nntp_data->nserv->conn->account.host);
@@ -1048,24 +1022,20 @@ void nntp_logout_all (void)
 {
   char buf[LONG_STRING];
   CONNECTION *conn;
-  CONNECTION *tmp;
 
   conn = mutt_socket_head ();
 
   while (conn) {
-    tmp = conn;
-
+    CONNECTION* next = conn->next;
     if (conn->account.type == M_ACCT_TYPE_NNTP) {
       mutt_message (_("Closing connection to %s..."), conn->account.host);
       mutt_socket_write (conn, "QUIT\r\n");
       mutt_socket_readln (buf, sizeof (buf), conn);
       mutt_clear_error ();
       mutt_socket_close (conn);
-
-      mutt_socket_free (tmp);
+      mutt_socket_free (conn);
     }
-
-    conn = conn->next;
+    conn = next;
   }
 }
 
@@ -1076,25 +1046,25 @@ static void nntp_free_acache (NNTP_DATA * data)
   for (i = 0; i < NNTP_CACHE_LEN; i++) {
     if (data->acache[i].path) {
       unlink (data->acache[i].path);
-      FREE (&data->acache[i].path);
+      p_delete(&data->acache[i].path);
     }
   }
 }
 
 void nntp_delete_data (void *p)
 {
-  NNTP_DATA *data = (NNTP_DATA *) p;
+  NNTP_DATA *data = (NNTP_DATA *)p;
 
   if (!p)
     return;
-  FREE (&data->entries);
-  FREE (&data->desc);
-  FREE (&data->cache);
+  p_delete(&data->entries);
+  p_delete(&data->desc);
+  p_delete(&data->cache);
   nntp_free_acache (data);
-  FREE (p);
+  p_delete(&data);
 }
 
-int nntp_sync_mailbox (CONTEXT * ctx)
+static int nntp_sync_mailbox (CONTEXT * ctx, int unused1, int* unused2)
 {
   NNTP_DATA *data = ctx->data;
 
@@ -1107,7 +1077,7 @@ int nntp_sync_mailbox (CONTEXT * ctx)
   return 0;
 }
 
-void nntp_fastclose_mailbox (CONTEXT * ctx)
+static void nntp_fastclose_mailbox (CONTEXT * ctx)
 {
   NNTP_DATA *data = (NNTP_DATA *) ctx->data, *tmp;
 
@@ -1120,6 +1090,8 @@ void nntp_fastclose_mailbox (CONTEXT * ctx)
   if ((tmp = hash_find (data->nserv->newsgroups, data->group)) == NULL
       || tmp != data)
     nntp_delete_data (data);
+  else
+    nntp_sync_sidebar (data);
 }
 
 /* commit changes and terminate connection */
@@ -1141,7 +1113,7 @@ int nntp_close_mailbox (CONTEXT * ctx)
         return -1;
     }
   }
-  nntp_sync_mailbox (ctx);
+  nntp_sync_mailbox (ctx, 0, NULL);
   if (ctx->data && ((NNTP_DATA *) ctx->data)->nserv) {
     NNTP_SERVER *news;
 
@@ -1165,21 +1137,15 @@ static int _nntp_check_mailbox (CONTEXT * ctx, NNTP_DATA * nntp_data)
 
   buf[0] = 0;
   if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0) {
-#ifdef DEBUG
-    nntp_error ("nntp_check_mailbox()", buf);
-#endif
     return -1;
   }
-  if (mutt_strncmp ("211", buf, 3)) {
+  if (m_strncmp("211", buf, 3)) {
     buf[0] = 0;
     if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0) {
-#ifdef DEBUG
-      nntp_error ("nntp_check_mailbox()", buf);
-#endif
       return -1;
     }
   }
-  if (!mutt_strncmp ("211", buf, 3)) {
+  if (!m_strncmp("211", buf, 3)) {
     int first;
     int last;
 
@@ -1198,7 +1164,7 @@ static int _nntp_check_mailbox (CONTEXT * ctx, NNTP_DATA * nntp_data)
     /* active was renumbered? */
     if (last < nntp_data->lastLoaded) {
       if (!nntp_data->max) {
-        nntp_data->entries = safe_calloc (5, sizeof (NEWSRC_ENTRY));
+        nntp_data->entries = p_new(NEWSRC_ENTRY, 5);
         nntp_data->max = 5;
       }
       nntp_data->lastCached = 0;
@@ -1206,20 +1172,21 @@ static int _nntp_check_mailbox (CONTEXT * ctx, NNTP_DATA * nntp_data)
       nntp_data->entries[0].first = 1;
       nntp_data->entries[0].last = 0;
     }
+    nntp_sync_sidebar (nntp_data);
   }
 
   time (&nntp_data->nserv->check_time);
   return 0;
 }
 
-int nntp_check_mailbox (CONTEXT * ctx)
+static int nntp_check_mailbox (CONTEXT * ctx, int* unused1, int unused2)
 {
   return _nntp_check_mailbox (ctx, (NNTP_DATA *) ctx->data);
 }
 
 static int add_group (char *buf, void *serv)
 {
-#define s ((NNTP_SERVER *) serv)
+  NNTP_SERVER *s = serv;
   char group[LONG_STRING], mod, desc[HUGE_STRING];
   int first, last;
   NNTP_DATA *nntp_data;
@@ -1238,13 +1205,13 @@ static int add_group (char *buf, void *serv)
     return 0;
   if ((nntp_data = (NNTP_DATA *) hash_find (s->newsgroups, group)) == NULL) {
     n++;
-    nntp_data = safe_calloc (1, sizeof (NNTP_DATA) + mutt_strlen (group) + 1);
+    nntp_data = xmalloc(sizeof(NNTP_DATA) + m_strlen(group) + 1);
     nntp_data->group = (char *) nntp_data + sizeof (NNTP_DATA);
     strcpy (nntp_data->group, group);
     nntp_data->nserv = s;
     if (s->newsgroups->nelem < s->newsgroups->curnelem * 2)
-      s->newsgroups = hash_resize (s->newsgroups, s->newsgroups->nelem * 2);
-    hash_insert (s->newsgroups, nntp_data->group, nntp_data, 0);
+      hash_resize (s->newsgroups, s->newsgroups->nelem * 2);
+    hash_insert (s->newsgroups, nntp_data->group, nntp_data);
     nntp_add_to_list (s, nntp_data);
   }
   nntp_data->deleted = 0;
@@ -1255,9 +1222,9 @@ static int add_group (char *buf, void *serv)
   else
     nntp_data->allowed = 0;
   if (nntp_data->desc)
-    FREE (&nntp_data->desc);
+    p_delete(&nntp_data->desc);
   if (*desc)
-    nntp_data->desc = safe_strdup (desc);
+    nntp_data->desc = m_strdup(desc);
   if (nntp_data->rc || nntp_data->lastCached)
     mutt_newsgroup_stat (nntp_data);
   else if (nntp_data->lastMessage &&
@@ -1267,15 +1234,14 @@ static int add_group (char *buf, void *serv)
     nntp_data->unread = 0;
 
   return 0;
-#undef s
 }
 
 int nntp_check_newgroups (NNTP_SERVER * serv, int force)
 {
   char buf[LONG_STRING];
   NNTP_DATA nntp_data;
-  LIST *l;
-  LIST emp;
+  string_list_t *l;
+  string_list_t emp;
   time_t now;
   struct tm *t;
 
@@ -1294,6 +1260,7 @@ int nntp_check_newgroups (NNTP_SERVER * serv, int force)
       if (l->data && ((NNTP_DATA *) l->data)->subscribed)
         _nntp_check_mailbox (NULL, (NNTP_DATA *) l->data);
     }
+    sidebar_draw ();
   }
   else if (!force)
     return 0;
@@ -1312,11 +1279,8 @@ int nntp_check_newgroups (NNTP_SERVER * serv, int force)
   else
     nntp_data.group = NULL;
   l = serv->tail;
-  if (mutt_nntp_fetch (&nntp_data, buf, _("Adding new newsgroups..."),
+  if (mutt_nntp_fetch (&nntp_data, buf, _("Adding new newsgroups..."), NULL,
                        add_group, serv, 0) != 0) {
-#ifdef DEBUG
-    nntp_error ("nntp_check_newgroups()", buf);
-#endif
     return -1;
   }
 
@@ -1331,7 +1295,7 @@ int nntp_check_newgroups (NNTP_SERVER * serv, int force)
     l = l->next;
     ((NNTP_DATA *) l->data)->new = 1;
     nntp_get_desc ((NNTP_DATA *) l->data, ((NNTP_DATA *) l->data)->group,
-                   NULL);
+                   NULL, NULL);
   }
   if (emp.next)
     nntp_save_cache_index (serv);
@@ -1356,12 +1320,12 @@ int nntp_get_cache_all (NNTP_SERVER * serv)
       i++;
     }
     add_group (NULL, NULL);
-    fclose (f);
+    m_fclose(&f);
     mutt_clear_error ();
     return 0;
   }
   else {
-    FREE (&serv->cache);
+    p_delete(&serv->cache);
     return -1;
   }
 }
@@ -1369,9 +1333,9 @@ int nntp_get_cache_all (NNTP_SERVER * serv)
 /* Load list of all newsgroups from active */
 int nntp_get_active (NNTP_SERVER * serv)
 {
-  char msg[SHORT_STRING];
+  char msg[STRING];
   NNTP_DATA nntp_data;
-  LIST *tmp;
+  string_list_t *tmp;
 
   if (nntp_open_connection (serv) < 0)
     return -1;
@@ -1384,23 +1348,20 @@ int nntp_get_active (NNTP_SERVER * serv)
   nntp_data.nserv = serv;
   nntp_data.group = NULL;
 
-  if (mutt_nntp_fetch (&nntp_data, "LIST\r\n", msg, add_group, serv, 0) < 0) {
-#ifdef DEBUG
-    nntp_error ("nntp_get_active()", "LIST\r\n");
-#endif
+  if (mutt_nntp_fetch (&nntp_data, "LIST\r\n", msg, NULL, add_group, serv, 0) < 0) {
     return -1;
   }
 
-  strfcpy (msg, _("Loading descriptions..."), sizeof (msg));
+  m_strcpy(msg, sizeof(msg), _("Loading descriptions..."));
   mutt_message (msg);
-  nntp_get_desc (&nntp_data, "*", msg);
+  nntp_get_desc (&nntp_data, "*", msg, NULL);
 
   for (tmp = serv->list; tmp; tmp = tmp->next) {
     NNTP_DATA *data = (NNTP_DATA *) tmp->data;
 
     if (data && data->deleted && !data->rc) {
       nntp_delete_cache (data);
-      hash_delete (serv->newsgroups, data->group, NULL, nntp_delete_data);
+      hash_remove (serv->newsgroups, data->group, NULL, nntp_delete_data);
       tmp->data = NULL;
     }
   }
@@ -1423,7 +1384,7 @@ int nntp_check_msgid (CONTEXT * ctx, const char *msgid)
     return 1;
   if (ctx->msgcount == ctx->hdrmax)
     mx_alloc_memory (ctx);
-  ctx->hdrs[ctx->msgcount] = mutt_new_header ();
+  ctx->hdrs[ctx->msgcount] = header_new();
   ctx->hdrs[ctx->msgcount]->index = ctx->msgcount;
 
   mutt_message (_("Fetching %s from server..."), msgid);
@@ -1431,7 +1392,7 @@ int nntp_check_msgid (CONTEXT * ctx, const char *msgid)
   /* since nntp_read_header() may set read flag, we must reset it */
   ctx->hdrs[ctx->msgcount]->read = 0;
   if (ret != 0)
-    mutt_free_header (&ctx->hdrs[ctx->msgcount]);
+    header_delete(&ctx->hdrs[ctx->msgcount]);
   else {
     ctx->msgcount++;
     mx_update_context (ctx, 1);
@@ -1442,15 +1403,15 @@ int nntp_check_msgid (CONTEXT * ctx, const char *msgid)
 
 typedef struct {
   CONTEXT *ctx;
-  unsigned int num;
-  unsigned int max;
-  unsigned int *child;
+  int num;
+  int max;
+  int *child;
 } CHILD_CONTEXT;
 
 static int check_children (char *s, void *c)
 {
-#define cc ((CHILD_CONTEXT *) c)
-  unsigned int i, n;
+  CHILD_CONTEXT *cc = c;
+  int i, n;
 
   if (!s || (n = atoi (s)) == 0)
     return 0;
@@ -1458,11 +1419,10 @@ static int check_children (char *s, void *c)
     if (cc->ctx->hdrs[i]->article_num == n)
       return 0;
   if (cc->num >= cc->max)
-    safe_realloc (&cc->child, sizeof (unsigned int) * (cc->max += 25));
+    p_realloc(&cc->child, cc->max += 25);
   cc->child[cc->num++] = n;
 
   return 0;
-#undef cc
 }
 
 int nntp_check_children (CONTEXT * ctx, const char *msgid)
@@ -1489,9 +1449,9 @@ int nntp_check_children (CONTEXT * ctx, const char *msgid)
   cc.ctx = ctx;
   cc.num = 0;
   cc.max = 25;
-  cc.child = safe_malloc (sizeof (unsigned int) * 25);
-  if (mutt_nntp_fetch (nntp_data, buf, NULL, check_children, &cc, 0)) {
-    FREE (&cc.child);
+  cc.child = p_new(int, 25);
+  if (mutt_nntp_fetch (nntp_data, buf, NULL, NULL, check_children, &cc, 0)) {
+    p_delete(&cc.child);
     return -1;
   }
   /* dont try to read the xover cache. check_children() already
@@ -1511,6 +1471,39 @@ int nntp_check_children (CONTEXT * ctx, const char *msgid)
   }
   if (tmp)
     set_option (OPTNEWSCACHE);
-  FREE (&cc.child);
+  p_delete(&cc.child);
   return ret;
 }
+
+static int nntp_is_magic (const char* path, struct stat* st) {
+  url_scheme_t s = url_check_scheme (NONULL (path));
+  return ((s == U_NNTP || s == U_NNTPS) ? M_NNTP : -1);
+}
+
+static int acl_check_nntp (CONTEXT* ctx, int bit) {
+  switch (bit) {
+    case ACL_INSERT:    /* editing messages */
+    case ACL_WRITE:     /* change importance */
+      return (0);
+    case ACL_DELETE:    /* (un)deletion */
+    case ACL_SEEN:      /* mark as read */
+      return (1);
+    default:
+      return (0);
+  }
+}
+
+mx_t const nntp_mx = {
+    M_NNTP,
+    0,
+    nntp_is_magic,
+    NULL,
+    NULL,
+    nntp_open_mailbox,
+    NULL,
+    acl_check_nntp,
+    nntp_check_mailbox,
+    nntp_fastclose_mailbox,
+    nntp_sync_mailbox,
+    NULL,
+};