simplify charset and things in the sockets API.
[apps/madmutt.git] / charset.c
index 63bc81c..bbaf8ca 100644 (file)
--- a/charset.c
+++ b/charset.c
 #include <dirent.h>
 #include <unistd.h>
 #include <errno.h>
+#ifdef HAVE_LANGINFO_CODESET
+#  include <langinfo.h>
+#endif
+
+#include <lib-lib/mem.h>
+#include <lib-lib/ascii.h>
+#include <lib-lib/str.h>
+#include <lib-lib/macros.h>
 
 #include "mutt.h"
 #include "charset.h"
-#include "ascii.h"
-
-#include "lib/mem.h"
-#include "lib/intl.h"
-#include "lib/str.h"
 
 #ifndef EILSEQ
-# define EILSEQ EINVAL
+#  define EILSEQ EINVAL
 #endif
 
+char *Charset;
+int Charset_is_utf8 = 0;
+
 /* 
  * The following list has been created manually from the data under:
  * http://www.isi.edu/in-notes/iana/assignments/character-sets
  */
 
 static struct {
-  const char *key;
-  const char *pref;
+    const char *key;
+    const char *pref;
 } PreferredMIMENames[] = {
-  {
-  "ansi_x3.4-1968", "us-ascii"}, {
-  "iso-ir-6", "us-ascii"}, {
-  "iso_646.irv:1991", "us-ascii"}, {
-  "ascii", "us-ascii"}, {
-  "iso646-us", "us-ascii"}, {
-  "us", "us-ascii"}, {
-  "ibm367", "us-ascii"}, {
-  "cp367", "us-ascii"}, {
-  "csASCII", "us-ascii"}, {
-  "csISO2022KR", "iso-2022-kr"}, {
-  "csEUCKR", "euc-kr"}, {
-  "csISO2022JP", "iso-2022-jp"}, {
-  "csISO2022JP2", "iso-2022-jp-2"}, {
-  "ISO_8859-1:1987", "iso-8859-1"}, {
-  "iso-ir-100", "iso-8859-1"}, {
-  "iso_8859-1", "iso-8859-1"}, {
-  "latin1", "iso-8859-1"}, {
-  "l1", "iso-8859-1"}, {
-  "IBM819", "iso-8859-1"}, {
-  "CP819", "iso-8859-1"}, {
-  "csISOLatin1", "iso-8859-1"}, {
-  "ISO_8859-2:1987", "iso-8859-2"}, {
-  "iso-ir-101", "iso-8859-2"}, {
-  "iso_8859-2", "iso-8859-2"}, {
-  "latin2", "iso-8859-2"}, {
-  "l2", "iso-8859-2"}, {
-  "csISOLatin2", "iso-8859-2"}, {
-  "ISO_8859-3:1988", "iso-8859-3"}, {
-  "iso-ir-109", "iso-8859-3"}, {
-  "ISO_8859-3", "iso-8859-3"}, {
-  "latin3", "iso-8859-3"}, {
-  "l3", "iso-8859-3"}, {
-  "csISOLatin3", "iso-8859-3"}, {
-  "ISO_8859-4:1988", "iso-8859-4"}, {
-  "iso-ir-110", "iso-8859-4"}, {
-  "ISO_8859-4", "iso-8859-4"}, {
-  "latin4", "iso-8859-4"}, {
-  "l4", "iso-8859-4"}, {
-  "csISOLatin4", "iso-8859-4"}, {
-  "ISO_8859-6:1987", "iso-8859-6"}, {
-  "iso-ir-127", "iso-8859-6"}, {
-  "iso_8859-6", "iso-8859-6"}, {
-  "ECMA-114", "iso-8859-6"}, {
-  "ASMO-708", "iso-8859-6"}, {
-  "arabic", "iso-8859-6"}, {
-  "csISOLatinArabic", "iso-8859-6"}, {
-  "ISO_8859-7:1987", "iso-8859-7"}, {
-  "iso-ir-126", "iso-8859-7"}, {
-  "ISO_8859-7", "iso-8859-7"}, {
-  "ELOT_928", "iso-8859-7"}, {
-  "ECMA-118", "iso-8859-7"}, {
-  "greek", "iso-8859-7"}, {
-  "greek8", "iso-8859-7"}, {
-  "csISOLatinGreek", "iso-8859-7"}, {
-  "ISO_8859-8:1988", "iso-8859-8"}, {
-  "iso-ir-138", "iso-8859-8"}, {
-  "ISO_8859-8", "iso-8859-8"}, {
-  "hebrew", "iso-8859-8"}, {
-  "csISOLatinHebrew", "iso-8859-8"}, {
-  "ISO_8859-5:1988", "iso-8859-5"}, {
-  "iso-ir-144", "iso-8859-5"}, {
-  "ISO_8859-5", "iso-8859-5"}, {
-  "cyrillic", "iso-8859-5"}, {
-  "csISOLatinCyrillic", "iso8859-5"}, {
-  "ISO_8859-9:1989", "iso-8859-9"}, {
-  "iso-ir-148", "iso-8859-9"}, {
-  "ISO_8859-9", "iso-8859-9"}, {
-  "latin5", "iso-8859-9"},      /* this is not a bug */
-  {
-  "l5", "iso-8859-9"}, {
-  "csISOLatin5", "iso-8859-9"}, {
-  "ISO_8859-10:1992", "iso-8859-10"}, {
-  "iso-ir-157", "iso-8859-10"}, {
-  "latin6", "iso-8859-10"},     /* this is not a bug */
-  {
-  "l6", "iso-8859-10"}, {
-  "csISOLatin6", "iso-8859-10"}, {
-  "csKOI8r", "koi8-r"}, {
-  "MS_Kanji", "Shift_JIS"},     /* Note the underscore! */
-  {
-  "csShiftJis", "Shift_JIS"}, {
-  "Extended_UNIX_Code_Packed_Format_for_Japanese", "EUC-JP"}, {
-  "csEUCPkdFmtJapanese", "EUC-JP"}, {
-  "csGB2312", "gb2312"}, {
-  "csbig5", "big5"},
-    /* 
-     * End of official brain damage.  What follows has been taken
-     * from glibc's localedata files. 
-     */
-  {
-  "iso_8859-13", "iso-8859-13"}, {
-  "iso-ir-179", "iso-8859-13"}, {
-  "latin7", "iso-8859-13"},     /* this is not a bug */
-  {
-  "l7", "iso-8859-13"}, {
-  "iso_8859-14", "iso-8859-14"}, {
-  "latin8", "iso-8859-14"},     /* this is not a bug */
-  {
-  "l8", "iso-8859-14"}, {
-  "iso_8859-15", "iso-8859-15"}, {
-  "latin9", "iso-8859-15"},     /* this is not a bug */
-    /* Suggested by Ionel Mugurel Ciobica <tgakic@sg10.chem.tue.nl> */
-  {
-  "latin0", "iso-8859-15"},     /* this is not a bug */
-  {
-  "iso_8859-16", "iso-8859-16"}, {
-  "latin10", "iso-8859-16"},    /* this is not a bug */
-    /* 
-     * David Champion <dgc@uchicago.edu> has observed this with
-     * nl_langinfo under SunOS 5.8. 
-     */
-  {
-  "646", "us-ascii"},
-    /* 
-     * http://www.sun.com/software/white-papers/wp-unicode/
-     */
-  {
-  "eucJP", "euc-jp"}, {
-  "PCK", "Shift_JIS"}, {
-  "ko_KR-euc", "euc-kr"}, {
-  "zh_TW-big5", "big5"},
-    /* seems to be common on some systems */
-  {
-  "sjis", "Shift_JIS"}, {
-  "euc-jp-ms", "eucJP-ms"},
-    /*
-     * If you happen to encounter system-specific brain-damage with
-     * respect to character set naming, please add it above this
-     * comment, and submit a patch to <mutt-dev@mutt.org>. 
-     */
-    /* End of aliases.  Please keep this line last. */
-  {
-  NULL, NULL}
+    {"ansi_x3.4-1968", "us-ascii"},
+    {"iso-ir-6", "us-ascii"},
+    {"iso_646.irv:1991", "us-ascii"},
+    {"ascii", "us-ascii"},
+    {"iso646-us", "us-ascii"},
+    {"us", "us-ascii"},
+    {"ibm367", "us-ascii"},
+    {"cp367", "us-ascii"},
+    {"csascii", "us-ascii"},
+    {"csiso2022kr", "iso-2022-kr"},
+    {"cseuckr", "euc-kr"},
+    {"csiso2022jp", "iso-2022-jp"},
+    {"csiso2022jp2", "iso-2022-jp-2"},
+    {"iso_8859-1:1987", "iso-8859-1"},
+    {"iso-ir-100", "iso-8859-1"},
+    {"iso_8859-1", "iso-8859-1"},
+    {"latin1", "iso-8859-1"},
+    {"l1", "iso-8859-1"},
+    {"ibm819", "iso-8859-1"},
+    {"cp819", "iso-8859-1"},
+    {"csisolatin1", "iso-8859-1"},
+    {"iso_8859-2:1987", "iso-8859-2"},
+    {"iso-ir-101", "iso-8859-2"},
+    {"iso_8859-2", "iso-8859-2"},
+    {"latin2", "iso-8859-2"},
+    {"l2", "iso-8859-2"},
+    {"csisolatin2", "iso-8859-2"},
+    {"iso_8859-3:1988", "iso-8859-3"},
+    {"iso-ir-109", "iso-8859-3"},
+    {"iso_8859-3", "iso-8859-3"},
+    {"latin3", "iso-8859-3"},
+    {"l3", "iso-8859-3"},
+    {"csisolatin3", "iso-8859-3"},
+    {"iso_8859-4:1988", "iso-8859-4"},
+    {"iso-ir-110", "iso-8859-4"},
+    {"iso_8859-4", "iso-8859-4"},
+    {"latin4", "iso-8859-4"},
+    {"l4", "iso-8859-4"},
+    {"csisolatin4", "iso-8859-4"},
+    {"iso_8859-6:1987", "iso-8859-6"},
+    {"iso-ir-127", "iso-8859-6"},
+    {"iso_8859-6", "iso-8859-6"},
+    {"ecma-114", "iso-8859-6"},
+    {"asmo-708", "iso-8859-6"},
+    {"arabic", "iso-8859-6"},
+    {"csisolatinarabic", "iso-8859-6"},
+    {"iso_8859-7:1987", "iso-8859-7"},
+    {"iso-ir-126", "iso-8859-7"},
+    {"iso_8859-7", "iso-8859-7"},
+    {"elot_928", "iso-8859-7"},
+    {"ecma-118", "iso-8859-7"},
+    {"greek", "iso-8859-7"},
+    {"greek8", "iso-8859-7"},
+    {"csisolatingreek", "iso-8859-7"},
+    {"iso_8859-8:1988", "iso-8859-8"},
+    {"iso-ir-138", "iso-8859-8"},
+    {"iso_8859-8", "iso-8859-8"},
+    {"hebrew", "iso-8859-8"},
+    {"csisolatinhebrew", "iso-8859-8"},
+    {"iso_8859-5:1988", "iso-8859-5"},
+    {"iso-ir-144", "iso-8859-5"},
+    {"iso_8859-5", "iso-8859-5"},
+    {"cyrillic", "iso-8859-5"},
+    {"csisolatincyrillic", "iso8859-5"},
+    {"iso_8859-9:1989", "iso-8859-9"},
+    {"iso-ir-148", "iso-8859-9"},
+    {"iso_8859-9", "iso-8859-9"},
+    {"latin5", "iso-8859-9"},
+    {"l5", "iso-8859-9"},
+    {"csisolatin5", "iso-8859-9"},
+    {"iso_8859-10:1992", "iso-8859-10"},
+    {"iso-ir-157", "iso-8859-10"},
+    {"latin6", "iso-8859-10"},
+    {"l6", "iso-8859-10"},
+    {"csisolatin6", "iso-8859-10"},
+    {"cskoi8r", "koi8-r"},
+    {"ms_kanji", "shift_jis"},
+    {"csshiftjis", "shift_jis"},
+    {"extended_unix_code_packed_format_for_japanese", "euc-jp"},
+    {"cseucpkdfmtjapanese", "euc-jp"},
+    {"csgb2312", "gb2312"},
+    {"csbig5", "big5"},
+    /* end of official brain damage.
+       what follows has been taken * from glibc's localedata files.  */
+    {"iso_8859-13", "iso-8859-13"},
+    {"iso-ir-179", "iso-8859-13"},
+    {"latin7", "iso-8859-13"},
+    {"l7", "iso-8859-13"},
+    {"iso_8859-14", "iso-8859-14"},
+    {"latin8", "iso-8859-14"},
+    {"l8", "iso-8859-14"},
+    {"iso_8859-15", "iso-8859-15"},
+    {"latin9", "iso-8859-15"},
+    {"latin0", "iso-8859-15"},
+    {"iso_8859-16", "iso-8859-16"},
+    {"latin10", "iso-8859-16"},
+    {"646", "us-ascii"},
+    {"eucjp", "euc-jp"},
+    {"pck", "shift_jis"},
+    {"ko_kr-euc", "euc-kr"},
+    {"zh_tw-big5", "big5"},
+    {"sjis", "shift_jis"},
+    {"euc-jp-ms", "eucjp-ms"},
+    {NULL, NULL}
 };
 
-#ifdef HAVE_LANGINFO_CODESET
-# include <langinfo.h>
-
-
 void mutt_set_langinfo_charset (void)
 {
-  char buff[LONG_STRING];
-  char buff2[LONG_STRING];
-
-  strfcpy (buff, nl_langinfo (CODESET), sizeof (buff));
-  mutt_canonical_charset (buff2, sizeof (buff2), buff);
-
-  /* finally, set $charset */
-  if (!(Charset = str_dup (buff2)))
-    Charset = str_dup ("iso-8859-1");
-}
+#ifdef HAVE_LANGINFO_CODESET
+    char buff[LONG_STRING];
+    char buff2[LONG_STRING];
 
-#else
+    m_strcpy(buff, sizeof(buff), nl_langinfo(CODESET));
+    mutt_canonical_charset(buff2, sizeof(buff2), buff);
 
-void mutt_set_langinfo_charset (void)
-{
-  Charset = str_dup ("iso-8859-1");
+    /* finally, set $charset */
+    if (!(Charset = m_strdup(buff2)))
+#endif
+        Charset = m_strdup("iso-8859-1");
 }
 
-#endif
 
-void mutt_canonical_charset (char *dest, size_t dlen, const char *name)
+void mutt_canonical_charset(char *dest, ssize_t dlen, const char *name)
 {
-  size_t i;
-  char *p;
-  char scratch[LONG_STRING];
-
-  /* catch some common iso-8859-something misspellings */
-  if (!ascii_strncasecmp (name, "8859", 4) && name[4] != '-')
-    snprintf (scratch, sizeof (scratch), "iso-8859-%s", name + 4);
-  else if (!ascii_strncasecmp (name, "8859-", 5))
-    snprintf (scratch, sizeof (scratch), "iso-8859-%s", name + 5);
-  else if (!ascii_strncasecmp (name, "iso8859", 7) && name[7] != '-')
-    snprintf (scratch, sizeof (scratch), "iso_8859-%s", name + 7);
-  else if (!ascii_strncasecmp (name, "iso8859-", 8))
-    snprintf (scratch, sizeof (scratch), "iso_8859-%s", name + 8);
-  else
-    strfcpy (scratch, NONULL (name), sizeof (scratch));
-
-  for (i = 0; PreferredMIMENames[i].key; i++)
-    if (!ascii_strcasecmp (scratch, PreferredMIMENames[i].key) ||
-        !str_casecmp (scratch, PreferredMIMENames[i].key)) {
-      strfcpy (dest, PreferredMIMENames[i].pref, dlen);
-      return;
+    ssize_t i;
+    char *p;
+    char scratch[LONG_STRING];
+
+    m_strcpy(scratch, sizeof(scratch), name);
+    m_strtolower(scratch);
+
+    /* catch some common iso-8859-something misspellings */
+    if (!strncmp(scratch, "8859", 4)) {
+        snprintf(scratch, sizeof(scratch), "iso-8859-%s",
+                 name + 4 + (name[4] == '-'));
+        m_strtolower(scratch);
+    } else
+    if (!strncmp(scratch, "iso8859", 7)) {
+        snprintf(scratch, sizeof(scratch), "iso-8859-%s",
+                 name + 7 + (name[7] == '-'));
+        m_strtolower(scratch);
     }
 
-  strfcpy (dest, scratch, dlen);
+    for (i = 0; PreferredMIMENames[i].key; i++) {
+        if (!strcmp(scratch, PreferredMIMENames[i].key)) {
+            m_strcpy(dest, dlen, PreferredMIMENames[i].pref);
+            return;
+        }
+    }
 
-  /* for cosmetics' sake, transform to lowercase. */
-  for (p = dest; *p; p++)
-    *p = ascii_tolower (*p);
+    m_strcpy(dest, dlen, scratch);
 }
 
-int mutt_chscmp (const char *s, const char *chs)
+static int mutt_chscmp(const char *s, const char *chs)
 {
-  char buffer[STRING];
-
-  if (!s)
-    return 0;
-
-  mutt_canonical_charset (buffer, sizeof (buffer), s);
-  return !ascii_strcasecmp (buffer, chs);
-}
+    char buffer[STRING];
 
+    if (!s)
+        return 0;
 
-#ifndef HAVE_ICONV
-
-iconv_t iconv_open (const char *tocode, const char *fromcode)
-{
-  return (iconv_t) (-1);
+    mutt_canonical_charset(buffer, sizeof(buffer), s);
+    return !strcmp(buffer, chs);
 }
 
-size_t iconv (iconv_t cd, const char **inbuf, size_t * inbytesleft,
-              char **outbuf, size_t * outbytesleft)
+int mutt_is_utf8(const char *s)
 {
-  return 0;
+    return mutt_chscmp(s, "utf-8");
 }
 
-int iconv_close (iconv_t cd)
+int mutt_is_us_ascii(const char *s)
 {
-  return 0;
+    return mutt_chscmp(s, "us-ascii");
 }
 
-#endif /* !HAVE_ICONV */
-
 
 /*
  * Like iconv_open, but canonicalises the charsets
@@ -315,19 +269,19 @@ iconv_t mutt_iconv_open (const char *tocode, const char *fromcode, int flags)
  * if you're supplying an outrepl, the target charset should be.
  */
 
-size_t mutt_iconv (iconv_t cd, const char **inbuf, size_t * inbytesleft,
-                   char **outbuf, size_t * outbytesleft,
+ssize_t mutt_iconv(iconv_t cd, const char **inbuf, ssize_t *inbytesleft,
+                   char **outbuf, ssize_t *outbytesleft,
                    const char **inrepls, const char *outrepl)
 {
-  size_t ret = 0, ret1;
+  ssize_t ret = 0, ret1;
   const char *ib = *inbuf;
-  size_t ibl = *inbytesleft;
+  ssize_t ibl = *inbytesleft;
   char *ob = *outbuf;
-  size_t obl = *outbytesleft;
+  ssize_t obl = *outbytesleft;
 
   for (;;) {
-    ret1 = iconv (cd, &ib, &ibl, &ob, &obl);
-    if (ret1 != (size_t) - 1)
+    ret1 = my_iconv(cd, &ib, &ibl, &ob, &obl);
+    if (ret1 != -1)
       ret += ret1;
     if (ibl && obl && errno == EILSEQ) {
       if (inrepls) {
@@ -336,11 +290,11 @@ size_t mutt_iconv (iconv_t cd, const char **inbuf, size_t * inbytesleft,
 
         for (t = inrepls; *t; t++) {
           const char *ib1 = *t;
-          size_t ibl1 = str_len (*t);
+          ssize_t ibl1 = m_strlen(*t);
           char *ob1 = ob;
-          size_t obl1 = obl;
+          ssize_t obl1 = obl;
 
-          iconv (cd, &ib1, &ibl1, &ob1, &obl1);
+          my_iconv(cd, &ib1, &ibl1, &ob1, &obl1);
           if (!ibl1) {
             ++ib, --ibl;
             ob = ob1, obl = obl1;
@@ -354,9 +308,9 @@ size_t mutt_iconv (iconv_t cd, const char **inbuf, size_t * inbytesleft,
       /* Replace the output */
       if (!outrepl)
         outrepl = "?";
-      iconv (cd, 0, 0, &ob, &obl);
+      my_iconv(cd, 0, 0, &ob, &obl);
       if (obl) {
-        int n = str_len (outrepl);
+        ssize_t n = m_strlen(outrepl);
 
         if (n > obl) {
           outrepl = "?";
@@ -366,7 +320,7 @@ size_t mutt_iconv (iconv_t cd, const char **inbuf, size_t * inbytesleft,
         ++ib, --ibl;
         ob += n, obl -= n;
         ++ret;
-        iconv (cd, 0, 0, 0, 0); /* for good measure */
+        my_iconv(cd, 0, 0, 0, 0); /* for good measure */
         continue;
       }
     }
@@ -396,7 +350,7 @@ int mutt_convert_string (char **ps, const char *from, const char *to,
     int len;
     const char *ib;
     char *buf, *ob;
-    size_t ibl, obl;
+    ssize_t ibl, obl;
     const char **inrepls = NULL;
     const char *outrepl = NULL;
 
@@ -407,20 +361,18 @@ int mutt_convert_string (char **ps, const char *from, const char *to,
     else
       outrepl = "?";
 
-    len = str_len (s);
+    len = m_strlen(s);
     ib = s, ibl = len + 1;
     obl = MB_LEN_MAX * ibl;
-    ob = buf = mem_malloc (obl + 1);
+    ob = buf = xmalloc(obl + 1);
 
     mutt_iconv (cd, &ib, &ibl, &ob, &obl, inrepls, outrepl);
     iconv_close (cd);
 
     *ob = '\0';
 
-    mem_free (ps);
+    p_delete(ps);
     *ps = buf;
-
-    str_adjust (ps);
     return 0;
   }
   else
@@ -441,7 +393,7 @@ struct fgetconv_s {
   char *p;
   char *ob;
   char *ib;
-  size_t ibl;
+  ssize_t ibl;
   const char **inrepls;
 };
 
@@ -461,23 +413,23 @@ FGETCONV *fgetconv_open (FILE * file, const char *from, const char *to,
     cd = mutt_iconv_open (to, from, flags);
 
   if (cd != (iconv_t) - 1) {
-    fc = mem_malloc (sizeof (struct fgetconv_s));
+    fc = p_new(struct fgetconv_s, 1);
     fc->p = fc->ob = fc->bufo;
     fc->ib = fc->bufi;
     fc->ibl = 0;
     fc->inrepls = mutt_is_utf8 (to) ? repls : repls + 1;
   }
   else
-    fc = mem_malloc (sizeof (struct fgetconv_not));
+    fc = p_new(struct fgetconv_s, 1);
   fc->file = file;
   fc->cd = cd;
   return (FGETCONV *) fc;
 }
 
-char *fgetconvs (char *buf, size_t l, FGETCONV * _fc)
+char *fgetconvs (char *buf, ssize_t l, FGETCONV * _fc)
 {
   int c;
-  size_t r;
+  ssize_t r;
 
   for (r = 0; r + 1 < l;) {
     if ((c = fgetconv (_fc)) == EOF)
@@ -510,9 +462,9 @@ int fgetconv (FGETCONV * _fc)
   /* Try to convert some more */
   fc->p = fc->ob = fc->bufo;
   if (fc->ibl) {
-    size_t obl = sizeof (fc->bufo);
+    ssize_t obl = ssizeof(fc->bufo);
 
-    iconv (fc->cd, (const char **) &fc->ib, &fc->ibl, &fc->ob, &obl);
+    my_iconv(fc->cd, (const char **) &fc->ib, &fc->ibl, &fc->ob, &obl);
     if (fc->p < fc->ob)
       return (unsigned char) *(fc->p)++;
   }
@@ -534,7 +486,7 @@ int fgetconv (FGETCONV * _fc)
 
   /* Try harder this time to convert some */
   if (fc->ibl) {
-    size_t obl = sizeof (fc->bufo);
+    ssize_t obl = ssizeof(fc->bufo);
 
     mutt_iconv (fc->cd, (const char **) &fc->ib, &fc->ibl, &fc->ob,
                 &obl, fc->inrepls, 0);
@@ -553,7 +505,7 @@ void fgetconv_close (FGETCONV ** _fc)
 
   if (fc->cd != (iconv_t) - 1)
     iconv_close (fc->cd);
-  mem_free (_fc);
+  p_delete(_fc);
 }
 
 const char *mutt_get_first_charset (const char *charset)
@@ -562,41 +514,42 @@ const char *mutt_get_first_charset (const char *charset)
   const char *c, *c1;
 
   c = charset;
-  if (!str_len (c))
+  if (!m_strlen(c))
     return "us-ascii";
   if (!(c1 = strchr (c, ':')))
     return ((char*) charset);
-  strfcpy (fcharset, c, c1 - c + 1);
+  m_strcpy(fcharset, c1 - c + 1, c);
   return fcharset;
 }
 
-static size_t convert_string (const char *f, size_t flen,
+static ssize_t convert_string (const char *f, ssize_t flen,
                               const char *from, const char *to,
-                              char **t, size_t * tlen)
+                              char **t, ssize_t * tlen)
 {
   iconv_t cd;
   char *buf, *ob;
-  size_t obl, n;
+  ssize_t obl;
+  ssize_t n;
   int e;
 
   cd = mutt_iconv_open (to, from, 0);
   if (cd == (iconv_t) (-1))
-    return (size_t) (-1);
+    return -1;
   obl = 4 * flen + 1;
-  ob = buf = mem_malloc (obl);
-  n = iconv (cd, &f, &flen, &ob, &obl);
-  if (n == (size_t) (-1) || iconv (cd, 0, 0, &ob, &obl) == (size_t) (-1)) {
+  ob = buf = xmalloc(obl);
+  n = my_iconv(cd, &f, &flen, &ob, &obl);
+  if (n < 0 || my_iconv(cd, 0, 0, &ob, &obl) < 0) {
     e = errno;
-    mem_free (&buf);
+    p_delete(&buf);
     iconv_close (cd);
     errno = e;
-    return (size_t) (-1);
+    return -1;
   }
   *ob = '\0';
 
   *tlen = ob - buf;
 
-  mem_realloc (&buf, ob - buf + 1);
+  p_realloc(&buf, ob - buf + 1);
   *t = buf;
   iconv_close (cd);
 
@@ -611,26 +564,42 @@ int mutt_convert_nonmime_string (char **ps)
     char *u = *ps;
     char *s = NULL;
     char *fromcode;
-    size_t m, n;
-    size_t ulen = str_len (*ps);
-    size_t slen;
+    ssize_t m, n;
+    ssize_t ulen = m_strlen(*ps);
+    ssize_t slen;
 
     if (!u || !*u)
       return 0;
 
     c1 = strchr (c, ':');
-    n = c1 ? c1 - c : str_len (c);
+    n = c1 ? c1 - c : m_strlen(c);
     if (!n)
       continue;
-    fromcode = mem_malloc (n + 1);
-    strfcpy (fromcode, c, n + 1);
+    fromcode = p_dupstr(c, n);
     m = convert_string (u, ulen, fromcode, Charset, &s, &slen);
-    mem_free (&fromcode);
-    if (m != (size_t) (-1)) {
-      mem_free (ps);
+    p_delete(&fromcode);
+    if (m != -1) {
+      p_delete(ps);
       *ps = s;
       return 0;
     }
   }
   return -1;
 }
+
+void mutt_set_charset (char *charset)
+{
+    char buffer[STRING];
+
+    mutt_canonical_charset (buffer, sizeof (buffer), charset);
+    Charset_is_utf8 = !strcmp(buffer, "utf-8");
+
+#ifdef HAVE_BIND_TEXTDOMAIN_CODESET
+    bind_textdomain_codeset (PACKAGE, buffer);
+#endif
+}
+
+wchar_t replacement_char(void)
+{
+    return Charset_is_utf8 ? 0xfffd : '?';
+}