* added a vlc_current_charset function. This tries to get the current charset
[vlc.git] / src / misc / charset.c
1 /*****************************************************************************
2  * charset.c: Determine a canonical name for the current locale's character encoding.
3  *****************************************************************************
4  * Copyright (C) 2003 VideoLAN
5  * $Id: charset.c,v 1.1 2003/08/23 12:59:31 hartman Exp $
6  *
7  * Authors: Derk-Jan Hartman <thedj at users.sf.net>
8  *
9  * vlc_current_charset() an adaption of mp_locale_charset():
10  *  
11  *      Copyright (C) 2001-2003 The Mape Project
12  *      Written by Karel Zak  <zakkr@zf.jcu.cz>.  
13  *
14  * This program is free software; you can redistribute it and/or modify
15  * it under the terms of the GNU General Public License as published by
16  * the Free Software Foundation; either version 2 of the License, or
17  * (at your option) any later version.
18  *
19  * This program is distributed in the hope that it will be useful,
20  * but WITHOUT ANY WARRANTY; without even the implied warranty of
21  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
22  * GNU General Public License for more details.
23  *
24  * You should have received a copy of the GNU General Public License
25  * along with this program; if not, write to the Free Software
26  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
27  *****************************************************************************/
28
29 #include <stdio.h>
30 #include <string.h>
31 #include <stdlib.h>
32
33 #if !defined WIN32
34 # if HAVE_LANGINFO_CODESET
35 #  include <langinfo.h>
36 # else
37 #  if HAVE_SETLOCALE
38 #   include <locale.h>
39 #  endif
40 # endif
41 #elif defined WIN32
42 # include <windows.h>
43 #endif
44
45 #include <vlc/vlc.h>
46 #include "charset.h"
47
48 typedef struct VLCCharsetAlias
49 {
50     char *psz_alias, *psz_name;
51 } VLCCharsetAlias;
52
53 /*
54  * The libcharset load all from external text file, but it's strange and
55  * slow solution, we rather use array(s) compiled into source. In the 
56  * "good" libc this is not needful -- for example in linux.
57  * 
58  * Please, put to this funtion exotic aliases only. The libc 'iconv' knows
59  * a lot of basic aliases (check it first by iconv -l).
60  * 
61  */
62
63 static const char* vlc_encoding_from_language( const char *l )
64 {
65     /* check for language (and perhaps country) codes */
66     if (strstr(l, "zh_TW")) return "Big5";
67     if (strstr(l, "zh_HK")) return "Big5HKSCS";   /* no MIME charset */
68     if (strstr(l, "zh")) return "GB2312";
69     if (strstr(l, "th")) return "TIS-620";
70     if (strstr(l, "ja")) return "EUC-JP";
71     if (strstr(l, "ko")) return "EUC-KR";
72     if (strstr(l, "ru")) return "KOI8-R";
73     if (strstr(l, "uk")) return "KOI8-U";
74     if (strstr(l, "pl") || strstr(l, "hr") ||
75         strstr(l, "hu") || strstr(l, "cs") ||
76         strstr(l, "sk") || strstr(l, "sl")) return "ISO-8859-2";
77     if (strstr(l, "eo") || strstr(l, "mt")) return "ISO-8859-3";
78     if (strstr(l, "lt") || strstr(l, "la")) return "ISO-8859-4";
79     if (strstr(l, "bg") || strstr(l, "be") ||
80         strstr(l, "mk") || strstr(l, "uk")) return "ISO-8859-5";
81     if (strstr(l, "ar")) return "ISO-8859-6";
82     if (strstr(l, "el")) return "ISO-8859-7";
83     if (strstr(l, "he") || strstr(l, "iw")) return "ISO-8859-8";
84     if (strstr(l, "tr")) return "ISO-8859-9";
85     if (strstr(l, "th")) return "ISO-8859-11";
86     if (strstr(l, "lv")) return "ISO-8859-13";
87     if (strstr(l, "cy")) return "ISO-8859-14";
88     if (strstr(l, "et")) return "ISO-8859-15"; /* all latin1 could be iso15 as well */
89     if (strstr(l, "ro")) return "ISO-8859-2";   /* or ISO-8859-16 */
90     if (strstr(l, "am") || strstr(l, "vi")) return "UTF-8";
91     /* We don't know. This ain't working go to default. */
92     return "ISO-8859-1";
93 }
94
95
96 static const char* vlc_charset_aliases( const char *psz_name )
97 {
98     VLCCharsetAlias     *a;
99
100 #if defined WIN32
101     VLCCharsetAlias aliases[] = 
102     {
103         { "CP936",      "GBK" },
104         { "CP1361",     "JOHAB" },
105         { "CP20127",    "ASCII" },
106         { "CP20866",    "KOI8-R" },
107         { "CP21866",    "KOI8-RU" },
108         { "CP28591",    "ISO-8859-1" },
109         { "CP28592",    "ISO-8859-2" },
110         { "CP28593",    "ISO-8859-3" },
111         { "CP28594",    "ISO-8859-4" },
112         { "CP28595",    "ISO-8859-5" },
113         { "CP28596",    "ISO-8859-6" },
114         { "CP28597",    "ISO-8859-7" },
115         { "CP28598",    "ISO-8859-8" },
116         { "CP28599",    "ISO-8859-9" },
117         { "CP28605",    "ISO-8859-15" },
118         { NULL,         NULL }
119     };
120 #elif SYS_AIX
121     VLCCharsetAlias aliases[] =
122     {
123         { "IBM-850",    "CP850" },
124         { "IBM-856",    "CP856" },
125         { "IBM-921",    "ISO-8859-13" },
126         { "IBM-922",    "CP922" },
127         { "IBM-932",    "CP932" },
128         { "IBM-943",    "CP943" },
129         { "IBM-1046",   "CP1046" },
130         { "IBM-1124",   "CP1124" },
131         { "IBM-1129",   "CP1129" },
132         { "IBM-1252",   "CP1252" },
133         { "IBM-EUCCN",  "GB2312" },
134         { "IBM-EUCJP",  "EUC-JP" },
135         { "IBM-EUCKR",  "EUC-KR" },
136         { "IBM-EUCTW",  "EUC-TW" },
137         { NULL, NULL }
138     };
139 #elif SYS_HPUX 
140     VLCCharsetAlias aliases[] =
141     {
142         { "ROMAN8",     "HP-ROMAN8" },
143         { "ARABIC8",    "HP-ARABIC8" },
144         { "GREEK8",     "HP-GREEK8" },
145         { "HEBREW8",    "HP-HEBREW8" },
146         { "TURKISH8",   "HP-TURKISH8" },
147         { "KANA8",      "HP-KANA8" },
148         { "HP15CN",     "GB2312" },
149         { NULL, NULL }
150     };
151 #elif SYS_IRIX
152     VLCCharsetAlias aliases[] =
153     {
154         { "EUCCN",      "GB2312" },
155         { NULL, NULL }
156     };
157 #elif SYS_OSF 
158     VLCCharsetAlias aliases[] =
159     {
160         { "KSC5601",    "CP949" },
161         { "SDECKANJI",  "EUC-JP" },
162         { "TACTIS",     "TIS-620" },
163         { NULL, NULL }
164     };
165 #elif SYS_SOLARIS
166     VLCCharsetAlias aliases[] =
167     {
168         { "646",        "ASCII" },
169         { "CNS11643",   "EUC-TW" },
170         { "5601",       "EUC-KR" },
171         { "JOHAP92",    "JOHAB" },
172         { "PCK",        "SHIFT_JIS" },
173         { "2533",       "TIS-620" },
174         { NULL, NULL }
175     };
176 #elif SYS_BSD
177     VLCCharsetAlias aliases[] =
178     {
179         { "646", " ASCII" },
180         { "EUCCN", "GB2312" },
181         { NULL, NULL }
182     };
183 #else
184     VLCCharsetAlias aliases[] = {{NULL, NULL}};
185 #endif
186
187     if( aliases )
188     {
189         for (a = aliases; a->psz_alias; a++)
190             if (strcasecmp (a->psz_alias, psz_name) == 0)
191                 return a->psz_name;
192     }
193     
194     /* we return original name beacuse iconv() probably will know
195      * something better about name if we don't know it :-)
196     */
197     return psz_name;
198 }
199
200 /* Returns charset from "language_COUNTRY.charset@modifier" string */
201 static char* vlc_encoding_from_locale( char *psz_locale )
202 {
203     char *psz_dot = strchr( psz_locale, '.' );
204
205     if( psz_dot != NULL )
206     {
207         const char *psz_modifier;
208         static char buf[2 + 10 + 1];
209
210         psz_dot++;
211         
212         /* Look for the possible @... trailer and remove it, if any.  */
213         psz_modifier = strchr( psz_dot, '@' );
214         
215         if( psz_modifier == NULL )
216             return psz_dot;
217         if( psz_modifier - psz_dot < sizeof( buf ))
218         {
219             memcpy( buf, psz_dot, psz_modifier - psz_dot );
220             buf[ psz_modifier - psz_dot ] = '\0';
221             return buf;
222         }
223     }
224     /* try language mapping */
225     return vlc_encoding_from_language( psz_locale );
226 }
227
228 vlc_bool_t vlc_current_charset( char **psz_charset )
229 {
230     const char *psz_codeset;
231
232 #if !(defined WIN32 || defined OS2)
233
234 # if HAVE_LANGINFO_CODESET
235     /* Most systems support nl_langinfo( CODESET ) nowadays.  */
236     psz_codeset = nl_langinfo( CODESET );
237 # else
238     /* On old systems which lack it, use setlocale or getenv.  */
239     const char *psz_locale = NULL;
240
241     /* But most old systems don't have a complete set of locales.  Some
242      * (like SunOS 4 or DJGPP) have only the C locale.  Therefore we don't
243      * use setlocale here; it would return "C" when it doesn't support the
244      * locale name the user has set. Darwin's setlocale is broken.
245      */
246 #  if HAVE_SETLOCALE && !SYS_DARWIN
247     psz_locale = setlocale( LC_ALL, NULL );
248 #  endif
249     if( psz_locale == NULL || psz_locale[0] == '\0' )
250     {
251         psz_locale = getenv( "LC_ALL" );
252         if( psz_locale == NULL || psz_locale[0] == '\0' )
253         {
254             psz_locale = getenv( "LC_CTYPE" );
255             if( psz_locale == NULL || psz_locale[0] == '\0')
256                 psz_locale = getenv( "LANG" );
257         }
258     }
259
260     /* On some old systems, one used to set locale = "iso8859_1". On others,
261      * you set it to "language_COUNTRY.charset". Darwin only has LANG :(
262      */
263     psz_codeset = vlc_encoding_from_locale( psz_locale );
264 # endif /* HAVE_LANGINFO_CODESET */
265
266 #elif defined WIN32
267
268     static char buf[2 + 10 + 1];
269
270     /* Woe32 has a function returning the locale's codepage as a number.  */
271     sprintf( buf, "CP%u", GetACP() );
272     psz_codeset = buf;
273
274 #elif defined OS2
275
276     const char *psz_locale;
277     static char buf[2 + 10 + 1];
278     ULONG cp[3];
279     ULONG cplen;
280
281     /* Allow user to override the codeset, as set in the operating system,
282      * with standard language environment variables.
283      */
284     psz_locale = getenv( "LC_ALL" );
285     if( psz_locale == NULL || psz_locale[0] == '\0' )
286     {
287         psz+locale = getenv( "LC_CTYPE" );
288         if( psz_locale == NULL || locale[0] == '\0' )
289             locale = getenv( "LANG" );
290     }
291     if( psz_locale != NULL && psz_locale[0] != '\0' )
292         psz_codeset = vlc_encoding_from_locale( psz_locale );
293     else
294     {
295         /* OS/2 has a function returning the locale's codepage as a number.  */
296         if( DosQueryCp( sizeof( cp ), cp, &cplen ) )
297             psz_codeset = "";
298         else
299         {
300             sprintf( buf, "CP%u", cp[0] );
301             psz_codeset = buf;
302         }
303     }
304 #endif
305     if( psz_codeset == NULL )
306         /* The canonical name cannot be determined.  */
307         psz_codeset = "";
308     else
309         psz_codeset = vlc_charset_aliases( psz_codeset );
310     
311     /* Don't return an empty string.  GNU libc and GNU libiconv interpret
312      * the empty string as denoting "the locale's character encoding",
313      * thus GNU libiconv would call this function a second time.  
314      */
315     if( psz_codeset[0] == '\0' )
316     {
317         /*
318          * Last possibility is 'CHARSET' enviroment variable
319          */
320         if( !( psz_codeset = getenv( "CHARSET" ) ) )
321             psz_codeset = "ISO-8859-1";
322     }
323     
324     if( psz_charset )
325         *psz_charset = (char *)psz_codeset;
326
327     if (strcasecmp(psz_codeset, "UTF8")==0 || strcasecmp(psz_codeset, "UTF-8")==0)
328         return TRUE;
329     
330     return FALSE;
331 }
332