indeo3: ensure that decoded cell data is in 7-bit range as presumed by decoder
[ffmpeg.git] / libavcodec / pnm.c
1 /*
2  * PNM image format
3  * Copyright (c) 2002, 2003 Fabrice Bellard
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/imgutils.h"
23 #include "avcodec.h"
24 #include "pnm.h"
25
26 static inline int pnm_space(int c)
27 {
28     return c == ' ' || c == '\n' || c == '\r' || c == '\t';
29 }
30
31 static void pnm_get(PNMContext *sc, char *str, int buf_size)
32 {
33     char *s;
34     int c;
35
36     /* skip spaces and comments */
37     for (;;) {
38         c = *sc->bytestream++;
39         if (c == '#')  {
40             do {
41                 c = *sc->bytestream++;
42             } while (c != '\n' && sc->bytestream < sc->bytestream_end);
43         } else if (!pnm_space(c)) {
44             break;
45         }
46     }
47
48     s = str;
49     while (sc->bytestream < sc->bytestream_end && !pnm_space(c)) {
50         if ((s - str)  < buf_size - 1)
51             *s++ = c;
52         c = *sc->bytestream++;
53     }
54     *s = '\0';
55 }
56
57 int ff_pnm_decode_header(AVCodecContext *avctx, PNMContext * const s)
58 {
59     char buf1[32], tuple_type[32];
60     int h, w, depth, maxval;
61
62     pnm_get(s, buf1, sizeof(buf1));
63     s->type= buf1[1]-'0';
64     if(buf1[0] != 'P')
65         return -1;
66
67     if (s->type==1 || s->type==4) {
68         avctx->pix_fmt = PIX_FMT_MONOWHITE;
69     } else if (s->type==2 || s->type==5) {
70         if (avctx->codec_id == CODEC_ID_PGMYUV)
71             avctx->pix_fmt = PIX_FMT_YUV420P;
72         else
73             avctx->pix_fmt = PIX_FMT_GRAY8;
74     } else if (s->type==3 || s->type==6) {
75         avctx->pix_fmt = PIX_FMT_RGB24;
76     } else if (s->type==7) {
77         w      = -1;
78         h      = -1;
79         maxval = -1;
80         depth  = -1;
81         tuple_type[0] = '\0';
82         for (;;) {
83             pnm_get(s, buf1, sizeof(buf1));
84             if (!strcmp(buf1, "WIDTH")) {
85                 pnm_get(s, buf1, sizeof(buf1));
86                 w = strtol(buf1, NULL, 10);
87             } else if (!strcmp(buf1, "HEIGHT")) {
88                 pnm_get(s, buf1, sizeof(buf1));
89                 h = strtol(buf1, NULL, 10);
90             } else if (!strcmp(buf1, "DEPTH")) {
91                 pnm_get(s, buf1, sizeof(buf1));
92                 depth = strtol(buf1, NULL, 10);
93             } else if (!strcmp(buf1, "MAXVAL")) {
94                 pnm_get(s, buf1, sizeof(buf1));
95                 maxval = strtol(buf1, NULL, 10);
96             } else if (!strcmp(buf1, "TUPLTYPE") ||
97                        /* libavcodec used to write invalid files */
98                        !strcmp(buf1, "TUPLETYPE")) {
99                 pnm_get(s, tuple_type, sizeof(tuple_type));
100             } else if (!strcmp(buf1, "ENDHDR")) {
101                 break;
102             } else {
103                 return -1;
104             }
105         }
106         /* check that all tags are present */
107         if (w <= 0 || h <= 0 || maxval <= 0 || depth <= 0 || tuple_type[0] == '\0' || av_image_check_size(w, h, 0, avctx))
108             return -1;
109
110         avctx->width  = w;
111         avctx->height = h;
112         if (depth == 1) {
113             if (maxval == 1)
114                 avctx->pix_fmt = PIX_FMT_MONOWHITE;
115             else
116                 avctx->pix_fmt = PIX_FMT_GRAY8;
117         } else if (depth == 3) {
118             if (maxval < 256) {
119             avctx->pix_fmt = PIX_FMT_RGB24;
120             } else {
121                 av_log(avctx, AV_LOG_ERROR, "16-bit components are only supported for grayscale\n");
122                 avctx->pix_fmt = PIX_FMT_NONE;
123                 return -1;
124             }
125         } else if (depth == 4) {
126             avctx->pix_fmt = PIX_FMT_RGB32;
127         } else {
128             return -1;
129         }
130         return 0;
131     } else {
132         return -1;
133     }
134     pnm_get(s, buf1, sizeof(buf1));
135     avctx->width = atoi(buf1);
136     if (avctx->width <= 0)
137         return -1;
138     pnm_get(s, buf1, sizeof(buf1));
139     avctx->height = atoi(buf1);
140     if(av_image_check_size(avctx->width, avctx->height, 0, avctx))
141         return -1;
142     if (avctx->pix_fmt != PIX_FMT_MONOWHITE) {
143         pnm_get(s, buf1, sizeof(buf1));
144         s->maxval = atoi(buf1);
145         if (s->maxval <= 0) {
146             av_log(avctx, AV_LOG_ERROR, "Invalid maxval: %d\n", s->maxval);
147             s->maxval = 255;
148         }
149         if (s->maxval >= 256) {
150             if (avctx->pix_fmt == PIX_FMT_GRAY8) {
151                 avctx->pix_fmt = PIX_FMT_GRAY16BE;
152                 if (s->maxval != 65535)
153                     avctx->pix_fmt = PIX_FMT_GRAY16;
154             } else if (avctx->pix_fmt == PIX_FMT_RGB24) {
155                 if (s->maxval > 255)
156                     avctx->pix_fmt = PIX_FMT_RGB48BE;
157             } else {
158                 av_log(avctx, AV_LOG_ERROR, "Unsupported pixel format\n");
159                 avctx->pix_fmt = PIX_FMT_NONE;
160                 return -1;
161             }
162         }
163     }else
164         s->maxval=1;
165     /* more check if YUV420 */
166     if (avctx->pix_fmt == PIX_FMT_YUV420P) {
167         if ((avctx->width & 1) != 0)
168             return -1;
169         h = (avctx->height * 2);
170         if ((h % 3) != 0)
171             return -1;
172         h /= 3;
173         avctx->height = h;
174     }
175     return 0;
176 }
177
178 av_cold int ff_pnm_end(AVCodecContext *avctx)
179 {
180     PNMContext *s = avctx->priv_data;
181
182     if (s->picture.data[0])
183         avctx->release_buffer(avctx, &s->picture);
184
185     return 0;
186 }
187
188 av_cold int ff_pnm_init(AVCodecContext *avctx)
189 {
190     PNMContext *s = avctx->priv_data;
191
192     avcodec_get_frame_defaults(&s->picture);
193     avctx->coded_frame = &s->picture;
194
195     return 0;
196 }