speedhq: fix decoding artifacts
[ffmpeg.git] / libavcodec / pnm.c
1 /*
2  * PNM image format
3  * Copyright (c) 2002, 2003 Fabrice Bellard
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include <stdlib.h>
23 #include <string.h>
24
25 #include "libavutil/imgutils.h"
26 #include "avcodec.h"
27 #include "pnm.h"
28
29 static inline int pnm_space(int c)
30 {
31     return c == ' ' || c == '\n' || c == '\r' || c == '\t';
32 }
33
34 static void pnm_get(PNMContext *sc, char *str, int buf_size)
35 {
36     char *s;
37     int c;
38
39     /* skip spaces and comments */
40     while (sc->bytestream < sc->bytestream_end) {
41         c = *sc->bytestream++;
42         if (c == '#')  {
43             while (c != '\n' && sc->bytestream < sc->bytestream_end) {
44                 c = *sc->bytestream++;
45             }
46         } else if (!pnm_space(c)) {
47             break;
48         }
49     }
50
51     s = str;
52     while (sc->bytestream < sc->bytestream_end && !pnm_space(c)) {
53         if ((s - str)  < buf_size - 1)
54             *s++ = c;
55         c = *sc->bytestream++;
56     }
57     *s = '\0';
58 }
59
60 int ff_pnm_decode_header(AVCodecContext *avctx, PNMContext * const s)
61 {
62     char buf1[32], tuple_type[32];
63     int h, w, depth, maxval;
64
65     pnm_get(s, buf1, sizeof(buf1));
66     if(buf1[0] != 'P')
67         return AVERROR_INVALIDDATA;
68     s->type= buf1[1]-'0';
69
70     if (s->type==1 || s->type==4) {
71         avctx->pix_fmt = AV_PIX_FMT_MONOWHITE;
72     } else if (s->type==2 || s->type==5) {
73         if (avctx->codec_id == AV_CODEC_ID_PGMYUV)
74             avctx->pix_fmt = AV_PIX_FMT_YUV420P;
75         else
76             avctx->pix_fmt = AV_PIX_FMT_GRAY8;
77     } else if (s->type==3 || s->type==6) {
78         avctx->pix_fmt = AV_PIX_FMT_RGB24;
79     } else if (s->type==7) {
80         w      = -1;
81         h      = -1;
82         maxval = -1;
83         depth  = -1;
84         tuple_type[0] = '\0';
85         for (;;) {
86             pnm_get(s, buf1, sizeof(buf1));
87             if (!strcmp(buf1, "WIDTH")) {
88                 pnm_get(s, buf1, sizeof(buf1));
89                 w = strtol(buf1, NULL, 10);
90             } else if (!strcmp(buf1, "HEIGHT")) {
91                 pnm_get(s, buf1, sizeof(buf1));
92                 h = strtol(buf1, NULL, 10);
93             } else if (!strcmp(buf1, "DEPTH")) {
94                 pnm_get(s, buf1, sizeof(buf1));
95                 depth = strtol(buf1, NULL, 10);
96             } else if (!strcmp(buf1, "MAXVAL")) {
97                 pnm_get(s, buf1, sizeof(buf1));
98                 maxval = strtol(buf1, NULL, 10);
99             } else if (!strcmp(buf1, "TUPLTYPE") ||
100                        /* libavcodec used to write invalid files */
101                        !strcmp(buf1, "TUPLETYPE")) {
102                 pnm_get(s, tuple_type, sizeof(tuple_type));
103             } else if (!strcmp(buf1, "ENDHDR")) {
104                 break;
105             } else {
106                 return AVERROR_INVALIDDATA;
107             }
108         }
109         /* check that all tags are present */
110         if (w <= 0 || h <= 0 || maxval <= 0 || maxval > UINT16_MAX || depth <= 0 || tuple_type[0] == '\0' ||
111             av_image_check_size(w, h, 0, avctx) || s->bytestream >= s->bytestream_end)
112             return AVERROR_INVALIDDATA;
113
114         avctx->width  = w;
115         avctx->height = h;
116         s->maxval     = maxval;
117         if (depth == 1) {
118             if (maxval == 1) {
119                 avctx->pix_fmt = AV_PIX_FMT_MONOBLACK;
120             } else if (maxval < 256) {
121                 avctx->pix_fmt = AV_PIX_FMT_GRAY8;
122             } else {
123                 avctx->pix_fmt = AV_PIX_FMT_GRAY16;
124             }
125         } else if (depth == 2) {
126             if (maxval < 256) {
127                 avctx->pix_fmt = AV_PIX_FMT_GRAY8A;
128             } else {
129                 avctx->pix_fmt = AV_PIX_FMT_YA16;
130             }
131         } else if (depth == 3) {
132             if (maxval < 256) {
133                 avctx->pix_fmt = AV_PIX_FMT_RGB24;
134             } else {
135                 avctx->pix_fmt = AV_PIX_FMT_RGB48;
136             }
137         } else if (depth == 4) {
138             if (maxval < 256) {
139                 avctx->pix_fmt = AV_PIX_FMT_RGBA;
140             } else {
141                 avctx->pix_fmt = AV_PIX_FMT_RGBA64;
142             }
143         } else {
144             return AVERROR_INVALIDDATA;
145         }
146         return 0;
147     } else {
148         return AVERROR_INVALIDDATA;
149     }
150     pnm_get(s, buf1, sizeof(buf1));
151     w = atoi(buf1);
152     pnm_get(s, buf1, sizeof(buf1));
153     h = atoi(buf1);
154     if(w <= 0 || h <= 0 || av_image_check_size(w, h, 0, avctx) || s->bytestream >= s->bytestream_end)
155         return AVERROR_INVALIDDATA;
156
157     avctx->width  = w;
158     avctx->height = h;
159
160     if (avctx->pix_fmt != AV_PIX_FMT_MONOWHITE && avctx->pix_fmt != AV_PIX_FMT_MONOBLACK) {
161         pnm_get(s, buf1, sizeof(buf1));
162         s->maxval = atoi(buf1);
163         if (s->maxval <= 0 || s->maxval > UINT16_MAX) {
164             av_log(avctx, AV_LOG_ERROR, "Invalid maxval: %d\n", s->maxval);
165             s->maxval = 255;
166         }
167         if (s->maxval >= 256) {
168             if (avctx->pix_fmt == AV_PIX_FMT_GRAY8) {
169                 avctx->pix_fmt = AV_PIX_FMT_GRAY16;
170             } else if (avctx->pix_fmt == AV_PIX_FMT_RGB24) {
171                 avctx->pix_fmt = AV_PIX_FMT_RGB48;
172             } else if (avctx->pix_fmt == AV_PIX_FMT_YUV420P && s->maxval < 65536) {
173                 if (s->maxval < 512)
174                     avctx->pix_fmt = AV_PIX_FMT_YUV420P9;
175                 else if (s->maxval < 1024)
176                     avctx->pix_fmt = AV_PIX_FMT_YUV420P10;
177                 else
178                     avctx->pix_fmt = AV_PIX_FMT_YUV420P16;
179             } else {
180                 av_log(avctx, AV_LOG_ERROR, "Unsupported pixel format\n");
181                 avctx->pix_fmt = AV_PIX_FMT_NONE;
182                 return AVERROR_INVALIDDATA;
183             }
184         }
185     }else
186         s->maxval=1;
187     /* more check if YUV420 */
188     if (av_pix_fmt_desc_get(avctx->pix_fmt)->flags & AV_PIX_FMT_FLAG_PLANAR) {
189         if ((avctx->width & 1) != 0)
190             return AVERROR_INVALIDDATA;
191         h = (avctx->height * 2);
192         if ((h % 3) != 0)
193             return AVERROR_INVALIDDATA;
194         h /= 3;
195         avctx->height = h;
196     }
197     return 0;
198 }