avcodec/loco: Check left column value
[ffmpeg.git] / libavcodec / loco.c
1 /*
2  * LOCO codec
3  * Copyright (c) 2005 Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * LOCO codec.
25  */
26
27 #include "avcodec.h"
28 #include "get_bits.h"
29 #include "golomb.h"
30 #include "internal.h"
31 #include "mathops.h"
32
33 enum LOCO_MODE {
34     LOCO_UNKN  =  0,
35     LOCO_CYUY2 = -1,
36     LOCO_CRGB  = -2,
37     LOCO_CRGBA = -3,
38     LOCO_CYV12 = -4,
39     LOCO_YUY2  =  1,
40     LOCO_UYVY  =  2,
41     LOCO_RGB   =  3,
42     LOCO_RGBA  =  4,
43     LOCO_YV12  =  5,
44 };
45
46 typedef struct LOCOContext {
47     AVCodecContext *avctx;
48     int lossy;
49     enum LOCO_MODE mode;
50 } LOCOContext;
51
52 typedef struct RICEContext {
53     GetBitContext gb;
54     int save, run, run2; /* internal rice decoder state */
55     int sum, count; /* sum and count for getting rice parameter */
56     int lossy;
57 } RICEContext;
58
59 static int loco_get_rice_param(RICEContext *r)
60 {
61     int cnt = 0;
62     int val = r->count;
63
64     while (r->sum > val && cnt < 9) {
65         val <<= 1;
66         cnt++;
67     }
68
69     return cnt;
70 }
71
72 static inline void loco_update_rice_param(RICEContext *r, int val)
73 {
74     r->sum += val;
75     r->count++;
76
77     if (r->count == 16) {
78         r->sum   >>= 1;
79         r->count >>= 1;
80     }
81 }
82
83 static inline int loco_get_rice(RICEContext *r)
84 {
85     int v;
86     if (r->run > 0) { /* we have zero run */
87         r->run--;
88         loco_update_rice_param(r, 0);
89         return 0;
90     }
91     if (get_bits_left(&r->gb) < 1)
92         return INT_MIN;
93     v = get_ur_golomb_jpegls(&r->gb, loco_get_rice_param(r), INT_MAX, 0);
94     loco_update_rice_param(r, (v + 1) >> 1);
95     if (!v) {
96         if (r->save >= 0) {
97             r->run = get_ur_golomb_jpegls(&r->gb, 2, INT_MAX, 0);
98             if (r->run > 1)
99                 r->save += r->run + 1;
100             else
101                 r->save -= 3;
102         } else
103             r->run2++;
104     } else {
105         v = ((v >> 1) + r->lossy) ^ -(v & 1);
106         if (r->run2 > 0) {
107             if (r->run2 > 2)
108                 r->save += r->run2;
109             else
110                 r->save -= 3;
111             r->run2 = 0;
112         }
113     }
114
115     return v;
116 }
117
118 /* LOCO main predictor - LOCO-I/JPEG-LS predictor */
119 static inline int loco_predict(uint8_t* data, int stride)
120 {
121     int a, b, c;
122
123     a = data[-stride];
124     b = data[-1];
125     c = data[-stride - 1];
126
127     return mid_pred(a, a + b - c, b);
128 }
129
130 static int loco_decode_plane(LOCOContext *l, uint8_t *data, int width, int height,
131                              int stride, const uint8_t *buf, int buf_size)
132 {
133     RICEContext rc;
134     int val;
135     int ret;
136     int i, j;
137
138     if(buf_size<=0)
139         return -1;
140
141     if ((ret = init_get_bits8(&rc.gb, buf, buf_size)) < 0)
142         return ret;
143
144     rc.save  = 0;
145     rc.run   = 0;
146     rc.run2  = 0;
147     rc.lossy = l->lossy;
148
149     rc.sum   = 8;
150     rc.count = 1;
151
152     /* restore top left pixel */
153     val     = loco_get_rice(&rc);
154     data[0] = 128 + val;
155     /* restore top line */
156     for (i = 1; i < width; i++) {
157         val = loco_get_rice(&rc);
158         data[i] = data[i - 1] + val;
159     }
160     data += stride;
161     for (j = 1; j < height; j++) {
162         /* restore left column */
163         val = loco_get_rice(&rc);
164         if (val == INT_MIN)
165            return AVERROR_INVALIDDATA;
166         data[0] = data[-stride] + val;
167         /* restore all other pixels */
168         for (i = 1; i < width; i++) {
169             val = loco_get_rice(&rc);
170             if (val == INT_MIN)
171                 return -1;
172             data[i] = loco_predict(&data[i], stride) + val;
173         }
174         data += stride;
175     }
176
177     return (get_bits_count(&rc.gb) + 7) >> 3;
178 }
179
180 static void rotate_faulty_loco(uint8_t *data, int width, int height, int stride)
181 {
182     int y;
183
184     for (y=1; y<height; y++) {
185         if (width>=y) {
186             memmove(data + y*stride,
187                     data + y*(stride + 1),
188                     (width-y));
189             if (y+1 < height)
190                 memmove(data + y*stride + (width-y),
191                         data + (y+1)*stride, y);
192         }
193     }
194 }
195
196 static int decode_frame(AVCodecContext *avctx,
197                         void *data, int *got_frame,
198                         AVPacket *avpkt)
199 {
200     LOCOContext * const l = avctx->priv_data;
201     const uint8_t *buf    = avpkt->data;
202     int buf_size          = avpkt->size;
203     AVFrame * const p     = data;
204     int decoded, ret;
205
206     if ((ret = ff_get_buffer(avctx, p, 0)) < 0)
207         return ret;
208     p->key_frame = 1;
209
210 #define ADVANCE_BY_DECODED do { \
211     if (decoded < 0 || decoded >= buf_size) goto buf_too_small; \
212     buf += decoded; buf_size -= decoded; \
213 } while(0)
214     switch(l->mode) {
215     case LOCO_CYUY2: case LOCO_YUY2: case LOCO_UYVY:
216         decoded = loco_decode_plane(l, p->data[0], avctx->width, avctx->height,
217                                     p->linesize[0], buf, buf_size);
218         ADVANCE_BY_DECODED;
219         decoded = loco_decode_plane(l, p->data[1], avctx->width / 2, avctx->height,
220                                     p->linesize[1], buf, buf_size);
221         ADVANCE_BY_DECODED;
222         decoded = loco_decode_plane(l, p->data[2], avctx->width / 2, avctx->height,
223                                     p->linesize[2], buf, buf_size);
224         break;
225     case LOCO_CYV12: case LOCO_YV12:
226         decoded = loco_decode_plane(l, p->data[0], avctx->width, avctx->height,
227                                     p->linesize[0], buf, buf_size);
228         ADVANCE_BY_DECODED;
229         decoded = loco_decode_plane(l, p->data[2], avctx->width / 2, avctx->height / 2,
230                                     p->linesize[2], buf, buf_size);
231         ADVANCE_BY_DECODED;
232         decoded = loco_decode_plane(l, p->data[1], avctx->width / 2, avctx->height / 2,
233                                     p->linesize[1], buf, buf_size);
234         break;
235     case LOCO_CRGB: case LOCO_RGB:
236         decoded = loco_decode_plane(l, p->data[1] + p->linesize[1]*(avctx->height-1), avctx->width, avctx->height,
237                                     -p->linesize[1], buf, buf_size);
238         ADVANCE_BY_DECODED;
239         decoded = loco_decode_plane(l, p->data[0] + p->linesize[0]*(avctx->height-1), avctx->width, avctx->height,
240                                     -p->linesize[0], buf, buf_size);
241         ADVANCE_BY_DECODED;
242         decoded = loco_decode_plane(l, p->data[2] + p->linesize[2]*(avctx->height-1), avctx->width, avctx->height,
243                                     -p->linesize[2], buf, buf_size);
244         if (avctx->width & 1) {
245             rotate_faulty_loco(p->data[0] + p->linesize[0]*(avctx->height-1), avctx->width, avctx->height, -p->linesize[0]);
246             rotate_faulty_loco(p->data[1] + p->linesize[1]*(avctx->height-1), avctx->width, avctx->height, -p->linesize[1]);
247             rotate_faulty_loco(p->data[2] + p->linesize[2]*(avctx->height-1), avctx->width, avctx->height, -p->linesize[2]);
248         }
249         break;
250     case LOCO_CRGBA:
251     case LOCO_RGBA:
252         decoded = loco_decode_plane(l, p->data[1] + p->linesize[1]*(avctx->height-1), avctx->width, avctx->height,
253                                     -p->linesize[1], buf, buf_size);
254         ADVANCE_BY_DECODED;
255         decoded = loco_decode_plane(l, p->data[0] + p->linesize[0]*(avctx->height-1), avctx->width, avctx->height,
256                                     -p->linesize[0], buf, buf_size);
257         ADVANCE_BY_DECODED;
258         decoded = loco_decode_plane(l, p->data[2] + p->linesize[2]*(avctx->height-1), avctx->width, avctx->height,
259                                     -p->linesize[2], buf, buf_size);
260         ADVANCE_BY_DECODED;
261         decoded = loco_decode_plane(l, p->data[3] + p->linesize[3]*(avctx->height-1), avctx->width, avctx->height,
262                                     -p->linesize[3], buf, buf_size);
263         break;
264     default:
265         av_assert0(0);
266     }
267
268     if (decoded < 0 || decoded > buf_size)
269         goto buf_too_small;
270     buf_size -= decoded;
271
272     *got_frame      = 1;
273
274     return avpkt->size - buf_size;
275 buf_too_small:
276     av_log(avctx, AV_LOG_ERROR, "Input data too small.\n");
277     return AVERROR(EINVAL);
278 }
279
280 static av_cold int decode_init(AVCodecContext *avctx)
281 {
282     LOCOContext * const l = avctx->priv_data;
283     int version;
284
285     l->avctx = avctx;
286     if (avctx->extradata_size < 12) {
287         av_log(avctx, AV_LOG_ERROR, "Extradata size must be >= 12 instead of %i\n",
288                avctx->extradata_size);
289         return AVERROR_INVALIDDATA;
290     }
291     version = AV_RL32(avctx->extradata);
292     switch (version) {
293     case 1:
294         l->lossy = 0;
295         break;
296     case 2:
297         l->lossy = AV_RL32(avctx->extradata + 8);
298         break;
299     default:
300         l->lossy = AV_RL32(avctx->extradata + 8);
301         avpriv_request_sample(avctx, "LOCO codec version %i", version);
302     }
303
304     if (l->lossy > 65536U) {
305         av_log(avctx, AV_LOG_ERROR, "lossy %i is too large\n", l->lossy);
306         return AVERROR_INVALIDDATA;
307     }
308
309     l->mode = AV_RL32(avctx->extradata + 4);
310     switch (l->mode) {
311     case LOCO_CYUY2:
312     case LOCO_YUY2:
313     case LOCO_UYVY:
314         avctx->pix_fmt = AV_PIX_FMT_YUV422P;
315         break;
316     case LOCO_CRGB:
317     case LOCO_RGB:
318         avctx->pix_fmt = AV_PIX_FMT_GBRP;
319         break;
320     case LOCO_CYV12:
321     case LOCO_YV12:
322         avctx->pix_fmt = AV_PIX_FMT_YUV420P;
323         break;
324     case LOCO_CRGBA:
325     case LOCO_RGBA:
326         avctx->pix_fmt = AV_PIX_FMT_GBRAP;
327         break;
328     default:
329         av_log(avctx, AV_LOG_INFO, "Unknown colorspace, index = %i\n", l->mode);
330         return AVERROR_INVALIDDATA;
331     }
332     if (avctx->debug & FF_DEBUG_PICT_INFO)
333         av_log(avctx, AV_LOG_INFO, "lossy:%i, version:%i, mode: %i\n", l->lossy, version, l->mode);
334
335     return 0;
336 }
337
338 AVCodec ff_loco_decoder = {
339     .name           = "loco",
340     .long_name      = NULL_IF_CONFIG_SMALL("LOCO"),
341     .type           = AVMEDIA_TYPE_VIDEO,
342     .id             = AV_CODEC_ID_LOCO,
343     .priv_data_size = sizeof(LOCOContext),
344     .init           = decode_init,
345     .decode         = decode_frame,
346     .capabilities   = AV_CODEC_CAP_DR1,
347 };