avcodec/ffv1dec_template: Check for the end of input after 1024 pixels
[ffmpeg.git] / libavcodec / ffv1dec_template.c
1 /*
2  * FFV1 decoder template
3  *
4  * Copyright (c) 2003-2016 Michael Niedermayer <michaelni@gmx.at>
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 static av_always_inline int RENAME(decode_line)(FFV1Context *s, int w,
24                                                  TYPE *sample[2],
25                                                  int plane_index, int bits)
26 {
27     PlaneContext *const p = &s->plane[plane_index];
28     RangeCoder *const c   = &s->c;
29     int x;
30     int run_count = 0;
31     int run_mode  = 0;
32     int run_index = s->run_index;
33
34     if (is_input_end(s))
35         return AVERROR_INVALIDDATA;
36
37     if (s->slice_coding_mode == 1) {
38         int i;
39         for (x = 0; x < w; x++) {
40             int v = 0;
41             for (i=0; i<bits; i++) {
42                 uint8_t state = 128;
43                 v += v + get_rac(c, &state);
44             }
45             sample[1][x] = v;
46         }
47         return 0;
48     }
49
50     for (x = 0; x < w; x++) {
51         int diff, context, sign;
52
53         if (!(x & 1023)) {
54             if (is_input_end(s))
55                 return AVERROR_INVALIDDATA;
56         }
57
58         context = RENAME(get_context)(p, sample[1] + x, sample[0] + x, sample[1] + x);
59         if (context < 0) {
60             context = -context;
61             sign    = 1;
62         } else
63             sign = 0;
64
65         av_assert2(context < p->context_count);
66
67         if (s->ac != AC_GOLOMB_RICE) {
68             diff = get_symbol_inline(c, p->state[context], 1);
69         } else {
70             if (context == 0 && run_mode == 0)
71                 run_mode = 1;
72
73             if (run_mode) {
74                 if (run_count == 0 && run_mode == 1) {
75                     if (get_bits1(&s->gb)) {
76                         run_count = 1 << ff_log2_run[run_index];
77                         if (x + run_count <= w)
78                             run_index++;
79                     } else {
80                         if (ff_log2_run[run_index])
81                             run_count = get_bits(&s->gb, ff_log2_run[run_index]);
82                         else
83                             run_count = 0;
84                         if (run_index)
85                             run_index--;
86                         run_mode = 2;
87                     }
88                 }
89                 run_count--;
90                 if (run_count < 0) {
91                     run_mode  = 0;
92                     run_count = 0;
93                     diff      = get_vlc_symbol(&s->gb, &p->vlc_state[context],
94                                                bits);
95                     if (diff >= 0)
96                         diff++;
97                 } else
98                     diff = 0;
99             } else
100                 diff = get_vlc_symbol(&s->gb, &p->vlc_state[context], bits);
101
102             ff_dlog(s->avctx, "count:%d index:%d, mode:%d, x:%d pos:%d\n",
103                     run_count, run_index, run_mode, x, get_bits_count(&s->gb));
104         }
105
106         if (sign)
107             diff = -(unsigned)diff;
108
109         sample[1][x] = av_mod_uintp2(RENAME(predict)(sample[1] + x, sample[0] + x) + (SUINT)diff, bits);
110     }
111     s->run_index = run_index;
112     return 0;
113 }
114
115 static int RENAME(decode_rgb_frame)(FFV1Context *s, uint8_t *src[4], int w, int h, int stride[4])
116 {
117     int x, y, p;
118     TYPE *sample[4][2];
119     int lbd    = s->avctx->bits_per_raw_sample <= 8;
120     int bits   = s->avctx->bits_per_raw_sample > 0 ? s->avctx->bits_per_raw_sample : 8;
121     int offset = 1 << bits;
122     int transparency = s->transparency;
123
124     for (x = 0; x < 4; x++) {
125         sample[x][0] = RENAME(s->sample_buffer) +  x * 2      * (w + 6) + 3;
126         sample[x][1] = RENAME(s->sample_buffer) + (x * 2 + 1) * (w + 6) + 3;
127     }
128
129     s->run_index = 0;
130
131     memset(RENAME(s->sample_buffer), 0, 8 * (w + 6) * sizeof(*RENAME(s->sample_buffer)));
132
133     for (y = 0; y < h; y++) {
134         for (p = 0; p < 3 + transparency; p++) {
135             int ret;
136             TYPE *temp = sample[p][0]; // FIXME: try a normal buffer
137
138             sample[p][0] = sample[p][1];
139             sample[p][1] = temp;
140
141             sample[p][1][-1]= sample[p][0][0  ];
142             sample[p][0][ w]= sample[p][0][w-1];
143             if (lbd && s->slice_coding_mode == 0)
144                 ret = RENAME(decode_line)(s, w, sample[p], (p + 1)/2, 9);
145             else
146                 ret = RENAME(decode_line)(s, w, sample[p], (p + 1)/2, bits + (s->slice_coding_mode != 1));
147             if (ret < 0)
148                 return ret;
149         }
150         for (x = 0; x < w; x++) {
151             int g = sample[0][1][x];
152             int b = sample[1][1][x];
153             int r = sample[2][1][x];
154             int a = sample[3][1][x];
155
156             if (s->slice_coding_mode != 1) {
157                 b -= offset;
158                 r -= offset;
159                 g -= (b * s->slice_rct_by_coef + r * s->slice_rct_ry_coef) >> 2;
160                 b += g;
161                 r += g;
162             }
163
164             if (lbd)
165                 *((uint32_t*)(src[0] + x*4 + stride[0]*y)) = b + ((unsigned)g<<8) + ((unsigned)r<<16) + ((unsigned)a<<24);
166             else if (sizeof(TYPE) == 4 || transparency) {
167                 *((uint16_t*)(src[0] + x*2 + stride[0]*y)) = g;
168                 *((uint16_t*)(src[1] + x*2 + stride[1]*y)) = b;
169                 *((uint16_t*)(src[2] + x*2 + stride[2]*y)) = r;
170                 if (transparency)
171                     *((uint16_t*)(src[3] + x*2 + stride[3]*y)) = a;
172             } else {
173                 *((uint16_t*)(src[0] + x*2 + stride[0]*y)) = b;
174                 *((uint16_t*)(src[1] + x*2 + stride[1]*y)) = g;
175                 *((uint16_t*)(src[2] + x*2 + stride[2]*y)) = r;
176             }
177         }
178     }
179     return 0;
180 }