dnxhd: 10-bit support
[ffmpeg.git] / libavcodec / dnxhddec.c
1 /*
2  * VC3/DNxHD decoder.
3  * Copyright (c) 2007 SmartJog S.A., Baptiste Coudurier <baptiste dot coudurier at smartjog dot com>
4  * Copyright (c) 2011 MirriAd Ltd
5  *
6  * 10 bit support added by MirriAd Ltd, Joseph Artsimovich <joseph@mirriad.com>
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 //#define TRACE
26 //#define DEBUG
27
28 #include "libavutil/imgutils.h"
29 #include "avcodec.h"
30 #include "get_bits.h"
31 #include "dnxhddata.h"
32 #include "dsputil.h"
33
34 typedef struct {
35     AVCodecContext *avctx;
36     AVFrame picture;
37     GetBitContext gb;
38     int cid;                            ///< compression id
39     unsigned int width, height;
40     unsigned int mb_width, mb_height;
41     uint32_t mb_scan_index[68];         /* max for 1080p */
42     int cur_field;                      ///< current interlaced field
43     VLC ac_vlc, dc_vlc, run_vlc;
44     int last_dc[3];
45     DSPContext dsp;
46     DECLARE_ALIGNED(16, DCTELEM, blocks)[8][64];
47     ScanTable scantable;
48     const CIDEntry *cid_table;
49     int bit_depth; // 8, 10 or 0 if not initialized at all.
50 } DNXHDContext;
51
52 #define DNXHD_VLC_BITS 9
53 #define DNXHD_DC_VLC_BITS 7
54
55 static av_cold int dnxhd_decode_init(AVCodecContext *avctx)
56 {
57     DNXHDContext *ctx = avctx->priv_data;
58
59     ctx->avctx = avctx;
60     avctx->coded_frame = &ctx->picture;
61     ctx->picture.type = AV_PICTURE_TYPE_I;
62     ctx->picture.key_frame = 1;
63     return 0;
64 }
65
66 static int dnxhd_init_vlc(DNXHDContext *ctx, int cid)
67 {
68     if (!ctx->cid_table) {
69         int index;
70
71         if ((index = ff_dnxhd_get_cid_table(cid)) < 0) {
72             av_log(ctx->avctx, AV_LOG_ERROR, "unsupported cid %d\n", cid);
73             return -1;
74         }
75         ctx->cid_table = &ff_dnxhd_cid_table[index];
76         init_vlc(&ctx->ac_vlc, DNXHD_VLC_BITS, 257,
77                  ctx->cid_table->ac_bits, 1, 1,
78                  ctx->cid_table->ac_codes, 2, 2, 0);
79         init_vlc(&ctx->dc_vlc, DNXHD_DC_VLC_BITS, ctx->bit_depth + 4,
80                  ctx->cid_table->dc_bits, 1, 1,
81                  ctx->cid_table->dc_codes, 1, 1, 0);
82         init_vlc(&ctx->run_vlc, DNXHD_VLC_BITS, 62,
83                  ctx->cid_table->run_bits, 1, 1,
84                  ctx->cid_table->run_codes, 2, 2, 0);
85
86         ff_init_scantable(ctx->dsp.idct_permutation, &ctx->scantable, ff_zigzag_direct);
87     }
88     return 0;
89 }
90
91 static int dnxhd_decode_header(DNXHDContext *ctx, const uint8_t *buf, int buf_size, int first_field)
92 {
93     static const uint8_t header_prefix[] = { 0x00, 0x00, 0x02, 0x80, 0x01 };
94     int i;
95
96     if (buf_size < 0x280)
97         return -1;
98
99     if (memcmp(buf, header_prefix, 5)) {
100         av_log(ctx->avctx, AV_LOG_ERROR, "error in header\n");
101         return -1;
102     }
103     if (buf[5] & 2) { /* interlaced */
104         ctx->cur_field = buf[5] & 1;
105         ctx->picture.interlaced_frame = 1;
106         ctx->picture.top_field_first = first_field ^ ctx->cur_field;
107         av_log(ctx->avctx, AV_LOG_DEBUG, "interlaced %d, cur field %d\n", buf[5] & 3, ctx->cur_field);
108     }
109
110     ctx->height = AV_RB16(buf + 0x18);
111     ctx->width  = AV_RB16(buf + 0x1a);
112
113     av_dlog(ctx->avctx, "width %d, heigth %d\n", ctx->width, ctx->height);
114
115     if (buf[0x21] & 0x40) {
116         ctx->avctx->pix_fmt = PIX_FMT_YUV422P10;
117         ctx->avctx->bits_per_raw_sample = 10;
118         if (ctx->bit_depth != 10) {
119             dsputil_init(&ctx->dsp, ctx->avctx);
120             ctx->bit_depth = 10;
121         }
122     } else {
123         ctx->avctx->pix_fmt = PIX_FMT_YUV422P;
124         ctx->avctx->bits_per_raw_sample = 8;
125         if (ctx->bit_depth != 8) {
126             dsputil_init(&ctx->dsp, ctx->avctx);
127             ctx->bit_depth = 8;
128         }
129     }
130
131     ctx->cid = AV_RB32(buf + 0x28);
132     av_dlog(ctx->avctx, "compression id %d\n", ctx->cid);
133
134     if (dnxhd_init_vlc(ctx, ctx->cid) < 0)
135         return -1;
136
137     if (buf_size < ctx->cid_table->coding_unit_size) {
138         av_log(ctx->avctx, AV_LOG_ERROR, "incorrect frame size\n");
139         return -1;
140     }
141
142     ctx->mb_width = ctx->width>>4;
143     ctx->mb_height = buf[0x16d];
144
145     av_dlog(ctx->avctx, "mb width %d, mb height %d\n", ctx->mb_width, ctx->mb_height);
146
147     if ((ctx->height+15)>>4 == ctx->mb_height && ctx->picture.interlaced_frame)
148         ctx->height <<= 1;
149
150     if (ctx->mb_height > 68 ||
151         (ctx->mb_height<<ctx->picture.interlaced_frame) > (ctx->height+15)>>4) {
152         av_log(ctx->avctx, AV_LOG_ERROR, "mb height too big: %d\n", ctx->mb_height);
153         return -1;
154     }
155
156     for (i = 0; i < ctx->mb_height; i++) {
157         ctx->mb_scan_index[i] = AV_RB32(buf + 0x170 + (i<<2));
158         av_dlog(ctx->avctx, "mb scan index %d\n", ctx->mb_scan_index[i]);
159         if (buf_size < ctx->mb_scan_index[i] + 0x280) {
160             av_log(ctx->avctx, AV_LOG_ERROR, "invalid mb scan index\n");
161             return -1;
162         }
163     }
164
165     return 0;
166 }
167
168 static int dnxhd_decode_dc(DNXHDContext *ctx)
169 {
170     int len;
171
172     len = get_vlc2(&ctx->gb, ctx->dc_vlc.table, DNXHD_DC_VLC_BITS, 1);
173     return len ? get_xbits(&ctx->gb, len) : 0;
174 }
175
176 static void dnxhd_decode_dct_block(DNXHDContext *ctx, DCTELEM *block, int n, int qscale)
177 {
178     int i, j, index, index2;
179     int level, component, sign;
180     const uint8_t *weigth_matrix;
181
182     if (n&2) {
183         component = 1 + (n&1);
184         weigth_matrix = ctx->cid_table->chroma_weight;
185     } else {
186         component = 0;
187         weigth_matrix = ctx->cid_table->luma_weight;
188     }
189
190     ctx->last_dc[component] += dnxhd_decode_dc(ctx);
191     block[0] = ctx->last_dc[component];
192     //av_log(ctx->avctx, AV_LOG_DEBUG, "dc %d\n", block[0]);
193     for (i = 1; ; i++) {
194         index = get_vlc2(&ctx->gb, ctx->ac_vlc.table, DNXHD_VLC_BITS, 2);
195         //av_log(ctx->avctx, AV_LOG_DEBUG, "index %d\n", index);
196         level = ctx->cid_table->ac_level[index];
197         if (!level) { /* EOB */
198             //av_log(ctx->avctx, AV_LOG_DEBUG, "EOB\n");
199             return;
200         }
201         sign = get_sbits(&ctx->gb, 1);
202
203         if (ctx->cid_table->ac_index_flag[index]) {
204             level += get_bits(&ctx->gb, ctx->cid_table->index_bits)<<6;
205         }
206
207         if (ctx->cid_table->ac_run_flag[index]) {
208             index2 = get_vlc2(&ctx->gb, ctx->run_vlc.table, DNXHD_VLC_BITS, 2);
209             i += ctx->cid_table->run[index2];
210         }
211
212         if (i > 63) {
213             av_log(ctx->avctx, AV_LOG_ERROR, "ac tex damaged %d, %d\n", n, i);
214             return;
215         }
216
217         j = ctx->scantable.permutated[i];
218         //av_log(ctx->avctx, AV_LOG_DEBUG, "j %d\n", j);
219         //av_log(ctx->avctx, AV_LOG_DEBUG, "level %d, weigth %d\n", level, weigth_matrix[i]);
220         level = (2*level+1) * qscale * weigth_matrix[i];
221         if (ctx->bit_depth == 10) {
222             if (weigth_matrix[i] != 8)
223                 level += 8;
224             level >>= 4;
225         } else {
226             if (weigth_matrix[i] != 32)
227                 level += 32;
228             level >>= 6;
229         }
230         //av_log(NULL, AV_LOG_DEBUG, "i %d, j %d, end level %d\n", i, j, level);
231         block[j] = (level^sign) - sign;
232     }
233 }
234
235 static int dnxhd_decode_macroblock(DNXHDContext *ctx, int x, int y)
236 {
237     int shift1 = ctx->bit_depth == 10;
238     int dct_linesize_luma   = ctx->picture.linesize[0];
239     int dct_linesize_chroma = ctx->picture.linesize[1];
240     uint8_t *dest_y, *dest_u, *dest_v;
241     int dct_y_offset, dct_x_offset;
242     int qscale, i;
243
244     qscale = get_bits(&ctx->gb, 11);
245     skip_bits1(&ctx->gb);
246     //av_log(ctx->avctx, AV_LOG_DEBUG, "qscale %d\n", qscale);
247
248     for (i = 0; i < 8; i++) {
249         ctx->dsp.clear_block(ctx->blocks[i]);
250         dnxhd_decode_dct_block(ctx, ctx->blocks[i], i, qscale);
251     }
252
253     if (ctx->picture.interlaced_frame) {
254         dct_linesize_luma   <<= 1;
255         dct_linesize_chroma <<= 1;
256     }
257
258     dest_y = ctx->picture.data[0] + ((y * dct_linesize_luma)   << 4) + (x << (4 + shift1));
259     dest_u = ctx->picture.data[1] + ((y * dct_linesize_chroma) << 4) + (x << (3 + shift1));
260     dest_v = ctx->picture.data[2] + ((y * dct_linesize_chroma) << 4) + (x << (3 + shift1));
261
262     if (ctx->cur_field) {
263         dest_y += ctx->picture.linesize[0];
264         dest_u += ctx->picture.linesize[1];
265         dest_v += ctx->picture.linesize[2];
266     }
267
268     dct_y_offset = dct_linesize_luma << 3;
269     dct_x_offset = 8 << shift1;
270     ctx->dsp.idct_put(dest_y,                               dct_linesize_luma, ctx->blocks[0]);
271     ctx->dsp.idct_put(dest_y + dct_x_offset,                dct_linesize_luma, ctx->blocks[1]);
272     ctx->dsp.idct_put(dest_y + dct_y_offset,                dct_linesize_luma, ctx->blocks[4]);
273     ctx->dsp.idct_put(dest_y + dct_y_offset + dct_x_offset, dct_linesize_luma, ctx->blocks[5]);
274
275     if (!(ctx->avctx->flags & CODEC_FLAG_GRAY)) {
276         dct_y_offset = dct_linesize_chroma << 3;
277         ctx->dsp.idct_put(dest_u,                dct_linesize_chroma, ctx->blocks[2]);
278         ctx->dsp.idct_put(dest_v,                dct_linesize_chroma, ctx->blocks[3]);
279         ctx->dsp.idct_put(dest_u + dct_y_offset, dct_linesize_chroma, ctx->blocks[6]);
280         ctx->dsp.idct_put(dest_v + dct_y_offset, dct_linesize_chroma, ctx->blocks[7]);
281     }
282
283     return 0;
284 }
285
286 static int dnxhd_decode_macroblocks(DNXHDContext *ctx, const uint8_t *buf, int buf_size)
287 {
288     int x, y;
289     for (y = 0; y < ctx->mb_height; y++) {
290         ctx->last_dc[0] =
291         ctx->last_dc[1] =
292         ctx->last_dc[2] = 1 << (ctx->bit_depth + 2); // for levels +2^(bitdepth-1)
293         init_get_bits(&ctx->gb, buf + ctx->mb_scan_index[y], (buf_size - ctx->mb_scan_index[y]) << 3);
294         for (x = 0; x < ctx->mb_width; x++) {
295             //START_TIMER;
296             dnxhd_decode_macroblock(ctx, x, y);
297             //STOP_TIMER("decode macroblock");
298         }
299     }
300     return 0;
301 }
302
303 static int dnxhd_decode_frame(AVCodecContext *avctx, void *data, int *data_size,
304                               AVPacket *avpkt)
305 {
306     const uint8_t *buf = avpkt->data;
307     int buf_size = avpkt->size;
308     DNXHDContext *ctx = avctx->priv_data;
309     AVFrame *picture = data;
310     int first_field = 1;
311
312     av_dlog(avctx, "frame size %d\n", buf_size);
313
314  decode_coding_unit:
315     if (dnxhd_decode_header(ctx, buf, buf_size, first_field) < 0)
316         return -1;
317
318     if ((avctx->width || avctx->height) &&
319         (ctx->width != avctx->width || ctx->height != avctx->height)) {
320         av_log(avctx, AV_LOG_WARNING, "frame size changed: %dx%d -> %dx%d\n",
321                avctx->width, avctx->height, ctx->width, ctx->height);
322         first_field = 1;
323     }
324
325     if (av_image_check_size(ctx->width, ctx->height, 0, avctx))
326         return -1;
327     avcodec_set_dimensions(avctx, ctx->width, ctx->height);
328
329     if (first_field) {
330         if (ctx->picture.data[0])
331             avctx->release_buffer(avctx, &ctx->picture);
332         if (avctx->get_buffer(avctx, &ctx->picture) < 0) {
333             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
334             return -1;
335         }
336     }
337
338     dnxhd_decode_macroblocks(ctx, buf + 0x280, buf_size - 0x280);
339
340     if (first_field && ctx->picture.interlaced_frame) {
341         buf      += ctx->cid_table->coding_unit_size;
342         buf_size -= ctx->cid_table->coding_unit_size;
343         first_field = 0;
344         goto decode_coding_unit;
345     }
346
347     *picture = ctx->picture;
348     *data_size = sizeof(AVPicture);
349     return buf_size;
350 }
351
352 static av_cold int dnxhd_decode_close(AVCodecContext *avctx)
353 {
354     DNXHDContext *ctx = avctx->priv_data;
355
356     if (ctx->picture.data[0])
357         avctx->release_buffer(avctx, &ctx->picture);
358     free_vlc(&ctx->ac_vlc);
359     free_vlc(&ctx->dc_vlc);
360     free_vlc(&ctx->run_vlc);
361     return 0;
362 }
363
364 AVCodec ff_dnxhd_decoder = {
365     "dnxhd",
366     AVMEDIA_TYPE_VIDEO,
367     CODEC_ID_DNXHD,
368     sizeof(DNXHDContext),
369     dnxhd_decode_init,
370     NULL,
371     dnxhd_decode_close,
372     dnxhd_decode_frame,
373     CODEC_CAP_DR1,
374     .long_name = NULL_IF_CONFIG_SMALL("VC3/DNxHD"),
375 };