dnxhd: Support DNx444
[ffmpeg.git] / libavcodec / dnxhddec.c
1 /*
2  * VC3/DNxHD decoder.
3  * Copyright (c) 2007 SmartJog S.A., Baptiste Coudurier <baptiste dot coudurier at smartjog dot com>
4  * Copyright (c) 2011 MirriAd Ltd
5  *
6  * 10 bit support added by MirriAd Ltd, Joseph Artsimovich <joseph@mirriad.com>
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/imgutils.h"
26 #include "libavutil/timer.h"
27 #include "avcodec.h"
28 #include "get_bits.h"
29 #include "dnxhddata.h"
30 #include "dsputil.h"
31 #include "internal.h"
32
33 typedef struct DNXHDContext {
34     AVCodecContext *avctx;
35     GetBitContext gb;
36     int cid;                            ///< compression id
37     unsigned int width, height;
38     unsigned int mb_width, mb_height;
39     uint32_t mb_scan_index[68];         /* max for 1080p */
40     int cur_field;                      ///< current interlaced field
41     VLC ac_vlc, dc_vlc, run_vlc;
42     int last_dc[3];
43     DSPContext dsp;
44     DECLARE_ALIGNED(16, int16_t, blocks)[12][64];
45     ScanTable scantable;
46     const CIDEntry *cid_table;
47     int bit_depth; // 8, 10 or 0 if not initialized at all.
48     int is_444;
49     void (*decode_dct_block)(struct DNXHDContext *ctx, int16_t *block,
50                              int n, int qscale);
51 } DNXHDContext;
52
53 #define DNXHD_VLC_BITS 9
54 #define DNXHD_DC_VLC_BITS 7
55
56 static void dnxhd_decode_dct_block_8(DNXHDContext *ctx, int16_t *block, int n, int qscale);
57 static void dnxhd_decode_dct_block_10(DNXHDContext *ctx, int16_t *block, int n, int qscale);
58 static void dnxhd_decode_dct_block_10_444(DNXHDContext *ctx, int16_t *block, int n, int qscale);
59
60 static av_cold int dnxhd_decode_init(AVCodecContext *avctx)
61 {
62     DNXHDContext *ctx = avctx->priv_data;
63
64     ctx->avctx = avctx;
65     return 0;
66 }
67
68 static int dnxhd_init_vlc(DNXHDContext *ctx, int cid)
69 {
70     if (cid != ctx->cid) {
71         int index;
72
73         if ((index = ff_dnxhd_get_cid_table(cid)) < 0) {
74             av_log(ctx->avctx, AV_LOG_ERROR, "unsupported cid %d\n", cid);
75             return AVERROR(ENOSYS);
76         }
77         ctx->cid_table = &ff_dnxhd_cid_table[index];
78
79         ff_free_vlc(&ctx->ac_vlc);
80         ff_free_vlc(&ctx->dc_vlc);
81         ff_free_vlc(&ctx->run_vlc);
82
83         init_vlc(&ctx->ac_vlc, DNXHD_VLC_BITS, 257,
84                  ctx->cid_table->ac_bits, 1, 1,
85                  ctx->cid_table->ac_codes, 2, 2, 0);
86         init_vlc(&ctx->dc_vlc, DNXHD_DC_VLC_BITS, ctx->bit_depth + 4,
87                  ctx->cid_table->dc_bits, 1, 1,
88                  ctx->cid_table->dc_codes, 1, 1, 0);
89         init_vlc(&ctx->run_vlc, DNXHD_VLC_BITS, 62,
90                  ctx->cid_table->run_bits, 1, 1,
91                  ctx->cid_table->run_codes, 2, 2, 0);
92
93         ff_init_scantable(ctx->dsp.idct_permutation, &ctx->scantable, ff_zigzag_direct);
94         ctx->cid = cid;
95     }
96     return 0;
97 }
98
99 static int dnxhd_decode_header(DNXHDContext *ctx, AVFrame *frame,
100                                const uint8_t *buf, int buf_size, int first_field)
101 {
102     static const uint8_t header_prefix[]    = { 0x00, 0x00, 0x02, 0x80, 0x01 };
103     static const uint8_t header_prefix444[] = { 0x00, 0x00, 0x02, 0x80, 0x02 };
104     int i, cid, ret;
105
106     if (buf_size < 0x280)
107         return AVERROR_INVALIDDATA;
108
109     if (memcmp(buf, header_prefix, 5) && memcmp(buf, header_prefix444, 5)) {
110         av_log(ctx->avctx, AV_LOG_ERROR, "error in header\n");
111         return AVERROR_INVALIDDATA;
112     }
113     if (buf[5] & 2) { /* interlaced */
114         ctx->cur_field = buf[5] & 1;
115         frame->interlaced_frame = 1;
116         frame->top_field_first  = first_field ^ ctx->cur_field;
117         av_log(ctx->avctx, AV_LOG_DEBUG, "interlaced %d, cur field %d\n", buf[5] & 3, ctx->cur_field);
118     }
119
120     ctx->height = AV_RB16(buf + 0x18);
121     ctx->width  = AV_RB16(buf + 0x1a);
122
123     av_dlog(ctx->avctx, "width %d, height %d\n", ctx->width, ctx->height);
124
125     ctx->is_444 = 0;
126     if (buf[0x4] == 0x2) {
127         ctx->avctx->pix_fmt = AV_PIX_FMT_YUV444P10;
128         ctx->avctx->bits_per_raw_sample = 10;
129         if (ctx->bit_depth != 10) {
130             ff_dsputil_init(&ctx->dsp, ctx->avctx);
131             ctx->bit_depth = 10;
132             ctx->decode_dct_block = dnxhd_decode_dct_block_10_444;
133         }
134         ctx->is_444 = 1;
135     } else if (buf[0x21] & 0x40) {
136         ctx->avctx->pix_fmt = AV_PIX_FMT_YUV422P10;
137         ctx->avctx->bits_per_raw_sample = 10;
138         if (ctx->bit_depth != 10) {
139             ff_dsputil_init(&ctx->dsp, ctx->avctx);
140             ctx->bit_depth = 10;
141             ctx->decode_dct_block = dnxhd_decode_dct_block_10;
142         }
143     } else {
144         ctx->avctx->pix_fmt = AV_PIX_FMT_YUV422P;
145         ctx->avctx->bits_per_raw_sample = 8;
146         if (ctx->bit_depth != 8) {
147             ff_dsputil_init(&ctx->dsp, ctx->avctx);
148             ctx->bit_depth = 8;
149             ctx->decode_dct_block = dnxhd_decode_dct_block_8;
150         }
151     }
152
153     cid = AV_RB32(buf + 0x28);
154     av_dlog(ctx->avctx, "compression id %d\n", cid);
155
156     if ((ret = dnxhd_init_vlc(ctx, cid)) < 0)
157         return ret;
158
159     if (buf_size < ctx->cid_table->coding_unit_size) {
160         av_log(ctx->avctx, AV_LOG_ERROR, "incorrect frame size\n");
161         return AVERROR_INVALIDDATA;
162     }
163
164     ctx->mb_width = ctx->width>>4;
165     ctx->mb_height = buf[0x16d];
166
167     av_dlog(ctx->avctx, "mb width %d, mb height %d\n", ctx->mb_width, ctx->mb_height);
168
169     if ((ctx->height+15)>>4 == ctx->mb_height && frame->interlaced_frame)
170         ctx->height <<= 1;
171
172     if (ctx->mb_height > 68 ||
173         (ctx->mb_height << frame->interlaced_frame) > (ctx->height+15)>>4) {
174         av_log(ctx->avctx, AV_LOG_ERROR, "mb height too big: %d\n", ctx->mb_height);
175         return AVERROR_INVALIDDATA;
176     }
177
178     for (i = 0; i < ctx->mb_height; i++) {
179         ctx->mb_scan_index[i] = AV_RB32(buf + 0x170 + (i<<2));
180         av_dlog(ctx->avctx, "mb scan index %d\n", ctx->mb_scan_index[i]);
181         if (buf_size < ctx->mb_scan_index[i] + 0x280) {
182             av_log(ctx->avctx, AV_LOG_ERROR, "invalid mb scan index\n");
183             return AVERROR_INVALIDDATA;
184         }
185     }
186
187     return 0;
188 }
189
190 static av_always_inline void dnxhd_decode_dct_block(DNXHDContext *ctx,
191                                                     int16_t *block, int n,
192                                                     int qscale,
193                                                     int index_bits,
194                                                     int level_bias,
195                                                     int level_shift)
196 {
197     int i, j, index1, index2, len;
198     int level, component, sign;
199     const uint8_t *weight_matrix;
200     OPEN_READER(bs, &ctx->gb);
201
202     if (!ctx->is_444) {
203         if (n&2) {
204             component = 1 + (n&1);
205             weight_matrix = ctx->cid_table->chroma_weight;
206         } else {
207             component = 0;
208             weight_matrix = ctx->cid_table->luma_weight;
209         }
210     } else {
211         component = (n >> 1) % 3;
212         if (component) {
213             weight_matrix = ctx->cid_table->chroma_weight;
214         } else {
215             weight_matrix = ctx->cid_table->luma_weight;
216         }
217     }
218
219     UPDATE_CACHE(bs, &ctx->gb);
220     GET_VLC(len, bs, &ctx->gb, ctx->dc_vlc.table, DNXHD_DC_VLC_BITS, 1);
221     if (len) {
222         level = GET_CACHE(bs, &ctx->gb);
223         LAST_SKIP_BITS(bs, &ctx->gb, len);
224         sign  = ~level >> 31;
225         level = (NEG_USR32(sign ^ level, len) ^ sign) - sign;
226         ctx->last_dc[component] += level;
227     }
228     block[0] = ctx->last_dc[component];
229
230     for (i = 1; ; i++) {
231         UPDATE_CACHE(bs, &ctx->gb);
232         GET_VLC(index1, bs, &ctx->gb, ctx->ac_vlc.table,
233                 DNXHD_VLC_BITS, 2);
234         level = ctx->cid_table->ac_level[index1];
235         if (!level) /* EOB */
236             break;
237
238         sign = SHOW_SBITS(bs, &ctx->gb, 1);
239         SKIP_BITS(bs, &ctx->gb, 1);
240
241         if (ctx->cid_table->ac_index_flag[index1]) {
242             level += SHOW_UBITS(bs, &ctx->gb, index_bits) << 6;
243             SKIP_BITS(bs, &ctx->gb, index_bits);
244         }
245
246         if (ctx->cid_table->ac_run_flag[index1]) {
247             UPDATE_CACHE(bs, &ctx->gb);
248             GET_VLC(index2, bs, &ctx->gb, ctx->run_vlc.table,
249                     DNXHD_VLC_BITS, 2);
250             i += ctx->cid_table->run[index2];
251         }
252
253         if (i > 63) {
254             av_log(ctx->avctx, AV_LOG_ERROR, "ac tex damaged %d, %d\n", n, i);
255             break;
256         }
257
258         j = ctx->scantable.permutated[i];
259         level = (2*level+1) * qscale * weight_matrix[i];
260         if (level_bias < 32 || weight_matrix[i] != level_bias)
261             level += level_bias;
262         level >>= level_shift;
263
264         block[j] = (level^sign) - sign;
265     }
266
267     CLOSE_READER(bs, &ctx->gb);
268 }
269
270 static void dnxhd_decode_dct_block_8(DNXHDContext *ctx, int16_t *block,
271                                      int n, int qscale)
272 {
273     dnxhd_decode_dct_block(ctx, block, n, qscale, 4, 32, 6);
274 }
275
276 static void dnxhd_decode_dct_block_10(DNXHDContext *ctx, int16_t *block,
277                                       int n, int qscale)
278 {
279     dnxhd_decode_dct_block(ctx, block, n, qscale, 6, 8, 4);
280 }
281
282 static void dnxhd_decode_dct_block_10_444(DNXHDContext *ctx, int16_t *block,
283                                           int n, int qscale)
284 {
285     dnxhd_decode_dct_block(ctx, block, n, qscale, 6, 32, 6);
286 }
287
288 static int dnxhd_decode_macroblock(DNXHDContext *ctx, AVFrame *frame, int x, int y)
289 {
290     int shift1 = ctx->bit_depth == 10;
291     int dct_linesize_luma   = frame->linesize[0];
292     int dct_linesize_chroma = frame->linesize[1];
293     uint8_t *dest_y, *dest_u, *dest_v;
294     int dct_y_offset, dct_x_offset;
295     int qscale, i;
296
297     qscale = get_bits(&ctx->gb, 11);
298     skip_bits1(&ctx->gb);
299
300     for (i = 0; i < 8; i++) {
301         ctx->dsp.clear_block(ctx->blocks[i]);
302         ctx->decode_dct_block(ctx, ctx->blocks[i], i, qscale);
303     }
304     if (ctx->is_444) {
305         for (; i < 12; i++) {
306             ctx->dsp.clear_block(ctx->blocks[i]);
307             ctx->decode_dct_block(ctx, ctx->blocks[i], i, qscale);
308         }
309     }
310
311     if (frame->interlaced_frame) {
312         dct_linesize_luma   <<= 1;
313         dct_linesize_chroma <<= 1;
314     }
315
316     dest_y = frame->data[0] + ((y * dct_linesize_luma)   << 4) + (x << (4 + shift1));
317     dest_u = frame->data[1] + ((y * dct_linesize_chroma) << 4) + (x << (3 + shift1 + ctx->is_444));
318     dest_v = frame->data[2] + ((y * dct_linesize_chroma) << 4) + (x << (3 + shift1 + ctx->is_444));
319
320     if (ctx->cur_field) {
321         dest_y += frame->linesize[0];
322         dest_u += frame->linesize[1];
323         dest_v += frame->linesize[2];
324     }
325
326     dct_y_offset = dct_linesize_luma << 3;
327     dct_x_offset = 8 << shift1;
328     if (!ctx->is_444) {
329         ctx->dsp.idct_put(dest_y,                               dct_linesize_luma, ctx->blocks[0]);
330         ctx->dsp.idct_put(dest_y + dct_x_offset,                dct_linesize_luma, ctx->blocks[1]);
331         ctx->dsp.idct_put(dest_y + dct_y_offset,                dct_linesize_luma, ctx->blocks[4]);
332         ctx->dsp.idct_put(dest_y + dct_y_offset + dct_x_offset, dct_linesize_luma, ctx->blocks[5]);
333
334         if (!(ctx->avctx->flags & CODEC_FLAG_GRAY)) {
335             dct_y_offset = dct_linesize_chroma << 3;
336             ctx->dsp.idct_put(dest_u,                dct_linesize_chroma, ctx->blocks[2]);
337             ctx->dsp.idct_put(dest_v,                dct_linesize_chroma, ctx->blocks[3]);
338             ctx->dsp.idct_put(dest_u + dct_y_offset, dct_linesize_chroma, ctx->blocks[6]);
339             ctx->dsp.idct_put(dest_v + dct_y_offset, dct_linesize_chroma, ctx->blocks[7]);
340         }
341     } else {
342         ctx->dsp.idct_put(dest_y,                               dct_linesize_luma, ctx->blocks[0]);
343         ctx->dsp.idct_put(dest_y + dct_x_offset,                dct_linesize_luma, ctx->blocks[1]);
344         ctx->dsp.idct_put(dest_y + dct_y_offset,                dct_linesize_luma, ctx->blocks[6]);
345         ctx->dsp.idct_put(dest_y + dct_y_offset + dct_x_offset, dct_linesize_luma, ctx->blocks[7]);
346
347         if (!(ctx->avctx->flags & CODEC_FLAG_GRAY)) {
348             dct_y_offset = dct_linesize_chroma << 3;
349             ctx->dsp.idct_put(dest_u,                               dct_linesize_chroma, ctx->blocks[2]);
350             ctx->dsp.idct_put(dest_u + dct_x_offset,                dct_linesize_chroma, ctx->blocks[3]);
351             ctx->dsp.idct_put(dest_u + dct_y_offset,                dct_linesize_chroma, ctx->blocks[8]);
352             ctx->dsp.idct_put(dest_u + dct_y_offset + dct_x_offset, dct_linesize_chroma, ctx->blocks[9]);
353             ctx->dsp.idct_put(dest_v,                               dct_linesize_chroma, ctx->blocks[4]);
354             ctx->dsp.idct_put(dest_v + dct_x_offset,                dct_linesize_chroma, ctx->blocks[5]);
355             ctx->dsp.idct_put(dest_v + dct_y_offset,                dct_linesize_chroma, ctx->blocks[10]);
356             ctx->dsp.idct_put(dest_v + dct_y_offset + dct_x_offset, dct_linesize_chroma, ctx->blocks[11]);
357         }
358     }
359
360     return 0;
361 }
362
363 static int dnxhd_decode_macroblocks(DNXHDContext *ctx, AVFrame *frame,
364                                     const uint8_t *buf, int buf_size)
365 {
366     int x, y;
367     for (y = 0; y < ctx->mb_height; y++) {
368         ctx->last_dc[0] =
369         ctx->last_dc[1] =
370         ctx->last_dc[2] = 1 << (ctx->bit_depth + 2); // for levels +2^(bitdepth-1)
371         init_get_bits(&ctx->gb, buf + ctx->mb_scan_index[y], (buf_size - ctx->mb_scan_index[y]) << 3);
372         for (x = 0; x < ctx->mb_width; x++) {
373             //START_TIMER;
374             dnxhd_decode_macroblock(ctx, frame, x, y);
375             //STOP_TIMER("decode macroblock");
376         }
377     }
378     return 0;
379 }
380
381 static int dnxhd_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
382                               AVPacket *avpkt)
383 {
384     const uint8_t *buf = avpkt->data;
385     int buf_size = avpkt->size;
386     DNXHDContext *ctx = avctx->priv_data;
387     AVFrame *picture = data;
388     int first_field = 1;
389     int ret;
390
391     av_dlog(avctx, "frame size %d\n", buf_size);
392
393  decode_coding_unit:
394     if ((ret = dnxhd_decode_header(ctx, picture, buf, buf_size, first_field)) < 0)
395         return ret;
396
397     if ((avctx->width || avctx->height) &&
398         (ctx->width != avctx->width || ctx->height != avctx->height)) {
399         av_log(avctx, AV_LOG_WARNING, "frame size changed: %dx%d -> %dx%d\n",
400                avctx->width, avctx->height, ctx->width, ctx->height);
401         first_field = 1;
402     }
403
404     ret = ff_set_dimensions(avctx, ctx->width, ctx->height);
405     if (ret < 0)
406         return ret;
407
408     if (first_field) {
409         if ((ret = ff_get_buffer(avctx, picture, 0)) < 0) {
410             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
411             return ret;
412         }
413         picture->pict_type = AV_PICTURE_TYPE_I;
414         picture->key_frame = 1;
415     }
416
417     dnxhd_decode_macroblocks(ctx, picture, buf + 0x280, buf_size - 0x280);
418
419     if (first_field && picture->interlaced_frame) {
420         buf      += ctx->cid_table->coding_unit_size;
421         buf_size -= ctx->cid_table->coding_unit_size;
422         first_field = 0;
423         goto decode_coding_unit;
424     }
425
426     *got_frame = 1;
427     return buf_size;
428 }
429
430 static av_cold int dnxhd_decode_close(AVCodecContext *avctx)
431 {
432     DNXHDContext *ctx = avctx->priv_data;
433
434     ff_free_vlc(&ctx->ac_vlc);
435     ff_free_vlc(&ctx->dc_vlc);
436     ff_free_vlc(&ctx->run_vlc);
437     return 0;
438 }
439
440 AVCodec ff_dnxhd_decoder = {
441     .name           = "dnxhd",
442     .long_name      = NULL_IF_CONFIG_SMALL("VC3/DNxHD"),
443     .type           = AVMEDIA_TYPE_VIDEO,
444     .id             = AV_CODEC_ID_DNXHD,
445     .priv_data_size = sizeof(DNXHDContext),
446     .init           = dnxhd_decode_init,
447     .close          = dnxhd_decode_close,
448     .decode         = dnxhd_decode_frame,
449     .capabilities   = CODEC_CAP_DR1,
450 };