build: Generalize yasm/nasm-related variable names
[ffmpeg.git] / libavcodec / dnxhddec.c
1 /*
2  * VC3/DNxHD decoder.
3  * Copyright (c) 2007 SmartJog S.A., Baptiste Coudurier <baptiste dot coudurier at smartjog dot com>
4  * Copyright (c) 2011 MirriAd Ltd
5  *
6  * 10 bit support added by MirriAd Ltd, Joseph Artsimovich <joseph@mirriad.com>
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/imgutils.h"
26 #include "libavutil/timer.h"
27 #include "avcodec.h"
28 #include "blockdsp.h"
29 #include "get_bits.h"
30 #include "dnxhddata.h"
31 #include "idctdsp.h"
32 #include "internal.h"
33 #include "thread.h"
34
35 typedef struct DNXHDContext {
36     AVCodecContext *avctx;
37     GetBitContext gb;
38     BlockDSPContext bdsp;
39     int cid;                            ///< compression id
40     unsigned int width, height;
41     unsigned int mb_width, mb_height;
42     uint32_t mb_scan_index[68];         /* max for 1080p */
43     int cur_field;                      ///< current interlaced field
44     VLC ac_vlc, dc_vlc, run_vlc;
45     int last_dc[3];
46     IDCTDSPContext idsp;
47     DECLARE_ALIGNED(16, int16_t, blocks)[12][64];
48     ScanTable scantable;
49     const CIDEntry *cid_table;
50     int bit_depth; // 8, 10 or 0 if not initialized at all.
51     int is_444;
52     int mbaff;
53     void (*decode_dct_block)(struct DNXHDContext *ctx, int16_t *block,
54                              int n, int qscale);
55 } DNXHDContext;
56
57 #define DNXHD_VLC_BITS 9
58 #define DNXHD_DC_VLC_BITS 7
59
60 static void dnxhd_decode_dct_block_8(DNXHDContext *ctx, int16_t *block,
61                                      int n, int qscale);
62 static void dnxhd_decode_dct_block_10(DNXHDContext *ctx, int16_t *block,
63                                       int n, int qscale);
64 static void dnxhd_decode_dct_block_10_444(DNXHDContext *ctx, int16_t *block,
65                                           int n, int qscale);
66
67 static av_cold int dnxhd_decode_init(AVCodecContext *avctx)
68 {
69     DNXHDContext *ctx = avctx->priv_data;
70
71     ctx->avctx = avctx;
72     return 0;
73 }
74
75 static int dnxhd_init_vlc(DNXHDContext *ctx, int cid)
76 {
77     if (cid != ctx->cid) {
78         int index;
79
80         if ((index = ff_dnxhd_get_cid_table(cid)) < 0) {
81             av_log(ctx->avctx, AV_LOG_ERROR, "unsupported cid %d\n", cid);
82             return AVERROR(ENOSYS);
83         }
84         ctx->cid_table = &ff_dnxhd_cid_table[index];
85         av_log(ctx->avctx, AV_LOG_VERBOSE, "Profile cid %d.\n", cid);
86
87         ff_free_vlc(&ctx->ac_vlc);
88         ff_free_vlc(&ctx->dc_vlc);
89         ff_free_vlc(&ctx->run_vlc);
90
91         init_vlc(&ctx->ac_vlc, DNXHD_VLC_BITS, 257,
92                  ctx->cid_table->ac_bits, 1, 1,
93                  ctx->cid_table->ac_codes, 2, 2, 0);
94         init_vlc(&ctx->dc_vlc, DNXHD_DC_VLC_BITS, ctx->bit_depth + 4,
95                  ctx->cid_table->dc_bits, 1, 1,
96                  ctx->cid_table->dc_codes, 1, 1, 0);
97         init_vlc(&ctx->run_vlc, DNXHD_VLC_BITS, 62,
98                  ctx->cid_table->run_bits, 1, 1,
99                  ctx->cid_table->run_codes, 2, 2, 0);
100
101         ff_init_scantable(ctx->idsp.idct_permutation, &ctx->scantable,
102                           ff_zigzag_direct);
103         ctx->cid = cid;
104     }
105     return 0;
106 }
107
108 static int dnxhd_decode_header(DNXHDContext *ctx, AVFrame *frame,
109                                const uint8_t *buf, int buf_size,
110                                int first_field)
111 {
112     static const uint8_t header_prefix[]    = { 0x00, 0x00, 0x02, 0x80, 0x01 };
113     static const uint8_t header_prefix444[] = { 0x00, 0x00, 0x02, 0x80, 0x02 };
114     int i, cid, ret;
115     int old_bit_depth = ctx->bit_depth;
116
117     if (buf_size < 0x280) {
118         av_log(ctx->avctx, AV_LOG_ERROR, "buffer too small (%d < 640).\n",
119                buf_size);
120         return AVERROR_INVALIDDATA;
121     }
122
123     if (memcmp(buf, header_prefix, 5) && memcmp(buf, header_prefix444, 5)) {
124         av_log(ctx->avctx, AV_LOG_ERROR,
125                "unknown header 0x%02"PRIX8" 0x%02"PRIX8" 0x%02"PRIX8" 0x%02"PRIX8" 0x%02"PRIX8"\n",
126                buf[0], buf[1], buf[2], buf[3], buf[4]);
127         return AVERROR_INVALIDDATA;
128     }
129     if (buf[5] & 2) { /* interlaced */
130         ctx->cur_field = buf[5] & 1;
131         frame->interlaced_frame = 1;
132         frame->top_field_first  = first_field ^ ctx->cur_field;
133         av_log(ctx->avctx, AV_LOG_DEBUG,
134                "interlaced %"PRId8", cur field %d\n", buf[5] & 3, ctx->cur_field);
135     }
136     ctx->mbaff = buf[0x6] & 32;
137
138     ctx->height = AV_RB16(buf + 0x18);
139     ctx->width  = AV_RB16(buf + 0x1a);
140
141     ff_dlog(ctx->avctx, "width %u, height %u\n", ctx->width, ctx->height);
142
143     if (buf[0x21] == 0x58) { /* 10 bit */
144         ctx->bit_depth = ctx->avctx->bits_per_raw_sample = 10;
145
146         if (buf[0x4] == 0x2) {
147             ctx->decode_dct_block = dnxhd_decode_dct_block_10_444;
148             ctx->avctx->pix_fmt = AV_PIX_FMT_YUV444P10;
149             ctx->is_444 = 1;
150         } else {
151             ctx->decode_dct_block = dnxhd_decode_dct_block_10;
152             ctx->avctx->pix_fmt = AV_PIX_FMT_YUV422P10;
153         }
154     } else if (buf[0x21] == 0x38) { /* 8 bit */
155         ctx->bit_depth = ctx->avctx->bits_per_raw_sample = 8;
156
157         ctx->avctx->pix_fmt = AV_PIX_FMT_YUV422P;
158         ctx->decode_dct_block = dnxhd_decode_dct_block_8;
159     } else {
160         av_log(ctx->avctx, AV_LOG_ERROR, "invalid bit depth value (%"PRId8").\n",
161                buf[0x21]);
162         return AVERROR_INVALIDDATA;
163     }
164     if (ctx->bit_depth != old_bit_depth) {
165         ff_blockdsp_init(&ctx->bdsp, ctx->avctx);
166         ff_idctdsp_init(&ctx->idsp, ctx->avctx);
167     }
168
169     cid = AV_RB32(buf + 0x28);
170     ff_dlog(ctx->avctx, "compression id %d\n", cid);
171
172     if ((ret = dnxhd_init_vlc(ctx, cid)) < 0)
173         return ret;
174     if (ctx->mbaff && ctx->cid_table->cid != 1260)
175         av_log(ctx->avctx, AV_LOG_WARNING,
176                "Adaptive MB interlace flag in an unsupported profile.\n");
177
178     // make sure profile size constraints are respected
179     // DNx100 allows 1920->1440 and 1280->960 subsampling
180     if (ctx->width != ctx->cid_table->width) {
181         av_reduce(&ctx->avctx->sample_aspect_ratio.num,
182                   &ctx->avctx->sample_aspect_ratio.den,
183                   ctx->width, ctx->cid_table->width, 255);
184         ctx->width = ctx->cid_table->width;
185     }
186
187     if (buf_size < ctx->cid_table->coding_unit_size) {
188         av_log(ctx->avctx, AV_LOG_ERROR, "incorrect frame size (%d < %u).\n",
189                buf_size, ctx->cid_table->coding_unit_size);
190         return AVERROR_INVALIDDATA;
191     }
192
193     ctx->mb_width  = ctx->width >> 4;
194     ctx->mb_height = buf[0x16d];
195
196     ff_dlog(ctx->avctx,
197             "mb width %u, mb height %u\n", ctx->mb_width, ctx->mb_height);
198
199     if ((ctx->height + 15) >> 4 == ctx->mb_height && frame->interlaced_frame)
200         ctx->height <<= 1;
201
202     if (ctx->mb_height > 68 ||
203         (ctx->mb_height << frame->interlaced_frame) > (ctx->height + 15) >> 4) {
204         av_log(ctx->avctx, AV_LOG_ERROR,
205                "mb height too big: %u\n", ctx->mb_height);
206         return AVERROR_INVALIDDATA;
207     }
208
209     for (i = 0; i < ctx->mb_height; i++) {
210         ctx->mb_scan_index[i] = AV_RB32(buf + 0x170 + (i << 2));
211         ff_dlog(ctx->avctx, "mb scan index %"PRIu32"\n", ctx->mb_scan_index[i]);
212         if (buf_size < ctx->mb_scan_index[i] + 0x280) {
213             av_log(ctx->avctx, AV_LOG_ERROR,
214                    "invalid mb scan index (%d < %"PRIu32").\n",
215                    buf_size, ctx->mb_scan_index[i] + 0x280);
216             return AVERROR_INVALIDDATA;
217         }
218     }
219
220     return 0;
221 }
222
223 static av_always_inline void dnxhd_decode_dct_block(DNXHDContext *ctx,
224                                                     int16_t *block, int n,
225                                                     int qscale,
226                                                     int index_bits,
227                                                     int level_bias,
228                                                     int level_shift)
229 {
230     int i, j, index1, index2, len;
231     int level, component, sign;
232     const uint8_t *weight_matrix;
233     OPEN_READER(bs, &ctx->gb);
234
235     if (!ctx->is_444) {
236         if (n & 2) {
237             component     = 1 + (n & 1);
238             weight_matrix = ctx->cid_table->chroma_weight;
239         } else {
240             component     = 0;
241             weight_matrix = ctx->cid_table->luma_weight;
242         }
243     } else {
244         component = (n >> 1) % 3;
245         if (component) {
246             weight_matrix = ctx->cid_table->chroma_weight;
247         } else {
248             weight_matrix = ctx->cid_table->luma_weight;
249         }
250     }
251
252     UPDATE_CACHE(bs, &ctx->gb);
253     GET_VLC(len, bs, &ctx->gb, ctx->dc_vlc.table, DNXHD_DC_VLC_BITS, 1);
254     if (len) {
255         level = GET_CACHE(bs, &ctx->gb);
256         LAST_SKIP_BITS(bs, &ctx->gb, len);
257         sign  = ~level >> 31;
258         level = (NEG_USR32(sign ^ level, len) ^ sign) - sign;
259         ctx->last_dc[component] += level;
260     }
261     block[0] = ctx->last_dc[component];
262
263     for (i = 1; ; i++) {
264         UPDATE_CACHE(bs, &ctx->gb);
265         GET_VLC(index1, bs, &ctx->gb, ctx->ac_vlc.table,
266                 DNXHD_VLC_BITS, 2);
267         level = ctx->cid_table->ac_level[index1];
268         if (!level) /* EOB */
269             break;
270
271         sign = SHOW_SBITS(bs, &ctx->gb, 1);
272         SKIP_BITS(bs, &ctx->gb, 1);
273
274         if (ctx->cid_table->ac_index_flag[index1]) {
275             level += SHOW_UBITS(bs, &ctx->gb, index_bits) << 6;
276             SKIP_BITS(bs, &ctx->gb, index_bits);
277         }
278
279         if (ctx->cid_table->ac_run_flag[index1]) {
280             UPDATE_CACHE(bs, &ctx->gb);
281             GET_VLC(index2, bs, &ctx->gb, ctx->run_vlc.table,
282                     DNXHD_VLC_BITS, 2);
283             i += ctx->cid_table->run[index2];
284         }
285
286         if (i > 63) {
287             av_log(ctx->avctx, AV_LOG_ERROR, "ac tex damaged %d, %d\n", n, i);
288             break;
289         }
290
291         j     = ctx->scantable.permutated[i];
292         level = (2 * level + 1) * qscale * weight_matrix[i];
293         if (level_bias < 32 || weight_matrix[i] != level_bias)
294             level += level_bias;
295         level >>= level_shift;
296
297         block[j] = (level ^ sign) - sign;
298     }
299
300     CLOSE_READER(bs, &ctx->gb);
301 }
302
303 static void dnxhd_decode_dct_block_8(DNXHDContext *ctx, int16_t *block,
304                                      int n, int qscale)
305 {
306     dnxhd_decode_dct_block(ctx, block, n, qscale, 4, 32, 6);
307 }
308
309 static void dnxhd_decode_dct_block_10(DNXHDContext *ctx, int16_t *block,
310                                       int n, int qscale)
311 {
312     dnxhd_decode_dct_block(ctx, block, n, qscale, 6, 8, 4);
313 }
314
315 static void dnxhd_decode_dct_block_10_444(DNXHDContext *ctx, int16_t *block,
316                                           int n, int qscale)
317 {
318     dnxhd_decode_dct_block(ctx, block, n, qscale, 6, 32, 6);
319 }
320
321 static int dnxhd_decode_macroblock(DNXHDContext *ctx, AVFrame *frame,
322                                    int x, int y)
323 {
324     int shift1 = ctx->bit_depth == 10;
325     int dct_linesize_luma   = frame->linesize[0];
326     int dct_linesize_chroma = frame->linesize[1];
327     uint8_t *dest_y, *dest_u, *dest_v;
328     int dct_y_offset, dct_x_offset;
329     int qscale, i;
330     int interlaced_mb = 0;
331
332     if (ctx->mbaff) {
333         interlaced_mb = get_bits1(&ctx->gb);
334         qscale = get_bits(&ctx->gb, 10);
335     } else {
336         qscale = get_bits(&ctx->gb, 11);
337     }
338     skip_bits1(&ctx->gb);
339
340     for (i = 0; i < 8; i++) {
341         ctx->bdsp.clear_block(ctx->blocks[i]);
342         ctx->decode_dct_block(ctx, ctx->blocks[i], i, qscale);
343     }
344     if (ctx->is_444) {
345         for (; i < 12; i++) {
346             ctx->bdsp.clear_block(ctx->blocks[i]);
347             ctx->decode_dct_block(ctx, ctx->blocks[i], i, qscale);
348         }
349     }
350
351     if (frame->interlaced_frame) {
352         dct_linesize_luma   <<= 1;
353         dct_linesize_chroma <<= 1;
354     }
355
356     dest_y = frame->data[0] + ((y * dct_linesize_luma)   << 4) + (x << (4 + shift1));
357     dest_u = frame->data[1] + ((y * dct_linesize_chroma) << 4) + (x << (3 + shift1 + ctx->is_444));
358     dest_v = frame->data[2] + ((y * dct_linesize_chroma) << 4) + (x << (3 + shift1 + ctx->is_444));
359
360     if (ctx->cur_field) {
361         dest_y += frame->linesize[0];
362         dest_u += frame->linesize[1];
363         dest_v += frame->linesize[2];
364     }
365     if (interlaced_mb) {
366         dct_linesize_luma   <<= 1;
367         dct_linesize_chroma <<= 1;
368     }
369
370     dct_y_offset = interlaced_mb ? frame->linesize[0] : (dct_linesize_luma << 3);
371     dct_x_offset = 8 << shift1;
372     if (!ctx->is_444) {
373         ctx->idsp.idct_put(dest_y,                               dct_linesize_luma, ctx->blocks[0]);
374         ctx->idsp.idct_put(dest_y + dct_x_offset,                dct_linesize_luma, ctx->blocks[1]);
375         ctx->idsp.idct_put(dest_y + dct_y_offset,                dct_linesize_luma, ctx->blocks[4]);
376         ctx->idsp.idct_put(dest_y + dct_y_offset + dct_x_offset, dct_linesize_luma, ctx->blocks[5]);
377
378         if (!(ctx->avctx->flags & AV_CODEC_FLAG_GRAY)) {
379             dct_y_offset = interlaced_mb ? frame->linesize[1] : (dct_linesize_chroma << 3);
380             ctx->idsp.idct_put(dest_u,                dct_linesize_chroma, ctx->blocks[2]);
381             ctx->idsp.idct_put(dest_v,                dct_linesize_chroma, ctx->blocks[3]);
382             ctx->idsp.idct_put(dest_u + dct_y_offset, dct_linesize_chroma, ctx->blocks[6]);
383             ctx->idsp.idct_put(dest_v + dct_y_offset, dct_linesize_chroma, ctx->blocks[7]);
384         }
385     } else {
386         ctx->idsp.idct_put(dest_y,                               dct_linesize_luma, ctx->blocks[0]);
387         ctx->idsp.idct_put(dest_y + dct_x_offset,                dct_linesize_luma, ctx->blocks[1]);
388         ctx->idsp.idct_put(dest_y + dct_y_offset,                dct_linesize_luma, ctx->blocks[6]);
389         ctx->idsp.idct_put(dest_y + dct_y_offset + dct_x_offset, dct_linesize_luma, ctx->blocks[7]);
390
391         if (!(ctx->avctx->flags & AV_CODEC_FLAG_GRAY)) {
392             dct_y_offset = interlaced_mb ? frame->linesize[1] : (dct_linesize_chroma << 3);
393             ctx->idsp.idct_put(dest_u,                               dct_linesize_chroma, ctx->blocks[2]);
394             ctx->idsp.idct_put(dest_u + dct_x_offset,                dct_linesize_chroma, ctx->blocks[3]);
395             ctx->idsp.idct_put(dest_u + dct_y_offset,                dct_linesize_chroma, ctx->blocks[8]);
396             ctx->idsp.idct_put(dest_u + dct_y_offset + dct_x_offset, dct_linesize_chroma, ctx->blocks[9]);
397             ctx->idsp.idct_put(dest_v,                               dct_linesize_chroma, ctx->blocks[4]);
398             ctx->idsp.idct_put(dest_v + dct_x_offset,                dct_linesize_chroma, ctx->blocks[5]);
399             ctx->idsp.idct_put(dest_v + dct_y_offset,                dct_linesize_chroma, ctx->blocks[10]);
400             ctx->idsp.idct_put(dest_v + dct_y_offset + dct_x_offset, dct_linesize_chroma, ctx->blocks[11]);
401         }
402     }
403
404     return 0;
405 }
406
407 static int dnxhd_decode_macroblocks(DNXHDContext *ctx, AVFrame *frame,
408                                     const uint8_t *buf, int buf_size)
409 {
410     int x, y;
411     for (y = 0; y < ctx->mb_height; y++) {
412         ctx->last_dc[0] =
413         ctx->last_dc[1] =
414         ctx->last_dc[2] = 1 << (ctx->bit_depth + 2); // for levels +2^(bitdepth-1)
415         init_get_bits(&ctx->gb, buf + ctx->mb_scan_index[y], (buf_size - ctx->mb_scan_index[y]) << 3);
416         for (x = 0; x < ctx->mb_width; x++) {
417             //START_TIMER;
418             dnxhd_decode_macroblock(ctx, frame, x, y);
419             //STOP_TIMER("decode macroblock");
420         }
421     }
422     return 0;
423 }
424
425 static int dnxhd_decode_frame(AVCodecContext *avctx, void *data,
426                               int *got_frame, AVPacket *avpkt)
427 {
428     const uint8_t *buf = avpkt->data;
429     int buf_size = avpkt->size;
430     DNXHDContext *ctx = avctx->priv_data;
431     ThreadFrame tf;
432     int first_field = 1;
433     int ret;
434
435     tf.f = data;
436
437     ff_dlog(avctx, "frame size %d\n", buf_size);
438
439 decode_coding_unit:
440     if ((ret = dnxhd_decode_header(ctx, tf.f, buf, buf_size, first_field)) < 0)
441         return ret;
442
443     if ((avctx->width || avctx->height) &&
444         (ctx->width != avctx->width || ctx->height != avctx->height)) {
445         av_log(avctx, AV_LOG_WARNING, "frame size changed: %dx%d -> %ux%u\n",
446                avctx->width, avctx->height, ctx->width, ctx->height);
447         first_field = 1;
448     }
449
450     ret = ff_set_dimensions(avctx, ctx->width, ctx->height);
451     if (ret < 0)
452         return ret;
453
454     if (first_field) {
455         if ((ret = ff_thread_get_buffer(avctx, &tf, 0)) < 0) {
456             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
457             return ret;
458         }
459         tf.f->pict_type = AV_PICTURE_TYPE_I;
460         tf.f->key_frame = 1;
461     }
462
463     dnxhd_decode_macroblocks(ctx, tf.f, buf + 0x280, buf_size - 0x280);
464
465     if (first_field && tf.f->interlaced_frame) {
466         buf      += ctx->cid_table->coding_unit_size;
467         buf_size -= ctx->cid_table->coding_unit_size;
468         first_field = 0;
469         goto decode_coding_unit;
470     }
471
472     *got_frame = 1;
473     return buf_size;
474 }
475
476 static av_cold int dnxhd_decode_close(AVCodecContext *avctx)
477 {
478     DNXHDContext *ctx = avctx->priv_data;
479
480     ff_free_vlc(&ctx->ac_vlc);
481     ff_free_vlc(&ctx->dc_vlc);
482     ff_free_vlc(&ctx->run_vlc);
483     return 0;
484 }
485
486 AVCodec ff_dnxhd_decoder = {
487     .name           = "dnxhd",
488     .long_name      = NULL_IF_CONFIG_SMALL("VC3/DNxHD"),
489     .type           = AVMEDIA_TYPE_VIDEO,
490     .id             = AV_CODEC_ID_DNXHD,
491     .priv_data_size = sizeof(DNXHDContext),
492     .init           = dnxhd_decode_init,
493     .close          = dnxhd_decode_close,
494     .decode         = dnxhd_decode_frame,
495     .capabilities   = AV_CODEC_CAP_DR1 | AV_CODEC_CAP_FRAME_THREADS,
496 };