avcodec/a64multienc: fix use of uninitialized values in to_meta_with_crop
[ffmpeg.git] / libavcodec / a64multienc.c
1 /*
2  * a64 video encoder - multicolor modes
3  * Copyright (c) 2009 Tobias Bindhammer
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * a64 video encoder - multicolor modes
25  */
26
27 #include "a64colors.h"
28 #include "a64tables.h"
29 #include "elbg.h"
30 #include "internal.h"
31 #include "libavutil/common.h"
32 #include "libavutil/intreadwrite.h"
33
34 #define DITHERSTEPS   8
35 #define CHARSET_CHARS 256
36 #define INTERLACED    1
37 #define CROP_SCREENS  1
38
39 #define C64XRES 320
40 #define C64YRES 200
41
42 typedef struct A64Context {
43     /* variables for multicolor modes */
44     AVLFG randctx;
45     int mc_lifetime;
46     int mc_use_5col;
47     unsigned mc_frame_counter;
48     int *mc_meta_charset;
49     int *mc_charmap;
50     int *mc_best_cb;
51     int mc_luma_vals[5];
52     uint8_t *mc_charset;
53     uint8_t *mc_colram;
54     uint8_t *mc_palette;
55     int mc_pal_size;
56
57     /* pts of the next packet that will be output */
58     int64_t next_pts;
59 } A64Context;
60
61 /* gray gradient */
62 static const int mc_colors[5]={0x0,0xb,0xc,0xf,0x1};
63
64 /* other possible gradients - to be tested */
65 //static const int mc_colors[5]={0x0,0x8,0xa,0xf,0x7};
66 //static const int mc_colors[5]={0x0,0x9,0x8,0xa,0x3};
67
68 static void to_meta_with_crop(AVCodecContext *avctx, AVFrame *p, int *dest)
69 {
70     int blockx, blocky, x, y;
71     int luma = 0;
72     int height = FFMIN(avctx->height, C64YRES);
73     int width  = FFMIN(avctx->width , C64XRES);
74     uint8_t *src = p->data[0];
75
76     for (blocky = 0; blocky < C64YRES; blocky += 8) {
77         for (blockx = 0; blockx < C64XRES; blockx += 8) {
78             for (y = blocky; y < blocky + 8 && y < C64YRES; y++) {
79                 for (x = blockx; x < blockx + 8 && x < C64XRES; x += 2) {
80                     if(x < width && y < height) {
81                         if (x + 1 < width) {
82                             /* build average over 2 pixels */
83                             luma = (src[(x + 0 + y * p->linesize[0])] +
84                                     src[(x + 1 + y * p->linesize[0])]) / 2;
85                         } else {
86                             luma = src[(x + y * p->linesize[0])];
87                         }
88                         /* write blocks as linear data now so they are suitable for elbg */
89                         dest[0] = luma;
90                     }
91                     dest++;
92                 }
93             }
94         }
95     }
96 }
97
98 static void render_charset(AVCodecContext *avctx, uint8_t *charset,
99                            uint8_t *colrammap)
100 {
101     A64Context *c = avctx->priv_data;
102     uint8_t row1, row2;
103     int charpos, x, y;
104     int a, b;
105     uint8_t pix;
106     int lowdiff, highdiff;
107     int *best_cb = c->mc_best_cb;
108     static uint8_t index1[256];
109     static uint8_t index2[256];
110     static uint8_t dither[256];
111     int i;
112     int distance;
113
114     /* generate lookup-tables for dither and index before looping */
115     i = 0;
116     for (a=0; a < 256; a++) {
117         if(i < c->mc_pal_size -1 && a == c->mc_luma_vals[i + 1]) {
118             distance = c->mc_luma_vals[i + 1] - c->mc_luma_vals[i];
119             for(b = 0; b <= distance; b++) {
120                   dither[c->mc_luma_vals[i] + b] = b * (DITHERSTEPS - 1) / distance;
121             }
122             i++;
123         }
124         if(i >= c->mc_pal_size - 1) dither[a] = 0;
125         index1[a] = i;
126         index2[a] = FFMIN(i + 1, c->mc_pal_size - 1);
127     }
128
129     /* and render charset */
130     for (charpos = 0; charpos < CHARSET_CHARS; charpos++) {
131         lowdiff  = 0;
132         highdiff = 0;
133         for (y = 0; y < 8; y++) {
134             row1 = 0; row2 = 0;
135             for (x = 0; x < 4; x++) {
136                 pix = best_cb[y * 4 + x];
137
138                 /* accumulate error for brightest/darkest color */
139                 if (index1[pix] >= 3)
140                     highdiff += pix - c->mc_luma_vals[3];
141                 if (index1[pix] < 1)
142                     lowdiff += c->mc_luma_vals[1] - pix;
143
144                 row1 <<= 2;
145
146                 if (INTERLACED) {
147                     row2 <<= 2;
148                     if (interlaced_dither_patterns[dither[pix]][(y & 3) * 2 + 0][x & 3])
149                         row1 |= 3-(index2[pix] & 3);
150                     else
151                         row1 |= 3-(index1[pix] & 3);
152
153                     if (interlaced_dither_patterns[dither[pix]][(y & 3) * 2 + 1][x & 3])
154                         row2 |= 3-(index2[pix] & 3);
155                     else
156                         row2 |= 3-(index1[pix] & 3);
157                 }
158                 else {
159                     if (multi_dither_patterns[dither[pix]][(y & 3)][x & 3])
160                         row1 |= 3-(index2[pix] & 3);
161                     else
162                         row1 |= 3-(index1[pix] & 3);
163                 }
164             }
165             charset[y+0x000] = row1;
166             if (INTERLACED) charset[y+0x800] = row2;
167         }
168         /* do we need to adjust pixels? */
169         if (highdiff > 0 && lowdiff > 0 && c->mc_use_5col) {
170             if (lowdiff > highdiff) {
171                 for (x = 0; x < 32; x++)
172                     best_cb[x] = FFMIN(c->mc_luma_vals[3], best_cb[x]);
173             } else {
174                 for (x = 0; x < 32; x++)
175                     best_cb[x] = FFMAX(c->mc_luma_vals[1], best_cb[x]);
176             }
177             charpos--;          /* redo now adjusted char */
178         /* no adjustment needed, all fine */
179         } else {
180             /* advance pointers */
181             best_cb += 32;
182             charset += 8;
183
184             /* remember colorram value */
185             colrammap[charpos] = (highdiff > 0);
186         }
187     }
188 }
189
190 static av_cold int a64multi_close_encoder(AVCodecContext *avctx)
191 {
192     A64Context *c = avctx->priv_data;
193     av_frame_free(&avctx->coded_frame);
194     av_freep(&c->mc_meta_charset);
195     av_freep(&c->mc_best_cb);
196     av_freep(&c->mc_charset);
197     av_freep(&c->mc_charmap);
198     av_freep(&c->mc_colram);
199     return 0;
200 }
201
202 static av_cold int a64multi_encode_init(AVCodecContext *avctx)
203 {
204     A64Context *c = avctx->priv_data;
205     int a;
206     av_lfg_init(&c->randctx, 1);
207
208     if (avctx->global_quality < 1) {
209         c->mc_lifetime = 4;
210     } else {
211         c->mc_lifetime = avctx->global_quality /= FF_QP2LAMBDA;
212     }
213
214     av_log(avctx, AV_LOG_INFO, "charset lifetime set to %d frame(s)\n", c->mc_lifetime);
215
216     c->mc_frame_counter = 0;
217     c->mc_use_5col      = avctx->codec->id == AV_CODEC_ID_A64_MULTI5;
218     c->mc_pal_size      = 4 + c->mc_use_5col;
219
220     /* precalc luma values for later use */
221     for (a = 0; a < c->mc_pal_size; a++) {
222         c->mc_luma_vals[a]=a64_palette[mc_colors[a]][0] * 0.30 +
223                            a64_palette[mc_colors[a]][1] * 0.59 +
224                            a64_palette[mc_colors[a]][2] * 0.11;
225     }
226
227     if (!(c->mc_meta_charset = av_mallocz_array(c->mc_lifetime, 32000 * sizeof(int))) ||
228        !(c->mc_best_cb       = av_malloc(CHARSET_CHARS * 32 * sizeof(int)))     ||
229        !(c->mc_charmap       = av_mallocz_array(c->mc_lifetime, 1000 * sizeof(int))) ||
230        !(c->mc_colram        = av_mallocz(CHARSET_CHARS * sizeof(uint8_t)))     ||
231        !(c->mc_charset       = av_malloc(0x800 * (INTERLACED+1) * sizeof(uint8_t)))) {
232         av_log(avctx, AV_LOG_ERROR, "Failed to allocate buffer memory.\n");
233         return AVERROR(ENOMEM);
234     }
235
236     /* set up extradata */
237     if (!(avctx->extradata = av_mallocz(8 * 4 + FF_INPUT_BUFFER_PADDING_SIZE))) {
238         av_log(avctx, AV_LOG_ERROR, "Failed to allocate memory for extradata.\n");
239         return AVERROR(ENOMEM);
240     }
241     avctx->extradata_size = 8 * 4;
242     AV_WB32(avctx->extradata, c->mc_lifetime);
243     AV_WB32(avctx->extradata + 16, INTERLACED);
244
245     avctx->coded_frame = av_frame_alloc();
246     if (!avctx->coded_frame) {
247         a64multi_close_encoder(avctx);
248         return AVERROR(ENOMEM);
249     }
250
251     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
252     avctx->coded_frame->key_frame = 1;
253     if (!avctx->codec_tag)
254          avctx->codec_tag = AV_RL32("a64m");
255
256     c->next_pts = AV_NOPTS_VALUE;
257
258     return 0;
259 }
260
261 static void a64_compress_colram(unsigned char *buf, int *charmap, uint8_t *colram)
262 {
263     int a;
264     uint8_t temp;
265     /* only needs to be done in 5col mode */
266     /* XXX could be squeezed to 0x80 bytes */
267     for (a = 0; a < 256; a++) {
268         temp  = colram[charmap[a + 0x000]] << 0;
269         temp |= colram[charmap[a + 0x100]] << 1;
270         temp |= colram[charmap[a + 0x200]] << 2;
271         if (a < 0xe8) temp |= colram[charmap[a + 0x300]] << 3;
272         buf[a] = temp << 2;
273     }
274 }
275
276 static int a64multi_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
277                                  const AVFrame *pict, int *got_packet)
278 {
279     A64Context *c = avctx->priv_data;
280     AVFrame *const p = avctx->coded_frame;
281
282     int frame;
283     int x, y;
284     int b_height;
285     int b_width;
286
287     int req_size, ret;
288     uint8_t *buf = NULL;
289
290     int *charmap     = c->mc_charmap;
291     uint8_t *colram  = c->mc_colram;
292     uint8_t *charset = c->mc_charset;
293     int *meta        = c->mc_meta_charset;
294     int *best_cb     = c->mc_best_cb;
295
296     int charset_size = 0x800 * (INTERLACED + 1);
297     int colram_size  = 0x100 * c->mc_use_5col;
298     int screen_size;
299
300     if(CROP_SCREENS) {
301         b_height = FFMIN(avctx->height,C64YRES) >> 3;
302         b_width  = FFMIN(avctx->width ,C64XRES) >> 3;
303         screen_size = b_width * b_height;
304     } else {
305         b_height = C64YRES >> 3;
306         b_width  = C64XRES >> 3;
307         screen_size = 0x400;
308     }
309
310     /* no data, means end encoding asap */
311     if (!pict) {
312         /* all done, end encoding */
313         if (!c->mc_lifetime) return 0;
314         /* no more frames in queue, prepare to flush remaining frames */
315         if (!c->mc_frame_counter) {
316             c->mc_lifetime = 0;
317         }
318         /* still frames in queue so limit lifetime to remaining frames */
319         else c->mc_lifetime = c->mc_frame_counter;
320     /* still new data available */
321     } else {
322         /* fill up mc_meta_charset with data until lifetime exceeds */
323         if (c->mc_frame_counter < c->mc_lifetime) {
324             ret = av_frame_ref(p, pict);
325             if (ret < 0)
326                 return ret;
327             p->pict_type = AV_PICTURE_TYPE_I;
328             p->key_frame = 1;
329             to_meta_with_crop(avctx, p, meta + 32000 * c->mc_frame_counter);
330             c->mc_frame_counter++;
331             if (c->next_pts == AV_NOPTS_VALUE)
332                 c->next_pts = pict->pts;
333             /* lifetime is not reached so wait for next frame first */
334             return 0;
335         }
336     }
337
338     /* lifetime reached so now convert X frames at once */
339     if (c->mc_frame_counter == c->mc_lifetime) {
340         req_size = 0;
341         /* any frames to encode? */
342         if (c->mc_lifetime) {
343             int alloc_size = charset_size + c->mc_lifetime*(screen_size + colram_size);
344             if ((ret = ff_alloc_packet2(avctx, pkt, alloc_size)) < 0)
345                 return ret;
346             buf = pkt->data;
347
348             /* calc optimal new charset + charmaps */
349             ret = avpriv_init_elbg(meta, 32, 1000 * c->mc_lifetime, best_cb,
350                                CHARSET_CHARS, 50, charmap, &c->randctx);
351             if (ret < 0)
352                 return ret;
353             ret = avpriv_do_elbg(meta, 32, 1000 * c->mc_lifetime, best_cb,
354                              CHARSET_CHARS, 50, charmap, &c->randctx);
355             if (ret < 0)
356                 return ret;
357
358             /* create colorram map and a c64 readable charset */
359             render_charset(avctx, charset, colram);
360
361             /* copy charset to buf */
362             memcpy(buf, charset, charset_size);
363
364             /* advance pointers */
365             buf      += charset_size;
366             req_size += charset_size;
367         }
368
369         /* write x frames to buf */
370         for (frame = 0; frame < c->mc_lifetime; frame++) {
371             /* copy charmap to buf. buf is uchar*, charmap is int*, so no memcpy here, sorry */
372             for (y = 0; y < b_height; y++) {
373                 for (x = 0; x < b_width; x++) {
374                     buf[y * b_width + x] = charmap[y * b_width + x];
375                 }
376             }
377             /* advance pointers */
378             buf += screen_size;
379             req_size += screen_size;
380
381             /* compress and copy colram to buf */
382             if (c->mc_use_5col) {
383                 a64_compress_colram(buf, charmap, colram);
384                 /* advance pointers */
385                 buf += colram_size;
386                 req_size += colram_size;
387             }
388
389             /* advance to next charmap */
390             charmap += 1000;
391         }
392
393         AV_WB32(avctx->extradata + 4,  c->mc_frame_counter);
394         AV_WB32(avctx->extradata + 8,  charset_size);
395         AV_WB32(avctx->extradata + 12, screen_size + colram_size);
396
397         /* reset counter */
398         c->mc_frame_counter = 0;
399
400         pkt->pts = pkt->dts = c->next_pts;
401         c->next_pts         = AV_NOPTS_VALUE;
402
403         pkt->size   = req_size;
404         pkt->flags |= AV_PKT_FLAG_KEY;
405         *got_packet = !!req_size;
406     }
407     return 0;
408 }
409
410 #if CONFIG_A64MULTI_ENCODER
411 AVCodec ff_a64multi_encoder = {
412     .name           = "a64multi",
413     .long_name      = NULL_IF_CONFIG_SMALL("Multicolor charset for Commodore 64"),
414     .type           = AVMEDIA_TYPE_VIDEO,
415     .id             = AV_CODEC_ID_A64_MULTI,
416     .priv_data_size = sizeof(A64Context),
417     .init           = a64multi_encode_init,
418     .encode2        = a64multi_encode_frame,
419     .close          = a64multi_close_encoder,
420     .pix_fmts       = (const enum AVPixelFormat[]) {AV_PIX_FMT_GRAY8, AV_PIX_FMT_NONE},
421     .capabilities   = CODEC_CAP_DELAY,
422 };
423 #endif
424 #if CONFIG_A64MULTI5_ENCODER
425 AVCodec ff_a64multi5_encoder = {
426     .name           = "a64multi5",
427     .long_name      = NULL_IF_CONFIG_SMALL("Multicolor charset for Commodore 64, extended with 5th color (colram)"),
428     .type           = AVMEDIA_TYPE_VIDEO,
429     .id             = AV_CODEC_ID_A64_MULTI5,
430     .priv_data_size = sizeof(A64Context),
431     .init           = a64multi_encode_init,
432     .encode2        = a64multi_encode_frame,
433     .close          = a64multi_close_encoder,
434     .pix_fmts       = (const enum AVPixelFormat[]) {AV_PIX_FMT_GRAY8, AV_PIX_FMT_NONE},
435     .capabilities   = CODEC_CAP_DELAY,
436 };
437 #endif