pictor: Correctly check frame dimensions
[ffmpeg.git] / libavcodec / qtrleenc.c
1 /*
2  * Quicktime Animation (RLE) Video Encoder
3  * Copyright (C) 2007 Clemens Fruhwirth
4  * Copyright (C) 2007 Alexis Ballier
5  *
6  * This file is based on flashsvenc.c.
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/imgutils.h"
26 #include "avcodec.h"
27 #include "bytestream.h"
28 #include "internal.h"
29
30 /** Maximum RLE code for bulk copy */
31 #define MAX_RLE_BULK   127
32 /** Maximum RLE code for repeat */
33 #define MAX_RLE_REPEAT 128
34 /** Maximum RLE code for skip */
35 #define MAX_RLE_SKIP   254
36
37 typedef struct QtrleEncContext {
38     AVCodecContext *avctx;
39     int pixel_size;
40     AVFrame *previous_frame;
41     unsigned int max_buf_size;
42     /**
43      * This array will contain at ith position the value of the best RLE code
44      * if the line started at pixel i
45      * There can be 3 values :
46      * skip (0)     : skip as much as possible pixels because they are equal to the
47      *                previous frame ones
48      * repeat (<-1) : repeat that pixel -rle_code times, still as much as
49      *                possible
50      * copy (>0)    : copy the raw next rle_code pixels */
51     signed char *rlecode_table;
52     /**
53      * This array will contain the length of the best rle encoding of the line
54      * starting at ith pixel */
55     int *length_table;
56     /**
57      * Will contain at ith position the number of consecutive pixels equal to the previous
58      * frame starting from pixel i */
59     uint8_t* skip_table;
60
61     /** Encoded frame is a key frame */
62     int key_frame;
63 } QtrleEncContext;
64
65 static av_cold int qtrle_encode_end(AVCodecContext *avctx)
66 {
67     QtrleEncContext *s = avctx->priv_data;
68
69     av_frame_free(&s->previous_frame);
70     av_free(s->rlecode_table);
71     av_free(s->length_table);
72     av_free(s->skip_table);
73     return 0;
74 }
75
76 static av_cold int qtrle_encode_init(AVCodecContext *avctx)
77 {
78     QtrleEncContext *s = avctx->priv_data;
79
80     if (av_image_check_size(avctx->width, avctx->height, 0, avctx) < 0) {
81         return -1;
82     }
83     s->avctx=avctx;
84
85     switch (avctx->pix_fmt) {
86     case AV_PIX_FMT_RGB555BE:
87         s->pixel_size = 2;
88         break;
89     case AV_PIX_FMT_RGB24:
90         s->pixel_size = 3;
91         break;
92     case AV_PIX_FMT_ARGB:
93         s->pixel_size = 4;
94         break;
95     default:
96         av_log(avctx, AV_LOG_ERROR, "Unsupported colorspace.\n");
97         break;
98     }
99     avctx->bits_per_coded_sample = s->pixel_size*8;
100
101     s->rlecode_table = av_mallocz(s->avctx->width);
102     s->skip_table    = av_mallocz(s->avctx->width);
103     s->length_table  = av_mallocz((s->avctx->width + 1)*sizeof(int));
104     if (!s->skip_table || !s->length_table || !s->rlecode_table) {
105         av_log(avctx, AV_LOG_ERROR, "Error allocating memory.\n");
106         return -1;
107     }
108     s->previous_frame = av_frame_alloc();
109     if (!s->previous_frame) {
110         av_log(avctx, AV_LOG_ERROR, "Error allocating picture\n");
111         return -1;
112     }
113
114     s->max_buf_size = s->avctx->width*s->avctx->height*s->pixel_size*2 /* image base material */
115                       + 15                                           /* header + footer */
116                       + s->avctx->height*2                           /* skip code+rle end */
117                       + s->avctx->width/MAX_RLE_BULK + 1             /* rle codes */;
118
119     return 0;
120 }
121
122 /**
123  * Compute the best RLE sequence for a line
124  */
125 static void qtrle_encode_line(QtrleEncContext *s, const AVFrame *p, int line, uint8_t **buf)
126 {
127     int width=s->avctx->width;
128     int i;
129     signed char rlecode;
130
131     /* We will use it to compute the best bulk copy sequence */
132     unsigned int bulkcount;
133     /* This will be the number of pixels equal to the previous frame one's
134      * starting from the ith pixel */
135     unsigned int skipcount;
136     /* This will be the number of consecutive equal pixels in the current
137      * frame, starting from the ith one also */
138     unsigned int repeatcount;
139
140     /* The cost of the three different possibilities */
141     int total_bulk_cost;
142     int total_skip_cost;
143     int total_repeat_cost;
144
145     int temp_cost;
146     int j;
147
148     uint8_t *this_line = p->               data[0] + line*p->               linesize[0] +
149         (width - 1)*s->pixel_size;
150     uint8_t *prev_line = s->previous_frame->data[0] + line * s->previous_frame->linesize[0] +
151         (width - 1)*s->pixel_size;
152
153     s->length_table[width] = 0;
154     skipcount = 0;
155
156     for (i = width - 1; i >= 0; i--) {
157
158         if (!s->key_frame && !memcmp(this_line, prev_line, s->pixel_size))
159             skipcount = FFMIN(skipcount + 1, MAX_RLE_SKIP);
160         else
161             skipcount = 0;
162
163         total_skip_cost  = s->length_table[i + skipcount] + 2;
164         s->skip_table[i] = skipcount;
165
166
167         if (i < width - 1 && !memcmp(this_line, this_line + s->pixel_size, s->pixel_size))
168             repeatcount = FFMIN(repeatcount + 1, MAX_RLE_REPEAT);
169         else
170             repeatcount = 1;
171
172         total_repeat_cost = s->length_table[i + repeatcount] + 1 + s->pixel_size;
173
174         /* skip code is free for the first pixel, it costs one byte for repeat and bulk copy
175          * so let's make it aware */
176         if (i == 0) {
177             total_skip_cost--;
178             total_repeat_cost++;
179         }
180
181         if (repeatcount > 1 && (skipcount == 0 || total_repeat_cost < total_skip_cost)) {
182             /* repeat is the best */
183             s->length_table[i]  = total_repeat_cost;
184             s->rlecode_table[i] = -repeatcount;
185         }
186         else if (skipcount > 0) {
187             /* skip is the best choice here */
188             s->length_table[i]  = total_skip_cost;
189             s->rlecode_table[i] = 0;
190         }
191         else {
192             /* We cannot do neither skip nor repeat
193              * thus we search for the best bulk copy to do */
194
195             int limit = FFMIN(width - i, MAX_RLE_BULK);
196
197             temp_cost = 1 + s->pixel_size + !i;
198             total_bulk_cost = INT_MAX;
199
200             for (j = 1; j <= limit; j++) {
201                 if (s->length_table[i + j] + temp_cost < total_bulk_cost) {
202                     /* We have found a better bulk copy ... */
203                     total_bulk_cost = s->length_table[i + j] + temp_cost;
204                     bulkcount = j;
205                 }
206                 temp_cost += s->pixel_size;
207             }
208
209             s->length_table[i]  = total_bulk_cost;
210             s->rlecode_table[i] = bulkcount;
211         }
212
213         this_line -= s->pixel_size;
214         prev_line -= s->pixel_size;
215     }
216
217     /* Good! Now we have the best sequence for this line, let's output it. */
218
219     /* We do a special case for the first pixel so that we avoid testing it in
220      * the whole loop */
221
222     i=0;
223     this_line = p->               data[0] + line*p->linesize[0];
224
225     if (s->rlecode_table[0] == 0) {
226         bytestream_put_byte(buf, s->skip_table[0] + 1);
227         i += s->skip_table[0];
228     }
229     else bytestream_put_byte(buf, 1);
230
231
232     while (i < width) {
233         rlecode = s->rlecode_table[i];
234         bytestream_put_byte(buf, rlecode);
235         if (rlecode == 0) {
236             /* Write a skip sequence */
237             bytestream_put_byte(buf, s->skip_table[i] + 1);
238             i += s->skip_table[i];
239         }
240         else if (rlecode > 0) {
241             /* bulk copy */
242             bytestream_put_buffer(buf, this_line + i*s->pixel_size, rlecode*s->pixel_size);
243             i += rlecode;
244         }
245         else {
246             /* repeat the bits */
247             bytestream_put_buffer(buf, this_line + i*s->pixel_size, s->pixel_size);
248             i -= rlecode;
249         }
250     }
251     bytestream_put_byte(buf, -1); // end RLE line
252 }
253
254 /** Encode frame including header */
255 static int encode_frame(QtrleEncContext *s, const AVFrame *p, uint8_t *buf)
256 {
257     int i;
258     int start_line = 0;
259     int end_line = s->avctx->height;
260     uint8_t *orig_buf = buf;
261
262     if (!s->key_frame) {
263         unsigned line_size = s->avctx->width * s->pixel_size;
264         for (start_line = 0; start_line < s->avctx->height; start_line++)
265             if (memcmp(p->data[0] + start_line*p->linesize[0],
266                        s->previous_frame->data[0] + start_line * s->previous_frame->linesize[0],
267                        line_size))
268                 break;
269
270         for (end_line=s->avctx->height; end_line > start_line; end_line--)
271             if (memcmp(p->data[0] + (end_line - 1)*p->linesize[0],
272                        s->previous_frame->data[0] + (end_line - 1) * s->previous_frame->linesize[0],
273                        line_size))
274                 break;
275     }
276
277     bytestream_put_be32(&buf, 0);                         // CHUNK SIZE, patched later
278
279     if ((start_line == 0 && end_line == s->avctx->height) || start_line == s->avctx->height)
280         bytestream_put_be16(&buf, 0);                     // header
281     else {
282         bytestream_put_be16(&buf, 8);                     // header
283         bytestream_put_be16(&buf, start_line);            // starting line
284         bytestream_put_be16(&buf, 0);                     // unknown
285         bytestream_put_be16(&buf, end_line - start_line); // lines to update
286         bytestream_put_be16(&buf, 0);                     // unknown
287     }
288     for (i = start_line; i < end_line; i++)
289         qtrle_encode_line(s, p, i, &buf);
290
291     bytestream_put_byte(&buf, 0);                         // zero skip code = frame finished
292     AV_WB32(orig_buf, buf - orig_buf);                    // patch the chunk size
293     return buf - orig_buf;
294 }
295
296 static int qtrle_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
297                               const AVFrame *pict, int *got_packet)
298 {
299     QtrleEncContext * const s = avctx->priv_data;
300 #if FF_API_CODED_FRAME
301     enum AVPictureType pict_type;
302 #endif
303     int ret;
304
305     if ((ret = ff_alloc_packet(pkt, s->max_buf_size)) < 0) {
306         /* Upper bound check for compressed data */
307         av_log(avctx, AV_LOG_ERROR, "Error getting output packet of size %d.\n", s->max_buf_size);
308         return ret;
309     }
310
311     if (avctx->gop_size == 0 || (s->avctx->frame_number % avctx->gop_size) == 0) {
312         /* I-Frame */
313 #if FF_API_CODED_FRAME
314         pict_type = AV_PICTURE_TYPE_I;
315 #endif
316         s->key_frame = 1;
317     } else {
318         /* P-Frame */
319 #if FF_API_CODED_FRAME
320         pict_type = AV_PICTURE_TYPE_P;
321 #endif
322         s->key_frame = 0;
323     }
324
325     pkt->size = encode_frame(s, pict, pkt->data);
326
327     /* save the current frame */
328     av_frame_unref(s->previous_frame);
329     ret = av_frame_ref(s->previous_frame, pict);
330     if (ret < 0) {
331         av_log(avctx, AV_LOG_ERROR, "cannot add reference\n");
332         return ret;
333     }
334
335 #if FF_API_CODED_FRAME
336 FF_DISABLE_DEPRECATION_WARNINGS
337     avctx->coded_frame->key_frame = s->key_frame;
338     avctx->coded_frame->pict_type = pict_type;
339 FF_ENABLE_DEPRECATION_WARNINGS
340 #endif
341
342     if (s->key_frame)
343         pkt->flags |= AV_PKT_FLAG_KEY;
344     *got_packet = 1;
345
346     return 0;
347 }
348
349 AVCodec ff_qtrle_encoder = {
350     .name           = "qtrle",
351     .long_name      = NULL_IF_CONFIG_SMALL("QuickTime Animation (RLE) video"),
352     .type           = AVMEDIA_TYPE_VIDEO,
353     .id             = AV_CODEC_ID_QTRLE,
354     .priv_data_size = sizeof(QtrleEncContext),
355     .init           = qtrle_encode_init,
356     .encode2        = qtrle_encode_frame,
357     .close          = qtrle_encode_end,
358     .pix_fmts       = (const enum AVPixelFormat[]){
359         AV_PIX_FMT_RGB24, AV_PIX_FMT_RGB555BE, AV_PIX_FMT_ARGB, AV_PIX_FMT_NONE
360     },
361 };