Merge commit '86bfcfcf2364bc837b7bb582c66a8a15a332414f'
[ffmpeg.git] / libavcodec / qtrleenc.c
1 /*
2  * Quicktime Animation (RLE) Video Encoder
3  * Copyright (C) 2007 Clemens Fruhwirth
4  * Copyright (C) 2007 Alexis Ballier
5  *
6  * This file is based on flashsvenc.c.
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/imgutils.h"
26 #include "avcodec.h"
27 #include "bytestream.h"
28 #include "internal.h"
29
30 /** Maximum RLE code for bulk copy */
31 #define MAX_RLE_BULK   127
32 /** Maximum RLE code for repeat */
33 #define MAX_RLE_REPEAT 128
34 /** Maximum RLE code for skip */
35 #define MAX_RLE_SKIP   254
36
37 typedef struct QtrleEncContext {
38     AVCodecContext *avctx;
39     AVFrame frame;
40     int pixel_size;
41     AVPicture previous_frame;
42     unsigned int max_buf_size;
43     int logical_width;
44     /**
45      * This array will contain at ith position the value of the best RLE code
46      * if the line started at pixel i
47      * There can be 3 values :
48      * skip (0)     : skip as much as possible pixels because they are equal to the
49      *                previous frame ones
50      * repeat (<-1) : repeat that pixel -rle_code times, still as much as
51      *                possible
52      * copy (>0)    : copy the raw next rle_code pixels */
53     signed char *rlecode_table;
54     /**
55      * This array will contain the length of the best rle encoding of the line
56      * starting at ith pixel */
57     int *length_table;
58     /**
59      * Will contain at ith position the number of consecutive pixels equal to the previous
60      * frame starting from pixel i */
61     uint8_t* skip_table;
62 } QtrleEncContext;
63
64 static av_cold int qtrle_encode_init(AVCodecContext *avctx)
65 {
66     QtrleEncContext *s = avctx->priv_data;
67     int ret;
68
69     if (av_image_check_size(avctx->width, avctx->height, 0, avctx) < 0) {
70         return AVERROR(EINVAL);
71     }
72     s->avctx=avctx;
73     s->logical_width=avctx->width;
74
75     switch (avctx->pix_fmt) {
76     case AV_PIX_FMT_GRAY8:
77         s->logical_width = avctx->width / 4;
78         s->pixel_size = 4;
79         break;
80     case AV_PIX_FMT_RGB555BE:
81         s->pixel_size = 2;
82         break;
83     case AV_PIX_FMT_RGB24:
84         s->pixel_size = 3;
85         break;
86     case AV_PIX_FMT_ARGB:
87         s->pixel_size = 4;
88         break;
89     default:
90         av_log(avctx, AV_LOG_ERROR, "Unsupported colorspace.\n");
91         break;
92     }
93     avctx->bits_per_coded_sample = avctx->pix_fmt == AV_PIX_FMT_GRAY8 ? 40 : s->pixel_size*8;
94
95     s->rlecode_table = av_mallocz(s->logical_width);
96     s->skip_table    = av_mallocz(s->logical_width);
97     s->length_table  = av_mallocz((s->logical_width + 1)*sizeof(int));
98     if (!s->skip_table || !s->length_table || !s->rlecode_table) {
99         av_log(avctx, AV_LOG_ERROR, "Error allocating memory.\n");
100         return AVERROR(ENOMEM);
101     }
102     if ((ret = avpicture_alloc(&s->previous_frame, avctx->pix_fmt, avctx->width, avctx->height)) < 0) {
103         av_log(avctx, AV_LOG_ERROR, "Error allocating picture\n");
104         return ret;
105     }
106
107     s->max_buf_size = s->logical_width*s->avctx->height*s->pixel_size*2 /* image base material */
108                       + 15                                            /* header + footer */
109                       + s->avctx->height*2                            /* skip code+rle end */
110                       + s->logical_width/MAX_RLE_BULK + 1             /* rle codes */;
111     avctx->coded_frame = &s->frame;
112     return 0;
113 }
114
115 /**
116  * Compute the best RLE sequence for a line
117  */
118 static void qtrle_encode_line(QtrleEncContext *s, const AVFrame *p, int line, uint8_t **buf)
119 {
120     int width=s->logical_width;
121     int i;
122     signed char rlecode;
123
124     /* We will use it to compute the best bulk copy sequence */
125     unsigned int av_uninit(bulkcount);
126     /* This will be the number of pixels equal to the preivous frame one's
127      * starting from the ith pixel */
128     unsigned int skipcount;
129     /* This will be the number of consecutive equal pixels in the current
130      * frame, starting from the ith one also */
131     unsigned int av_uninit(repeatcount);
132
133     /* The cost of the three different possibilities */
134     int total_bulk_cost;
135     int total_skip_cost;
136     int total_repeat_cost;
137
138     int temp_cost;
139     int j;
140
141     uint8_t *this_line = p->               data[0] + line*p->               linesize[0] +
142         (width - 1)*s->pixel_size;
143     uint8_t *prev_line = s->previous_frame.data[0] + line*s->previous_frame.linesize[0] +
144         (width - 1)*s->pixel_size;
145
146     s->length_table[width] = 0;
147     skipcount = 0;
148
149     for (i = width - 1; i >= 0; i--) {
150
151         if (!s->frame.key_frame && !memcmp(this_line, prev_line, s->pixel_size))
152             skipcount = FFMIN(skipcount + 1, MAX_RLE_SKIP);
153         else
154             skipcount = 0;
155
156         total_skip_cost  = s->length_table[i + skipcount] + 2;
157         s->skip_table[i] = skipcount;
158
159
160         if (i < width - 1 && !memcmp(this_line, this_line + s->pixel_size, s->pixel_size))
161             repeatcount = FFMIN(repeatcount + 1, MAX_RLE_REPEAT);
162         else
163             repeatcount = 1;
164
165         total_repeat_cost = s->length_table[i + repeatcount] + 1 + s->pixel_size;
166
167         /* skip code is free for the first pixel, it costs one byte for repeat and bulk copy
168          * so let's make it aware */
169         if (i == 0) {
170             total_skip_cost--;
171             total_repeat_cost++;
172         }
173
174         if (repeatcount > 1 && (skipcount == 0 || total_repeat_cost < total_skip_cost)) {
175             /* repeat is the best */
176             s->length_table[i]  = total_repeat_cost;
177             s->rlecode_table[i] = -repeatcount;
178         }
179         else if (skipcount > 0) {
180             /* skip is the best choice here */
181             s->length_table[i]  = total_skip_cost;
182             s->rlecode_table[i] = 0;
183         }
184         else {
185             /* We cannot do neither skip nor repeat
186              * thus we search for the best bulk copy to do */
187
188             int limit = FFMIN(width - i, MAX_RLE_BULK);
189
190             temp_cost = 1 + s->pixel_size + !i;
191             total_bulk_cost = INT_MAX;
192
193             for (j = 1; j <= limit; j++) {
194                 if (s->length_table[i + j] + temp_cost < total_bulk_cost) {
195                     /* We have found a better bulk copy ... */
196                     total_bulk_cost = s->length_table[i + j] + temp_cost;
197                     bulkcount = j;
198                 }
199                 temp_cost += s->pixel_size;
200             }
201
202             s->length_table[i]  = total_bulk_cost;
203             s->rlecode_table[i] = bulkcount;
204         }
205
206         this_line -= s->pixel_size;
207         prev_line -= s->pixel_size;
208     }
209
210     /* Good ! Now we have the best sequence for this line, let's output it */
211
212     /* We do a special case for the first pixel so that we avoid testing it in
213      * the whole loop */
214
215     i=0;
216     this_line = p->               data[0] + line*p->linesize[0];
217
218     if (s->rlecode_table[0] == 0) {
219         bytestream_put_byte(buf, s->skip_table[0] + 1);
220         i += s->skip_table[0];
221     }
222     else bytestream_put_byte(buf, 1);
223
224
225     while (i < width) {
226         rlecode = s->rlecode_table[i];
227         bytestream_put_byte(buf, rlecode);
228         if (rlecode == 0) {
229             /* Write a skip sequence */
230             bytestream_put_byte(buf, s->skip_table[i] + 1);
231             i += s->skip_table[i];
232         }
233         else if (rlecode > 0) {
234             /* bulk copy */
235             if (s->avctx->pix_fmt == AV_PIX_FMT_GRAY8) {
236                 int j;
237                 // QT grayscale colorspace has 0=white and 255=black, we will
238                 // ignore the palette that is included in the AVFrame because
239                 // AV_PIX_FMT_GRAY8 has defined color mapping
240                 for (j = 0; j < rlecode*s->pixel_size; ++j)
241                     bytestream_put_byte(buf, *(this_line + i*s->pixel_size + j) ^ 0xff);
242             } else {
243                 bytestream_put_buffer(buf, this_line + i*s->pixel_size, rlecode*s->pixel_size);
244             }
245             i += rlecode;
246         }
247         else {
248             /* repeat the bits */
249             if (s->avctx->pix_fmt == AV_PIX_FMT_GRAY8) {
250                 int j;
251                 // QT grayscale colorspace has 0=white and 255=black, ...
252                 for (j = 0; j < s->pixel_size; ++j)
253                     bytestream_put_byte(buf, *(this_line + i*s->pixel_size + j) ^ 0xff);
254             } else {
255                 bytestream_put_buffer(buf, this_line + i*s->pixel_size, s->pixel_size);
256             }
257             i -= rlecode;
258         }
259     }
260     bytestream_put_byte(buf, -1); // end RLE line
261 }
262
263 /** Encode frame including header */
264 static int encode_frame(QtrleEncContext *s, const AVFrame *p, uint8_t *buf)
265 {
266     int i;
267     int start_line = 0;
268     int end_line = s->avctx->height;
269     uint8_t *orig_buf = buf;
270
271     if (!s->frame.key_frame) {
272         unsigned line_size = s->logical_width * s->pixel_size;
273         for (start_line = 0; start_line < s->avctx->height; start_line++)
274             if (memcmp(p->data[0] + start_line*p->linesize[0],
275                        s->previous_frame.data[0] + start_line*s->previous_frame.linesize[0],
276                        line_size))
277                 break;
278
279         for (end_line=s->avctx->height; end_line > start_line; end_line--)
280             if (memcmp(p->data[0] + (end_line - 1)*p->linesize[0],
281                        s->previous_frame.data[0] + (end_line - 1)*s->previous_frame.linesize[0],
282                        line_size))
283                 break;
284     }
285
286     bytestream_put_be32(&buf, 0);                         // CHUNK SIZE, patched later
287
288     if ((start_line == 0 && end_line == s->avctx->height) || start_line == s->avctx->height)
289         bytestream_put_be16(&buf, 0);                     // header
290     else {
291         bytestream_put_be16(&buf, 8);                     // header
292         bytestream_put_be16(&buf, start_line);            // starting line
293         bytestream_put_be16(&buf, 0);                     // unknown
294         bytestream_put_be16(&buf, end_line - start_line); // lines to update
295         bytestream_put_be16(&buf, 0);                     // unknown
296     }
297     for (i = start_line; i < end_line; i++)
298         qtrle_encode_line(s, p, i, &buf);
299
300     bytestream_put_byte(&buf, 0);                         // zero skip code = frame finished
301     AV_WB32(orig_buf, buf - orig_buf);                    // patch the chunk size
302     return buf - orig_buf;
303 }
304
305 static int qtrle_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
306                               const AVFrame *pict, int *got_packet)
307 {
308     QtrleEncContext * const s = avctx->priv_data;
309     AVFrame * const p = &s->frame;
310     int ret;
311
312     *p = *pict;
313
314     if ((ret = ff_alloc_packet2(avctx, pkt, s->max_buf_size)) < 0)
315         return ret;
316
317     if (avctx->gop_size == 0 || (s->avctx->frame_number % avctx->gop_size) == 0) {
318         /* I-Frame */
319         p->pict_type = AV_PICTURE_TYPE_I;
320         p->key_frame = 1;
321     } else {
322         /* P-Frame */
323         p->pict_type = AV_PICTURE_TYPE_P;
324         p->key_frame = 0;
325     }
326
327     pkt->size = encode_frame(s, pict, pkt->data);
328
329     /* save the current frame */
330     av_picture_copy(&s->previous_frame, (AVPicture *)p, avctx->pix_fmt, avctx->width, avctx->height);
331
332     if (p->key_frame)
333         pkt->flags |= AV_PKT_FLAG_KEY;
334     *got_packet = 1;
335
336     return 0;
337 }
338
339 static av_cold int qtrle_encode_end(AVCodecContext *avctx)
340 {
341     QtrleEncContext *s = avctx->priv_data;
342
343     avpicture_free(&s->previous_frame);
344     av_free(s->rlecode_table);
345     av_free(s->length_table);
346     av_free(s->skip_table);
347     return 0;
348 }
349
350 AVCodec ff_qtrle_encoder = {
351     .name           = "qtrle",
352     .type           = AVMEDIA_TYPE_VIDEO,
353     .id             = AV_CODEC_ID_QTRLE,
354     .priv_data_size = sizeof(QtrleEncContext),
355     .init           = qtrle_encode_init,
356     .encode2        = qtrle_encode_frame,
357     .close          = qtrle_encode_end,
358     .pix_fmts       = (const enum AVPixelFormat[]){
359         AV_PIX_FMT_RGB24, AV_PIX_FMT_RGB555BE, AV_PIX_FMT_ARGB, AV_PIX_FMT_GRAY8, AV_PIX_FMT_NONE
360     },
361     .long_name      = NULL_IF_CONFIG_SMALL("QuickTime Animation (RLE) video"),
362 };