x86: proresdsp: improve SIGNEXTEND macro comments
[ffmpeg.git] / libavcodec / qtrleenc.c
1 /*
2  * Quicktime Animation (RLE) Video Encoder
3  * Copyright (C) 2007 Clemens Fruhwirth
4  * Copyright (C) 2007 Alexis Ballier
5  *
6  * This file is based on flashsvenc.c.
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/imgutils.h"
26 #include "avcodec.h"
27 #include "bytestream.h"
28 #include "internal.h"
29
30 /** Maximum RLE code for bulk copy */
31 #define MAX_RLE_BULK   127
32 /** Maximum RLE code for repeat */
33 #define MAX_RLE_REPEAT 128
34 /** Maximum RLE code for skip */
35 #define MAX_RLE_SKIP   254
36
37 typedef struct QtrleEncContext {
38     AVCodecContext *avctx;
39     AVFrame frame;
40     int pixel_size;
41     AVPicture previous_frame;
42     unsigned int max_buf_size;
43     /**
44      * This array will contain at ith position the value of the best RLE code
45      * if the line started at pixel i
46      * There can be 3 values :
47      * skip (0)     : skip as much as possible pixels because they are equal to the
48      *                previous frame ones
49      * repeat (<-1) : repeat that pixel -rle_code times, still as much as
50      *                possible
51      * copy (>0)    : copy the raw next rle_code pixels */
52     signed char *rlecode_table;
53     /**
54      * This array will contain the length of the best rle encoding of the line
55      * starting at ith pixel */
56     int *length_table;
57     /**
58      * Will contain at ith position the number of consecutive pixels equal to the previous
59      * frame starting from pixel i */
60     uint8_t* skip_table;
61 } QtrleEncContext;
62
63 static av_cold int qtrle_encode_init(AVCodecContext *avctx)
64 {
65     QtrleEncContext *s = avctx->priv_data;
66
67     if (av_image_check_size(avctx->width, avctx->height, 0, avctx) < 0) {
68         return -1;
69     }
70     s->avctx=avctx;
71
72     switch (avctx->pix_fmt) {
73     case PIX_FMT_RGB555BE:
74         s->pixel_size = 2;
75         break;
76     case PIX_FMT_RGB24:
77         s->pixel_size = 3;
78         break;
79     case PIX_FMT_ARGB:
80         s->pixel_size = 4;
81         break;
82     default:
83         av_log(avctx, AV_LOG_ERROR, "Unsupported colorspace.\n");
84         break;
85     }
86     avctx->bits_per_coded_sample = s->pixel_size*8;
87
88     s->rlecode_table = av_mallocz(s->avctx->width);
89     s->skip_table    = av_mallocz(s->avctx->width);
90     s->length_table  = av_mallocz((s->avctx->width + 1)*sizeof(int));
91     if (!s->skip_table || !s->length_table || !s->rlecode_table) {
92         av_log(avctx, AV_LOG_ERROR, "Error allocating memory.\n");
93         return -1;
94     }
95     if (avpicture_alloc(&s->previous_frame, avctx->pix_fmt, avctx->width, avctx->height) < 0) {
96         av_log(avctx, AV_LOG_ERROR, "Error allocating picture\n");
97         return -1;
98     }
99
100     s->max_buf_size = s->avctx->width*s->avctx->height*s->pixel_size*2 /* image base material */
101                       + 15                                           /* header + footer */
102                       + s->avctx->height*2                           /* skip code+rle end */
103                       + s->avctx->width/MAX_RLE_BULK + 1             /* rle codes */;
104     avctx->coded_frame = &s->frame;
105     return 0;
106 }
107
108 /**
109  * Compute the best RLE sequence for a line
110  */
111 static void qtrle_encode_line(QtrleEncContext *s, const AVFrame *p, int line, uint8_t **buf)
112 {
113     int width=s->avctx->width;
114     int i;
115     signed char rlecode;
116
117     /* We will use it to compute the best bulk copy sequence */
118     unsigned int bulkcount;
119     /* This will be the number of pixels equal to the preivous frame one's
120      * starting from the ith pixel */
121     unsigned int skipcount;
122     /* This will be the number of consecutive equal pixels in the current
123      * frame, starting from the ith one also */
124     unsigned int repeatcount;
125
126     /* The cost of the three different possibilities */
127     int total_bulk_cost;
128     int total_skip_cost;
129     int total_repeat_cost;
130
131     int temp_cost;
132     int j;
133
134     uint8_t *this_line = p->               data[0] + line*p->               linesize[0] +
135         (width - 1)*s->pixel_size;
136     uint8_t *prev_line = s->previous_frame.data[0] + line*s->previous_frame.linesize[0] +
137         (width - 1)*s->pixel_size;
138
139     s->length_table[width] = 0;
140     skipcount = 0;
141
142     for (i = width - 1; i >= 0; i--) {
143
144         if (!s->frame.key_frame && !memcmp(this_line, prev_line, s->pixel_size))
145             skipcount = FFMIN(skipcount + 1, MAX_RLE_SKIP);
146         else
147             skipcount = 0;
148
149         total_skip_cost  = s->length_table[i + skipcount] + 2;
150         s->skip_table[i] = skipcount;
151
152
153         if (i < width - 1 && !memcmp(this_line, this_line + s->pixel_size, s->pixel_size))
154             repeatcount = FFMIN(repeatcount + 1, MAX_RLE_REPEAT);
155         else
156             repeatcount = 1;
157
158         total_repeat_cost = s->length_table[i + repeatcount] + 1 + s->pixel_size;
159
160         /* skip code is free for the first pixel, it costs one byte for repeat and bulk copy
161          * so let's make it aware */
162         if (i == 0) {
163             total_skip_cost--;
164             total_repeat_cost++;
165         }
166
167         if (repeatcount > 1 && (skipcount == 0 || total_repeat_cost < total_skip_cost)) {
168             /* repeat is the best */
169             s->length_table[i]  = total_repeat_cost;
170             s->rlecode_table[i] = -repeatcount;
171         }
172         else if (skipcount > 0) {
173             /* skip is the best choice here */
174             s->length_table[i]  = total_skip_cost;
175             s->rlecode_table[i] = 0;
176         }
177         else {
178             /* We cannot do neither skip nor repeat
179              * thus we search for the best bulk copy to do */
180
181             int limit = FFMIN(width - i, MAX_RLE_BULK);
182
183             temp_cost = 1 + s->pixel_size + !i;
184             total_bulk_cost = INT_MAX;
185
186             for (j = 1; j <= limit; j++) {
187                 if (s->length_table[i + j] + temp_cost < total_bulk_cost) {
188                     /* We have found a better bulk copy ... */
189                     total_bulk_cost = s->length_table[i + j] + temp_cost;
190                     bulkcount = j;
191                 }
192                 temp_cost += s->pixel_size;
193             }
194
195             s->length_table[i]  = total_bulk_cost;
196             s->rlecode_table[i] = bulkcount;
197         }
198
199         this_line -= s->pixel_size;
200         prev_line -= s->pixel_size;
201     }
202
203     /* Good ! Now we have the best sequence for this line, let's ouput it */
204
205     /* We do a special case for the first pixel so that we avoid testing it in
206      * the whole loop */
207
208     i=0;
209     this_line = p->               data[0] + line*p->linesize[0];
210
211     if (s->rlecode_table[0] == 0) {
212         bytestream_put_byte(buf, s->skip_table[0] + 1);
213         i += s->skip_table[0];
214     }
215     else bytestream_put_byte(buf, 1);
216
217
218     while (i < width) {
219         rlecode = s->rlecode_table[i];
220         bytestream_put_byte(buf, rlecode);
221         if (rlecode == 0) {
222             /* Write a skip sequence */
223             bytestream_put_byte(buf, s->skip_table[i] + 1);
224             i += s->skip_table[i];
225         }
226         else if (rlecode > 0) {
227             /* bulk copy */
228             bytestream_put_buffer(buf, this_line + i*s->pixel_size, rlecode*s->pixel_size);
229             i += rlecode;
230         }
231         else {
232             /* repeat the bits */
233             bytestream_put_buffer(buf, this_line + i*s->pixel_size, s->pixel_size);
234             i -= rlecode;
235         }
236     }
237     bytestream_put_byte(buf, -1); // end RLE line
238 }
239
240 /** Encode frame including header */
241 static int encode_frame(QtrleEncContext *s, const AVFrame *p, uint8_t *buf)
242 {
243     int i;
244     int start_line = 0;
245     int end_line = s->avctx->height;
246     uint8_t *orig_buf = buf;
247
248     if (!s->frame.key_frame) {
249         unsigned line_size = s->avctx->width * s->pixel_size;
250         for (start_line = 0; start_line < s->avctx->height; start_line++)
251             if (memcmp(p->data[0] + start_line*p->linesize[0],
252                        s->previous_frame.data[0] + start_line*s->previous_frame.linesize[0],
253                        line_size))
254                 break;
255
256         for (end_line=s->avctx->height; end_line > start_line; end_line--)
257             if (memcmp(p->data[0] + (end_line - 1)*p->linesize[0],
258                        s->previous_frame.data[0] + (end_line - 1)*s->previous_frame.linesize[0],
259                        line_size))
260                 break;
261     }
262
263     bytestream_put_be32(&buf, 0);                         // CHUNK SIZE, patched later
264
265     if ((start_line == 0 && end_line == s->avctx->height) || start_line == s->avctx->height)
266         bytestream_put_be16(&buf, 0);                     // header
267     else {
268         bytestream_put_be16(&buf, 8);                     // header
269         bytestream_put_be16(&buf, start_line);            // starting line
270         bytestream_put_be16(&buf, 0);                     // unknown
271         bytestream_put_be16(&buf, end_line - start_line); // lines to update
272         bytestream_put_be16(&buf, 0);                     // unknown
273     }
274     for (i = start_line; i < end_line; i++)
275         qtrle_encode_line(s, p, i, &buf);
276
277     bytestream_put_byte(&buf, 0);                         // zero skip code = frame finished
278     AV_WB32(orig_buf, buf - orig_buf);                    // patch the chunk size
279     return buf - orig_buf;
280 }
281
282 static int qtrle_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
283                               const AVFrame *pict, int *got_packet)
284 {
285     QtrleEncContext * const s = avctx->priv_data;
286     AVFrame * const p = &s->frame;
287     int ret;
288
289     *p = *pict;
290
291     if ((ret = ff_alloc_packet(pkt, s->max_buf_size)) < 0) {
292         /* Upper bound check for compressed data */
293         av_log(avctx, AV_LOG_ERROR, "Error getting output packet of size %d.\n", s->max_buf_size);
294         return ret;
295     }
296
297     if (avctx->gop_size == 0 || (s->avctx->frame_number % avctx->gop_size) == 0) {
298         /* I-Frame */
299         p->pict_type = AV_PICTURE_TYPE_I;
300         p->key_frame = 1;
301     } else {
302         /* P-Frame */
303         p->pict_type = AV_PICTURE_TYPE_P;
304         p->key_frame = 0;
305     }
306
307     pkt->size = encode_frame(s, pict, pkt->data);
308
309     /* save the current frame */
310     av_picture_copy(&s->previous_frame, (AVPicture *)p, avctx->pix_fmt, avctx->width, avctx->height);
311
312     if (p->key_frame)
313         pkt->flags |= AV_PKT_FLAG_KEY;
314     *got_packet = 1;
315
316     return 0;
317 }
318
319 static av_cold int qtrle_encode_end(AVCodecContext *avctx)
320 {
321     QtrleEncContext *s = avctx->priv_data;
322
323     avpicture_free(&s->previous_frame);
324     av_free(s->rlecode_table);
325     av_free(s->length_table);
326     av_free(s->skip_table);
327     return 0;
328 }
329
330 AVCodec ff_qtrle_encoder = {
331     .name           = "qtrle",
332     .type           = AVMEDIA_TYPE_VIDEO,
333     .id             = CODEC_ID_QTRLE,
334     .priv_data_size = sizeof(QtrleEncContext),
335     .init           = qtrle_encode_init,
336     .encode2        = qtrle_encode_frame,
337     .close          = qtrle_encode_end,
338     .pix_fmts       = (const enum PixelFormat[]){
339         PIX_FMT_RGB24, PIX_FMT_RGB555BE, PIX_FMT_ARGB, PIX_FMT_NONE
340     },
341     .long_name      = NULL_IF_CONFIG_SMALL("QuickTime Animation (RLE) video"),
342 };