cavsdec: fix qp fixed slice handling
[ffmpeg.git] / libavcodec / huffyuvenc.c
1 /*
2  * Copyright (c) 2002-2014 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * see http://www.pcisys.net/~melanson/codecs/huffyuv.txt for a description of
5  * the algorithm used
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  *
23  * yuva, gray, 4:4:4, 4:1:1, 4:1:0 and >8 bit per sample support sponsored by NOA
24  */
25
26 /**
27  * @file
28  * huffyuv encoder
29  */
30
31 #include "avcodec.h"
32 #include "huffyuv.h"
33 #include "huffman.h"
34 #include "huffyuvencdsp.h"
35 #include "internal.h"
36 #include "put_bits.h"
37 #include "libavutil/pixdesc.h"
38
39 static inline void diff_bytes(HYuvContext *s, uint8_t *dst,
40                               const uint8_t *src0, const uint8_t *src1, int w)
41 {
42     if (s->bps <= 8) {
43         s->hencdsp.diff_bytes(dst, src0, src1, w);
44     } else {
45         s->llviddsp.diff_int16((uint16_t *)dst, (const uint16_t *)src0, (const uint16_t *)src1, s->n - 1, w);
46     }
47 }
48
49 static inline int sub_left_prediction(HYuvContext *s, uint8_t *dst,
50                                       const uint8_t *src, int w, int left)
51 {
52     int i;
53     if (s->bps <= 8) {
54         if (w < 32) {
55             for (i = 0; i < w; i++) {
56                 const int temp = src[i];
57                 dst[i] = temp - left;
58                 left   = temp;
59             }
60             return left;
61         } else {
62             for (i = 0; i < 16; i++) {
63                 const int temp = src[i];
64                 dst[i] = temp - left;
65                 left   = temp;
66             }
67             s->hencdsp.diff_bytes(dst + 16, src + 16, src + 15, w - 16);
68             return src[w-1];
69         }
70     } else {
71         const uint16_t *src16 = (const uint16_t *)src;
72         uint16_t       *dst16 = (      uint16_t *)dst;
73         if (w < 32) {
74             for (i = 0; i < w; i++) {
75                 const int temp = src16[i];
76                 dst16[i] = temp - left;
77                 left   = temp;
78             }
79             return left;
80         } else {
81             for (i = 0; i < 16; i++) {
82                 const int temp = src16[i];
83                 dst16[i] = temp - left;
84                 left   = temp;
85             }
86             s->llviddsp.diff_int16(dst16 + 16, src16 + 16, src16 + 15, s->n - 1, w - 16);
87             return src16[w-1];
88         }
89     }
90 }
91
92 static inline void sub_left_prediction_bgr32(HYuvContext *s, uint8_t *dst,
93                                              const uint8_t *src, int w,
94                                              int *red, int *green, int *blue,
95                                              int *alpha)
96 {
97     int i;
98     int r, g, b, a;
99     r = *red;
100     g = *green;
101     b = *blue;
102     a = *alpha;
103
104     for (i = 0; i < FFMIN(w, 4); i++) {
105         const int rt = src[i * 4 + R];
106         const int gt = src[i * 4 + G];
107         const int bt = src[i * 4 + B];
108         const int at = src[i * 4 + A];
109         dst[i * 4 + R] = rt - r;
110         dst[i * 4 + G] = gt - g;
111         dst[i * 4 + B] = bt - b;
112         dst[i * 4 + A] = at - a;
113         r = rt;
114         g = gt;
115         b = bt;
116         a = at;
117     }
118
119     s->hencdsp.diff_bytes(dst + 16, src + 16, src + 12, w * 4 - 16);
120
121     *red   = src[(w - 1) * 4 + R];
122     *green = src[(w - 1) * 4 + G];
123     *blue  = src[(w - 1) * 4 + B];
124     *alpha = src[(w - 1) * 4 + A];
125 }
126
127 static inline void sub_left_prediction_rgb24(HYuvContext *s, uint8_t *dst,
128                                              uint8_t *src, int w,
129                                              int *red, int *green, int *blue)
130 {
131     int i;
132     int r, g, b;
133     r = *red;
134     g = *green;
135     b = *blue;
136     for (i = 0; i < FFMIN(w, 16); i++) {
137         const int rt = src[i * 3 + 0];
138         const int gt = src[i * 3 + 1];
139         const int bt = src[i * 3 + 2];
140         dst[i * 3 + 0] = rt - r;
141         dst[i * 3 + 1] = gt - g;
142         dst[i * 3 + 2] = bt - b;
143         r = rt;
144         g = gt;
145         b = bt;
146     }
147
148     s->hencdsp.diff_bytes(dst + 48, src + 48, src + 48 - 3, w * 3 - 48);
149
150     *red   = src[(w - 1) * 3 + 0];
151     *green = src[(w - 1) * 3 + 1];
152     *blue  = src[(w - 1) * 3 + 2];
153 }
154
155 static void sub_median_prediction(HYuvContext *s, uint8_t *dst, const uint8_t *src1, const uint8_t *src2, int w, int *left, int *left_top)
156 {
157     if (s->bps <= 8) {
158         s->hencdsp.sub_hfyu_median_pred(dst, src1, src2, w , left, left_top);
159     } else {
160         s->llviddsp.sub_hfyu_median_pred_int16((uint16_t *)dst, (const uint16_t *)src1, (const uint16_t *)src2, s->n - 1, w , left, left_top);
161     }
162 }
163
164 static int store_table(HYuvContext *s, const uint8_t *len, uint8_t *buf)
165 {
166     int i;
167     int index = 0;
168     int n = s->vlc_n;
169
170     for (i = 0; i < n;) {
171         int val = len[i];
172         int repeat = 0;
173
174         for (; i < n && len[i] == val && repeat < 255; i++)
175             repeat++;
176
177         av_assert0(val < 32 && val >0 && repeat < 256 && repeat>0);
178         if (repeat > 7) {
179             buf[index++] = val;
180             buf[index++] = repeat;
181         } else {
182             buf[index++] = val | (repeat << 5);
183         }
184     }
185
186     return index;
187 }
188
189 static int store_huffman_tables(HYuvContext *s, uint8_t *buf)
190 {
191     int i, ret;
192     int size = 0;
193     int count = 3;
194
195     if (s->version > 2)
196         count = 1 + s->alpha + 2*s->chroma;
197
198     for (i = 0; i < count; i++) {
199         if ((ret = ff_huff_gen_len_table(s->len[i], s->stats[i], s->vlc_n)) < 0)
200             return ret;
201
202         if (ff_huffyuv_generate_bits_table(s->bits[i], s->len[i], s->vlc_n) < 0) {
203             return -1;
204         }
205
206         size += store_table(s, s->len[i], buf + size);
207     }
208     return size;
209 }
210
211 static av_cold int encode_init(AVCodecContext *avctx)
212 {
213     HYuvContext *s = avctx->priv_data;
214     int i, j;
215     int ret;
216     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(avctx->pix_fmt);
217
218     ff_huffyuv_common_init(avctx);
219     ff_huffyuvencdsp_init(&s->hencdsp);
220
221     avctx->extradata = av_mallocz(3*MAX_N + 4);
222     if (!avctx->extradata)
223         return AVERROR(ENOMEM);
224     if (s->flags&CODEC_FLAG_PASS1) {
225 #define STATS_OUT_SIZE 21*MAX_N*3 + 4
226         avctx->stats_out = av_mallocz(STATS_OUT_SIZE); // 21*256*3(%llu ) + 3(\n) + 1(0) = 16132
227         if (!avctx->stats_out)
228             return AVERROR(ENOMEM);
229     }
230     s->version = 2;
231
232     avctx->coded_frame = av_frame_alloc();
233     if (!avctx->coded_frame)
234         return AVERROR(ENOMEM);
235
236     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
237     avctx->coded_frame->key_frame = 1;
238
239     s->bps = desc->comp[0].depth_minus1 + 1;
240     s->yuv = !(desc->flags & AV_PIX_FMT_FLAG_RGB) && desc->nb_components >= 2;
241     s->chroma = desc->nb_components > 2;
242     s->alpha = !!(desc->flags & AV_PIX_FMT_FLAG_ALPHA);
243     av_pix_fmt_get_chroma_sub_sample(avctx->pix_fmt,
244                                      &s->chroma_h_shift,
245                                      &s->chroma_v_shift);
246
247     switch (avctx->pix_fmt) {
248     case AV_PIX_FMT_YUV420P:
249     case AV_PIX_FMT_YUV422P:
250         if (s->width & 1) {
251             av_log(avctx, AV_LOG_ERROR, "Width must be even for this colorspace.\n");
252             return AVERROR(EINVAL);
253         }
254         s->bitstream_bpp = avctx->pix_fmt == AV_PIX_FMT_YUV420P ? 12 : 16;
255         break;
256     case AV_PIX_FMT_YUV444P:
257     case AV_PIX_FMT_YUV410P:
258     case AV_PIX_FMT_YUV411P:
259     case AV_PIX_FMT_YUV440P:
260     case AV_PIX_FMT_GBRP:
261     case AV_PIX_FMT_GBRP9:
262     case AV_PIX_FMT_GBRP10:
263     case AV_PIX_FMT_GBRP12:
264     case AV_PIX_FMT_GBRP14:
265     case AV_PIX_FMT_GBRP16:
266     case AV_PIX_FMT_GRAY8:
267     case AV_PIX_FMT_GRAY16:
268     case AV_PIX_FMT_YUVA444P:
269     case AV_PIX_FMT_YUVA420P:
270     case AV_PIX_FMT_YUVA422P:
271     case AV_PIX_FMT_GBRAP:
272     case AV_PIX_FMT_GRAY8A:
273     case AV_PIX_FMT_YUV420P9:
274     case AV_PIX_FMT_YUV420P10:
275     case AV_PIX_FMT_YUV420P12:
276     case AV_PIX_FMT_YUV420P14:
277     case AV_PIX_FMT_YUV420P16:
278     case AV_PIX_FMT_YUV422P9:
279     case AV_PIX_FMT_YUV422P10:
280     case AV_PIX_FMT_YUV422P12:
281     case AV_PIX_FMT_YUV422P14:
282     case AV_PIX_FMT_YUV422P16:
283     case AV_PIX_FMT_YUV444P9:
284     case AV_PIX_FMT_YUV444P10:
285     case AV_PIX_FMT_YUV444P12:
286     case AV_PIX_FMT_YUV444P14:
287     case AV_PIX_FMT_YUV444P16:
288     case AV_PIX_FMT_YUVA420P9:
289     case AV_PIX_FMT_YUVA420P10:
290     case AV_PIX_FMT_YUVA420P16:
291     case AV_PIX_FMT_YUVA422P9:
292     case AV_PIX_FMT_YUVA422P10:
293     case AV_PIX_FMT_YUVA422P16:
294     case AV_PIX_FMT_YUVA444P9:
295     case AV_PIX_FMT_YUVA444P10:
296     case AV_PIX_FMT_YUVA444P16:
297         s->version = 3;
298         break;
299     case AV_PIX_FMT_RGB32:
300         s->bitstream_bpp = 32;
301         break;
302     case AV_PIX_FMT_RGB24:
303         s->bitstream_bpp = 24;
304         break;
305     default:
306         av_log(avctx, AV_LOG_ERROR, "format not supported\n");
307         return AVERROR(EINVAL);
308     }
309     s->n = 1<<s->bps;
310     s->vlc_n = FFMIN(s->n, MAX_VLC_N);
311
312     avctx->bits_per_coded_sample = s->bitstream_bpp;
313     s->decorrelate = s->bitstream_bpp >= 24 && !s->yuv && !(desc->flags & AV_PIX_FMT_FLAG_PLANAR);
314     s->predictor = avctx->prediction_method;
315     s->interlaced = avctx->flags&CODEC_FLAG_INTERLACED_ME ? 1 : 0;
316     if (avctx->context_model == 1) {
317         s->context = avctx->context_model;
318         if (s->flags & (CODEC_FLAG_PASS1|CODEC_FLAG_PASS2)) {
319             av_log(avctx, AV_LOG_ERROR,
320                    "context=1 is not compatible with "
321                    "2 pass huffyuv encoding\n");
322             return AVERROR(EINVAL);
323         }
324     }else s->context= 0;
325
326     if (avctx->codec->id == AV_CODEC_ID_HUFFYUV) {
327         if (avctx->pix_fmt == AV_PIX_FMT_YUV420P) {
328             av_log(avctx, AV_LOG_ERROR,
329                    "Error: YV12 is not supported by huffyuv; use "
330                    "vcodec=ffvhuff or format=422p\n");
331             return AVERROR(EINVAL);
332         }
333         if (avctx->context_model) {
334             av_log(avctx, AV_LOG_ERROR,
335                    "Error: per-frame huffman tables are not supported "
336                    "by huffyuv; use vcodec=ffvhuff\n");
337             return AVERROR(EINVAL);
338         }
339         if (s->version > 2) {
340             av_log(avctx, AV_LOG_ERROR,
341                    "Error: ver>2 is not supported "
342                    "by huffyuv; use vcodec=ffvhuff\n");
343             return AVERROR(EINVAL);
344         }
345         if (s->interlaced != ( s->height > 288 ))
346             av_log(avctx, AV_LOG_INFO,
347                    "using huffyuv 2.2.0 or newer interlacing flag\n");
348     }
349
350     if (s->version > 3 && avctx->strict_std_compliance > FF_COMPLIANCE_EXPERIMENTAL) {
351         av_log(avctx, AV_LOG_ERROR, "Ver > 3 is under development, files encoded with it may not be decodable with future versions!!!\n"
352                "Use vstrict=-2 / -strict -2 to use it anyway.\n");
353         return AVERROR(EINVAL);
354     }
355
356     if (s->bitstream_bpp >= 24 && s->predictor == MEDIAN && s->version <= 2) {
357         av_log(avctx, AV_LOG_ERROR,
358                "Error: RGB is incompatible with median predictor\n");
359         return AVERROR(EINVAL);
360     }
361
362     ((uint8_t*)avctx->extradata)[0] = s->predictor | (s->decorrelate << 6);
363     ((uint8_t*)avctx->extradata)[2] = s->interlaced ? 0x10 : 0x20;
364     if (s->context)
365         ((uint8_t*)avctx->extradata)[2] |= 0x40;
366     if (s->version < 3) {
367         ((uint8_t*)avctx->extradata)[1] = s->bitstream_bpp;
368         ((uint8_t*)avctx->extradata)[3] = 0;
369     } else {
370         ((uint8_t*)avctx->extradata)[1] = ((s->bps-1)<<4) | s->chroma_h_shift | (s->chroma_v_shift<<2);
371         if (s->chroma)
372             ((uint8_t*)avctx->extradata)[2] |= s->yuv ? 1 : 2;
373         if (s->alpha)
374             ((uint8_t*)avctx->extradata)[2] |= 4;
375         ((uint8_t*)avctx->extradata)[3] = 1;
376     }
377     s->avctx->extradata_size = 4;
378
379     if (avctx->stats_in) {
380         char *p = avctx->stats_in;
381
382         for (i = 0; i < 4; i++)
383             for (j = 0; j < s->vlc_n; j++)
384                 s->stats[i][j] = 1;
385
386         for (;;) {
387             for (i = 0; i < 4; i++) {
388                 char *next;
389
390                 for (j = 0; j < s->vlc_n; j++) {
391                     s->stats[i][j] += strtol(p, &next, 0);
392                     if (next == p) return -1;
393                     p = next;
394                 }
395             }
396             if (p[0] == 0 || p[1] == 0 || p[2] == 0) break;
397         }
398     } else {
399         for (i = 0; i < 4; i++)
400             for (j = 0; j < s->vlc_n; j++) {
401                 int d = FFMIN(j, s->vlc_n - j);
402
403                 s->stats[i][j] = 100000000 / (d + 1);
404             }
405     }
406
407     ret = store_huffman_tables(s, s->avctx->extradata + s->avctx->extradata_size);
408     if (ret < 0)
409         return ret;
410     s->avctx->extradata_size += ret;
411
412     if (s->context) {
413         for (i = 0; i < 4; i++) {
414             int pels = s->width * s->height / (i ? 40 : 10);
415             for (j = 0; j < s->vlc_n; j++) {
416                 int d = FFMIN(j, s->vlc_n - j);
417                 s->stats[i][j] = pels/(d + 1);
418             }
419         }
420     } else {
421         for (i = 0; i < 4; i++)
422             for (j = 0; j < s->vlc_n; j++)
423                 s->stats[i][j]= 0;
424     }
425
426     if (ff_huffyuv_alloc_temp(s)) {
427         ff_huffyuv_common_end(s);
428         return AVERROR(ENOMEM);
429     }
430
431     s->picture_number=0;
432
433     return 0;
434 }
435 static int encode_422_bitstream(HYuvContext *s, int offset, int count)
436 {
437     int i;
438     const uint8_t *y = s->temp[0] + offset;
439     const uint8_t *u = s->temp[1] + offset / 2;
440     const uint8_t *v = s->temp[2] + offset / 2;
441
442     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < 2 * 4 * count) {
443         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
444         return -1;
445     }
446
447 #define LOAD4\
448             int y0 = y[2 * i];\
449             int y1 = y[2 * i + 1];\
450             int u0 = u[i];\
451             int v0 = v[i];
452
453     count /= 2;
454
455     if (s->flags & CODEC_FLAG_PASS1) {
456         for(i = 0; i < count; i++) {
457             LOAD4;
458             s->stats[0][y0]++;
459             s->stats[1][u0]++;
460             s->stats[0][y1]++;
461             s->stats[2][v0]++;
462         }
463     }
464     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
465         return 0;
466     if (s->context) {
467         for (i = 0; i < count; i++) {
468             LOAD4;
469             s->stats[0][y0]++;
470             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);
471             s->stats[1][u0]++;
472             put_bits(&s->pb, s->len[1][u0], s->bits[1][u0]);
473             s->stats[0][y1]++;
474             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
475             s->stats[2][v0]++;
476             put_bits(&s->pb, s->len[2][v0], s->bits[2][v0]);
477         }
478     } else {
479         for(i = 0; i < count; i++) {
480             LOAD4;
481             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);
482             put_bits(&s->pb, s->len[1][u0], s->bits[1][u0]);
483             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
484             put_bits(&s->pb, s->len[2][v0], s->bits[2][v0]);
485         }
486     }
487     return 0;
488 }
489
490 static int encode_plane_bitstream(HYuvContext *s, int count, int plane)
491 {
492     int i;
493
494     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < count * s->bps / 2) {
495         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
496         return -1;
497     }
498
499 #define LOAD2\
500             int y0 = s->temp[0][2 * i];\
501             int y1 = s->temp[0][2 * i + 1];
502 #define LOAD2_14\
503             int y0 = s->temp16[0][2 * i] & mask;\
504             int y1 = s->temp16[0][2 * i + 1] & mask;
505 #define LOAD2_16\
506             int y0 = s->temp16[0][2 * i];\
507             int y1 = s->temp16[0][2 * i + 1];
508 #define STAT2\
509             s->stats[plane][y0]++;\
510             s->stats[plane][y1]++;
511 #define STAT2_16\
512             s->stats[plane][y0>>2]++;\
513             s->stats[plane][y1>>2]++;
514 #define WRITE2\
515             put_bits(&s->pb, s->len[plane][y0], s->bits[plane][y0]);\
516             put_bits(&s->pb, s->len[plane][y1], s->bits[plane][y1]);
517 #define WRITE2_16\
518             put_bits(&s->pb, s->len[plane][y0>>2], s->bits[plane][y0>>2]);\
519             put_bits(&s->pb, 2, y0&3);\
520             put_bits(&s->pb, s->len[plane][y1>>2], s->bits[plane][y1>>2]);\
521             put_bits(&s->pb, 2, y1&3);
522
523     count /= 2;
524
525     if (s->bps <= 8) {
526     if (s->flags & CODEC_FLAG_PASS1) {
527         for (i = 0; i < count; i++) {
528             LOAD2;
529             STAT2;
530         }
531     }
532     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
533         return 0;
534
535     if (s->context) {
536         for (i = 0; i < count; i++) {
537             LOAD2;
538             STAT2;
539             WRITE2;
540         }
541     } else {
542         for (i = 0; i < count; i++) {
543             LOAD2;
544             WRITE2;
545         }
546     }
547     } else if (s->bps <= 14) {
548         int mask = s->n - 1;
549         if (s->flags & CODEC_FLAG_PASS1) {
550             for (i = 0; i < count; i++) {
551                 LOAD2_14;
552                 STAT2;
553             }
554         }
555         if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
556             return 0;
557
558         if (s->context) {
559             for (i = 0; i < count; i++) {
560                 LOAD2_14;
561                 STAT2;
562                 WRITE2;
563             }
564         } else {
565             for (i = 0; i < count; i++) {
566                 LOAD2_14;
567                 WRITE2;
568             }
569         }
570     } else {
571         if (s->flags & CODEC_FLAG_PASS1) {
572             for (i = 0; i < count; i++) {
573                 LOAD2_16;
574                 STAT2_16;
575             }
576         }
577         if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
578             return 0;
579
580         if (s->context) {
581             for (i = 0; i < count; i++) {
582                 LOAD2_16;
583                 STAT2_16;
584                 WRITE2_16;
585             }
586         } else {
587             for (i = 0; i < count; i++) {
588                 LOAD2_16;
589                 WRITE2_16;
590             }
591         }
592     }
593 #undef LOAD2
594 #undef STAT2
595 #undef WRITE2
596     return 0;
597 }
598
599 static int encode_gray_bitstream(HYuvContext *s, int count)
600 {
601     int i;
602
603     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < 4 * count) {
604         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
605         return -1;
606     }
607
608 #define LOAD2\
609             int y0 = s->temp[0][2 * i];\
610             int y1 = s->temp[0][2 * i + 1];
611 #define STAT2\
612             s->stats[0][y0]++;\
613             s->stats[0][y1]++;
614 #define WRITE2\
615             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);\
616             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
617
618     count /= 2;
619
620     if (s->flags & CODEC_FLAG_PASS1) {
621         for (i = 0; i < count; i++) {
622             LOAD2;
623             STAT2;
624         }
625     }
626     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
627         return 0;
628
629     if (s->context) {
630         for (i = 0; i < count; i++) {
631             LOAD2;
632             STAT2;
633             WRITE2;
634         }
635     } else {
636         for (i = 0; i < count; i++) {
637             LOAD2;
638             WRITE2;
639         }
640     }
641     return 0;
642 }
643
644 static inline int encode_bgra_bitstream(HYuvContext *s, int count, int planes)
645 {
646     int i;
647
648     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) <
649         4 * planes * count) {
650         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
651         return -1;
652     }
653
654 #define LOAD_GBRA                                                       \
655     int g = s->temp[0][planes == 3 ? 3 * i + 1 : 4 * i + G];            \
656     int b =(s->temp[0][planes == 3 ? 3 * i + 2 : 4 * i + B] - g) & 0xFF;\
657     int r =(s->temp[0][planes == 3 ? 3 * i + 0 : 4 * i + R] - g) & 0xFF;\
658     int a = s->temp[0][planes * i + A];
659
660 #define STAT_BGRA                                                       \
661     s->stats[0][b]++;                                                   \
662     s->stats[1][g]++;                                                   \
663     s->stats[2][r]++;                                                   \
664     if (planes == 4)                                                    \
665         s->stats[2][a]++;
666
667 #define WRITE_GBRA                                                      \
668     put_bits(&s->pb, s->len[1][g], s->bits[1][g]);                      \
669     put_bits(&s->pb, s->len[0][b], s->bits[0][b]);                      \
670     put_bits(&s->pb, s->len[2][r], s->bits[2][r]);                      \
671     if (planes == 4)                                                    \
672         put_bits(&s->pb, s->len[2][a], s->bits[2][a]);
673
674     if ((s->flags & CODEC_FLAG_PASS1) &&
675         (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)) {
676         for (i = 0; i < count; i++) {
677             LOAD_GBRA;
678             STAT_BGRA;
679         }
680     } else if (s->context || (s->flags & CODEC_FLAG_PASS1)) {
681         for (i = 0; i < count; i++) {
682             LOAD_GBRA;
683             STAT_BGRA;
684             WRITE_GBRA;
685         }
686     } else {
687         for (i = 0; i < count; i++) {
688             LOAD_GBRA;
689             WRITE_GBRA;
690         }
691     }
692     return 0;
693 }
694
695 static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
696                         const AVFrame *pict, int *got_packet)
697 {
698     HYuvContext *s = avctx->priv_data;
699     const int width = s->width;
700     const int width2 = s->width>>1;
701     const int height = s->height;
702     const int fake_ystride = s->interlaced ? pict->linesize[0]*2  : pict->linesize[0];
703     const int fake_ustride = s->interlaced ? pict->linesize[1]*2  : pict->linesize[1];
704     const int fake_vstride = s->interlaced ? pict->linesize[2]*2  : pict->linesize[2];
705     const AVFrame * const p = pict;
706     int i, j, size = 0, ret;
707
708     if ((ret = ff_alloc_packet2(avctx, pkt, width * height * 3 * 4 + FF_MIN_BUFFER_SIZE)) < 0)
709         return ret;
710
711     if (s->context) {
712         size = store_huffman_tables(s, pkt->data);
713         if (size < 0)
714             return size;
715
716         for (i = 0; i < 4; i++)
717             for (j = 0; j < s->vlc_n; j++)
718                 s->stats[i][j] >>= 1;
719     }
720
721     init_put_bits(&s->pb, pkt->data + size, pkt->size - size);
722
723     if (avctx->pix_fmt == AV_PIX_FMT_YUV422P ||
724         avctx->pix_fmt == AV_PIX_FMT_YUV420P) {
725         int lefty, leftu, leftv, y, cy;
726
727         put_bits(&s->pb, 8, leftv = p->data[2][0]);
728         put_bits(&s->pb, 8, lefty = p->data[0][1]);
729         put_bits(&s->pb, 8, leftu = p->data[1][0]);
730         put_bits(&s->pb, 8,         p->data[0][0]);
731
732         lefty = sub_left_prediction(s, s->temp[0], p->data[0], width , 0);
733         leftu = sub_left_prediction(s, s->temp[1], p->data[1], width2, 0);
734         leftv = sub_left_prediction(s, s->temp[2], p->data[2], width2, 0);
735
736         encode_422_bitstream(s, 2, width-2);
737
738         if (s->predictor==MEDIAN) {
739             int lefttopy, lefttopu, lefttopv;
740             cy = y = 1;
741             if (s->interlaced) {
742                 lefty = sub_left_prediction(s, s->temp[0], p->data[0] + p->linesize[0], width , lefty);
743                 leftu = sub_left_prediction(s, s->temp[1], p->data[1] + p->linesize[1], width2, leftu);
744                 leftv = sub_left_prediction(s, s->temp[2], p->data[2] + p->linesize[2], width2, leftv);
745
746                 encode_422_bitstream(s, 0, width);
747                 y++; cy++;
748             }
749
750             lefty = sub_left_prediction(s, s->temp[0], p->data[0] + fake_ystride, 4, lefty);
751             leftu = sub_left_prediction(s, s->temp[1], p->data[1] + fake_ustride, 2, leftu);
752             leftv = sub_left_prediction(s, s->temp[2], p->data[2] + fake_vstride, 2, leftv);
753
754             encode_422_bitstream(s, 0, 4);
755
756             lefttopy = p->data[0][3];
757             lefttopu = p->data[1][1];
758             lefttopv = p->data[2][1];
759             s->hencdsp.sub_hfyu_median_pred(s->temp[0], p->data[0] + 4, p->data[0] + fake_ystride + 4, width  - 4, &lefty, &lefttopy);
760             s->hencdsp.sub_hfyu_median_pred(s->temp[1], p->data[1] + 2, p->data[1] + fake_ustride + 2, width2 - 2, &leftu, &lefttopu);
761             s->hencdsp.sub_hfyu_median_pred(s->temp[2], p->data[2] + 2, p->data[2] + fake_vstride + 2, width2 - 2, &leftv, &lefttopv);
762             encode_422_bitstream(s, 0, width - 4);
763             y++; cy++;
764
765             for (; y < height; y++,cy++) {
766                 uint8_t *ydst, *udst, *vdst;
767
768                 if (s->bitstream_bpp == 12) {
769                     while (2 * cy > y) {
770                         ydst = p->data[0] + p->linesize[0] * y;
771                         s->hencdsp.sub_hfyu_median_pred(s->temp[0], ydst - fake_ystride, ydst, width, &lefty, &lefttopy);
772                         encode_gray_bitstream(s, width);
773                         y++;
774                     }
775                     if (y >= height) break;
776                 }
777                 ydst = p->data[0] + p->linesize[0] * y;
778                 udst = p->data[1] + p->linesize[1] * cy;
779                 vdst = p->data[2] + p->linesize[2] * cy;
780
781                 s->hencdsp.sub_hfyu_median_pred(s->temp[0], ydst - fake_ystride, ydst, width,  &lefty, &lefttopy);
782                 s->hencdsp.sub_hfyu_median_pred(s->temp[1], udst - fake_ustride, udst, width2, &leftu, &lefttopu);
783                 s->hencdsp.sub_hfyu_median_pred(s->temp[2], vdst - fake_vstride, vdst, width2, &leftv, &lefttopv);
784
785                 encode_422_bitstream(s, 0, width);
786             }
787         } else {
788             for (cy = y = 1; y < height; y++, cy++) {
789                 uint8_t *ydst, *udst, *vdst;
790
791                 /* encode a luma only line & y++ */
792                 if (s->bitstream_bpp == 12) {
793                     ydst = p->data[0] + p->linesize[0] * y;
794
795                     if (s->predictor == PLANE && s->interlaced < y) {
796                         s->hencdsp.diff_bytes(s->temp[1], ydst, ydst - fake_ystride, width);
797
798                         lefty = sub_left_prediction(s, s->temp[0], s->temp[1], width , lefty);
799                     } else {
800                         lefty = sub_left_prediction(s, s->temp[0], ydst, width , lefty);
801                     }
802                     encode_gray_bitstream(s, width);
803                     y++;
804                     if (y >= height) break;
805                 }
806
807                 ydst = p->data[0] + p->linesize[0] * y;
808                 udst = p->data[1] + p->linesize[1] * cy;
809                 vdst = p->data[2] + p->linesize[2] * cy;
810
811                 if (s->predictor == PLANE && s->interlaced < cy) {
812                     s->hencdsp.diff_bytes(s->temp[1],          ydst, ydst - fake_ystride, width);
813                     s->hencdsp.diff_bytes(s->temp[2],          udst, udst - fake_ustride, width2);
814                     s->hencdsp.diff_bytes(s->temp[2] + width2, vdst, vdst - fake_vstride, width2);
815
816                     lefty = sub_left_prediction(s, s->temp[0], s->temp[1], width , lefty);
817                     leftu = sub_left_prediction(s, s->temp[1], s->temp[2], width2, leftu);
818                     leftv = sub_left_prediction(s, s->temp[2], s->temp[2] + width2, width2, leftv);
819                 } else {
820                     lefty = sub_left_prediction(s, s->temp[0], ydst, width , lefty);
821                     leftu = sub_left_prediction(s, s->temp[1], udst, width2, leftu);
822                     leftv = sub_left_prediction(s, s->temp[2], vdst, width2, leftv);
823                 }
824
825                 encode_422_bitstream(s, 0, width);
826             }
827         }
828     } else if(avctx->pix_fmt == AV_PIX_FMT_RGB32) {
829         uint8_t *data = p->data[0] + (height - 1) * p->linesize[0];
830         const int stride = -p->linesize[0];
831         const int fake_stride = -fake_ystride;
832         int y;
833         int leftr, leftg, leftb, lefta;
834
835         put_bits(&s->pb, 8, lefta = data[A]);
836         put_bits(&s->pb, 8, leftr = data[R]);
837         put_bits(&s->pb, 8, leftg = data[G]);
838         put_bits(&s->pb, 8, leftb = data[B]);
839
840         sub_left_prediction_bgr32(s, s->temp[0], data + 4, width - 1,
841                                   &leftr, &leftg, &leftb, &lefta);
842         encode_bgra_bitstream(s, width - 1, 4);
843
844         for (y = 1; y < s->height; y++) {
845             uint8_t *dst = data + y*stride;
846             if (s->predictor == PLANE && s->interlaced < y) {
847                 s->hencdsp.diff_bytes(s->temp[1], dst, dst - fake_stride, width * 4);
848                 sub_left_prediction_bgr32(s, s->temp[0], s->temp[1], width,
849                                           &leftr, &leftg, &leftb, &lefta);
850             } else {
851                 sub_left_prediction_bgr32(s, s->temp[0], dst, width,
852                                           &leftr, &leftg, &leftb, &lefta);
853             }
854             encode_bgra_bitstream(s, width, 4);
855         }
856     } else if (avctx->pix_fmt == AV_PIX_FMT_RGB24) {
857         uint8_t *data = p->data[0] + (height - 1) * p->linesize[0];
858         const int stride = -p->linesize[0];
859         const int fake_stride = -fake_ystride;
860         int y;
861         int leftr, leftg, leftb;
862
863         put_bits(&s->pb, 8, leftr = data[0]);
864         put_bits(&s->pb, 8, leftg = data[1]);
865         put_bits(&s->pb, 8, leftb = data[2]);
866         put_bits(&s->pb, 8, 0);
867
868         sub_left_prediction_rgb24(s, s->temp[0], data + 3, width - 1,
869                                   &leftr, &leftg, &leftb);
870         encode_bgra_bitstream(s, width-1, 3);
871
872         for (y = 1; y < s->height; y++) {
873             uint8_t *dst = data + y * stride;
874             if (s->predictor == PLANE && s->interlaced < y) {
875                 s->hencdsp.diff_bytes(s->temp[1], dst, dst - fake_stride,
876                                       width * 3);
877                 sub_left_prediction_rgb24(s, s->temp[0], s->temp[1], width,
878                                           &leftr, &leftg, &leftb);
879             } else {
880                 sub_left_prediction_rgb24(s, s->temp[0], dst, width,
881                                           &leftr, &leftg, &leftb);
882             }
883             encode_bgra_bitstream(s, width, 3);
884         }
885     } else if (s->version > 2) {
886         int plane;
887         for (plane = 0; plane < 1 + 2*s->chroma + s->alpha; plane++) {
888             int left, y;
889             int w = width;
890             int h = height;
891             int fake_stride = fake_ystride;
892
893             if (s->chroma && (plane == 1 || plane == 2)) {
894                 w >>= s->chroma_h_shift;
895                 h >>= s->chroma_v_shift;
896                 fake_stride = plane == 1 ? fake_ustride : fake_vstride;
897             }
898
899             left = sub_left_prediction(s, s->temp[0], p->data[plane], w , 0);
900
901             encode_plane_bitstream(s, w, plane);
902
903             if (s->predictor==MEDIAN) {
904                 int lefttop;
905                 y = 1;
906                 if (s->interlaced) {
907                     left = sub_left_prediction(s, s->temp[0], p->data[plane] + p->linesize[plane], w , left);
908
909                     encode_plane_bitstream(s, w, plane);
910                     y++;
911                 }
912
913                 lefttop = p->data[plane][0];
914
915                 for (; y < h; y++) {
916                     uint8_t *dst = p->data[plane] + p->linesize[plane] * y;
917
918                     sub_median_prediction(s, s->temp[0], dst - fake_stride, dst, w , &left, &lefttop);
919
920                     encode_plane_bitstream(s, w, plane);
921                 }
922             } else {
923                 for (y = 1; y < h; y++) {
924                     uint8_t *dst = p->data[plane] + p->linesize[plane] * y;
925
926                     if (s->predictor == PLANE && s->interlaced < y) {
927                         diff_bytes(s, s->temp[1], dst, dst - fake_stride, w);
928
929                         left = sub_left_prediction(s, s->temp[0], s->temp[1], w , left);
930                     } else {
931                         left = sub_left_prediction(s, s->temp[0], dst, w , left);
932                     }
933
934                     encode_plane_bitstream(s, w, plane);
935                 }
936             }
937         }
938     } else {
939         av_log(avctx, AV_LOG_ERROR, "Format not supported!\n");
940     }
941     emms_c();
942
943     size += (put_bits_count(&s->pb) + 31) / 8;
944     put_bits(&s->pb, 16, 0);
945     put_bits(&s->pb, 15, 0);
946     size /= 4;
947
948     if ((s->flags&CODEC_FLAG_PASS1) && (s->picture_number & 31) == 0) {
949         int j;
950         char *p = avctx->stats_out;
951         char *end = p + STATS_OUT_SIZE;
952         for (i = 0; i < 4; i++) {
953             for (j = 0; j < s->vlc_n; j++) {
954                 snprintf(p, end-p, "%"PRIu64" ", s->stats[i][j]);
955                 p += strlen(p);
956                 s->stats[i][j]= 0;
957             }
958             snprintf(p, end-p, "\n");
959             p++;
960             if (end <= p)
961                 return AVERROR(ENOMEM);
962         }
963     } else if (avctx->stats_out)
964         avctx->stats_out[0] = '\0';
965     if (!(s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)) {
966         flush_put_bits(&s->pb);
967         s->dsp.bswap_buf((uint32_t*)pkt->data, (uint32_t*)pkt->data, size);
968     }
969
970     s->picture_number++;
971
972     pkt->size   = size * 4;
973     pkt->flags |= AV_PKT_FLAG_KEY;
974     *got_packet = 1;
975
976     return 0;
977 }
978
979 static av_cold int encode_end(AVCodecContext *avctx)
980 {
981     HYuvContext *s = avctx->priv_data;
982
983     ff_huffyuv_common_end(s);
984
985     av_freep(&avctx->extradata);
986     av_freep(&avctx->stats_out);
987
988     av_frame_free(&avctx->coded_frame);
989
990     return 0;
991 }
992
993 AVCodec ff_huffyuv_encoder = {
994     .name           = "huffyuv",
995     .long_name      = NULL_IF_CONFIG_SMALL("Huffyuv / HuffYUV"),
996     .type           = AVMEDIA_TYPE_VIDEO,
997     .id             = AV_CODEC_ID_HUFFYUV,
998     .priv_data_size = sizeof(HYuvContext),
999     .init           = encode_init,
1000     .encode2        = encode_frame,
1001     .close          = encode_end,
1002     .capabilities   = CODEC_CAP_FRAME_THREADS | CODEC_CAP_INTRA_ONLY,
1003     .pix_fmts       = (const enum AVPixelFormat[]){
1004         AV_PIX_FMT_YUV422P, AV_PIX_FMT_RGB24,
1005         AV_PIX_FMT_RGB32, AV_PIX_FMT_NONE
1006     },
1007 };
1008
1009 #if CONFIG_FFVHUFF_ENCODER
1010 AVCodec ff_ffvhuff_encoder = {
1011     .name           = "ffvhuff",
1012     .long_name      = NULL_IF_CONFIG_SMALL("Huffyuv FFmpeg variant"),
1013     .type           = AVMEDIA_TYPE_VIDEO,
1014     .id             = AV_CODEC_ID_FFVHUFF,
1015     .priv_data_size = sizeof(HYuvContext),
1016     .init           = encode_init,
1017     .encode2        = encode_frame,
1018     .close          = encode_end,
1019     .capabilities   = CODEC_CAP_FRAME_THREADS | CODEC_CAP_INTRA_ONLY,
1020     .pix_fmts       = (const enum AVPixelFormat[]){
1021         AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUV411P,
1022         AV_PIX_FMT_YUV410P, AV_PIX_FMT_YUV440P,
1023         AV_PIX_FMT_GBRP,
1024         AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10, AV_PIX_FMT_GBRP12, AV_PIX_FMT_GBRP14,
1025         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY16,
1026         AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUVA444P,
1027         AV_PIX_FMT_GBRAP,
1028         AV_PIX_FMT_GRAY8A,
1029         AV_PIX_FMT_YUV420P9, AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV420P12, AV_PIX_FMT_YUV420P14, AV_PIX_FMT_YUV420P16,
1030         AV_PIX_FMT_YUV422P9, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV422P12, AV_PIX_FMT_YUV422P14, AV_PIX_FMT_YUV422P16,
1031         AV_PIX_FMT_YUV444P9, AV_PIX_FMT_YUV444P10, AV_PIX_FMT_YUV444P12, AV_PIX_FMT_YUV444P14, AV_PIX_FMT_YUV444P16,
1032         AV_PIX_FMT_YUVA420P9, AV_PIX_FMT_YUVA420P10, AV_PIX_FMT_YUVA420P16,
1033         AV_PIX_FMT_YUVA422P9, AV_PIX_FMT_YUVA422P10, AV_PIX_FMT_YUVA422P16,
1034         AV_PIX_FMT_YUVA444P9, AV_PIX_FMT_YUVA444P10, AV_PIX_FMT_YUVA444P16,
1035         AV_PIX_FMT_RGB24,
1036         AV_PIX_FMT_RGB32, AV_PIX_FMT_NONE
1037     },
1038 };
1039 #endif