avcodec/huffyuv: support gbrp9/10/12/14
[ffmpeg.git] / libavcodec / huffyuvenc.c
1 /*
2  * Copyright (c) 2002-2014 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * see http://www.pcisys.net/~melanson/codecs/huffyuv.txt for a description of
5  * the algorithm used
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  *
23  * yuva, gray, 4:4:4, 4:1:1, 4:1:0 and >8 bit per sample support sponsored by NOA
24  */
25
26 /**
27  * @file
28  * huffyuv encoder
29  */
30
31 #include "avcodec.h"
32 #include "huffyuv.h"
33 #include "huffman.h"
34 #include "internal.h"
35 #include "put_bits.h"
36 #include "libavutil/pixdesc.h"
37
38 static inline void diff_bytes(HYuvContext *s, uint8_t *dst,
39                               const uint8_t *src0, const uint8_t *src1, int w)
40 {
41     if (s->bps <= 8) {
42         s->dsp.diff_bytes(dst, src0, src1, w);
43     } else {
44         s->llviddsp.diff_int16((uint16_t *)dst, (const uint16_t *)src0, (const uint16_t *)src1, s->n - 1, w);
45     }
46 }
47
48 static inline int sub_left_prediction(HYuvContext *s, uint8_t *dst,
49                                       const uint8_t *src, int w, int left)
50 {
51     int i;
52     if (s->bps <= 8) {
53         if (w < 32) {
54             for (i = 0; i < w; i++) {
55                 const int temp = src[i];
56                 dst[i] = temp - left;
57                 left   = temp;
58             }
59             return left;
60         } else {
61             for (i = 0; i < 16; i++) {
62                 const int temp = src[i];
63                 dst[i] = temp - left;
64                 left   = temp;
65             }
66             s->dsp.diff_bytes(dst + 16, src + 16, src + 15, w - 16);
67             return src[w-1];
68         }
69     } else {
70         const uint16_t *src16 = (const uint16_t *)src;
71         uint16_t       *dst16 = (      uint16_t *)dst;
72         if (w < 32) {
73             for (i = 0; i < w; i++) {
74                 const int temp = src16[i];
75                 dst16[i] = temp - left;
76                 left   = temp;
77             }
78             return left;
79         } else {
80             for (i = 0; i < 16; i++) {
81                 const int temp = src16[i];
82                 dst16[i] = temp - left;
83                 left   = temp;
84             }
85             s->llviddsp.diff_int16(dst16 + 16, src16 + 16, src16 + 15, s->n - 1, w - 16);
86             return src16[w-1];
87         }
88     }
89 }
90
91 static inline void sub_left_prediction_bgr32(HYuvContext *s, uint8_t *dst,
92                                              const uint8_t *src, int w,
93                                              int *red, int *green, int *blue,
94                                              int *alpha)
95 {
96     int i;
97     int r, g, b, a;
98     r = *red;
99     g = *green;
100     b = *blue;
101     a = *alpha;
102
103     for (i = 0; i < FFMIN(w, 4); i++) {
104         const int rt = src[i * 4 + R];
105         const int gt = src[i * 4 + G];
106         const int bt = src[i * 4 + B];
107         const int at = src[i * 4 + A];
108         dst[i * 4 + R] = rt - r;
109         dst[i * 4 + G] = gt - g;
110         dst[i * 4 + B] = bt - b;
111         dst[i * 4 + A] = at - a;
112         r = rt;
113         g = gt;
114         b = bt;
115         a = at;
116     }
117
118     s->dsp.diff_bytes(dst + 16, src + 16, src + 12, w * 4 - 16);
119
120     *red   = src[(w - 1) * 4 + R];
121     *green = src[(w - 1) * 4 + G];
122     *blue  = src[(w - 1) * 4 + B];
123     *alpha = src[(w - 1) * 4 + A];
124 }
125
126 static inline void sub_left_prediction_rgb24(HYuvContext *s, uint8_t *dst,
127                                              uint8_t *src, int w,
128                                              int *red, int *green, int *blue)
129 {
130     int i;
131     int r, g, b;
132     r = *red;
133     g = *green;
134     b = *blue;
135     for (i = 0; i < FFMIN(w, 16); i++) {
136         const int rt = src[i * 3 + 0];
137         const int gt = src[i * 3 + 1];
138         const int bt = src[i * 3 + 2];
139         dst[i * 3 + 0] = rt - r;
140         dst[i * 3 + 1] = gt - g;
141         dst[i * 3 + 2] = bt - b;
142         r = rt;
143         g = gt;
144         b = bt;
145     }
146
147     s->dsp.diff_bytes(dst + 48, src + 48, src + 48 - 3, w * 3 - 48);
148
149     *red   = src[(w - 1) * 3 + 0];
150     *green = src[(w - 1) * 3 + 1];
151     *blue  = src[(w - 1) * 3 + 2];
152 }
153
154 static void sub_median_prediction(HYuvContext *s, uint8_t *dst, const uint8_t *src1, const uint8_t *src2, int w, int *left, int *left_top)
155 {
156     if (s->bps <= 8) {
157         s->dsp.sub_hfyu_median_prediction(dst, src1, src2, w , left, left_top);
158     } else {
159         s->llviddsp.sub_hfyu_median_prediction_int16((uint16_t *)dst, (const uint16_t *)src1, (const uint16_t *)src2, s->n - 1, w , left, left_top);
160     }
161 }
162
163 static int store_table(HYuvContext *s, const uint8_t *len, uint8_t *buf)
164 {
165     int i;
166     int index = 0;
167     int n = s->vlc_n;
168
169     for (i = 0; i < n;) {
170         int val = len[i];
171         int repeat = 0;
172
173         for (; i < n && len[i] == val && repeat < 255; i++)
174             repeat++;
175
176         av_assert0(val < 32 && val >0 && repeat < 256 && repeat>0);
177         if (repeat > 7) {
178             buf[index++] = val;
179             buf[index++] = repeat;
180         } else {
181             buf[index++] = val | (repeat << 5);
182         }
183     }
184
185     return index;
186 }
187
188 static int store_huffman_tables(HYuvContext *s, uint8_t *buf)
189 {
190     int i, ret;
191     int size = 0;
192     int count = 3;
193
194     if (s->version > 2)
195         count = 1 + s->alpha + 2*s->chroma;
196
197     for (i = 0; i < count; i++) {
198         if ((ret = ff_huff_gen_len_table(s->len[i], s->stats[i], s->vlc_n)) < 0)
199             return ret;
200
201         if (ff_huffyuv_generate_bits_table(s->bits[i], s->len[i], s->vlc_n) < 0) {
202             return -1;
203         }
204
205         size += store_table(s, s->len[i], buf + size);
206     }
207     return size;
208 }
209
210 static av_cold int encode_init(AVCodecContext *avctx)
211 {
212     HYuvContext *s = avctx->priv_data;
213     int i, j;
214     int ret;
215     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(avctx->pix_fmt);
216
217     ff_huffyuv_common_init(avctx);
218
219     avctx->extradata = av_mallocz(3*MAX_N + 4);
220 #define STATS_OUT_SIZE 21*MAX_N*3 + 4
221     avctx->stats_out = av_mallocz(STATS_OUT_SIZE); // 21*256*3(%llu ) + 3(\n) + 1(0) = 16132
222     if (!avctx->extradata || !avctx->stats_out) {
223         av_freep(&avctx->stats_out);
224         return AVERROR(ENOMEM);
225     }
226     s->version = 2;
227
228     avctx->coded_frame = av_frame_alloc();
229     if (!avctx->coded_frame)
230         return AVERROR(ENOMEM);
231
232     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
233     avctx->coded_frame->key_frame = 1;
234
235     s->bps = desc->comp[0].depth_minus1 + 1;
236     s->yuv = !(desc->flags & AV_PIX_FMT_FLAG_RGB) && desc->nb_components >= 2;
237     s->chroma = desc->nb_components > 2;
238     s->alpha = !!(desc->flags & AV_PIX_FMT_FLAG_ALPHA);
239     av_pix_fmt_get_chroma_sub_sample(avctx->pix_fmt,
240                                      &s->chroma_h_shift,
241                                      &s->chroma_v_shift);
242
243     switch (avctx->pix_fmt) {
244     case AV_PIX_FMT_YUV420P:
245     case AV_PIX_FMT_YUV422P:
246         if (s->width & 1) {
247             av_log(avctx, AV_LOG_ERROR, "Width must be even for this colorspace.\n");
248             return AVERROR(EINVAL);
249         }
250         s->bitstream_bpp = avctx->pix_fmt == AV_PIX_FMT_YUV420P ? 12 : 16;
251         break;
252     case AV_PIX_FMT_YUV444P:
253     case AV_PIX_FMT_YUV410P:
254     case AV_PIX_FMT_YUV411P:
255     case AV_PIX_FMT_YUV440P:
256     case AV_PIX_FMT_GBRP:
257     case AV_PIX_FMT_GBRP9:
258     case AV_PIX_FMT_GBRP10:
259     case AV_PIX_FMT_GBRP12:
260     case AV_PIX_FMT_GBRP14:
261     case AV_PIX_FMT_GBRP16:
262     case AV_PIX_FMT_GRAY8:
263     case AV_PIX_FMT_GRAY16:
264     case AV_PIX_FMT_YUVA444P:
265     case AV_PIX_FMT_YUVA420P:
266     case AV_PIX_FMT_YUVA422P:
267     case AV_PIX_FMT_GBRAP:
268     case AV_PIX_FMT_GRAY8A:
269     case AV_PIX_FMT_YUV420P9:
270     case AV_PIX_FMT_YUV420P10:
271     case AV_PIX_FMT_YUV420P12:
272     case AV_PIX_FMT_YUV420P14:
273     case AV_PIX_FMT_YUV420P16:
274     case AV_PIX_FMT_YUV422P9:
275     case AV_PIX_FMT_YUV422P10:
276     case AV_PIX_FMT_YUV422P12:
277     case AV_PIX_FMT_YUV422P14:
278     case AV_PIX_FMT_YUV422P16:
279     case AV_PIX_FMT_YUV444P9:
280     case AV_PIX_FMT_YUV444P10:
281     case AV_PIX_FMT_YUV444P12:
282     case AV_PIX_FMT_YUV444P14:
283     case AV_PIX_FMT_YUV444P16:
284     case AV_PIX_FMT_YUVA420P9:
285     case AV_PIX_FMT_YUVA420P10:
286     case AV_PIX_FMT_YUVA420P16:
287     case AV_PIX_FMT_YUVA422P9:
288     case AV_PIX_FMT_YUVA422P10:
289     case AV_PIX_FMT_YUVA422P16:
290     case AV_PIX_FMT_YUVA444P9:
291     case AV_PIX_FMT_YUVA444P10:
292     case AV_PIX_FMT_YUVA444P16:
293         s->version = 3;
294         break;
295     case AV_PIX_FMT_RGB32:
296         s->bitstream_bpp = 32;
297         break;
298     case AV_PIX_FMT_RGB24:
299         s->bitstream_bpp = 24;
300         break;
301     default:
302         av_log(avctx, AV_LOG_ERROR, "format not supported\n");
303         return AVERROR(EINVAL);
304     }
305     s->n = 1<<s->bps;
306     s->vlc_n = FFMIN(s->n, MAX_VLC_N);
307
308     avctx->bits_per_coded_sample = s->bitstream_bpp;
309     s->decorrelate = s->bitstream_bpp >= 24 && !s->yuv && !(desc->flags & AV_PIX_FMT_FLAG_PLANAR);
310     s->predictor = avctx->prediction_method;
311     s->interlaced = avctx->flags&CODEC_FLAG_INTERLACED_ME ? 1 : 0;
312     if (avctx->context_model == 1) {
313         s->context = avctx->context_model;
314         if (s->flags & (CODEC_FLAG_PASS1|CODEC_FLAG_PASS2)) {
315             av_log(avctx, AV_LOG_ERROR,
316                    "context=1 is not compatible with "
317                    "2 pass huffyuv encoding\n");
318             return AVERROR(EINVAL);
319         }
320     }else s->context= 0;
321
322     if (avctx->codec->id == AV_CODEC_ID_HUFFYUV) {
323         if (avctx->pix_fmt == AV_PIX_FMT_YUV420P) {
324             av_log(avctx, AV_LOG_ERROR,
325                    "Error: YV12 is not supported by huffyuv; use "
326                    "vcodec=ffvhuff or format=422p\n");
327             return AVERROR(EINVAL);
328         }
329         if (avctx->context_model) {
330             av_log(avctx, AV_LOG_ERROR,
331                    "Error: per-frame huffman tables are not supported "
332                    "by huffyuv; use vcodec=ffvhuff\n");
333             return AVERROR(EINVAL);
334         }
335         if (s->version > 2) {
336             av_log(avctx, AV_LOG_ERROR,
337                    "Error: ver>2 is not supported "
338                    "by huffyuv; use vcodec=ffvhuff\n");
339             return AVERROR(EINVAL);
340         }
341         if (s->interlaced != ( s->height > 288 ))
342             av_log(avctx, AV_LOG_INFO,
343                    "using huffyuv 2.2.0 or newer interlacing flag\n");
344     }
345
346     if (s->version > 2 && avctx->strict_std_compliance > FF_COMPLIANCE_EXPERIMENTAL) {
347         av_log(avctx, AV_LOG_ERROR, "Ver > 2 is under development, files encoded with it may not be decodable with future versions!!!\n"
348                "Use vstrict=-2 / -strict -2 to use it anyway.\n");
349         return AVERROR(EINVAL);
350     }
351
352     if (s->bitstream_bpp >= 24 && s->predictor == MEDIAN) {
353         av_log(avctx, AV_LOG_ERROR,
354                "Error: RGB is incompatible with median predictor\n");
355         return AVERROR(EINVAL);
356     }
357
358     ((uint8_t*)avctx->extradata)[0] = s->predictor | (s->decorrelate << 6);
359     ((uint8_t*)avctx->extradata)[2] = s->interlaced ? 0x10 : 0x20;
360     if (s->context)
361         ((uint8_t*)avctx->extradata)[2] |= 0x40;
362     if (s->version < 3) {
363         ((uint8_t*)avctx->extradata)[1] = s->bitstream_bpp;
364         ((uint8_t*)avctx->extradata)[3] = 0;
365     } else {
366         ((uint8_t*)avctx->extradata)[1] = ((s->bps-1)<<4) | s->chroma_h_shift | (s->chroma_v_shift<<2);
367         if (s->chroma)
368             ((uint8_t*)avctx->extradata)[2] |= s->yuv ? 1 : 2;
369         if (s->alpha)
370             ((uint8_t*)avctx->extradata)[2] |= 4;
371         ((uint8_t*)avctx->extradata)[3] = 1;
372     }
373     s->avctx->extradata_size = 4;
374
375     if (avctx->stats_in) {
376         char *p = avctx->stats_in;
377
378         for (i = 0; i < 4; i++)
379             for (j = 0; j < s->vlc_n; j++)
380                 s->stats[i][j] = 1;
381
382         for (;;) {
383             for (i = 0; i < 4; i++) {
384                 char *next;
385
386                 for (j = 0; j < s->vlc_n; j++) {
387                     s->stats[i][j] += strtol(p, &next, 0);
388                     if (next == p) return -1;
389                     p = next;
390                 }
391             }
392             if (p[0] == 0 || p[1] == 0 || p[2] == 0) break;
393         }
394     } else {
395         for (i = 0; i < 4; i++)
396             for (j = 0; j < s->vlc_n; j++) {
397                 int d = FFMIN(j, s->vlc_n - j);
398
399                 s->stats[i][j] = 100000000 / (d + 1);
400             }
401     }
402
403     ret = store_huffman_tables(s, s->avctx->extradata + s->avctx->extradata_size);
404     if (ret < 0)
405         return ret;
406     s->avctx->extradata_size += ret;
407
408     if (s->context) {
409         for (i = 0; i < 4; i++) {
410             int pels = s->width * s->height / (i ? 40 : 10);
411             for (j = 0; j < s->vlc_n; j++) {
412                 int d = FFMIN(j, s->vlc_n - j);
413                 s->stats[i][j] = pels/(d + 1);
414             }
415         }
416     } else {
417         for (i = 0; i < 4; i++)
418             for (j = 0; j < s->vlc_n; j++)
419                 s->stats[i][j]= 0;
420     }
421
422     if (ff_huffyuv_alloc_temp(s)) {
423         ff_huffyuv_common_end(s);
424         return AVERROR(ENOMEM);
425     }
426
427     s->picture_number=0;
428
429     return 0;
430 }
431 static int encode_422_bitstream(HYuvContext *s, int offset, int count)
432 {
433     int i;
434     const uint8_t *y = s->temp[0] + offset;
435     const uint8_t *u = s->temp[1] + offset / 2;
436     const uint8_t *v = s->temp[2] + offset / 2;
437
438     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < 2 * 4 * count) {
439         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
440         return -1;
441     }
442
443 #define LOAD4\
444             int y0 = y[2 * i];\
445             int y1 = y[2 * i + 1];\
446             int u0 = u[i];\
447             int v0 = v[i];
448
449     count /= 2;
450
451     if (s->flags & CODEC_FLAG_PASS1) {
452         for(i = 0; i < count; i++) {
453             LOAD4;
454             s->stats[0][y0]++;
455             s->stats[1][u0]++;
456             s->stats[0][y1]++;
457             s->stats[2][v0]++;
458         }
459     }
460     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
461         return 0;
462     if (s->context) {
463         for (i = 0; i < count; i++) {
464             LOAD4;
465             s->stats[0][y0]++;
466             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);
467             s->stats[1][u0]++;
468             put_bits(&s->pb, s->len[1][u0], s->bits[1][u0]);
469             s->stats[0][y1]++;
470             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
471             s->stats[2][v0]++;
472             put_bits(&s->pb, s->len[2][v0], s->bits[2][v0]);
473         }
474     } else {
475         for(i = 0; i < count; i++) {
476             LOAD4;
477             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);
478             put_bits(&s->pb, s->len[1][u0], s->bits[1][u0]);
479             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
480             put_bits(&s->pb, s->len[2][v0], s->bits[2][v0]);
481         }
482     }
483     return 0;
484 }
485
486 static int encode_plane_bitstream(HYuvContext *s, int count, int plane)
487 {
488     int i;
489
490     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < count * s->bps / 2) {
491         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
492         return -1;
493     }
494
495 #define LOAD2\
496             int y0 = s->temp[0][2 * i];\
497             int y1 = s->temp[0][2 * i + 1];
498 #define LOAD2_14\
499             int y0 = s->temp16[0][2 * i] & mask;\
500             int y1 = s->temp16[0][2 * i + 1] & mask;
501 #define LOAD2_16\
502             int y0 = s->temp16[0][2 * i];\
503             int y1 = s->temp16[0][2 * i + 1];
504 #define STAT2\
505             s->stats[plane][y0]++;\
506             s->stats[plane][y1]++;
507 #define STAT2_16\
508             s->stats[plane][y0>>2]++;\
509             s->stats[plane][y1>>2]++;
510 #define WRITE2\
511             put_bits(&s->pb, s->len[plane][y0], s->bits[plane][y0]);\
512             put_bits(&s->pb, s->len[plane][y1], s->bits[plane][y1]);
513 #define WRITE2_16\
514             put_bits(&s->pb, s->len[plane][y0>>2], s->bits[plane][y0>>2]);\
515             put_bits(&s->pb, 2, y0&3);\
516             put_bits(&s->pb, s->len[plane][y1>>2], s->bits[plane][y1>>2]);\
517             put_bits(&s->pb, 2, y1&3);
518
519     count /= 2;
520
521     if (s->bps <= 8) {
522     if (s->flags & CODEC_FLAG_PASS1) {
523         for (i = 0; i < count; i++) {
524             LOAD2;
525             STAT2;
526         }
527     }
528     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
529         return 0;
530
531     if (s->context) {
532         for (i = 0; i < count; i++) {
533             LOAD2;
534             STAT2;
535             WRITE2;
536         }
537     } else {
538         for (i = 0; i < count; i++) {
539             LOAD2;
540             WRITE2;
541         }
542     }
543     } else if (s->bps <= 14) {
544         int mask = s->n - 1;
545         if (s->flags & CODEC_FLAG_PASS1) {
546             for (i = 0; i < count; i++) {
547                 LOAD2_14;
548                 STAT2;
549             }
550         }
551         if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
552             return 0;
553
554         if (s->context) {
555             for (i = 0; i < count; i++) {
556                 LOAD2_14;
557                 STAT2;
558                 WRITE2;
559             }
560         } else {
561             for (i = 0; i < count; i++) {
562                 LOAD2_14;
563                 WRITE2;
564             }
565         }
566     } else {
567         if (s->flags & CODEC_FLAG_PASS1) {
568             for (i = 0; i < count; i++) {
569                 LOAD2_16;
570                 STAT2_16;
571             }
572         }
573         if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
574             return 0;
575
576         if (s->context) {
577             for (i = 0; i < count; i++) {
578                 LOAD2_16;
579                 STAT2_16;
580                 WRITE2_16;
581             }
582         } else {
583             for (i = 0; i < count; i++) {
584                 LOAD2_16;
585                 WRITE2_16;
586             }
587         }
588     }
589 #undef LOAD2
590 #undef STAT2
591 #undef WRITE2
592     return 0;
593 }
594
595 static int encode_gray_bitstream(HYuvContext *s, int count)
596 {
597     int i;
598
599     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < 4 * count) {
600         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
601         return -1;
602     }
603
604 #define LOAD2\
605             int y0 = s->temp[0][2 * i];\
606             int y1 = s->temp[0][2 * i + 1];
607 #define STAT2\
608             s->stats[0][y0]++;\
609             s->stats[0][y1]++;
610 #define WRITE2\
611             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);\
612             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
613
614     count /= 2;
615
616     if (s->flags & CODEC_FLAG_PASS1) {
617         for (i = 0; i < count; i++) {
618             LOAD2;
619             STAT2;
620         }
621     }
622     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
623         return 0;
624
625     if (s->context) {
626         for (i = 0; i < count; i++) {
627             LOAD2;
628             STAT2;
629             WRITE2;
630         }
631     } else {
632         for (i = 0; i < count; i++) {
633             LOAD2;
634             WRITE2;
635         }
636     }
637     return 0;
638 }
639
640 static inline int encode_bgra_bitstream(HYuvContext *s, int count, int planes)
641 {
642     int i;
643
644     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) <
645         4 * planes * count) {
646         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
647         return -1;
648     }
649
650 #define LOAD_GBRA                                                       \
651     int g = s->temp[0][planes == 3 ? 3 * i + 1 : 4 * i + G];            \
652     int b =(s->temp[0][planes == 3 ? 3 * i + 2 : 4 * i + B] - g) & 0xFF;\
653     int r =(s->temp[0][planes == 3 ? 3 * i + 0 : 4 * i + R] - g) & 0xFF;\
654     int a = s->temp[0][planes * i + A];
655
656 #define STAT_BGRA                                                       \
657     s->stats[0][b]++;                                                   \
658     s->stats[1][g]++;                                                   \
659     s->stats[2][r]++;                                                   \
660     if (planes == 4)                                                    \
661         s->stats[2][a]++;
662
663 #define WRITE_GBRA                                                      \
664     put_bits(&s->pb, s->len[1][g], s->bits[1][g]);                      \
665     put_bits(&s->pb, s->len[0][b], s->bits[0][b]);                      \
666     put_bits(&s->pb, s->len[2][r], s->bits[2][r]);                      \
667     if (planes == 4)                                                    \
668         put_bits(&s->pb, s->len[2][a], s->bits[2][a]);
669
670     if ((s->flags & CODEC_FLAG_PASS1) &&
671         (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)) {
672         for (i = 0; i < count; i++) {
673             LOAD_GBRA;
674             STAT_BGRA;
675         }
676     } else if (s->context || (s->flags & CODEC_FLAG_PASS1)) {
677         for (i = 0; i < count; i++) {
678             LOAD_GBRA;
679             STAT_BGRA;
680             WRITE_GBRA;
681         }
682     } else {
683         for (i = 0; i < count; i++) {
684             LOAD_GBRA;
685             WRITE_GBRA;
686         }
687     }
688     return 0;
689 }
690
691 static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
692                         const AVFrame *pict, int *got_packet)
693 {
694     HYuvContext *s = avctx->priv_data;
695     const int width = s->width;
696     const int width2 = s->width>>1;
697     const int height = s->height;
698     const int fake_ystride = s->interlaced ? pict->linesize[0]*2  : pict->linesize[0];
699     const int fake_ustride = s->interlaced ? pict->linesize[1]*2  : pict->linesize[1];
700     const int fake_vstride = s->interlaced ? pict->linesize[2]*2  : pict->linesize[2];
701     const AVFrame * const p = pict;
702     int i, j, size = 0, ret;
703
704     if ((ret = ff_alloc_packet2(avctx, pkt, width * height * 3 * 4 + FF_MIN_BUFFER_SIZE)) < 0)
705         return ret;
706
707     if (s->context) {
708         size = store_huffman_tables(s, pkt->data);
709         if (size < 0)
710             return size;
711
712         for (i = 0; i < 4; i++)
713             for (j = 0; j < s->vlc_n; j++)
714                 s->stats[i][j] >>= 1;
715     }
716
717     init_put_bits(&s->pb, pkt->data + size, pkt->size - size);
718
719     if (avctx->pix_fmt == AV_PIX_FMT_YUV422P ||
720         avctx->pix_fmt == AV_PIX_FMT_YUV420P) {
721         int lefty, leftu, leftv, y, cy;
722
723         put_bits(&s->pb, 8, leftv = p->data[2][0]);
724         put_bits(&s->pb, 8, lefty = p->data[0][1]);
725         put_bits(&s->pb, 8, leftu = p->data[1][0]);
726         put_bits(&s->pb, 8,         p->data[0][0]);
727
728         lefty = sub_left_prediction(s, s->temp[0], p->data[0], width , 0);
729         leftu = sub_left_prediction(s, s->temp[1], p->data[1], width2, 0);
730         leftv = sub_left_prediction(s, s->temp[2], p->data[2], width2, 0);
731
732         encode_422_bitstream(s, 2, width-2);
733
734         if (s->predictor==MEDIAN) {
735             int lefttopy, lefttopu, lefttopv;
736             cy = y = 1;
737             if (s->interlaced) {
738                 lefty = sub_left_prediction(s, s->temp[0], p->data[0] + p->linesize[0], width , lefty);
739                 leftu = sub_left_prediction(s, s->temp[1], p->data[1] + p->linesize[1], width2, leftu);
740                 leftv = sub_left_prediction(s, s->temp[2], p->data[2] + p->linesize[2], width2, leftv);
741
742                 encode_422_bitstream(s, 0, width);
743                 y++; cy++;
744             }
745
746             lefty = sub_left_prediction(s, s->temp[0], p->data[0] + fake_ystride, 4, lefty);
747             leftu = sub_left_prediction(s, s->temp[1], p->data[1] + fake_ustride, 2, leftu);
748             leftv = sub_left_prediction(s, s->temp[2], p->data[2] + fake_vstride, 2, leftv);
749
750             encode_422_bitstream(s, 0, 4);
751
752             lefttopy = p->data[0][3];
753             lefttopu = p->data[1][1];
754             lefttopv = p->data[2][1];
755             s->dsp.sub_hfyu_median_prediction(s->temp[0], p->data[0]+4, p->data[0] + fake_ystride + 4, width - 4 , &lefty, &lefttopy);
756             s->dsp.sub_hfyu_median_prediction(s->temp[1], p->data[1]+2, p->data[1] + fake_ustride + 2, width2 - 2, &leftu, &lefttopu);
757             s->dsp.sub_hfyu_median_prediction(s->temp[2], p->data[2]+2, p->data[2] + fake_vstride + 2, width2 - 2, &leftv, &lefttopv);
758             encode_422_bitstream(s, 0, width - 4);
759             y++; cy++;
760
761             for (; y < height; y++,cy++) {
762                 uint8_t *ydst, *udst, *vdst;
763
764                 if (s->bitstream_bpp == 12) {
765                     while (2 * cy > y) {
766                         ydst = p->data[0] + p->linesize[0] * y;
767                         s->dsp.sub_hfyu_median_prediction(s->temp[0], ydst - fake_ystride, ydst, width , &lefty, &lefttopy);
768                         encode_gray_bitstream(s, width);
769                         y++;
770                     }
771                     if (y >= height) break;
772                 }
773                 ydst = p->data[0] + p->linesize[0] * y;
774                 udst = p->data[1] + p->linesize[1] * cy;
775                 vdst = p->data[2] + p->linesize[2] * cy;
776
777                 s->dsp.sub_hfyu_median_prediction(s->temp[0], ydst - fake_ystride, ydst, width , &lefty, &lefttopy);
778                 s->dsp.sub_hfyu_median_prediction(s->temp[1], udst - fake_ustride, udst, width2, &leftu, &lefttopu);
779                 s->dsp.sub_hfyu_median_prediction(s->temp[2], vdst - fake_vstride, vdst, width2, &leftv, &lefttopv);
780
781                 encode_422_bitstream(s, 0, width);
782             }
783         } else {
784             for (cy = y = 1; y < height; y++, cy++) {
785                 uint8_t *ydst, *udst, *vdst;
786
787                 /* encode a luma only line & y++ */
788                 if (s->bitstream_bpp == 12) {
789                     ydst = p->data[0] + p->linesize[0] * y;
790
791                     if (s->predictor == PLANE && s->interlaced < y) {
792                         s->dsp.diff_bytes(s->temp[1], ydst, ydst - fake_ystride, width);
793
794                         lefty = sub_left_prediction(s, s->temp[0], s->temp[1], width , lefty);
795                     } else {
796                         lefty = sub_left_prediction(s, s->temp[0], ydst, width , lefty);
797                     }
798                     encode_gray_bitstream(s, width);
799                     y++;
800                     if (y >= height) break;
801                 }
802
803                 ydst = p->data[0] + p->linesize[0] * y;
804                 udst = p->data[1] + p->linesize[1] * cy;
805                 vdst = p->data[2] + p->linesize[2] * cy;
806
807                 if (s->predictor == PLANE && s->interlaced < cy) {
808                     s->dsp.diff_bytes(s->temp[1], ydst, ydst - fake_ystride, width);
809                     s->dsp.diff_bytes(s->temp[2], udst, udst - fake_ustride, width2);
810                     s->dsp.diff_bytes(s->temp[2] + width2, vdst, vdst - fake_vstride, width2);
811
812                     lefty = sub_left_prediction(s, s->temp[0], s->temp[1], width , lefty);
813                     leftu = sub_left_prediction(s, s->temp[1], s->temp[2], width2, leftu);
814                     leftv = sub_left_prediction(s, s->temp[2], s->temp[2] + width2, width2, leftv);
815                 } else {
816                     lefty = sub_left_prediction(s, s->temp[0], ydst, width , lefty);
817                     leftu = sub_left_prediction(s, s->temp[1], udst, width2, leftu);
818                     leftv = sub_left_prediction(s, s->temp[2], vdst, width2, leftv);
819                 }
820
821                 encode_422_bitstream(s, 0, width);
822             }
823         }
824     } else if(avctx->pix_fmt == AV_PIX_FMT_RGB32) {
825         uint8_t *data = p->data[0] + (height - 1) * p->linesize[0];
826         const int stride = -p->linesize[0];
827         const int fake_stride = -fake_ystride;
828         int y;
829         int leftr, leftg, leftb, lefta;
830
831         put_bits(&s->pb, 8, lefta = data[A]);
832         put_bits(&s->pb, 8, leftr = data[R]);
833         put_bits(&s->pb, 8, leftg = data[G]);
834         put_bits(&s->pb, 8, leftb = data[B]);
835
836         sub_left_prediction_bgr32(s, s->temp[0], data + 4, width - 1,
837                                   &leftr, &leftg, &leftb, &lefta);
838         encode_bgra_bitstream(s, width - 1, 4);
839
840         for (y = 1; y < s->height; y++) {
841             uint8_t *dst = data + y*stride;
842             if (s->predictor == PLANE && s->interlaced < y) {
843                 s->dsp.diff_bytes(s->temp[1], dst, dst - fake_stride, width * 4);
844                 sub_left_prediction_bgr32(s, s->temp[0], s->temp[1], width,
845                                           &leftr, &leftg, &leftb, &lefta);
846             } else {
847                 sub_left_prediction_bgr32(s, s->temp[0], dst, width,
848                                           &leftr, &leftg, &leftb, &lefta);
849             }
850             encode_bgra_bitstream(s, width, 4);
851         }
852     } else if (avctx->pix_fmt == AV_PIX_FMT_RGB24) {
853         uint8_t *data = p->data[0] + (height - 1) * p->linesize[0];
854         const int stride = -p->linesize[0];
855         const int fake_stride = -fake_ystride;
856         int y;
857         int leftr, leftg, leftb;
858
859         put_bits(&s->pb, 8, leftr = data[0]);
860         put_bits(&s->pb, 8, leftg = data[1]);
861         put_bits(&s->pb, 8, leftb = data[2]);
862         put_bits(&s->pb, 8, 0);
863
864         sub_left_prediction_rgb24(s, s->temp[0], data + 3, width - 1,
865                                   &leftr, &leftg, &leftb);
866         encode_bgra_bitstream(s, width-1, 3);
867
868         for (y = 1; y < s->height; y++) {
869             uint8_t *dst = data + y * stride;
870             if (s->predictor == PLANE && s->interlaced < y) {
871                 s->dsp.diff_bytes(s->temp[1], dst, dst - fake_stride,
872                                   width * 3);
873                 sub_left_prediction_rgb24(s, s->temp[0], s->temp[1], width,
874                                           &leftr, &leftg, &leftb);
875             } else {
876                 sub_left_prediction_rgb24(s, s->temp[0], dst, width,
877                                           &leftr, &leftg, &leftb);
878             }
879             encode_bgra_bitstream(s, width, 3);
880         }
881     } else if (s->version > 2) {
882         int plane;
883         for (plane = 0; plane < 1 + 2*s->chroma + s->alpha; plane++) {
884             int left, y;
885             int w = width;
886             int h = height;
887             int fake_stride = fake_ystride;
888
889             if (s->chroma && (plane == 1 || plane == 2)) {
890                 w >>= s->chroma_h_shift;
891                 h >>= s->chroma_v_shift;
892                 fake_stride = plane == 1 ? fake_ustride : fake_vstride;
893             }
894
895             left = sub_left_prediction(s, s->temp[0], p->data[plane], w , 0);
896
897             encode_plane_bitstream(s, w, plane);
898
899             if (s->predictor==MEDIAN) {
900                 int lefttop;
901                 y = 1;
902                 if (s->interlaced) {
903                     left = sub_left_prediction(s, s->temp[0], p->data[plane] + p->linesize[plane], w , left);
904
905                     encode_plane_bitstream(s, w, plane);
906                     y++;
907                 }
908
909                 lefttop = p->data[plane][0];
910
911                 for (; y < h; y++) {
912                     uint8_t *dst = p->data[plane] + p->linesize[plane] * y;
913
914                     sub_median_prediction(s, s->temp[0], dst - fake_stride, dst, w , &left, &lefttop);
915
916                     encode_plane_bitstream(s, w, plane);
917                 }
918             } else {
919                 for (y = 1; y < h; y++) {
920                     uint8_t *dst = p->data[plane] + p->linesize[plane] * y;
921
922                     if (s->predictor == PLANE && s->interlaced < y) {
923                         diff_bytes(s, s->temp[1], dst, dst - fake_stride, w);
924
925                         left = sub_left_prediction(s, s->temp[0], s->temp[1], w , left);
926                     } else {
927                         left = sub_left_prediction(s, s->temp[0], dst, w , left);
928                     }
929
930                     encode_plane_bitstream(s, w, plane);
931                 }
932             }
933         }
934     } else {
935         av_log(avctx, AV_LOG_ERROR, "Format not supported!\n");
936     }
937     emms_c();
938
939     size += (put_bits_count(&s->pb) + 31) / 8;
940     put_bits(&s->pb, 16, 0);
941     put_bits(&s->pb, 15, 0);
942     size /= 4;
943
944     if ((s->flags&CODEC_FLAG_PASS1) && (s->picture_number & 31) == 0) {
945         int j;
946         char *p = avctx->stats_out;
947         char *end = p + STATS_OUT_SIZE;
948         for (i = 0; i < 4; i++) {
949             for (j = 0; j < s->vlc_n; j++) {
950                 snprintf(p, end-p, "%"PRIu64" ", s->stats[i][j]);
951                 p += strlen(p);
952                 s->stats[i][j]= 0;
953             }
954             snprintf(p, end-p, "\n");
955             p++;
956             if (end <= p)
957                 return AVERROR(ENOMEM);
958         }
959     } else
960         avctx->stats_out[0] = '\0';
961     if (!(s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)) {
962         flush_put_bits(&s->pb);
963         s->dsp.bswap_buf((uint32_t*)pkt->data, (uint32_t*)pkt->data, size);
964     }
965
966     s->picture_number++;
967
968     pkt->size   = size * 4;
969     pkt->flags |= AV_PKT_FLAG_KEY;
970     *got_packet = 1;
971
972     return 0;
973 }
974
975 static av_cold int encode_end(AVCodecContext *avctx)
976 {
977     HYuvContext *s = avctx->priv_data;
978
979     ff_huffyuv_common_end(s);
980
981     av_freep(&avctx->extradata);
982     av_freep(&avctx->stats_out);
983
984     av_frame_free(&avctx->coded_frame);
985
986     return 0;
987 }
988
989 #if CONFIG_HUFFYUV_ENCODER
990 AVCodec ff_huffyuv_encoder = {
991     .name           = "huffyuv",
992     .long_name      = NULL_IF_CONFIG_SMALL("Huffyuv / HuffYUV"),
993     .type           = AVMEDIA_TYPE_VIDEO,
994     .id             = AV_CODEC_ID_HUFFYUV,
995     .priv_data_size = sizeof(HYuvContext),
996     .init           = encode_init,
997     .encode2        = encode_frame,
998     .close          = encode_end,
999     .pix_fmts       = (const enum AVPixelFormat[]){
1000         AV_PIX_FMT_YUV422P, AV_PIX_FMT_RGB24,
1001         AV_PIX_FMT_RGB32, AV_PIX_FMT_NONE
1002     },
1003 };
1004 #endif
1005
1006 #if CONFIG_FFVHUFF_ENCODER
1007 AVCodec ff_ffvhuff_encoder = {
1008     .name           = "ffvhuff",
1009     .long_name      = NULL_IF_CONFIG_SMALL("Huffyuv FFmpeg variant"),
1010     .type           = AVMEDIA_TYPE_VIDEO,
1011     .id             = AV_CODEC_ID_FFVHUFF,
1012     .priv_data_size = sizeof(HYuvContext),
1013     .init           = encode_init,
1014     .encode2        = encode_frame,
1015     .close          = encode_end,
1016     .pix_fmts       = (const enum AVPixelFormat[]){
1017         AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUV411P,
1018         AV_PIX_FMT_YUV410P, AV_PIX_FMT_YUV440P,
1019         AV_PIX_FMT_GBRP,
1020         AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10, AV_PIX_FMT_GBRP12, AV_PIX_FMT_GBRP14,
1021         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY16,
1022         AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUVA444P,
1023         AV_PIX_FMT_GBRAP,
1024         AV_PIX_FMT_GRAY8A,
1025         AV_PIX_FMT_YUV420P9, AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV420P12, AV_PIX_FMT_YUV420P14, AV_PIX_FMT_YUV420P16,
1026         AV_PIX_FMT_YUV422P9, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV422P12, AV_PIX_FMT_YUV422P14, AV_PIX_FMT_YUV422P16,
1027         AV_PIX_FMT_YUV444P9, AV_PIX_FMT_YUV444P10, AV_PIX_FMT_YUV444P12, AV_PIX_FMT_YUV444P14, AV_PIX_FMT_YUV444P16,
1028         AV_PIX_FMT_YUVA420P9, AV_PIX_FMT_YUVA420P10, AV_PIX_FMT_YUVA420P16,
1029         AV_PIX_FMT_YUVA422P9, AV_PIX_FMT_YUVA422P10, AV_PIX_FMT_YUVA422P16,
1030         AV_PIX_FMT_YUVA444P9, AV_PIX_FMT_YUVA444P10, AV_PIX_FMT_YUVA444P16,
1031         AV_PIX_FMT_RGB24,
1032         AV_PIX_FMT_RGB32, AV_PIX_FMT_NONE
1033     },
1034 };
1035 #endif