libavcodec/huffyuv: >8 bit support
[ffmpeg.git] / libavcodec / huffyuvenc.c
1 /*
2  * Copyright (c) 2002-2003 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * see http://www.pcisys.net/~melanson/codecs/huffyuv.txt for a description of
5  * the algorithm used
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  *
23  * yuva, gray, 4:4:4, 4:1:1, 4:1:0 and >8 bit per sample support sponsored by NOA
24  */
25
26 /**
27  * @file
28  * huffyuv encoder
29  */
30
31 #include "avcodec.h"
32 #include "huffyuv.h"
33 #include "huffman.h"
34 #include "internal.h"
35 #include "put_bits.h"
36 #include "libavutil/pixdesc.h"
37
38 static inline void diff_bytes(HYuvContext *s, uint8_t *dst,
39                               const uint8_t *src0, const uint8_t *src1, int w)
40 {
41     int i;
42     if (s->bps <= 8) {
43         s->dsp.diff_bytes(dst, src0, src1, w);
44     } else {
45         const uint16_t *src016 = (const uint16_t *)src0;
46         const uint16_t *src116 = (const uint16_t *)src1;
47         uint16_t       *dst16  = (      uint16_t *)dst;
48
49         for (i = 0; i < w; i++) {
50             dst16[i] = src016[i] - src116[i];
51         }
52
53         //FIXME optimize
54     }
55 }
56
57 static inline int sub_left_prediction(HYuvContext *s, uint8_t *dst,
58                                       const uint8_t *src, int w, int left)
59 {
60     int i;
61     if (s->bps <= 8) {
62         if (w < 32) {
63             for (i = 0; i < w; i++) {
64                 const int temp = src[i];
65                 dst[i] = temp - left;
66                 left   = temp;
67             }
68             return left;
69         } else {
70             for (i = 0; i < 16; i++) {
71                 const int temp = src[i];
72                 dst[i] = temp - left;
73                 left   = temp;
74             }
75             s->dsp.diff_bytes(dst + 16, src + 16, src + 15, w - 16);
76             return src[w-1];
77         }
78     } else {
79         const uint16_t *src16 = (const uint16_t *)src;
80         uint16_t       *dst16 = (      uint16_t *)dst;
81
82         for (i = 0; i < w; i++) {
83             const int temp = src16[i];
84             dst16[i] = temp - left;
85             left   = temp;
86         }
87         return left;
88
89         //FIXME optimize
90     }
91 }
92
93 static inline void sub_left_prediction_bgr32(HYuvContext *s, uint8_t *dst,
94                                              const uint8_t *src, int w,
95                                              int *red, int *green, int *blue,
96                                              int *alpha)
97 {
98     int i;
99     int r, g, b, a;
100     r = *red;
101     g = *green;
102     b = *blue;
103     a = *alpha;
104
105     for (i = 0; i < FFMIN(w, 4); i++) {
106         const int rt = src[i * 4 + R];
107         const int gt = src[i * 4 + G];
108         const int bt = src[i * 4 + B];
109         const int at = src[i * 4 + A];
110         dst[i * 4 + R] = rt - r;
111         dst[i * 4 + G] = gt - g;
112         dst[i * 4 + B] = bt - b;
113         dst[i * 4 + A] = at - a;
114         r = rt;
115         g = gt;
116         b = bt;
117         a = at;
118     }
119
120     s->dsp.diff_bytes(dst + 16, src + 16, src + 12, w * 4 - 16);
121
122     *red   = src[(w - 1) * 4 + R];
123     *green = src[(w - 1) * 4 + G];
124     *blue  = src[(w - 1) * 4 + B];
125     *alpha = src[(w - 1) * 4 + A];
126 }
127
128 static inline void sub_left_prediction_rgb24(HYuvContext *s, uint8_t *dst,
129                                              uint8_t *src, int w,
130                                              int *red, int *green, int *blue)
131 {
132     int i;
133     int r, g, b;
134     r = *red;
135     g = *green;
136     b = *blue;
137     for (i = 0; i < FFMIN(w, 16); i++) {
138         const int rt = src[i * 3 + 0];
139         const int gt = src[i * 3 + 1];
140         const int bt = src[i * 3 + 2];
141         dst[i * 3 + 0] = rt - r;
142         dst[i * 3 + 1] = gt - g;
143         dst[i * 3 + 2] = bt - b;
144         r = rt;
145         g = gt;
146         b = bt;
147     }
148
149     s->dsp.diff_bytes(dst + 48, src + 48, src + 48 - 3, w * 3 - 48);
150
151     *red   = src[(w - 1) * 3 + 0];
152     *green = src[(w - 1) * 3 + 1];
153     *blue  = src[(w - 1) * 3 + 2];
154 }
155
156 static int store_table(HYuvContext *s, const uint8_t *len, uint8_t *buf)
157 {
158     int i;
159     int index = 0;
160     int n = s->n;
161
162     for (i = 0; i < n;) {
163         int val = len[i];
164         int repeat = 0;
165
166         for (; i < n && len[i] == val && repeat < 255; i++)
167             repeat++;
168
169         av_assert0(val < 32 && val >0 && repeat < 256 && repeat>0);
170         if (repeat > 7) {
171             buf[index++] = val;
172             buf[index++] = repeat;
173         } else {
174             buf[index++] = val | (repeat << 5);
175         }
176     }
177
178     return index;
179 }
180
181 static int store_huffman_tables(HYuvContext *s, uint8_t *buf)
182 {
183     int i, ret;
184     int size = 0;
185     int count = 3;
186
187     if (s->version > 2)
188         count = 1 + s->alpha + 2*s->chroma;
189
190     for (i = 0; i < count; i++) {
191         if ((ret = ff_huff_gen_len_table(s->len[i], s->stats[i], s->n)) < 0)
192             return ret;
193
194         if (ff_huffyuv_generate_bits_table(s->bits[i], s->len[i], s->n) < 0) {
195             return -1;
196         }
197
198         size += store_table(s, s->len[i], buf + size);
199     }
200     return size;
201 }
202
203 static av_cold int encode_init(AVCodecContext *avctx)
204 {
205     HYuvContext *s = avctx->priv_data;
206     int i, j;
207     int ret;
208     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(avctx->pix_fmt);
209
210     ff_huffyuv_common_init(avctx);
211
212     avctx->extradata = av_mallocz(3*MAX_N + 4);
213     avctx->stats_out = av_mallocz(21*MAX_N*3 + 4); // 21*256*3(%llu ) + 3(\n) + 1(0) = 16132
214     if (!avctx->extradata || !avctx->stats_out) {
215         av_freep(&avctx->stats_out);
216         return AVERROR(ENOMEM);
217     }
218     s->version = 2;
219
220     avctx->coded_frame = av_frame_alloc();
221     if (!avctx->coded_frame)
222         return AVERROR(ENOMEM);
223
224     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
225     avctx->coded_frame->key_frame = 1;
226
227     s->bps = desc->comp[0].depth_minus1 + 1;
228     s->yuv = !(desc->flags & AV_PIX_FMT_FLAG_RGB) && desc->nb_components >= 2;
229     s->chroma = desc->nb_components > 2;
230     s->alpha = !!(desc->flags & AV_PIX_FMT_FLAG_ALPHA);
231     av_pix_fmt_get_chroma_sub_sample(avctx->pix_fmt,
232                                      &s->chroma_h_shift,
233                                      &s->chroma_v_shift);
234
235     switch (avctx->pix_fmt) {
236     case AV_PIX_FMT_YUV420P:
237     case AV_PIX_FMT_YUV422P:
238         if (s->width & 1) {
239             av_log(avctx, AV_LOG_ERROR, "Width must be even for this colorspace.\n");
240             return AVERROR(EINVAL);
241         }
242         s->bitstream_bpp = avctx->pix_fmt == AV_PIX_FMT_YUV420P ? 12 : 16;
243         break;
244     case AV_PIX_FMT_YUV444P:
245     case AV_PIX_FMT_YUV410P:
246     case AV_PIX_FMT_YUV411P:
247     case AV_PIX_FMT_YUV440P:
248     case AV_PIX_FMT_GBRP:
249     case AV_PIX_FMT_GRAY8:
250     case AV_PIX_FMT_YUVA444P:
251     case AV_PIX_FMT_YUVA420P:
252     case AV_PIX_FMT_YUVA422P:
253     case AV_PIX_FMT_GBRAP:
254     case AV_PIX_FMT_GRAY8A:
255     case AV_PIX_FMT_YUV420P10:
256         s->version = 3;
257         break;
258     case AV_PIX_FMT_RGB32:
259         s->bitstream_bpp = 32;
260         break;
261     case AV_PIX_FMT_RGB24:
262         s->bitstream_bpp = 24;
263         break;
264     default:
265         av_log(avctx, AV_LOG_ERROR, "format not supported\n");
266         return AVERROR(EINVAL);
267     }
268     s->n = 1<<s->bps;
269
270     avctx->bits_per_coded_sample = s->bitstream_bpp;
271     s->decorrelate = s->bitstream_bpp >= 24 && !s->yuv && avctx->pix_fmt != AV_PIX_FMT_GBRP;
272     s->predictor = avctx->prediction_method;
273     s->interlaced = avctx->flags&CODEC_FLAG_INTERLACED_ME ? 1 : 0;
274     if (avctx->context_model == 1) {
275         s->context = avctx->context_model;
276         if (s->flags & (CODEC_FLAG_PASS1|CODEC_FLAG_PASS2)) {
277             av_log(avctx, AV_LOG_ERROR,
278                    "context=1 is not compatible with "
279                    "2 pass huffyuv encoding\n");
280             return AVERROR(EINVAL);
281         }
282     }else s->context= 0;
283
284     if (avctx->codec->id == AV_CODEC_ID_HUFFYUV) {
285         if (avctx->pix_fmt == AV_PIX_FMT_YUV420P) {
286             av_log(avctx, AV_LOG_ERROR,
287                    "Error: YV12 is not supported by huffyuv; use "
288                    "vcodec=ffvhuff or format=422p\n");
289             return AVERROR(EINVAL);
290         }
291         if (avctx->context_model) {
292             av_log(avctx, AV_LOG_ERROR,
293                    "Error: per-frame huffman tables are not supported "
294                    "by huffyuv; use vcodec=ffvhuff\n");
295             return AVERROR(EINVAL);
296         }
297         if (s->version > 2) {
298             av_log(avctx, AV_LOG_ERROR,
299                    "Error: ver>2 is not supported "
300                    "by huffyuv; use vcodec=ffvhuff\n");
301             return AVERROR(EINVAL);
302         }
303         if (s->interlaced != ( s->height > 288 ))
304             av_log(avctx, AV_LOG_INFO,
305                    "using huffyuv 2.2.0 or newer interlacing flag\n");
306     }
307
308     if (s->version > 2 && avctx->strict_std_compliance > FF_COMPLIANCE_EXPERIMENTAL) {
309         av_log(avctx, AV_LOG_ERROR, "Ver > 2 is under development, files encoded with it may not be decodable with future versions!!!\n"
310                "Use vstrict=-2 / -strict -2 to use it anyway.\n");
311         return AVERROR(EINVAL);
312     }
313
314     if (s->bitstream_bpp >= 24 && s->predictor == MEDIAN) {
315         av_log(avctx, AV_LOG_ERROR,
316                "Error: RGB is incompatible with median predictor\n");
317         return AVERROR(EINVAL);
318     }
319
320     ((uint8_t*)avctx->extradata)[0] = s->predictor | (s->decorrelate << 6);
321     ((uint8_t*)avctx->extradata)[2] = s->interlaced ? 0x10 : 0x20;
322     if (s->context)
323         ((uint8_t*)avctx->extradata)[2] |= 0x40;
324     if (s->version < 3) {
325         ((uint8_t*)avctx->extradata)[1] = s->bitstream_bpp;
326         ((uint8_t*)avctx->extradata)[3] = 0;
327     } else {
328         ((uint8_t*)avctx->extradata)[1] = ((s->bps-1)<<4) | s->chroma_h_shift | (s->chroma_v_shift<<2);
329         if (s->chroma)
330             ((uint8_t*)avctx->extradata)[2] |= s->yuv ? 1 : 2;
331         if (s->alpha)
332             ((uint8_t*)avctx->extradata)[2] |= 4;
333         ((uint8_t*)avctx->extradata)[3] = 1;
334     }
335     s->avctx->extradata_size = 4;
336
337     if (avctx->stats_in) {
338         char *p = avctx->stats_in;
339
340         for (i = 0; i < 4; i++)
341             for (j = 0; j < s->n; j++)
342                 s->stats[i][j] = 1;
343
344         for (;;) {
345             for (i = 0; i < 4; i++) {
346                 char *next;
347
348                 for (j = 0; j < s->n; j++) {
349                     s->stats[i][j] += strtol(p, &next, 0);
350                     if (next == p) return -1;
351                     p = next;
352                 }
353             }
354             if (p[0] == 0 || p[1] == 0 || p[2] == 0) break;
355         }
356     } else {
357         for (i = 0; i < 4; i++)
358             for (j = 0; j < s->n; j++) {
359                 int d = FFMIN(j, s->n - j);
360
361                 s->stats[i][j] = 100000000 / (d + 1);
362             }
363     }
364
365     ret = store_huffman_tables(s, s->avctx->extradata + s->avctx->extradata_size);
366     if (ret < 0)
367         return ret;
368     s->avctx->extradata_size += ret;
369
370     if (s->context) {
371         for (i = 0; i < 4; i++) {
372             int pels = s->width * s->height / (i ? 40 : 10);
373             for (j = 0; j < s->n; j++) {
374                 int d = FFMIN(j, s->n - j);
375                 s->stats[i][j] = pels/(d + 1);
376             }
377         }
378     } else {
379         for (i = 0; i < 4; i++)
380             for (j = 0; j < s->n; j++)
381                 s->stats[i][j]= 0;
382     }
383
384     if (ff_huffyuv_alloc_temp(s)) {
385         ff_huffyuv_common_end(s);
386         return AVERROR(ENOMEM);
387     }
388
389     s->picture_number=0;
390
391     return 0;
392 }
393 static int encode_422_bitstream(HYuvContext *s, int offset, int count)
394 {
395     int i;
396     const uint8_t *y = s->temp[0] + offset;
397     const uint8_t *u = s->temp[1] + offset / 2;
398     const uint8_t *v = s->temp[2] + offset / 2;
399
400     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < 2 * 4 * count) {
401         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
402         return -1;
403     }
404
405 #define LOAD4\
406             int y0 = y[2 * i];\
407             int y1 = y[2 * i + 1];\
408             int u0 = u[i];\
409             int v0 = v[i];
410
411     count /= 2;
412
413     if (s->flags & CODEC_FLAG_PASS1) {
414         for(i = 0; i < count; i++) {
415             LOAD4;
416             s->stats[0][y0]++;
417             s->stats[1][u0]++;
418             s->stats[0][y1]++;
419             s->stats[2][v0]++;
420         }
421     }
422     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
423         return 0;
424     if (s->context) {
425         for (i = 0; i < count; i++) {
426             LOAD4;
427             s->stats[0][y0]++;
428             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);
429             s->stats[1][u0]++;
430             put_bits(&s->pb, s->len[1][u0], s->bits[1][u0]);
431             s->stats[0][y1]++;
432             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
433             s->stats[2][v0]++;
434             put_bits(&s->pb, s->len[2][v0], s->bits[2][v0]);
435         }
436     } else {
437         for(i = 0; i < count; i++) {
438             LOAD4;
439             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);
440             put_bits(&s->pb, s->len[1][u0], s->bits[1][u0]);
441             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
442             put_bits(&s->pb, s->len[2][v0], s->bits[2][v0]);
443         }
444     }
445     return 0;
446 }
447
448 static int encode_plane_bitstream(HYuvContext *s, int count, int plane)
449 {
450     int i;
451
452     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < count * s->bps / 2) {
453         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
454         return -1;
455     }
456
457 #define LOAD2\
458             int y0 = s->temp[0][2 * i];\
459             int y1 = s->temp[0][2 * i + 1];
460 #define LOAD2_16\
461             int y0 = s->temp16[0][2 * i] & mask;\
462             int y1 = s->temp16[0][2 * i + 1] & mask;
463 #define STAT2\
464             s->stats[plane][y0]++;\
465             s->stats[plane][y1]++;
466 #define WRITE2\
467             put_bits(&s->pb, s->len[plane][y0], s->bits[plane][y0]);\
468             put_bits(&s->pb, s->len[plane][y1], s->bits[plane][y1]);
469
470     count /= 2;
471
472     if (s->bps <= 8) {
473     if (s->flags & CODEC_FLAG_PASS1) {
474         for (i = 0; i < count; i++) {
475             LOAD2;
476             STAT2;
477         }
478     }
479     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
480         return 0;
481
482     if (s->context) {
483         for (i = 0; i < count; i++) {
484             LOAD2;
485             STAT2;
486             WRITE2;
487         }
488     } else {
489         for (i = 0; i < count; i++) {
490             LOAD2;
491             WRITE2;
492         }
493     }
494     } else {
495         int mask = s->n - 1;
496         if (s->flags & CODEC_FLAG_PASS1) {
497             for (i = 0; i < count; i++) {
498                 LOAD2_16;
499                 STAT2;
500             }
501         }
502         if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
503             return 0;
504
505         if (s->context) {
506             for (i = 0; i < count; i++) {
507                 LOAD2_16;
508                 STAT2;
509                 WRITE2;
510             }
511         } else {
512             for (i = 0; i < count; i++) {
513                 LOAD2_16;
514                 WRITE2;
515             }
516         }
517     }
518 #undef LOAD2
519 #undef STAT2
520 #undef WRITE2
521     return 0;
522 }
523
524 static int encode_gray_bitstream(HYuvContext *s, int count)
525 {
526     int i;
527
528     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < 4 * count) {
529         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
530         return -1;
531     }
532
533 #define LOAD2\
534             int y0 = s->temp[0][2 * i];\
535             int y1 = s->temp[0][2 * i + 1];
536 #define STAT2\
537             s->stats[0][y0]++;\
538             s->stats[0][y1]++;
539 #define WRITE2\
540             put_bits(&s->pb, s->len[0][y0], s->bits[0][y0]);\
541             put_bits(&s->pb, s->len[0][y1], s->bits[0][y1]);
542
543     count /= 2;
544
545     if (s->flags & CODEC_FLAG_PASS1) {
546         for (i = 0; i < count; i++) {
547             LOAD2;
548             STAT2;
549         }
550     }
551     if (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)
552         return 0;
553
554     if (s->context) {
555         for (i = 0; i < count; i++) {
556             LOAD2;
557             STAT2;
558             WRITE2;
559         }
560     } else {
561         for (i = 0; i < count; i++) {
562             LOAD2;
563             WRITE2;
564         }
565     }
566     return 0;
567 }
568
569 static inline int encode_bgra_bitstream(HYuvContext *s, int count, int planes)
570 {
571     int i;
572
573     if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) <
574         4 * planes * count) {
575         av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
576         return -1;
577     }
578
579 #define LOAD_GBRA                                                       \
580     int g = s->temp[0][planes == 3 ? 3 * i + 1 : 4 * i + G];            \
581     int b =(s->temp[0][planes == 3 ? 3 * i + 2 : 4 * i + B] - g) & 0xFF;\
582     int r =(s->temp[0][planes == 3 ? 3 * i + 0 : 4 * i + R] - g) & 0xFF;\
583     int a = s->temp[0][planes * i + A];
584
585 #define STAT_BGRA                                                       \
586     s->stats[0][b]++;                                                   \
587     s->stats[1][g]++;                                                   \
588     s->stats[2][r]++;                                                   \
589     if (planes == 4)                                                    \
590         s->stats[2][a]++;
591
592 #define WRITE_GBRA                                                      \
593     put_bits(&s->pb, s->len[1][g], s->bits[1][g]);                      \
594     put_bits(&s->pb, s->len[0][b], s->bits[0][b]);                      \
595     put_bits(&s->pb, s->len[2][r], s->bits[2][r]);                      \
596     if (planes == 4)                                                    \
597         put_bits(&s->pb, s->len[2][a], s->bits[2][a]);
598
599     if ((s->flags & CODEC_FLAG_PASS1) &&
600         (s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)) {
601         for (i = 0; i < count; i++) {
602             LOAD_GBRA;
603             STAT_BGRA;
604         }
605     } else if (s->context || (s->flags & CODEC_FLAG_PASS1)) {
606         for (i = 0; i < count; i++) {
607             LOAD_GBRA;
608             STAT_BGRA;
609             WRITE_GBRA;
610         }
611     } else {
612         for (i = 0; i < count; i++) {
613             LOAD_GBRA;
614             WRITE_GBRA;
615         }
616     }
617     return 0;
618 }
619
620 static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
621                         const AVFrame *pict, int *got_packet)
622 {
623     HYuvContext *s = avctx->priv_data;
624     const int width = s->width;
625     const int width2 = s->width>>1;
626     const int height = s->height;
627     const int fake_ystride = s->interlaced ? pict->linesize[0]*2  : pict->linesize[0];
628     const int fake_ustride = s->interlaced ? pict->linesize[1]*2  : pict->linesize[1];
629     const int fake_vstride = s->interlaced ? pict->linesize[2]*2  : pict->linesize[2];
630     const AVFrame * const p = pict;
631     int i, j, size = 0, ret;
632
633     if ((ret = ff_alloc_packet2(avctx, pkt, width * height * 3 * 4 + FF_MIN_BUFFER_SIZE)) < 0)
634         return ret;
635
636     if (s->context) {
637         size = store_huffman_tables(s, pkt->data);
638         if (size < 0)
639             return size;
640
641         for (i = 0; i < 4; i++)
642             for (j = 0; j < s->n; j++)
643                 s->stats[i][j] >>= 1;
644     }
645
646     init_put_bits(&s->pb, pkt->data + size, pkt->size - size);
647
648     if (avctx->pix_fmt == AV_PIX_FMT_YUV422P ||
649         avctx->pix_fmt == AV_PIX_FMT_YUV420P) {
650         int lefty, leftu, leftv, y, cy;
651
652         put_bits(&s->pb, 8, leftv = p->data[2][0]);
653         put_bits(&s->pb, 8, lefty = p->data[0][1]);
654         put_bits(&s->pb, 8, leftu = p->data[1][0]);
655         put_bits(&s->pb, 8,         p->data[0][0]);
656
657         lefty = sub_left_prediction(s, s->temp[0], p->data[0], width , 0);
658         leftu = sub_left_prediction(s, s->temp[1], p->data[1], width2, 0);
659         leftv = sub_left_prediction(s, s->temp[2], p->data[2], width2, 0);
660
661         encode_422_bitstream(s, 2, width-2);
662
663         if (s->predictor==MEDIAN) {
664             int lefttopy, lefttopu, lefttopv;
665             cy = y = 1;
666             if (s->interlaced) {
667                 lefty = sub_left_prediction(s, s->temp[0], p->data[0] + p->linesize[0], width , lefty);
668                 leftu = sub_left_prediction(s, s->temp[1], p->data[1] + p->linesize[1], width2, leftu);
669                 leftv = sub_left_prediction(s, s->temp[2], p->data[2] + p->linesize[2], width2, leftv);
670
671                 encode_422_bitstream(s, 0, width);
672                 y++; cy++;
673             }
674
675             lefty = sub_left_prediction(s, s->temp[0], p->data[0] + fake_ystride, 4, lefty);
676             leftu = sub_left_prediction(s, s->temp[1], p->data[1] + fake_ustride, 2, leftu);
677             leftv = sub_left_prediction(s, s->temp[2], p->data[2] + fake_vstride, 2, leftv);
678
679             encode_422_bitstream(s, 0, 4);
680
681             lefttopy = p->data[0][3];
682             lefttopu = p->data[1][1];
683             lefttopv = p->data[2][1];
684             s->dsp.sub_hfyu_median_prediction(s->temp[0], p->data[0]+4, p->data[0] + fake_ystride + 4, width - 4 , &lefty, &lefttopy);
685             s->dsp.sub_hfyu_median_prediction(s->temp[1], p->data[1]+2, p->data[1] + fake_ustride + 2, width2 - 2, &leftu, &lefttopu);
686             s->dsp.sub_hfyu_median_prediction(s->temp[2], p->data[2]+2, p->data[2] + fake_vstride + 2, width2 - 2, &leftv, &lefttopv);
687             encode_422_bitstream(s, 0, width - 4);
688             y++; cy++;
689
690             for (; y < height; y++,cy++) {
691                 uint8_t *ydst, *udst, *vdst;
692
693                 if (s->bitstream_bpp == 12) {
694                     while (2 * cy > y) {
695                         ydst = p->data[0] + p->linesize[0] * y;
696                         s->dsp.sub_hfyu_median_prediction(s->temp[0], ydst - fake_ystride, ydst, width , &lefty, &lefttopy);
697                         encode_gray_bitstream(s, width);
698                         y++;
699                     }
700                     if (y >= height) break;
701                 }
702                 ydst = p->data[0] + p->linesize[0] * y;
703                 udst = p->data[1] + p->linesize[1] * cy;
704                 vdst = p->data[2] + p->linesize[2] * cy;
705
706                 s->dsp.sub_hfyu_median_prediction(s->temp[0], ydst - fake_ystride, ydst, width , &lefty, &lefttopy);
707                 s->dsp.sub_hfyu_median_prediction(s->temp[1], udst - fake_ustride, udst, width2, &leftu, &lefttopu);
708                 s->dsp.sub_hfyu_median_prediction(s->temp[2], vdst - fake_vstride, vdst, width2, &leftv, &lefttopv);
709
710                 encode_422_bitstream(s, 0, width);
711             }
712         } else {
713             for (cy = y = 1; y < height; y++, cy++) {
714                 uint8_t *ydst, *udst, *vdst;
715
716                 /* encode a luma only line & y++ */
717                 if (s->bitstream_bpp == 12) {
718                     ydst = p->data[0] + p->linesize[0] * y;
719
720                     if (s->predictor == PLANE && s->interlaced < y) {
721                         s->dsp.diff_bytes(s->temp[1], ydst, ydst - fake_ystride, width);
722
723                         lefty = sub_left_prediction(s, s->temp[0], s->temp[1], width , lefty);
724                     } else {
725                         lefty = sub_left_prediction(s, s->temp[0], ydst, width , lefty);
726                     }
727                     encode_gray_bitstream(s, width);
728                     y++;
729                     if (y >= height) break;
730                 }
731
732                 ydst = p->data[0] + p->linesize[0] * y;
733                 udst = p->data[1] + p->linesize[1] * cy;
734                 vdst = p->data[2] + p->linesize[2] * cy;
735
736                 if (s->predictor == PLANE && s->interlaced < cy) {
737                     s->dsp.diff_bytes(s->temp[1], ydst, ydst - fake_ystride, width);
738                     s->dsp.diff_bytes(s->temp[2], udst, udst - fake_ustride, width2);
739                     s->dsp.diff_bytes(s->temp[2] + width2, vdst, vdst - fake_vstride, width2);
740
741                     lefty = sub_left_prediction(s, s->temp[0], s->temp[1], width , lefty);
742                     leftu = sub_left_prediction(s, s->temp[1], s->temp[2], width2, leftu);
743                     leftv = sub_left_prediction(s, s->temp[2], s->temp[2] + width2, width2, leftv);
744                 } else {
745                     lefty = sub_left_prediction(s, s->temp[0], ydst, width , lefty);
746                     leftu = sub_left_prediction(s, s->temp[1], udst, width2, leftu);
747                     leftv = sub_left_prediction(s, s->temp[2], vdst, width2, leftv);
748                 }
749
750                 encode_422_bitstream(s, 0, width);
751             }
752         }
753     } else if(avctx->pix_fmt == AV_PIX_FMT_RGB32) {
754         uint8_t *data = p->data[0] + (height - 1) * p->linesize[0];
755         const int stride = -p->linesize[0];
756         const int fake_stride = -fake_ystride;
757         int y;
758         int leftr, leftg, leftb, lefta;
759
760         put_bits(&s->pb, 8, lefta = data[A]);
761         put_bits(&s->pb, 8, leftr = data[R]);
762         put_bits(&s->pb, 8, leftg = data[G]);
763         put_bits(&s->pb, 8, leftb = data[B]);
764
765         sub_left_prediction_bgr32(s, s->temp[0], data + 4, width - 1,
766                                   &leftr, &leftg, &leftb, &lefta);
767         encode_bgra_bitstream(s, width - 1, 4);
768
769         for (y = 1; y < s->height; y++) {
770             uint8_t *dst = data + y*stride;
771             if (s->predictor == PLANE && s->interlaced < y) {
772                 s->dsp.diff_bytes(s->temp[1], dst, dst - fake_stride, width * 4);
773                 sub_left_prediction_bgr32(s, s->temp[0], s->temp[1], width,
774                                           &leftr, &leftg, &leftb, &lefta);
775             } else {
776                 sub_left_prediction_bgr32(s, s->temp[0], dst, width,
777                                           &leftr, &leftg, &leftb, &lefta);
778             }
779             encode_bgra_bitstream(s, width, 4);
780         }
781     } else if (avctx->pix_fmt == AV_PIX_FMT_RGB24) {
782         uint8_t *data = p->data[0] + (height - 1) * p->linesize[0];
783         const int stride = -p->linesize[0];
784         const int fake_stride = -fake_ystride;
785         int y;
786         int leftr, leftg, leftb;
787
788         put_bits(&s->pb, 8, leftr = data[0]);
789         put_bits(&s->pb, 8, leftg = data[1]);
790         put_bits(&s->pb, 8, leftb = data[2]);
791         put_bits(&s->pb, 8, 0);
792
793         sub_left_prediction_rgb24(s, s->temp[0], data + 3, width - 1,
794                                   &leftr, &leftg, &leftb);
795         encode_bgra_bitstream(s, width-1, 3);
796
797         for (y = 1; y < s->height; y++) {
798             uint8_t *dst = data + y * stride;
799             if (s->predictor == PLANE && s->interlaced < y) {
800                 s->dsp.diff_bytes(s->temp[1], dst, dst - fake_stride,
801                                   width * 3);
802                 sub_left_prediction_rgb24(s, s->temp[0], s->temp[1], width,
803                                           &leftr, &leftg, &leftb);
804             } else {
805                 sub_left_prediction_rgb24(s, s->temp[0], dst, width,
806                                           &leftr, &leftg, &leftb);
807             }
808             encode_bgra_bitstream(s, width, 3);
809         }
810     } else if (s->version > 2) {
811         int plane;
812         for (plane = 0; plane < 1 + 2*s->chroma + s->alpha; plane++) {
813             int left, y;
814             int w = width;
815             int h = height;
816             int fake_stride = fake_ystride;
817
818             if (s->chroma && (plane == 1 || plane == 2)) {
819                 w >>= s->chroma_h_shift;
820                 h >>= s->chroma_v_shift;
821                 fake_stride = plane == 1 ? fake_ustride : fake_vstride;
822             }
823
824             left = sub_left_prediction(s, s->temp[0], p->data[plane], w , 0);
825
826             encode_plane_bitstream(s, w, plane);
827
828             if (s->predictor==MEDIAN) {
829                 int lefttop;
830                 y = 1;
831                 if (s->interlaced) {
832                     left = sub_left_prediction(s, s->temp[0], p->data[plane] + p->linesize[plane], w , left);
833
834                     encode_plane_bitstream(s, w, plane);
835                     y++;
836                 }
837
838                 lefttop = p->data[plane][0];
839
840                 for (; y < h; y++) {
841                     uint8_t *dst = p->data[plane] + p->linesize[plane] * y;
842
843                     s->dsp.sub_hfyu_median_prediction(s->temp[0], dst - fake_stride, dst, w , &left, &lefttop);
844
845                     encode_plane_bitstream(s, w, plane);
846                 }
847             } else {
848                 for (y = 1; y < h; y++) {
849                     uint8_t *dst = p->data[plane] + p->linesize[plane] * y;
850
851                     if (s->predictor == PLANE && s->interlaced < y) {
852                         diff_bytes(s, s->temp[1], dst, dst - fake_stride, w);
853
854                         left = sub_left_prediction(s, s->temp[0], s->temp[1], w , left);
855                     } else {
856                         left = sub_left_prediction(s, s->temp[0], dst, w , left);
857                     }
858
859                     encode_plane_bitstream(s, w, plane);
860                 }
861             }
862         }
863     } else {
864         av_log(avctx, AV_LOG_ERROR, "Format not supported!\n");
865     }
866     emms_c();
867
868     size += (put_bits_count(&s->pb) + 31) / 8;
869     put_bits(&s->pb, 16, 0);
870     put_bits(&s->pb, 15, 0);
871     size /= 4;
872
873     if ((s->flags&CODEC_FLAG_PASS1) && (s->picture_number & 31) == 0) {
874         int j;
875         char *p = avctx->stats_out;
876         char *end = p + 1024*30;
877         for (i = 0; i < 4; i++) {
878             for (j = 0; j < s->n; j++) {
879                 snprintf(p, end-p, "%"PRIu64" ", s->stats[i][j]);
880                 p += strlen(p);
881                 s->stats[i][j]= 0;
882             }
883             snprintf(p, end-p, "\n");
884             p++;
885         }
886     } else
887         avctx->stats_out[0] = '\0';
888     if (!(s->avctx->flags2 & CODEC_FLAG2_NO_OUTPUT)) {
889         flush_put_bits(&s->pb);
890         s->dsp.bswap_buf((uint32_t*)pkt->data, (uint32_t*)pkt->data, size);
891     }
892
893     s->picture_number++;
894
895     pkt->size   = size * 4;
896     pkt->flags |= AV_PKT_FLAG_KEY;
897     *got_packet = 1;
898
899     return 0;
900 }
901
902 static av_cold int encode_end(AVCodecContext *avctx)
903 {
904     HYuvContext *s = avctx->priv_data;
905
906     ff_huffyuv_common_end(s);
907
908     av_freep(&avctx->extradata);
909     av_freep(&avctx->stats_out);
910
911     av_frame_free(&avctx->coded_frame);
912
913     return 0;
914 }
915
916 #if CONFIG_HUFFYUV_ENCODER
917 AVCodec ff_huffyuv_encoder = {
918     .name           = "huffyuv",
919     .long_name      = NULL_IF_CONFIG_SMALL("Huffyuv / HuffYUV"),
920     .type           = AVMEDIA_TYPE_VIDEO,
921     .id             = AV_CODEC_ID_HUFFYUV,
922     .priv_data_size = sizeof(HYuvContext),
923     .init           = encode_init,
924     .encode2        = encode_frame,
925     .close          = encode_end,
926     .pix_fmts       = (const enum AVPixelFormat[]){
927         AV_PIX_FMT_YUV422P, AV_PIX_FMT_RGB24,
928         AV_PIX_FMT_RGB32, AV_PIX_FMT_NONE
929     },
930 };
931 #endif
932
933 #if CONFIG_FFVHUFF_ENCODER
934 AVCodec ff_ffvhuff_encoder = {
935     .name           = "ffvhuff",
936     .long_name      = NULL_IF_CONFIG_SMALL("Huffyuv FFmpeg variant"),
937     .type           = AVMEDIA_TYPE_VIDEO,
938     .id             = AV_CODEC_ID_FFVHUFF,
939     .priv_data_size = sizeof(HYuvContext),
940     .init           = encode_init,
941     .encode2        = encode_frame,
942     .close          = encode_end,
943     .pix_fmts       = (const enum AVPixelFormat[]){
944         AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUV411P,
945         AV_PIX_FMT_YUV410P, AV_PIX_FMT_YUV440P,
946         AV_PIX_FMT_GBRP,
947         AV_PIX_FMT_GRAY8,
948         AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUVA444P,
949         AV_PIX_FMT_GBRAP,
950         AV_PIX_FMT_GRAY8A,
951         AV_PIX_FMT_YUV420P10,
952         AV_PIX_FMT_RGB24,
953         AV_PIX_FMT_RGB32, AV_PIX_FMT_NONE
954     },
955 };
956 #endif