configure: fix detection of libopenjpeg
[ffmpeg.git] / libavcodec / libopenjpegenc.c
1 /*
2  * JPEG 2000 encoding support via OpenJPEG
3  * Copyright (c) 2011 Michael Bradshaw <mjbshaw gmail com>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * JPEG 2000 encoder using libopenjpeg
25  */
26
27 #include "libavutil/avassert.h"
28 #include "libavutil/common.h"
29 #include "libavutil/imgutils.h"
30 #include "libavutil/intreadwrite.h"
31 #include "libavutil/opt.h"
32 #include "avcodec.h"
33 #include "internal.h"
34
35 #if HAVE_OPENJPEG_2_1_OPENJPEG_H
36 #  include <openjpeg-2.1/openjpeg.h>
37 #elif HAVE_OPENJPEG_2_0_OPENJPEG_H
38 #  include <openjpeg-2.0/openjpeg.h>
39 #elif HAVE_OPENJPEG_1_5_OPENJPEG_H
40 #  include <openjpeg-1.5/openjpeg.h>
41 #else
42 #  include <openjpeg.h>
43 #endif
44
45 #if HAVE_OPENJPEG_2_1_OPENJPEG_H || HAVE_OPENJPEG_2_0_OPENJPEG_H
46 #  define OPENJPEG_MAJOR_VERSION 2
47 #  define OPJ(x) OPJ_##x
48 #else
49 #  define OPENJPEG_MAJOR_VERSION 1
50 #  define OPJ(x) x
51 #endif
52
53 typedef struct LibOpenJPEGContext {
54     AVClass *avclass;
55     opj_image_t *image;
56     opj_cparameters_t enc_params;
57 #if OPENJPEG_MAJOR_VERSION == 1
58     opj_event_mgr_t event_mgr;
59 #endif // OPENJPEG_MAJOR_VERSION == 1
60     int format;
61     int profile;
62     int prog_order;
63     int cinema_mode;
64     int numresolution;
65     int numlayers;
66     int disto_alloc;
67     int fixed_alloc;
68     int fixed_quality;
69 } LibOpenJPEGContext;
70
71 static void error_callback(const char *msg, void *data)
72 {
73     av_log(data, AV_LOG_ERROR, "%s\n", msg);
74 }
75
76 static void warning_callback(const char *msg, void *data)
77 {
78     av_log(data, AV_LOG_WARNING, "%s\n", msg);
79 }
80
81 static void info_callback(const char *msg, void *data)
82 {
83     av_log(data, AV_LOG_DEBUG, "%s\n", msg);
84 }
85
86 #if OPENJPEG_MAJOR_VERSION == 2
87 typedef struct PacketWriter {
88     int pos;
89     AVPacket *packet;
90 } PacketWriter;
91
92 static OPJ_SIZE_T stream_write(void *out_buffer, OPJ_SIZE_T nb_bytes, void *user_data)
93 {
94     PacketWriter *writer = user_data;
95     AVPacket *packet = writer->packet;
96     int remaining = packet->size - writer->pos;
97     if (nb_bytes > remaining) {
98         OPJ_SIZE_T needed = nb_bytes - remaining;
99         int max_growth = INT_MAX - AV_INPUT_BUFFER_PADDING_SIZE - packet->size;
100         if (needed > max_growth) {
101             return (OPJ_SIZE_T)-1;
102         }
103         if (av_grow_packet(packet, (int)needed)) {
104             return (OPJ_SIZE_T)-1;
105         }
106     }
107     memcpy(packet->data + writer->pos, out_buffer, nb_bytes);
108     writer->pos += (int)nb_bytes;
109     return nb_bytes;
110 }
111
112 static OPJ_OFF_T stream_skip(OPJ_OFF_T nb_bytes, void *user_data)
113 {
114     PacketWriter *writer = user_data;
115     AVPacket *packet = writer->packet;
116     if (nb_bytes < 0) {
117         if (writer->pos == 0) {
118             return (OPJ_SIZE_T)-1;
119         }
120         if (nb_bytes + writer->pos < 0) {
121             nb_bytes = -writer->pos;
122         }
123     } else {
124         int remaining = packet->size - writer->pos;
125         if (nb_bytes > remaining) {
126             OPJ_SIZE_T needed = nb_bytes - remaining;
127             int max_growth = INT_MAX - AV_INPUT_BUFFER_PADDING_SIZE - packet->size;
128             if (needed > max_growth) {
129                 return (OPJ_SIZE_T)-1;
130             }
131             if (av_grow_packet(packet, (int)needed)) {
132                 return (OPJ_SIZE_T)-1;
133             }
134         }
135     }
136     writer->pos += (int)nb_bytes;
137     return nb_bytes;
138 }
139
140 static OPJ_BOOL stream_seek(OPJ_OFF_T nb_bytes, void *user_data)
141 {
142     PacketWriter *writer = user_data;
143     AVPacket *packet = writer->packet;
144     if (nb_bytes < 0) {
145         return OPJ_FALSE;
146     }
147     if (nb_bytes > packet->size) {
148         if (nb_bytes > INT_MAX - AV_INPUT_BUFFER_PADDING_SIZE ||
149             av_grow_packet(packet, (int)nb_bytes - packet->size)) {
150             return OPJ_FALSE;
151         }
152     }
153     writer->pos = (int)nb_bytes;
154     return OPJ_TRUE;
155 }
156 #endif // OPENJPEG_MAJOR_VERSION == 2
157
158 static void cinema_parameters(opj_cparameters_t *p)
159 {
160     p->tile_size_on = 0;
161     p->cp_tdx = 1;
162     p->cp_tdy = 1;
163
164     /* Tile part */
165     p->tp_flag = 'C';
166     p->tp_on = 1;
167
168     /* Tile and Image shall be at (0, 0) */
169     p->cp_tx0 = 0;
170     p->cp_ty0 = 0;
171     p->image_offset_x0 = 0;
172     p->image_offset_y0 = 0;
173
174     /* Codeblock size= 32 * 32 */
175     p->cblockw_init = 32;
176     p->cblockh_init = 32;
177     p->csty |= 0x01;
178
179     /* The progression order shall be CPRL */
180     p->prog_order = OPJ(CPRL);
181
182     /* No ROI */
183     p->roi_compno = -1;
184
185     /* No subsampling */
186     p->subsampling_dx = 1;
187     p->subsampling_dy = 1;
188
189     /* 9-7 transform */
190     p->irreversible = 1;
191
192     p->tcp_mct = 1;
193 }
194
195 static opj_image_t *mj2_create_image(AVCodecContext *avctx, opj_cparameters_t *parameters)
196 {
197     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(avctx->pix_fmt);
198     opj_image_cmptparm_t cmptparm[4] = {{0}};
199     opj_image_t *img;
200     int i;
201     int sub_dx[4];
202     int sub_dy[4];
203     int numcomps;
204     OPJ_COLOR_SPACE color_space = OPJ(CLRSPC_UNKNOWN);
205
206     sub_dx[0] = sub_dx[3] = 1;
207     sub_dy[0] = sub_dy[3] = 1;
208     sub_dx[1] = sub_dx[2] = 1 << desc->log2_chroma_w;
209     sub_dy[1] = sub_dy[2] = 1 << desc->log2_chroma_h;
210
211     numcomps = desc->nb_components;
212
213     switch (avctx->pix_fmt) {
214     case AV_PIX_FMT_GRAY8:
215     case AV_PIX_FMT_YA8:
216     case AV_PIX_FMT_GRAY16:
217     case AV_PIX_FMT_YA16:
218         color_space = OPJ(CLRSPC_GRAY);
219         break;
220     case AV_PIX_FMT_RGB24:
221     case AV_PIX_FMT_RGBA:
222     case AV_PIX_FMT_RGB48:
223     case AV_PIX_FMT_RGBA64:
224     case AV_PIX_FMT_GBR24P:
225     case AV_PIX_FMT_GBRP9:
226     case AV_PIX_FMT_GBRP10:
227     case AV_PIX_FMT_GBRP12:
228     case AV_PIX_FMT_GBRP14:
229     case AV_PIX_FMT_GBRP16:
230     case AV_PIX_FMT_XYZ12:
231         color_space = OPJ(CLRSPC_SRGB);
232         break;
233     case AV_PIX_FMT_YUV410P:
234     case AV_PIX_FMT_YUV411P:
235     case AV_PIX_FMT_YUV420P:
236     case AV_PIX_FMT_YUV422P:
237     case AV_PIX_FMT_YUV440P:
238     case AV_PIX_FMT_YUV444P:
239     case AV_PIX_FMT_YUVA420P:
240     case AV_PIX_FMT_YUVA422P:
241     case AV_PIX_FMT_YUVA444P:
242     case AV_PIX_FMT_YUV420P9:
243     case AV_PIX_FMT_YUV422P9:
244     case AV_PIX_FMT_YUV444P9:
245     case AV_PIX_FMT_YUVA420P9:
246     case AV_PIX_FMT_YUVA422P9:
247     case AV_PIX_FMT_YUVA444P9:
248     case AV_PIX_FMT_YUV420P10:
249     case AV_PIX_FMT_YUV422P10:
250     case AV_PIX_FMT_YUV444P10:
251     case AV_PIX_FMT_YUVA420P10:
252     case AV_PIX_FMT_YUVA422P10:
253     case AV_PIX_FMT_YUVA444P10:
254     case AV_PIX_FMT_YUV420P12:
255     case AV_PIX_FMT_YUV422P12:
256     case AV_PIX_FMT_YUV444P12:
257     case AV_PIX_FMT_YUV420P14:
258     case AV_PIX_FMT_YUV422P14:
259     case AV_PIX_FMT_YUV444P14:
260     case AV_PIX_FMT_YUV420P16:
261     case AV_PIX_FMT_YUV422P16:
262     case AV_PIX_FMT_YUV444P16:
263     case AV_PIX_FMT_YUVA420P16:
264     case AV_PIX_FMT_YUVA422P16:
265     case AV_PIX_FMT_YUVA444P16:
266         color_space = OPJ(CLRSPC_SYCC);
267         break;
268     default:
269         av_log(avctx, AV_LOG_ERROR,
270                "The requested pixel format '%s' is not supported\n",
271                av_get_pix_fmt_name(avctx->pix_fmt));
272         return NULL;
273     }
274
275     for (i = 0; i < numcomps; i++) {
276         cmptparm[i].prec = desc->comp[i].depth;
277         cmptparm[i].bpp  = desc->comp[i].depth;
278         cmptparm[i].sgnd = 0;
279         cmptparm[i].dx = sub_dx[i];
280         cmptparm[i].dy = sub_dy[i];
281         cmptparm[i].w = (avctx->width + sub_dx[i] - 1) / sub_dx[i];
282         cmptparm[i].h = (avctx->height + sub_dy[i] - 1) / sub_dy[i];
283     }
284
285     img = opj_image_create(numcomps, cmptparm, color_space);
286
287     if (!img)
288         return NULL;
289
290     // x0, y0 is the top left corner of the image
291     // x1, y1 is the width, height of the reference grid
292     img->x0 = 0;
293     img->y0 = 0;
294     img->x1 = (avctx->width  - 1) * parameters->subsampling_dx + 1;
295     img->y1 = (avctx->height - 1) * parameters->subsampling_dy + 1;
296
297     return img;
298 }
299
300 static av_cold int libopenjpeg_encode_init(AVCodecContext *avctx)
301 {
302     LibOpenJPEGContext *ctx = avctx->priv_data;
303     int err = 0;
304
305     opj_set_default_encoder_parameters(&ctx->enc_params);
306
307 #if HAVE_OPENJPEG_2_1_OPENJPEG_H
308     switch (ctx->cinema_mode) {
309     case OPJ_CINEMA2K_24:
310         ctx->enc_params.rsiz = OPJ_PROFILE_CINEMA_2K;
311         ctx->enc_params.max_cs_size = OPJ_CINEMA_24_CS;
312         ctx->enc_params.max_comp_size = OPJ_CINEMA_24_COMP;
313         break;
314     case OPJ_CINEMA2K_48:
315         ctx->enc_params.rsiz = OPJ_PROFILE_CINEMA_2K;
316         ctx->enc_params.max_cs_size = OPJ_CINEMA_48_CS;
317         ctx->enc_params.max_comp_size = OPJ_CINEMA_48_COMP;
318         break;
319     case OPJ_CINEMA4K_24:
320         ctx->enc_params.rsiz = OPJ_PROFILE_CINEMA_4K;
321         ctx->enc_params.max_cs_size = OPJ_CINEMA_24_CS;
322         ctx->enc_params.max_comp_size = OPJ_CINEMA_24_COMP;
323         break;
324     }
325
326     switch (ctx->profile) {
327     case OPJ_CINEMA2K:
328         if (ctx->enc_params.rsiz == OPJ_PROFILE_CINEMA_4K) {
329             err = AVERROR(EINVAL);
330             break;
331         }
332         ctx->enc_params.rsiz = OPJ_PROFILE_CINEMA_2K;
333         break;
334     case OPJ_CINEMA4K:
335         if (ctx->enc_params.rsiz == OPJ_PROFILE_CINEMA_2K) {
336             err = AVERROR(EINVAL);
337             break;
338         }
339         ctx->enc_params.rsiz = OPJ_PROFILE_CINEMA_4K;
340         break;
341     }
342
343     if (err) {
344         av_log(avctx, AV_LOG_ERROR,
345                "Invalid parameter pairing: cinema_mode and profile conflict.\n");
346         goto fail;
347     }
348 #else
349     ctx->enc_params.cp_rsiz = ctx->profile;
350     ctx->enc_params.cp_cinema = ctx->cinema_mode;
351 #endif
352
353     if (!ctx->numresolution) {
354         ctx->numresolution = 6;
355         while (FFMIN(avctx->width, avctx->height) >> ctx->numresolution < 1)
356             ctx->numresolution --;
357     }
358
359     ctx->enc_params.mode = !!avctx->global_quality;
360     ctx->enc_params.prog_order = ctx->prog_order;
361     ctx->enc_params.numresolution = ctx->numresolution;
362     ctx->enc_params.cp_disto_alloc = ctx->disto_alloc;
363     ctx->enc_params.cp_fixed_alloc = ctx->fixed_alloc;
364     ctx->enc_params.cp_fixed_quality = ctx->fixed_quality;
365     ctx->enc_params.tcp_numlayers = ctx->numlayers;
366     ctx->enc_params.tcp_rates[0] = FFMAX(avctx->compression_level, 0) * 2;
367
368     if (ctx->cinema_mode > 0) {
369         cinema_parameters(&ctx->enc_params);
370     }
371
372     ctx->image = mj2_create_image(avctx, &ctx->enc_params);
373     if (!ctx->image) {
374         av_log(avctx, AV_LOG_ERROR, "Error creating the mj2 image\n");
375         err = AVERROR(EINVAL);
376         goto fail;
377     }
378
379     return 0;
380
381 fail:
382     opj_image_destroy(ctx->image);
383     ctx->image = NULL;
384     return err;
385 }
386
387 static int libopenjpeg_copy_packed8(AVCodecContext *avctx, const AVFrame *frame, opj_image_t *image)
388 {
389     int compno;
390     int x;
391     int y;
392     int *image_line;
393     int frame_index;
394     const int numcomps = image->numcomps;
395
396     for (compno = 0; compno < numcomps; ++compno) {
397         if (image->comps[compno].w > frame->linesize[0] / numcomps) {
398             av_log(avctx, AV_LOG_ERROR, "Error: frame's linesize is too small for the image\n");
399             return 0;
400         }
401     }
402
403     for (compno = 0; compno < numcomps; ++compno) {
404         for (y = 0; y < avctx->height; ++y) {
405             image_line = image->comps[compno].data + y * image->comps[compno].w;
406             frame_index = y * frame->linesize[0] + compno;
407             for (x = 0; x < avctx->width; ++x) {
408                 image_line[x] = frame->data[0][frame_index];
409                 frame_index += numcomps;
410             }
411             for (; x < image->comps[compno].w; ++x) {
412                 image_line[x] = image_line[x - 1];
413             }
414         }
415         for (; y < image->comps[compno].h; ++y) {
416             image_line = image->comps[compno].data + y * image->comps[compno].w;
417             for (x = 0; x < image->comps[compno].w; ++x) {
418                 image_line[x] = image_line[x - image->comps[compno].w];
419             }
420         }
421     }
422
423     return 1;
424 }
425
426 // for XYZ 12 bit
427 static int libopenjpeg_copy_packed12(AVCodecContext *avctx, const AVFrame *frame, opj_image_t *image)
428 {
429     int compno;
430     int x, y;
431     int *image_line;
432     int frame_index;
433     const int numcomps  = image->numcomps;
434     uint16_t *frame_ptr = (uint16_t *)frame->data[0];
435
436     for (compno = 0; compno < numcomps; ++compno) {
437         if (image->comps[compno].w > frame->linesize[0] / numcomps) {
438             av_log(avctx, AV_LOG_ERROR, "Error: frame's linesize is too small for the image\n");
439             return 0;
440         }
441     }
442
443     for (compno = 0; compno < numcomps; ++compno) {
444         for (y = 0; y < avctx->height; ++y) {
445             image_line = image->comps[compno].data + y * image->comps[compno].w;
446             frame_index = y * (frame->linesize[0] / 2) + compno;
447             for (x = 0; x < avctx->width; ++x) {
448                 image_line[x] = frame_ptr[frame_index] >> 4;
449                 frame_index += numcomps;
450             }
451             for (; x < image->comps[compno].w; ++x) {
452                 image_line[x] = image_line[x - 1];
453             }
454         }
455         for (; y < image->comps[compno].h; ++y) {
456             image_line = image->comps[compno].data + y * image->comps[compno].w;
457             for (x = 0; x < image->comps[compno].w; ++x) {
458                 image_line[x] = image_line[x - image->comps[compno].w];
459             }
460         }
461     }
462
463     return 1;
464 }
465
466 static int libopenjpeg_copy_packed16(AVCodecContext *avctx, const AVFrame *frame, opj_image_t *image)
467 {
468     int compno;
469     int x;
470     int y;
471     int *image_line;
472     int frame_index;
473     const int numcomps = image->numcomps;
474     uint16_t *frame_ptr = (uint16_t*)frame->data[0];
475
476     for (compno = 0; compno < numcomps; ++compno) {
477         if (image->comps[compno].w > frame->linesize[0] / numcomps) {
478             av_log(avctx, AV_LOG_ERROR, "Error: frame's linesize is too small for the image\n");
479             return 0;
480         }
481     }
482
483     for (compno = 0; compno < numcomps; ++compno) {
484         for (y = 0; y < avctx->height; ++y) {
485             image_line = image->comps[compno].data + y * image->comps[compno].w;
486             frame_index = y * (frame->linesize[0] / 2) + compno;
487             for (x = 0; x < avctx->width; ++x) {
488                 image_line[x] = frame_ptr[frame_index];
489                 frame_index += numcomps;
490             }
491             for (; x < image->comps[compno].w; ++x) {
492                 image_line[x] = image_line[x - 1];
493             }
494         }
495         for (; y < image->comps[compno].h; ++y) {
496             image_line = image->comps[compno].data + y * image->comps[compno].w;
497             for (x = 0; x < image->comps[compno].w; ++x) {
498                 image_line[x] = image_line[x - image->comps[compno].w];
499             }
500         }
501     }
502
503     return 1;
504 }
505
506 static int libopenjpeg_copy_unpacked8(AVCodecContext *avctx, const AVFrame *frame, opj_image_t *image)
507 {
508     int compno;
509     int x;
510     int y;
511     int width;
512     int height;
513     int *image_line;
514     int frame_index;
515     const int numcomps = image->numcomps;
516
517     for (compno = 0; compno < numcomps; ++compno) {
518         if (image->comps[compno].w > frame->linesize[compno]) {
519             av_log(avctx, AV_LOG_ERROR, "Error: frame's linesize is too small for the image\n");
520             return 0;
521         }
522     }
523
524     for (compno = 0; compno < numcomps; ++compno) {
525         width  = avctx->width / image->comps[compno].dx;
526         height = avctx->height / image->comps[compno].dy;
527         for (y = 0; y < height; ++y) {
528             image_line = image->comps[compno].data + y * image->comps[compno].w;
529             frame_index = y * frame->linesize[compno];
530             for (x = 0; x < width; ++x)
531                 image_line[x] = frame->data[compno][frame_index++];
532             for (; x < image->comps[compno].w; ++x) {
533                 image_line[x] = image_line[x - 1];
534             }
535         }
536         for (; y < image->comps[compno].h; ++y) {
537             image_line = image->comps[compno].data + y * image->comps[compno].w;
538             for (x = 0; x < image->comps[compno].w; ++x) {
539                 image_line[x] = image_line[x - image->comps[compno].w];
540             }
541         }
542     }
543
544     return 1;
545 }
546
547 static int libopenjpeg_copy_unpacked16(AVCodecContext *avctx, const AVFrame *frame, opj_image_t *image)
548 {
549     int compno;
550     int x;
551     int y;
552     int width;
553     int height;
554     int *image_line;
555     int frame_index;
556     const int numcomps = image->numcomps;
557     uint16_t *frame_ptr;
558
559     for (compno = 0; compno < numcomps; ++compno) {
560         if (image->comps[compno].w > frame->linesize[compno]) {
561             av_log(avctx, AV_LOG_ERROR, "Error: frame's linesize is too small for the image\n");
562             return 0;
563         }
564     }
565
566     for (compno = 0; compno < numcomps; ++compno) {
567         width     = avctx->width / image->comps[compno].dx;
568         height    = avctx->height / image->comps[compno].dy;
569         frame_ptr = (uint16_t *)frame->data[compno];
570         for (y = 0; y < height; ++y) {
571             image_line = image->comps[compno].data + y * image->comps[compno].w;
572             frame_index = y * (frame->linesize[compno] / 2);
573             for (x = 0; x < width; ++x)
574                 image_line[x] = frame_ptr[frame_index++];
575             for (; x < image->comps[compno].w; ++x) {
576                 image_line[x] = image_line[x - 1];
577             }
578         }
579         for (; y < image->comps[compno].h; ++y) {
580             image_line = image->comps[compno].data + y * image->comps[compno].w;
581             for (x = 0; x < image->comps[compno].w; ++x) {
582                 image_line[x] = image_line[x - image->comps[compno].w];
583             }
584         }
585     }
586
587     return 1;
588 }
589
590 static int libopenjpeg_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
591                                     const AVFrame *frame, int *got_packet)
592 {
593     LibOpenJPEGContext *ctx = avctx->priv_data;
594     opj_image_t *image      = ctx->image;
595 #if OPENJPEG_MAJOR_VERSION == 1
596     opj_cinfo_t *compress   = NULL;
597     opj_cio_t *stream       = NULL;
598     int len;
599 #else // OPENJPEG_MAJOR_VERSION == 2
600     opj_codec_t *compress   = NULL;
601     opj_stream_t *stream    = NULL;
602     PacketWriter writer     = { 0 };
603 #endif // OPENJPEG_MAJOR_VERSION == 1
604     int cpyresult = 0;
605     int ret;
606     AVFrame *gbrframe;
607
608     switch (avctx->pix_fmt) {
609     case AV_PIX_FMT_RGB24:
610     case AV_PIX_FMT_RGBA:
611     case AV_PIX_FMT_YA8:
612         cpyresult = libopenjpeg_copy_packed8(avctx, frame, image);
613         break;
614     case AV_PIX_FMT_XYZ12:
615         cpyresult = libopenjpeg_copy_packed12(avctx, frame, image);
616         break;
617     case AV_PIX_FMT_RGB48:
618     case AV_PIX_FMT_RGBA64:
619     case AV_PIX_FMT_YA16:
620         cpyresult = libopenjpeg_copy_packed16(avctx, frame, image);
621         break;
622     case AV_PIX_FMT_GBR24P:
623     case AV_PIX_FMT_GBRP9:
624     case AV_PIX_FMT_GBRP10:
625     case AV_PIX_FMT_GBRP12:
626     case AV_PIX_FMT_GBRP14:
627     case AV_PIX_FMT_GBRP16:
628         gbrframe = av_frame_clone(frame);
629         if (!gbrframe)
630             return AVERROR(ENOMEM);
631         gbrframe->data[0] = frame->data[2]; // swap to be rgb
632         gbrframe->data[1] = frame->data[0];
633         gbrframe->data[2] = frame->data[1];
634         gbrframe->linesize[0] = frame->linesize[2];
635         gbrframe->linesize[1] = frame->linesize[0];
636         gbrframe->linesize[2] = frame->linesize[1];
637         if (avctx->pix_fmt == AV_PIX_FMT_GBR24P) {
638             cpyresult = libopenjpeg_copy_unpacked8(avctx, gbrframe, image);
639         } else {
640             cpyresult = libopenjpeg_copy_unpacked16(avctx, gbrframe, image);
641         }
642         av_frame_free(&gbrframe);
643         break;
644     case AV_PIX_FMT_GRAY8:
645     case AV_PIX_FMT_YUV410P:
646     case AV_PIX_FMT_YUV411P:
647     case AV_PIX_FMT_YUV420P:
648     case AV_PIX_FMT_YUV422P:
649     case AV_PIX_FMT_YUV440P:
650     case AV_PIX_FMT_YUV444P:
651     case AV_PIX_FMT_YUVA420P:
652     case AV_PIX_FMT_YUVA422P:
653     case AV_PIX_FMT_YUVA444P:
654         cpyresult = libopenjpeg_copy_unpacked8(avctx, frame, image);
655         break;
656     case AV_PIX_FMT_GRAY16:
657     case AV_PIX_FMT_YUV420P9:
658     case AV_PIX_FMT_YUV422P9:
659     case AV_PIX_FMT_YUV444P9:
660     case AV_PIX_FMT_YUVA420P9:
661     case AV_PIX_FMT_YUVA422P9:
662     case AV_PIX_FMT_YUVA444P9:
663     case AV_PIX_FMT_YUV444P10:
664     case AV_PIX_FMT_YUV422P10:
665     case AV_PIX_FMT_YUV420P10:
666     case AV_PIX_FMT_YUVA444P10:
667     case AV_PIX_FMT_YUVA422P10:
668     case AV_PIX_FMT_YUVA420P10:
669     case AV_PIX_FMT_YUV420P12:
670     case AV_PIX_FMT_YUV422P12:
671     case AV_PIX_FMT_YUV444P12:
672     case AV_PIX_FMT_YUV420P14:
673     case AV_PIX_FMT_YUV422P14:
674     case AV_PIX_FMT_YUV444P14:
675     case AV_PIX_FMT_YUV444P16:
676     case AV_PIX_FMT_YUV422P16:
677     case AV_PIX_FMT_YUV420P16:
678     case AV_PIX_FMT_YUVA444P16:
679     case AV_PIX_FMT_YUVA422P16:
680     case AV_PIX_FMT_YUVA420P16:
681         cpyresult = libopenjpeg_copy_unpacked16(avctx, frame, image);
682         break;
683     default:
684         av_log(avctx, AV_LOG_ERROR,
685                "The frame's pixel format '%s' is not supported\n",
686                av_get_pix_fmt_name(avctx->pix_fmt));
687         return AVERROR(EINVAL);
688         break;
689     }
690
691     if (!cpyresult) {
692         av_log(avctx, AV_LOG_ERROR,
693                "Could not copy the frame data to the internal image buffer\n");
694         return -1;
695     }
696
697 #if OPENJPEG_MAJOR_VERSION == 2
698     if ((ret = ff_alloc_packet2(avctx, pkt, 1024, 0)) < 0) {
699         return ret;
700     }
701 #endif // OPENJPEG_MAJOR_VERSION == 2
702
703     compress = opj_create_compress(ctx->format);
704     if (!compress) {
705         av_log(avctx, AV_LOG_ERROR, "Error creating the compressor\n");
706         ret = AVERROR(ENOMEM);
707         goto done;
708     }
709
710 #if OPENJPEG_MAJOR_VERSION == 1
711     opj_setup_encoder(compress, &ctx->enc_params, image);
712     stream = opj_cio_open((opj_common_ptr) compress, NULL, 0);
713 #else // OPENJPEG_MAJOR_VERSION == 2
714     if (!opj_set_error_handler(compress, error_callback, avctx) ||
715         !opj_set_warning_handler(compress, warning_callback, avctx) ||
716         !opj_set_info_handler(compress, info_callback, avctx)) {
717         av_log(avctx, AV_LOG_ERROR, "Error setting the compressor handlers\n");
718         ret = AVERROR_EXTERNAL;
719         goto done;
720     }
721
722     if (!opj_setup_encoder(compress, &ctx->enc_params, image)) {
723         av_log(avctx, AV_LOG_ERROR, "Error setting up the compressor\n");
724         ret = AVERROR_EXTERNAL;
725         goto done;
726     }
727     stream = opj_stream_default_create(OPJ_STREAM_WRITE);
728 #endif // OPENJPEG_MAJOR_VERSION == 1
729
730     if (!stream) {
731         av_log(avctx, AV_LOG_ERROR, "Error creating the cio stream\n");
732         ret = AVERROR(ENOMEM);
733         goto done;
734     }
735 #if OPENJPEG_MAJOR_VERSION == 1
736     memset(&ctx->event_mgr, 0, sizeof(ctx->event_mgr));
737     ctx->event_mgr.info_handler    = info_callback;
738     ctx->event_mgr.error_handler   = error_callback;
739     ctx->event_mgr.warning_handler = warning_callback;
740     opj_set_event_mgr((opj_common_ptr) compress, &ctx->event_mgr, avctx);
741     if (!opj_encode(compress, stream, image, NULL)) {
742         av_log(avctx, AV_LOG_ERROR, "Error during the opj encode\n");
743         ret = AVERROR_EXTERNAL;
744         goto done;
745     }
746
747     len = cio_tell(stream);
748     if ((ret = ff_alloc_packet2(avctx, pkt, len, 0)) < 0) {
749         goto done;
750     }
751
752     memcpy(pkt->data, stream->buffer, len);
753 #else // OPENJPEG_MAJOR_VERSION == 2
754     writer.packet = pkt;
755     opj_stream_set_write_function(stream, stream_write);
756     opj_stream_set_skip_function(stream, stream_skip);
757     opj_stream_set_seek_function(stream, stream_seek);
758 #if HAVE_OPENJPEG_2_1_OPENJPEG_H
759     opj_stream_set_user_data(stream, &writer, NULL);
760 #elif HAVE_OPENJPEG_2_0_OPENJPEG_H
761     opj_stream_set_user_data(stream, &writer);
762 #else
763 #error Missing call to opj_stream_set_user_data
764 #endif
765
766     if (!opj_start_compress(compress, ctx->image, stream) ||
767         !opj_encode(compress, stream) ||
768         !opj_end_compress(compress, stream)) {
769         av_log(avctx, AV_LOG_ERROR, "Error during the opj encode\n");
770         ret = AVERROR_EXTERNAL;
771         goto done;
772     }
773
774     av_shrink_packet(pkt, writer.pos);
775 #endif // OPENJPEG_MAJOR_VERSION == 1
776
777     pkt->flags |= AV_PKT_FLAG_KEY;
778     *got_packet = 1;
779     ret = 0;
780
781 done:
782 #if OPENJPEG_MAJOR_VERSION == 2
783     opj_stream_destroy(stream);
784     opj_destroy_codec(compress);
785 #else
786     opj_cio_close(stream);
787     opj_destroy_compress(compress);
788 #endif
789     return ret;
790 }
791
792 static av_cold int libopenjpeg_encode_close(AVCodecContext *avctx)
793 {
794     LibOpenJPEGContext *ctx = avctx->priv_data;
795
796     opj_image_destroy(ctx->image);
797     ctx->image = NULL;
798     return 0;
799 }
800
801 #define OFFSET(x) offsetof(LibOpenJPEGContext, x)
802 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
803 static const AVOption options[] = {
804     { "format",        "Codec Format",      OFFSET(format),        AV_OPT_TYPE_INT,   { .i64 = OPJ(CODEC_JP2)   }, OPJ(CODEC_J2K), OPJ(CODEC_JP2),   VE, "format"      },
805     { "j2k",           NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(CODEC_J2K)   }, 0,         0,           VE, "format"      },
806     { "jp2",           NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(CODEC_JP2)   }, 0,         0,           VE, "format"      },
807     { "profile",       NULL,                OFFSET(profile),       AV_OPT_TYPE_INT,   { .i64 = OPJ(STD_RSIZ)    }, OPJ(STD_RSIZ),  OPJ(CINEMA4K),    VE, "profile"     },
808     { "jpeg2000",      NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(STD_RSIZ)    }, 0,         0,           VE, "profile"     },
809     { "cinema2k",      NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(CINEMA2K)    }, 0,         0,           VE, "profile"     },
810     { "cinema4k",      NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(CINEMA4K)    }, 0,         0,           VE, "profile"     },
811     { "cinema_mode",   "Digital Cinema",    OFFSET(cinema_mode),   AV_OPT_TYPE_INT,   { .i64 = OPJ(OFF)         }, OPJ(OFF),       OPJ(CINEMA4K_24), VE, "cinema_mode" },
812     { "off",           NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(OFF)         }, 0,         0,           VE, "cinema_mode" },
813     { "2k_24",         NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(CINEMA2K_24) }, 0,         0,           VE, "cinema_mode" },
814     { "2k_48",         NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(CINEMA2K_48) }, 0,         0,           VE, "cinema_mode" },
815     { "4k_24",         NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(CINEMA4K_24) }, 0,         0,           VE, "cinema_mode" },
816     { "prog_order",    "Progression Order", OFFSET(prog_order),    AV_OPT_TYPE_INT,   { .i64 = OPJ(LRCP)    }, OPJ(LRCP),  OPJ(CPRL),    VE, "prog_order"  },
817     { "lrcp",          NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(LRCP)    }, 0,         0,           VE, "prog_order"  },
818     { "rlcp",          NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(RLCP)    }, 0,         0,           VE, "prog_order"  },
819     { "rpcl",          NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(RPCL)    }, 0,         0,           VE, "prog_order"  },
820     { "pcrl",          NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(PCRL)    }, 0,         0,           VE, "prog_order"  },
821     { "cprl",          NULL,                0,                     AV_OPT_TYPE_CONST, { .i64 = OPJ(CPRL)    }, 0,         0,           VE, "prog_order"  },
822     { "numresolution", NULL,                OFFSET(numresolution), AV_OPT_TYPE_INT,   { .i64 = 0           }, 0,         INT_MAX,     VE                },
823     { "numlayers",     NULL,                OFFSET(numlayers),     AV_OPT_TYPE_INT,   { .i64 = 1           }, 1,         10,          VE                },
824     { "disto_alloc",   NULL,                OFFSET(disto_alloc),   AV_OPT_TYPE_INT,   { .i64 = 1           }, 0,         1,           VE                },
825     { "fixed_alloc",   NULL,                OFFSET(fixed_alloc),   AV_OPT_TYPE_INT,   { .i64 = 0           }, 0,         1,           VE                },
826     { "fixed_quality", NULL,                OFFSET(fixed_quality), AV_OPT_TYPE_INT,   { .i64 = 0           }, 0,         1,           VE                },
827     { NULL },
828 };
829
830 static const AVClass openjpeg_class = {
831     .class_name = "libopenjpeg",
832     .item_name  = av_default_item_name,
833     .option     = options,
834     .version    = LIBAVUTIL_VERSION_INT,
835 };
836
837 AVCodec ff_libopenjpeg_encoder = {
838     .name           = "libopenjpeg",
839     .long_name      = NULL_IF_CONFIG_SMALL("OpenJPEG JPEG 2000"),
840     .type           = AVMEDIA_TYPE_VIDEO,
841     .id             = AV_CODEC_ID_JPEG2000,
842     .priv_data_size = sizeof(LibOpenJPEGContext),
843     .init           = libopenjpeg_encode_init,
844     .encode2        = libopenjpeg_encode_frame,
845     .close          = libopenjpeg_encode_close,
846     .capabilities   = AV_CODEC_CAP_FRAME_THREADS | AV_CODEC_CAP_INTRA_ONLY,
847     .pix_fmts       = (const enum AVPixelFormat[]) {
848         AV_PIX_FMT_RGB24, AV_PIX_FMT_RGBA, AV_PIX_FMT_RGB48,
849         AV_PIX_FMT_RGBA64, AV_PIX_FMT_GBR24P,
850         AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10, AV_PIX_FMT_GBRP12, AV_PIX_FMT_GBRP14, AV_PIX_FMT_GBRP16,
851         AV_PIX_FMT_GRAY8, AV_PIX_FMT_YA8, AV_PIX_FMT_GRAY16, AV_PIX_FMT_YA16,
852         AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVA420P,
853         AV_PIX_FMT_YUV440P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVA422P,
854         AV_PIX_FMT_YUV411P, AV_PIX_FMT_YUV410P, AV_PIX_FMT_YUVA444P,
855         AV_PIX_FMT_YUV420P9, AV_PIX_FMT_YUV422P9, AV_PIX_FMT_YUV444P9,
856         AV_PIX_FMT_YUVA420P9, AV_PIX_FMT_YUVA422P9, AV_PIX_FMT_YUVA444P9,
857         AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV444P10,
858         AV_PIX_FMT_YUVA420P10, AV_PIX_FMT_YUVA422P10, AV_PIX_FMT_YUVA444P10,
859         AV_PIX_FMT_YUV420P12, AV_PIX_FMT_YUV422P12, AV_PIX_FMT_YUV444P12,
860         AV_PIX_FMT_YUV420P14, AV_PIX_FMT_YUV422P14, AV_PIX_FMT_YUV444P14,
861         AV_PIX_FMT_YUV420P16, AV_PIX_FMT_YUV422P16, AV_PIX_FMT_YUV444P16,
862         AV_PIX_FMT_YUVA420P16, AV_PIX_FMT_YUVA422P16, AV_PIX_FMT_YUVA444P16,
863         AV_PIX_FMT_XYZ12,
864         AV_PIX_FMT_NONE
865     },
866     .priv_class     = &openjpeg_class,
867 };