Merge remote-tracking branch 'qatar/master'
[ffmpeg.git] / libavformat / rtpdec_jpeg.c
1 /*
2  * RTP JPEG-compressed Video Depacketizer, RFC 2435
3  * Copyright (c) 2012 Samuel Pitoiset
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "avformat.h"
23 #include "rtpdec_formats.h"
24 #include "libavutil/intreadwrite.h"
25 #include "libavcodec/mjpeg.h"
26
27 /**
28  * RTP/JPEG specific private data.
29  */
30 struct PayloadContext {
31     AVIOContext *frame;         ///< current frame buffer
32     uint32_t    timestamp;      ///< current frame timestamp
33     int         hdr_size;       ///< size of the current frame header
34 };
35
36 static PayloadContext *jpeg_new_context(void)
37 {
38     return av_mallocz(sizeof(PayloadContext));
39 }
40
41 static inline void free_frame_if_needed(PayloadContext *jpeg)
42 {
43     if (jpeg->frame) {
44         uint8_t *p;
45         avio_close_dyn_buf(jpeg->frame, &p);
46         av_free(p);
47         jpeg->frame = NULL;
48     }
49 }
50
51 static void jpeg_free_context(PayloadContext *jpeg)
52 {
53     free_frame_if_needed(jpeg);
54     av_free(jpeg);
55 }
56
57 static void jpeg_create_huffman_table(PutBitContext *p, int table_class,
58                                       int table_id, const uint8_t *bits_table,
59                                       const uint8_t *value_table)
60 {
61     int i, n = 0;
62
63     put_bits(p, 8, 0);
64     put_bits(p, 4, table_class);
65     put_bits(p, 4, table_id);
66
67     for (i = 1; i <= 16; i++) {
68         n += bits_table[i];
69         put_bits(p, 8, bits_table[i]);
70     }
71
72     for (i = 0; i < n; i++) {
73         put_bits(p, 8, value_table[i]);
74     }
75 }
76
77 static int jpeg_create_header(uint8_t *buf, int size, uint32_t type, uint32_t w,
78                               uint32_t h, const uint8_t *qtable, int nb_qtable)
79 {
80     PutBitContext pbc;
81
82     init_put_bits(&pbc, buf, size);
83
84     /* Convert from blocks to pixels. */
85     w <<= 3;
86     h <<= 3;
87
88     /* SOI */
89     put_marker(&pbc, SOI);
90
91     /* JFIF header */
92     put_marker(&pbc, APP0);
93     put_bits(&pbc, 16, 16);
94     avpriv_put_string(&pbc, "JFIF", 1);
95     put_bits(&pbc, 16, 0x0201);
96     put_bits(&pbc, 8, 0);
97     put_bits(&pbc, 16, 1);
98     put_bits(&pbc, 16, 1);
99     put_bits(&pbc, 8, 0);
100     put_bits(&pbc, 8, 0);
101
102     /* DQT */
103     put_marker(&pbc, DQT);
104     if (nb_qtable == 2) {
105         put_bits(&pbc, 16, 2 + 2 * (1 + 64));
106     } else {
107         put_bits(&pbc, 16, 2 + 1 * (1 + 64));
108     }
109     put_bits(&pbc, 8, 0);
110
111     /* Each table is an array of 64 values given in zig-zag
112      * order, identical to the format used in a JFIF DQT
113      * marker segment. */
114     avpriv_copy_bits(&pbc, qtable, 64 * 8);
115
116     if (nb_qtable == 2) {
117         put_bits(&pbc, 8, 1);
118         avpriv_copy_bits(&pbc, qtable + 64, 64 * 8);
119     }
120
121     /* DHT */
122     put_marker(&pbc, DHT);
123
124     jpeg_create_huffman_table(&pbc, 0, 0, avpriv_mjpeg_bits_dc_luminance,
125                               avpriv_mjpeg_val_dc);
126     jpeg_create_huffman_table(&pbc, 0, 1, avpriv_mjpeg_bits_dc_chrominance,
127                               avpriv_mjpeg_val_dc);
128     jpeg_create_huffman_table(&pbc, 1, 0, avpriv_mjpeg_bits_ac_luminance,
129                               avpriv_mjpeg_val_ac_luminance);
130     jpeg_create_huffman_table(&pbc, 1, 1, avpriv_mjpeg_bits_ac_chrominance,
131                               avpriv_mjpeg_val_ac_chrominance);
132
133     /* SOF0 */
134     put_marker(&pbc, SOF0);
135     put_bits(&pbc, 16, 17);
136     put_bits(&pbc, 8, 8);
137     put_bits(&pbc, 8, h >> 8);
138     put_bits(&pbc, 8, h);
139     put_bits(&pbc, 8, w >> 8);
140     put_bits(&pbc, 8, w);
141     put_bits(&pbc, 8, 3);
142     put_bits(&pbc, 8, 1);
143     put_bits(&pbc, 8, type ? 34 : 33);
144     put_bits(&pbc, 8, 0);
145     put_bits(&pbc, 8, 2);
146     put_bits(&pbc, 8, 17);
147     put_bits(&pbc, 8, nb_qtable == 2 ? 1 : 0);
148     put_bits(&pbc, 8, 3);
149     put_bits(&pbc, 8, 17);
150     put_bits(&pbc, 8, nb_qtable == 2 ? 1 : 0);
151
152     /* SOS */
153     put_marker(&pbc, SOS);
154     put_bits(&pbc, 16, 12);
155     put_bits(&pbc, 8, 3);
156     put_bits(&pbc, 8, 1);
157     put_bits(&pbc, 8, 0);
158     put_bits(&pbc, 8, 2);
159     put_bits(&pbc, 8, 17);
160     put_bits(&pbc, 8, 3);
161     put_bits(&pbc, 8, 17);
162     put_bits(&pbc, 8, 0);
163     put_bits(&pbc, 8, 63);
164     put_bits(&pbc, 8, 0);
165
166     /* Fill the buffer. */
167     flush_put_bits(&pbc);
168
169     /* Return the length in bytes of the JPEG header. */
170     return put_bits_count(&pbc) / 8;
171 }
172
173 static int jpeg_parse_packet(AVFormatContext *ctx, PayloadContext *jpeg,
174                              AVStream *st, AVPacket *pkt, uint32_t *timestamp,
175                              const uint8_t *buf, int len, int flags)
176 {
177     uint8_t type, q, width, height;
178     const uint8_t *qtables = NULL;
179     uint16_t qtable_len;
180     uint32_t off;
181     int ret;
182
183     if (len < 8) {
184         av_log(ctx, AV_LOG_ERROR, "Too short RTP/JPEG packet.\n");
185         return AVERROR_INVALIDDATA;
186     }
187
188     /* Parse the main JPEG header. */
189     off    = AV_RB24(buf + 1);  /* fragment byte offset */
190     type   = AV_RB8(buf + 4);   /* id of jpeg decoder params */
191     q      = AV_RB8(buf + 5);   /* quantization factor (or table id) */
192     width  = AV_RB8(buf + 6);   /* frame width in 8 pixel blocks */
193     height = AV_RB8(buf + 7);   /* frame height in 8 pixel blocks */
194     buf += 8;
195     len -= 8;
196
197     /* Parse the restart marker header. */
198     if (type > 63) {
199         av_log(ctx, AV_LOG_ERROR,
200                "Unimplemented RTP/JPEG restart marker header.\n");
201         return AVERROR_PATCHWELCOME;
202     }
203
204     /* Parse the quantization table header. */
205     if (q > 127 && off == 0) {
206         uint8_t precision;
207
208         if (len < 4) {
209             av_log(ctx, AV_LOG_ERROR, "Too short RTP/JPEG packet.\n");
210             return AVERROR_INVALIDDATA;
211         }
212
213         /* The first byte is reserved for future use. */
214         precision  = AV_RB8(buf + 1);    /* size of coefficients */
215         qtable_len = AV_RB16(buf + 2);   /* length in bytes */
216         buf += 4;
217         len -= 4;
218
219         if (precision)
220             av_log(ctx, AV_LOG_WARNING, "Only 8-bit precision is supported.\n");
221
222         if (q == 255 && qtable_len == 0) {
223             av_log(ctx, AV_LOG_ERROR,
224                    "Invalid RTP/JPEG packet. Quantization tables not found.\n");
225             return AVERROR_INVALIDDATA;
226         }
227
228         if (qtable_len > 0) {
229             if (len < qtable_len) {
230                 av_log(ctx, AV_LOG_ERROR, "Too short RTP/JPEG packet.\n");
231                 return AVERROR_INVALIDDATA;
232             }
233             qtables = buf;
234             buf += qtable_len;
235             len -= qtable_len;
236         }
237     }
238
239     if (off == 0) {
240         /* Start of JPEG data packet. */
241         uint8_t hdr[1024];
242
243         /* Skip the current frame in case of the end packet
244          * has been lost somewhere. */
245         free_frame_if_needed(jpeg);
246
247         if ((ret = avio_open_dyn_buf(&jpeg->frame)) < 0)
248             return ret;
249         jpeg->timestamp = *timestamp;
250
251         if (!qtables) {
252             av_log(ctx, AV_LOG_ERROR,
253                    "Unimplemented default quantization tables.\n");
254             return AVERROR_PATCHWELCOME;
255         }
256
257         /* Generate a frame and scan headers that can be prepended to the
258          * RTP/JPEG data payload to produce a JPEG compressed image in
259          * interchange format. */
260         jpeg->hdr_size = jpeg_create_header(hdr, sizeof(hdr), type, width,
261                                             height, qtables,
262                                             qtable_len > 64 ? 2 : 1);
263
264         /* Copy JPEG header to frame buffer. */
265         avio_write(jpeg->frame, hdr, jpeg->hdr_size);
266     }
267
268     if (!jpeg->frame) {
269         av_log(ctx, AV_LOG_ERROR,
270                "Received packet without a start chunk; dropping frame.\n");
271         return AVERROR(EAGAIN);
272     }
273
274     if (jpeg->timestamp != *timestamp) {
275         /* Skip the current frame if timestamp is incorrect.
276          * A start packet has been lost somewhere. */
277         free_frame_if_needed(jpeg);
278         av_log(ctx, AV_LOG_ERROR, "RTP timestamps don't match.\n");
279         return AVERROR_INVALIDDATA;
280     }
281
282     if (off != avio_tell(jpeg->frame) - jpeg->hdr_size) {
283         av_log(ctx, AV_LOG_ERROR,
284                "Missing packets; dropping frame.\n");
285         return AVERROR(EAGAIN);
286     }
287
288     /* Copy data to frame buffer. */
289     avio_write(jpeg->frame, buf, len);
290
291     if (flags & RTP_FLAG_MARKER) {
292         /* End of JPEG data packet. */
293         PutBitContext pbc;
294         uint8_t buf[2];
295
296         /* Put EOI marker. */
297         init_put_bits(&pbc, buf, sizeof(buf));
298         put_marker(&pbc, EOI);
299         flush_put_bits(&pbc);
300         avio_write(jpeg->frame, buf, sizeof(buf));
301
302         /* Prepare the JPEG packet. */
303         av_init_packet(pkt);
304         pkt->size = avio_close_dyn_buf(jpeg->frame, &pkt->data);
305         if (pkt->size < 0) {
306             av_log(ctx, AV_LOG_ERROR,
307                    "Error occured when getting frame buffer.\n");
308             jpeg->frame = NULL;
309             return pkt->size;
310         }
311         pkt->stream_index = st->index;
312         pkt->destruct     = av_destruct_packet;
313
314         /* Re-init the frame buffer. */
315         jpeg->frame = NULL;
316
317         return 0;
318     }
319
320     return AVERROR(EAGAIN);
321 }
322
323 RTPDynamicProtocolHandler ff_jpeg_dynamic_handler = {
324     .enc_name          = "JPEG",
325     .codec_type        = AVMEDIA_TYPE_VIDEO,
326     .codec_id          = AV_CODEC_ID_MJPEG,
327     .alloc             = jpeg_new_context,
328     .free              = jpeg_free_context,
329     .parse_packet      = jpeg_parse_packet,
330     .static_payload_id = 26,
331 };