tools/target_dec_fuzzer: Fuzz idct_algo value
[ffmpeg.git] / tools / target_dec_fuzzer.c
1 /*
2  * This file is part of FFmpeg.
3  *
4  * FFmpeg is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * FFmpeg is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with FFmpeg; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 /* Targeted fuzzer that targets specific codecs depending on two
20    compile-time flags.
21   INSTRUCTIONS:
22
23   * Get the very fresh clang, e.g. see http://libfuzzer.info#versions
24   * Get and build libFuzzer:
25      svn co http://llvm.org/svn/llvm-project/llvm/trunk/lib/Fuzzer
26      ./Fuzzer/build.sh
27   * build ffmpeg for fuzzing:
28     FLAGS="-fsanitize=address -fsanitize-coverage=trace-pc-guard,trace-cmp -g" CC="clang $FLAGS" CXX="clang++ $FLAGS" ./configure  --disable-x86asm
29     make clean && make -j
30   * build the fuzz target.
31     Choose the value of FFMPEG_CODEC (e.g. AV_CODEC_ID_DVD_SUBTITLE) and
32     choose one of FUZZ_FFMPEG_VIDEO, FUZZ_FFMPEG_AUDIO, FUZZ_FFMPEG_SUBTITLE.
33     clang -fsanitize=address -fsanitize-coverage=trace-pc-guard,trace-cmp tools/target_dec_fuzzer.c -o target_dec_fuzzer -I.   -DFFMPEG_CODEC=AV_CODEC_ID_MPEG1VIDEO -DFUZZ_FFMPEG_VIDEO ../../libfuzzer/libFuzzer.a   -Llibavcodec -Llibavdevice -Llibavfilter -Llibavformat -Llibavresample -Llibavutil -Llibpostproc -Llibswscale -Llibswresample -Wl,--as-needed -Wl,-z,noexecstack -Wl,--warn-common -Wl,-rpath-link=:libpostproc:libswresample:libswscale:libavfilter:libavdevice:libavformat:libavcodec:libavutil:libavresample -lavdevice -lavfilter -lavformat -lavcodec -lswresample -lswscale -lavutil -ldl -lxcb -lxcb-shm -lxcb -lxcb-xfixes  -lxcb -lxcb-shape -lxcb -lX11 -lasound -lm -lbz2 -lz -pthread
34   * create a corpus directory and put some samples there (empty dir is ok too):
35     mkdir CORPUS && cp some-files CORPUS
36
37   * Run fuzzing:
38     ./target_dec_fuzzer -max_len=100000 CORPUS
39
40    More info:
41    http://libfuzzer.info
42    http://tutorial.libfuzzer.info
43    https://github.com/google/oss-fuzz
44    http://lcamtuf.coredump.cx/afl/
45    https://security.googleblog.com/2016/08/guided-in-process-fuzzing-of-chrome.html
46 */
47
48 #include "config.h"
49 #include "libavutil/avassert.h"
50 #include "libavutil/imgutils.h"
51 #include "libavutil/intreadwrite.h"
52
53 #include "libavcodec/avcodec.h"
54 #include "libavcodec/bytestream.h"
55 #include "libavformat/avformat.h"
56
57 //For FF_SANE_NB_CHANNELS, so we dont waste energy testing things that will get instantly rejected
58 #include "libavcodec/internal.h"
59
60 int LLVMFuzzerTestOneInput(const uint8_t *data, size_t size);
61
62 extern AVCodec * codec_list[];
63
64 static void error(const char *err)
65 {
66     fprintf(stderr, "%s", err);
67     exit(1);
68 }
69
70 static AVCodec *c = NULL;
71 static AVCodec *AVCodecInitialize(enum AVCodecID codec_id)
72 {
73     AVCodec *res;
74
75     res = avcodec_find_decoder(codec_id);
76     if (!res)
77         error("Failed to find decoder");
78     return res;
79 }
80
81 static int subtitle_handler(AVCodecContext *avctx, void *frame,
82                             int *got_sub_ptr, AVPacket *avpkt)
83 {
84     AVSubtitle sub;
85     int ret = avcodec_decode_subtitle2(avctx, &sub, got_sub_ptr, avpkt);
86     if (ret >= 0 && *got_sub_ptr)
87         avsubtitle_free(&sub);
88     return ret;
89 }
90
91 // Ensure we don't loop forever
92 const uint32_t maxiteration = 8096;
93 const uint64_t maxpixels_per_frame = 4096 * 4096;
94 uint64_t maxpixels;
95
96 const uint64_t maxsamples_per_frame = 256*1024*32;
97 uint64_t maxsamples;
98
99 static const uint64_t FUZZ_TAG = 0x4741542D5A5A5546ULL;
100
101 int LLVMFuzzerTestOneInput(const uint8_t *data, size_t size) {
102     const uint64_t fuzz_tag = FUZZ_TAG;
103     const uint8_t *last = data;
104     const uint8_t *end = data + size;
105     uint32_t it = 0;
106     uint64_t ec_pixels = 0;
107     uint64_t nb_samples = 0;
108     int (*decode_handler)(AVCodecContext *avctx, AVFrame *picture,
109                           int *got_picture_ptr,
110                           const AVPacket *avpkt) = NULL;
111     AVCodecParserContext *parser = NULL;
112     uint64_t keyframes = 0;
113
114
115     if (!c) {
116 #ifdef FFMPEG_DECODER
117 #define DECODER_SYMBOL0(CODEC) ff_##CODEC##_decoder
118 #define DECODER_SYMBOL(CODEC) DECODER_SYMBOL0(CODEC)
119         extern AVCodec DECODER_SYMBOL(FFMPEG_DECODER);
120         codec_list[0] = &DECODER_SYMBOL(FFMPEG_DECODER);
121         avcodec_register(&DECODER_SYMBOL(FFMPEG_DECODER));
122
123         c = &DECODER_SYMBOL(FFMPEG_DECODER);
124 #else
125         avcodec_register_all();
126         c = AVCodecInitialize(FFMPEG_CODEC);  // Done once.
127 #endif
128         av_log_set_level(AV_LOG_PANIC);
129     }
130
131     switch (c->type) {
132     case AVMEDIA_TYPE_AUDIO   : decode_handler = avcodec_decode_audio4; break;
133     case AVMEDIA_TYPE_VIDEO   : decode_handler = avcodec_decode_video2; break;
134     case AVMEDIA_TYPE_SUBTITLE: decode_handler = subtitle_handler     ; break;
135     }
136     maxpixels = maxpixels_per_frame * maxiteration;
137     maxsamples = maxsamples_per_frame * maxiteration;
138     switch (c->id) {
139         // Allows a small input to generate gigantic output
140     case AV_CODEC_ID_BINKVIDEO: maxpixels /= 32; break;
141     case AV_CODEC_ID_CFHD:      maxpixels /= 128; break;
142     case AV_CODEC_ID_DIRAC:     maxpixels /= 8192; break;
143     case AV_CODEC_ID_DST:       maxsamples /= 8192; break;
144     case AV_CODEC_ID_DXV:       maxpixels /= 32;  break;
145     case AV_CODEC_ID_FFWAVESYNTH: maxsamples /= 16384; break;
146     case AV_CODEC_ID_MSRLE:     maxpixels /= 16;  break;
147     case AV_CODEC_ID_QTRLE:     maxpixels /= 16;  break;
148     case AV_CODEC_ID_RASC:      maxpixels /= 16;  break;
149     case AV_CODEC_ID_SANM:      maxpixels /= 16;  break;
150     case AV_CODEC_ID_G2M:       maxpixels /= 64;  break;
151     case AV_CODEC_ID_GIF:       maxpixels /= 16;  break;
152         // Performs slow frame rescaling in C
153     case AV_CODEC_ID_GDV:       maxpixels /= 512; break;
154         // Postprocessing in C
155     case AV_CODEC_ID_HNM4_VIDEO:maxpixels /= 128; break;
156         // Cliping in C, generally slow even with small input
157     case AV_CODEC_ID_INDEO4:    maxpixels /= 128; break;
158     case AV_CODEC_ID_LSCR:        maxpixels /= 16; break;
159     case AV_CODEC_ID_MOTIONPIXELS:maxpixels /= 256; break;
160     case AV_CODEC_ID_MSS2:        maxpixels /= 16384; break;
161     case AV_CODEC_ID_MSZH:        maxpixels /= 128; break;
162     case AV_CODEC_ID_SCPR:        maxpixels /= 32;    break;
163     case AV_CODEC_ID_SMACKVIDEO:  maxpixels /= 64; break;
164     case AV_CODEC_ID_SNOW:        maxpixels /= 128; break;
165     case AV_CODEC_ID_TGV:         maxpixels /= 32;    break;
166     case AV_CODEC_ID_TRUEMOTION2: maxpixels /= 1024; break;
167     case AV_CODEC_ID_VP7:         maxpixels /= 256;  break;
168     case AV_CODEC_ID_VP9:         maxpixels /= 4096; break;
169     }
170
171
172     AVCodecContext* ctx = avcodec_alloc_context3(c);
173     AVCodecContext* parser_avctx = avcodec_alloc_context3(NULL);
174     if (!ctx || !parser_avctx)
175         error("Failed memory allocation");
176
177     if (ctx->max_pixels == 0 || ctx->max_pixels > maxpixels_per_frame)
178         ctx->max_pixels = maxpixels_per_frame; //To reduce false positive OOM and hangs
179     ctx->refcounted_frames = 1; //To reduce false positive timeouts and focus testing on the refcounted API
180
181     ctx->max_samples = maxsamples_per_frame;
182
183     if (size > 1024) {
184         GetByteContext gbc;
185         int extradata_size;
186         int flags;
187         size -= 1024;
188         bytestream2_init(&gbc, data + size, 1024);
189         ctx->width                              = bytestream2_get_le32(&gbc);
190         ctx->height                             = bytestream2_get_le32(&gbc);
191         ctx->bit_rate                           = bytestream2_get_le64(&gbc);
192         ctx->bits_per_coded_sample              = bytestream2_get_le32(&gbc);
193         // Try to initialize a parser for this codec, note, this may fail which just means we test without one
194         flags = bytestream2_get_byte(&gbc);
195         if (flags & 1)
196             parser = av_parser_init(c->id);
197         if (flags & 2)
198             ctx->strict_std_compliance = FF_COMPLIANCE_EXPERIMENTAL;
199         if (flags & 4) {
200             ctx->err_recognition = AV_EF_AGGRESSIVE | AV_EF_COMPLIANT | AV_EF_CAREFUL;
201             if (flags & 8)
202                 ctx->err_recognition |= AV_EF_EXPLODE;
203         }
204         if (flags & 0x10)
205             ctx->flags2 |= AV_CODEC_FLAG2_FAST;
206
207
208         extradata_size = bytestream2_get_le32(&gbc);
209
210         ctx->sample_rate                        = bytestream2_get_le32(&gbc) & 0x7FFFFFFF;
211         ctx->channels                           = (unsigned)bytestream2_get_le32(&gbc) % FF_SANE_NB_CHANNELS;
212         ctx->block_align                        = bytestream2_get_le32(&gbc) & 0x7FFFFFFF;
213         ctx->codec_tag                          = bytestream2_get_le32(&gbc);
214         keyframes                               = bytestream2_get_le64(&gbc);
215         ctx->request_channel_layout             = bytestream2_get_le64(&gbc);
216
217         ctx->idct_algo                          = bytestream2_get_byte(&gbc) % 25;
218
219         if (extradata_size < size) {
220             ctx->extradata = av_mallocz(extradata_size + AV_INPUT_BUFFER_PADDING_SIZE);
221             if (ctx->extradata) {
222                 ctx->extradata_size = extradata_size;
223                 size -= ctx->extradata_size;
224                 memcpy(ctx->extradata, data + size, ctx->extradata_size);
225             }
226         }
227         if (av_image_check_size(ctx->width, ctx->height, 0, ctx))
228             ctx->width = ctx->height = 0;
229     }
230
231     int res = avcodec_open2(ctx, c, NULL);
232     if (res < 0) {
233         avcodec_free_context(&ctx);
234         av_free(parser_avctx);
235         av_parser_close(parser);
236         return 0; // Failure of avcodec_open2() does not imply that a issue was found
237     }
238     parser_avctx->codec_id = ctx->codec_id;
239
240     int got_frame;
241     AVFrame *frame = av_frame_alloc();
242     if (!frame)
243         error("Failed memory allocation");
244
245     // Read very simple container
246     AVPacket avpkt, parsepkt;
247     av_init_packet(&avpkt);
248     av_init_packet(&parsepkt);
249     while (data < end && it < maxiteration) {
250         // Search for the TAG
251         while (data + sizeof(fuzz_tag) < end) {
252             if (data[0] == (fuzz_tag & 0xFF) && AV_RN64(data) == fuzz_tag)
253                 break;
254             data++;
255         }
256         if (data + sizeof(fuzz_tag) > end)
257             data = end;
258
259         res = av_new_packet(&parsepkt, data - last);
260         if (res < 0)
261             error("Failed memory allocation");
262         memcpy(parsepkt.data, last, data - last);
263         parsepkt.flags = (keyframes & 1) * AV_PKT_FLAG_DISCARD + (!!(keyframes & 2)) * AV_PKT_FLAG_KEY;
264         keyframes = (keyframes >> 2) + (keyframes<<62);
265         data += sizeof(fuzz_tag);
266         last = data;
267
268         while (parsepkt.size > 0) {
269
270             if (parser) {
271                 av_init_packet(&avpkt);
272                 int ret = av_parser_parse2(parser, parser_avctx, &avpkt.data, &avpkt.size,
273                                            parsepkt.data, parsepkt.size,
274                                            parsepkt.pts, parsepkt.dts, parsepkt.pos);
275                 if (avpkt.data == parsepkt.data) {
276                     avpkt.buf = av_buffer_ref(parsepkt.buf);
277                     if (!avpkt.buf)
278                         error("Failed memory allocation");
279                 } else {
280                     if (av_packet_make_refcounted(&avpkt) < 0)
281                         error("Failed memory allocation");
282                 }
283                 parsepkt.data += ret;
284                 parsepkt.size -= ret;
285                 parsepkt.pos  += ret;
286                 avpkt.pts = parser->pts;
287                 avpkt.dts = parser->dts;
288                 avpkt.pos = parser->pos;
289                 if ( parser->key_frame == 1 ||
290                     (parser->key_frame == -1 && parser->pict_type == AV_PICTURE_TYPE_I))
291                     avpkt.flags |= AV_PKT_FLAG_KEY;
292                 avpkt.flags |= parsepkt.flags & AV_PKT_FLAG_DISCARD;
293             } else {
294                 av_packet_move_ref(&avpkt, &parsepkt);
295             }
296
297           // Iterate through all data
298           while (avpkt.size > 0 && it++ < maxiteration) {
299             av_frame_unref(frame);
300             int ret = decode_handler(ctx, frame, &got_frame, &avpkt);
301
302             ec_pixels += (ctx->width + 32LL) * (ctx->height + 32LL);
303             if (it > 20 || ec_pixels > 4 * ctx->max_pixels)
304                 ctx->error_concealment = 0;
305             if (ec_pixels > maxpixels)
306                 goto maximums_reached;
307
308             nb_samples += frame->nb_samples;
309             if (nb_samples > maxsamples)
310                 goto maximums_reached;
311
312             if (ret <= 0 || ret > avpkt.size)
313                break;
314             if (ctx->codec_type != AVMEDIA_TYPE_AUDIO)
315                 ret = avpkt.size;
316             avpkt.data += ret;
317             avpkt.size -= ret;
318           }
319           av_packet_unref(&avpkt);
320         }
321         av_packet_unref(&parsepkt);
322     }
323 maximums_reached:
324
325     av_packet_unref(&avpkt);
326
327     do {
328         got_frame = 0;
329         av_frame_unref(frame);
330         decode_handler(ctx, frame, &got_frame, &avpkt);
331     } while (got_frame == 1 && it++ < maxiteration);
332
333     fprintf(stderr, "pixels decoded: %"PRId64", samples decoded: %"PRId64", iterations: %d\n", ec_pixels, nb_samples, it);
334
335     av_frame_free(&frame);
336     avcodec_free_context(&ctx);
337     avcodec_free_context(&parser_avctx);
338     av_parser_close(parser);
339     av_packet_unref(&parsepkt);
340     return 0;
341 }