lavc: Add filter_units bitstream filter
[ffmpeg.git] / doc / bitstream_filters.texi
1 @chapter Bitstream Filters
2 @c man begin BITSTREAM FILTERS
3
4 When you configure your FFmpeg build, all the supported bitstream
5 filters are enabled by default. You can list all available ones using
6 the configure option @code{--list-bsfs}.
7
8 You can disable all the bitstream filters using the configure option
9 @code{--disable-bsfs}, and selectively enable any bitstream filter using
10 the option @code{--enable-bsf=BSF}, or you can disable a particular
11 bitstream filter using the option @code{--disable-bsf=BSF}.
12
13 The option @code{-bsfs} of the ff* tools will display the list of
14 all the supported bitstream filters included in your build.
15
16 The ff* tools have a -bsf option applied per stream, taking a
17 comma-separated list of filters, whose parameters follow the filter
18 name after a '='.
19
20 @example
21 ffmpeg -i INPUT -c:v copy -bsf:v filter1[=opt1=str1:opt2=str2][,filter2] OUTPUT
22 @end example
23
24 Below is a description of the currently available bitstream filters,
25 with their parameters, if any.
26
27 @section aac_adtstoasc
28
29 Convert MPEG-2/4 AAC ADTS to an MPEG-4 Audio Specific Configuration
30 bitstream.
31
32 This filter creates an MPEG-4 AudioSpecificConfig from an MPEG-2/4
33 ADTS header and removes the ADTS header.
34
35 This filter is required for example when copying an AAC stream from a
36 raw ADTS AAC or an MPEG-TS container to MP4A-LATM, to an FLV file, or
37 to MOV/MP4 files and related formats such as 3GP or M4A. Please note
38 that it is auto-inserted for MP4A-LATM and MOV/MP4 and related formats.
39
40 @section chomp
41
42 Remove zero padding at the end of a packet.
43
44 @section dca_core
45
46 Extract the core from a DCA/DTS stream, dropping extensions such as
47 DTS-HD.
48
49 @section dump_extra
50
51 Add extradata to the beginning of the filtered packets.
52
53 @table @option
54 @item freq
55 The additional argument specifies which packets should be filtered.
56 It accepts the values:
57 @table @samp
58 @item k
59 @item keyframe
60 add extradata to all key packets
61
62 @item e
63 @item all
64 add extradata to all packets
65 @end table
66 @end table
67
68 If not specified it is assumed @samp{e}.
69
70 For example the following @command{ffmpeg} command forces a global
71 header (thus disabling individual packet headers) in the H.264 packets
72 generated by the @code{libx264} encoder, but corrects them by adding
73 the header stored in extradata to the key packets:
74 @example
75 ffmpeg -i INPUT -map 0 -flags:v +global_header -c:v libx264 -bsf:v dump_extra out.ts
76 @end example
77
78 @section extract_extradata
79
80 Extract the in-band extradata.
81
82 Certain codecs allow the long-term headers (e.g. MPEG-2 sequence headers,
83 or H.264/HEVC (VPS/)SPS/PPS) to be transmitted either "in-band" (i.e. as a part
84 of the bitstream containing the coded frames) or "out of band" (e.g. on the
85 container level). This latter form is called "extradata" in FFmpeg terminology.
86
87 This bitstream filter detects the in-band headers and makes them available as
88 extradata.
89
90 @table @option
91 @item remove
92 When this option is enabled, the long-term headers are removed from the
93 bitstream after extraction.
94 @end table
95
96 @section filter_units
97
98 Remove units with types in or not in a given set from the stream.
99
100 @table @option
101 @item pass_types
102 List of unit types or ranges of unit types to pass through while removing
103 all others.  This is specified as a '|'-separated list of unit type values
104 or ranges of values with '-'.
105
106 @item remove_types
107 Identical to @option{pass_types}, except the units in the given set
108 removed and all others passed through.
109 @end table
110
111 Extradata is unchanged by this transformation, but note that if the stream
112 contains inline parameter sets then the output may be unusable if they are
113 removed.
114
115 For example, to remove all non-VCL NAL units from an H.264 stream:
116 @example
117 ffmpeg -i INPUT -c:v copy -bsf:v 'filter_units=pass_types=1-5' OUTPUT
118 @end example
119
120 To remove all AUDs, SEI and filler from an H.265 stream:
121 @example
122 ffmpeg -i INPUT -c:v copy -bsf:v 'filter_units=remove_types=35|38-40' OUTPUT
123 @end example
124
125 @section hapqa_extract
126
127 Extract Rgb or Alpha part of an HAPQA file, without recompression, in order to create an HAPQ or an HAPAlphaOnly file.
128
129 @table @option
130 @item texture
131 Specifies the texture to keep.
132
133 @table @option
134 @item color
135 @item alpha
136 @end table
137
138 @end table
139
140 Convert HAPQA to HAPQ
141 @example
142 ffmpeg -i hapqa_inputfile.mov -c copy -bsf:v hapqa_extract=texture=color -tag:v HapY -metadata:s:v:0 encoder="HAPQ" hapq_file.mov
143 @end example
144
145 Convert HAPQA to HAPAlphaOnly
146 @example
147 ffmpeg -i hapqa_inputfile.mov -c copy -bsf:v hapqa_extract=texture=alpha -tag:v HapA -metadata:s:v:0 encoder="HAPAlpha Only" hapalphaonly_file.mov
148 @end example
149
150 @section h264_metadata
151
152 Modify metadata embedded in an H.264 stream.
153
154 @table @option
155 @item aud
156 Insert or remove AUD NAL units in all access units of the stream.
157
158 @table @samp
159 @item insert
160 @item remove
161 @end table
162
163 @item sample_aspect_ratio
164 Set the sample aspect ratio of the stream in the VUI parameters.
165
166 @item video_format
167 @item video_full_range_flag
168 Set the video format in the stream (see H.264 section E.2.1 and
169 table E-2).
170
171 @item colour_primaries
172 @item transfer_characteristics
173 @item matrix_coefficients
174 Set the colour description in the stream (see H.264 section E.2.1
175 and tables E-3, E-4 and E-5).
176
177 @item chroma_sample_loc_type
178 Set the chroma sample location in the stream (see H.264 section
179 E.2.1 and figure E-1).
180
181 @item tick_rate
182 Set the tick rate (num_units_in_tick / time_scale) in the VUI
183 parameters.  This is the smallest time unit representable in the
184 stream, and in many cases represents the field rate of the stream
185 (double the frame rate).
186 @item fixed_frame_rate_flag
187 Set whether the stream has fixed framerate - typically this indicates
188 that the framerate is exactly half the tick rate, but the exact
189 meaning is dependent on interlacing and the picture structure (see
190 H.264 section E.2.1 and table E-6).
191
192 @item crop_left
193 @item crop_right
194 @item crop_top
195 @item crop_bottom
196 Set the frame cropping offsets in the SPS.  These values will replace
197 the current ones if the stream is already cropped.
198
199 These fields are set in pixels.  Note that some sizes may not be
200 representable if the chroma is subsampled or the stream is interlaced
201 (see H.264 section 7.4.2.1.1).
202
203 @item sei_user_data
204 Insert a string as SEI unregistered user data.  The argument must
205 be of the form @emph{UUID+string}, where the UUID is as hex digits
206 possibly separated by hyphens, and the string can be anything.
207
208 For example, @samp{086f3693-b7b3-4f2c-9653-21492feee5b8+hello} will
209 insert the string ``hello'' associated with the given UUID.
210
211 @item delete_filler
212 Deletes both filler NAL units and filler SEI messages.
213
214 @end table
215
216 @section h264_mp4toannexb
217
218 Convert an H.264 bitstream from length prefixed mode to start code
219 prefixed mode (as defined in the Annex B of the ITU-T H.264
220 specification).
221
222 This is required by some streaming formats, typically the MPEG-2
223 transport stream format (muxer @code{mpegts}).
224
225 For example to remux an MP4 file containing an H.264 stream to mpegts
226 format with @command{ffmpeg}, you can use the command:
227
228 @example
229 ffmpeg -i INPUT.mp4 -codec copy -bsf:v h264_mp4toannexb OUTPUT.ts
230 @end example
231
232 Please note that this filter is auto-inserted for MPEG-TS (muxer
233 @code{mpegts}) and raw H.264 (muxer @code{h264}) output formats.
234
235 @section h264_redundant_pps
236
237 This applies a specific fixup to some Blu-ray streams which contain
238 redundant PPSs modifying irrelevant parameters of the stream which
239 confuse other transformations which require correct extradata.
240
241 A new single global PPS is created, and all of the redundant PPSs
242 within the stream are removed.
243
244 @section hevc_metadata
245
246 Modify metadata embedded in an HEVC stream.
247
248 @table @option
249 @item aud
250 Insert or remove AUD NAL units in all access units of the stream.
251
252 @table @samp
253 @item insert
254 @item remove
255 @end table
256
257 @item sample_aspect_ratio
258 Set the sample aspect ratio in the stream in the VUI parameters.
259
260 @item video_format
261 @item video_full_range_flag
262 Set the video format in the stream (see H.265 section E.3.1 and
263 table E.2).
264
265 @item colour_primaries
266 @item transfer_characteristics
267 @item matrix_coefficients
268 Set the colour description in the stream (see H.265 section E.3.1
269 and tables E.3, E.4 and E.5).
270
271 @item chroma_sample_loc_type
272 Set the chroma sample location in the stream (see H.265 section
273 E.3.1 and figure E.1).
274
275 @item tick_rate
276 Set the tick rate in the VPS and VUI parameters (num_units_in_tick /
277 time_scale).  Combined with @option{num_ticks_poc_diff_one}, this can
278 set a constant framerate in the stream.  Note that it is likely to be
279 overridden by container parameters when the stream is in a container.
280
281 @item num_ticks_poc_diff_one
282 Set poc_proportional_to_timing_flag in VPS and VUI and use this value
283 to set num_ticks_poc_diff_one_minus1 (see H.265 sections 7.4.3.1 and
284 E.3.1).  Ignored if @option{tick_rate} is not also set.
285
286 @item crop_left
287 @item crop_right
288 @item crop_top
289 @item crop_bottom
290 Set the conformance window cropping offsets in the SPS.  These values
291 will replace the current ones if the stream is already cropped.
292
293 These fields are set in pixels.  Note that some sizes may not be
294 representable if the chroma is subsampled (H.265 section 7.4.3.2.1).
295
296 @end table
297
298 @section hevc_mp4toannexb
299
300 Convert an HEVC/H.265 bitstream from length prefixed mode to start code
301 prefixed mode (as defined in the Annex B of the ITU-T H.265
302 specification).
303
304 This is required by some streaming formats, typically the MPEG-2
305 transport stream format (muxer @code{mpegts}).
306
307 For example to remux an MP4 file containing an HEVC stream to mpegts
308 format with @command{ffmpeg}, you can use the command:
309
310 @example
311 ffmpeg -i INPUT.mp4 -codec copy -bsf:v hevc_mp4toannexb OUTPUT.ts
312 @end example
313
314 Please note that this filter is auto-inserted for MPEG-TS (muxer
315 @code{mpegts}) and raw HEVC/H.265 (muxer @code{h265} or
316 @code{hevc}) output formats.
317
318 @section imxdump
319
320 Modifies the bitstream to fit in MOV and to be usable by the Final Cut
321 Pro decoder. This filter only applies to the mpeg2video codec, and is
322 likely not needed for Final Cut Pro 7 and newer with the appropriate
323 @option{-tag:v}.
324
325 For example, to remux 30 MB/sec NTSC IMX to MOV:
326
327 @example
328 ffmpeg -i input.mxf -c copy -bsf:v imxdump -tag:v mx3n output.mov
329 @end example
330
331 @section mjpeg2jpeg
332
333 Convert MJPEG/AVI1 packets to full JPEG/JFIF packets.
334
335 MJPEG is a video codec wherein each video frame is essentially a
336 JPEG image. The individual frames can be extracted without loss,
337 e.g. by
338
339 @example
340 ffmpeg -i ../some_mjpeg.avi -c:v copy frames_%d.jpg
341 @end example
342
343 Unfortunately, these chunks are incomplete JPEG images, because
344 they lack the DHT segment required for decoding. Quoting from
345 @url{http://www.digitalpreservation.gov/formats/fdd/fdd000063.shtml}:
346
347 Avery Lee, writing in the rec.video.desktop newsgroup in 2001,
348 commented that "MJPEG, or at least the MJPEG in AVIs having the
349 MJPG fourcc, is restricted JPEG with a fixed -- and *omitted* --
350 Huffman table. The JPEG must be YCbCr colorspace, it must be 4:2:2,
351 and it must use basic Huffman encoding, not arithmetic or
352 progressive. . . . You can indeed extract the MJPEG frames and
353 decode them with a regular JPEG decoder, but you have to prepend
354 the DHT segment to them, or else the decoder won't have any idea
355 how to decompress the data. The exact table necessary is given in
356 the OpenDML spec."
357
358 This bitstream filter patches the header of frames extracted from an MJPEG
359 stream (carrying the AVI1 header ID and lacking a DHT segment) to
360 produce fully qualified JPEG images.
361
362 @example
363 ffmpeg -i mjpeg-movie.avi -c:v copy -bsf:v mjpeg2jpeg frame_%d.jpg
364 exiftran -i -9 frame*.jpg
365 ffmpeg -i frame_%d.jpg -c:v copy rotated.avi
366 @end example
367
368 @section mjpegadump
369
370 Add an MJPEG A header to the bitstream, to enable decoding by
371 Quicktime.
372
373 @anchor{mov2textsub}
374 @section mov2textsub
375
376 Extract a representable text file from MOV subtitles, stripping the
377 metadata header from each subtitle packet.
378
379 See also the @ref{text2movsub} filter.
380
381 @section mp3decomp
382
383 Decompress non-standard compressed MP3 audio headers.
384
385 @section mpeg2_metadata
386
387 Modify metadata embedded in an MPEG-2 stream.
388
389 @table @option
390 @item display_aspect_ratio
391 Set the display aspect ratio in the stream.
392
393 The following fixed values are supported:
394 @table @option
395 @item 4/3
396 @item 16/9
397 @item 221/100
398 @end table
399 Any other value will result in square pixels being signalled instead
400 (see H.262 section 6.3.3 and table 6-3).
401
402 @item frame_rate
403 Set the frame rate in the stream.  This is constructed from a table
404 of known values combined with a small multiplier and divisor - if
405 the supplied value is not exactly representable, the nearest
406 representable value will be used instead (see H.262 section 6.3.3
407 and table 6-4).
408
409 @item video_format
410 Set the video format in the stream (see H.262 section 6.3.6 and
411 table 6-6).
412
413 @item colour_primaries
414 @item transfer_characteristics
415 @item matrix_coefficients
416 Set the colour description in the stream (see H.262 section 6.3.6
417 and tables 6-7, 6-8 and 6-9).
418
419 @end table
420
421 @section mpeg4_unpack_bframes
422
423 Unpack DivX-style packed B-frames.
424
425 DivX-style packed B-frames are not valid MPEG-4 and were only a
426 workaround for the broken Video for Windows subsystem.
427 They use more space, can cause minor AV sync issues, require more
428 CPU power to decode (unless the player has some decoded picture queue
429 to compensate the 2,0,2,0 frame per packet style) and cause
430 trouble if copied into a standard container like mp4 or mpeg-ps/ts,
431 because MPEG-4 decoders may not be able to decode them, since they are
432 not valid MPEG-4.
433
434 For example to fix an AVI file containing an MPEG-4 stream with
435 DivX-style packed B-frames using @command{ffmpeg}, you can use the command:
436
437 @example
438 ffmpeg -i INPUT.avi -codec copy -bsf:v mpeg4_unpack_bframes OUTPUT.avi
439 @end example
440
441 @section noise
442
443 Damages the contents of packets or simply drops them without damaging the
444 container. Can be used for fuzzing or testing error resilience/concealment.
445
446 Parameters:
447 @table @option
448 @item amount
449 A numeral string, whose value is related to how often output bytes will
450 be modified. Therefore, values below or equal to 0 are forbidden, and
451 the lower the more frequent bytes will be modified, with 1 meaning
452 every byte is modified.
453 @item dropamount
454 A numeral string, whose value is related to how often packets will be dropped.
455 Therefore, values below or equal to 0 are forbidden, and the lower the more
456 frequent packets will be dropped, with 1 meaning every packet is dropped.
457 @end table
458
459 The following example applies the modification to every byte but does not drop
460 any packets.
461 @example
462 ffmpeg -i INPUT -c copy -bsf noise[=1] output.mkv
463 @end example
464
465 @section null
466 This bitstream filter passes the packets through unchanged.
467
468 @section remove_extra
469
470 Remove extradata from packets.
471
472 It accepts the following parameter:
473 @table @option
474 @item freq
475 Set which frame types to remove extradata from.
476
477 @table @samp
478 @item k
479 Remove extradata from non-keyframes only.
480
481 @item keyframe
482 Remove extradata from keyframes only.
483
484 @item e, all
485 Remove extradata from all frames.
486
487 @end table
488 @end table
489
490 @anchor{text2movsub}
491 @section text2movsub
492
493 Convert text subtitles to MOV subtitles (as used by the @code{mov_text}
494 codec) with metadata headers.
495
496 See also the @ref{mov2textsub} filter.
497
498 @section trace_headers
499
500 Log trace output containing all syntax elements in the coded stream
501 headers (everything above the level of individual coded blocks).
502 This can be useful for debugging low-level stream issues.
503
504 Supports H.264, H.265 and MPEG-2.
505
506 @section vp9_superframe
507
508 Merge VP9 invisible (alt-ref) frames back into VP9 superframes. This
509 fixes merging of split/segmented VP9 streams where the alt-ref frame
510 was split from its visible counterpart.
511
512 @section vp9_superframe_split
513
514 Split VP9 superframes into single frames.
515
516 @section vp9_raw_reorder
517
518 Given a VP9 stream with correct timestamps but possibly out of order,
519 insert additional show-existing-frame packets to correct the ordering.
520
521 @c man end BITSTREAM FILTERS