861013da87917019450b6b2dc43f73bb339c6c5c
[ffmpeg.git] / mt-work / todo.txt
1 Todo
2
3 -- For other people
4 - Multithread vc1.
5 - Multithread an intra codec like mjpeg (trivial).
6 - Fix mpeg1 (see below).
7 - Try the first three items under Optimization.
8 - Fix h264 (see below).
9 - Try mpeg4 (see below).
10
11 -- Bug fixes
12
13 General critical:
14 - Error resilience has to run before ff_report_frame_progress()
15 is called. Otherwise there will be race conditions. (This might already
16 work.) In general testing error paths should be done more.
17 - 'make fate THREADS=2' doesn't pass. Most failures are due to
18 bugs in vsync in ffmpeg.c, which are currently obscuring real failures.
19
20 h264:
21 - Files that aren't parsed (e.g. mp4) and contain PAFF with two
22 field pictures in the same packet are not optimal. Modify the
23 nals_needed check so that the second field's first slice is
24 considered as needed, then uncomment the FIXME code in decode_postinit.
25 Ex: http://astrange.ithinksw.net/ffmpeg/mt-samples/PAFF-Chalet-Tire.mp4
26 - The code added to shorten frame gaps (to avoid allocating more than 16 new frames)
27 appears to be wrong by inspection. It does not handle prev_frame_num > frame_num,
28 and "h->frame_num - h->sps.ref_frame_count - 1" should be "h->frame_num - h->sps.ref_frame_count".
29
30 mpeg4:
31 - Packed B-frames need to be explicitly split up
32 when frame threading is on. It's not very fast
33 without this.
34 - The buffer age optimization is disabled due to
35 the way buffers are allocated across threads. The
36 branch 'fix_buffer_age' has an attempt to fix it
37 which breaks ffplay.
38 - Support interlaced.
39
40 mpeg1/2:
41 - Seeking always prints "first frame not a keyframe"
42 with threads on. Currently disabled for this reason.
43
44 -- Prove correct
45
46 - decode_update_progress() in h264.c
47 race_checking branch has some work on h264,
48 but not that function. It might be worth putting
49 the branch under #ifdef DEBUG in mainline, but
50 the code would have to be cleaner.
51 - MPV_lowest_referenced_row() and co in mpegvideo.c
52 - Same in vp3.
53
54 -- Optimization
55
56 - Merge h264 decode_update_progress() with loop_filter().
57 Add CODEC_CAP_DRAW_HORIZ_BAND as a side effect.
58 - EMU_EDGE is always set for h264 PAFF+MT
59 because draw_edges() writes into the other field's
60 thread's pixels. Needs an option to skip T/B fields.
61 - Check update_thread_context() functions and make
62 sure they only copy what they need to.
63 - Try some more optimization of the "ref < 48; ref++"
64 loop in h264.c await_references(), try turning the list0/list1 check
65 above into a loop without being slower.
66 - Support frame+slice threading at the same time
67 by assigning slice_count threads for frame threads
68 to use with execute(). This is simpler but unbalanced
69 if only one frame thread uses any.
70
71 -- Features
72
73 - Support streams with width/height changing. This
74 requires flushing all current frames (and buffering
75 the input in the meantime), closing the codec and
76 reopening it. Or don't support it.
77 - Support encoding. Might need more threading primitives
78 for good ratecontrol; would be nice for audio and libavfilter too.
79 - Async decoding part 1: instead of trying to
80 start every thread at the beginning, return a picture
81 if the earliest thread is already done, but don't wait
82 for it. Not sure what effect this would have.
83 - Part 2: have an API that doesn't wait for the decoding
84 thread, only returns EAGAIN if it's not ready. What will
85 it do with the next input packet if it returns that?
86 - Have an API that returns finished pictures but doesn't
87 require sending new ones. Maybe allow NULL avpkt when
88 not at the end of the stream.
89
90 -- Samples
91
92 http://astrange.ithinksw.net/ffmpeg/mt-samples/
93
94 See yuvcmp.c in this directory to compare decoded samples.
95
96 For debugging, try commenting out ff_thread_finish_setup calls so
97 that only one thread runs at once, and then binary search+
98 scatter printfs to look for differences in codec contexts.