put b- prefix to libav tests to avoid incorrect ffserver test
[ffmpeg.git] / tests / regression.sh
1 #!/bin/sh
2 #
3 # automatic regression test for ffmpeg
4 #
5 #
6 #set -x
7 # Even in the 21st century some diffs are not supporting -u.
8 diff -u $0 $0 > /dev/null 2>&1
9 if [ $? -eq 0 ]; then
10   diff_cmd="diff -u"
11 else
12   diff_cmd="diff"
13 fi
14
15 set -e
16
17 datadir="./data"
18
19 logfile="$datadir/ffmpeg.regression"
20 outfile="$datadir/a-"
21
22 # tests to do
23 if [ "$1" = "mpeg4" ] ; then
24     do_mpeg4=y
25 elif [ "$1" = "mpeg" ] ; then
26     do_mpeg=y
27 elif [ "$1" = "ac3" ] ; then
28     do_ac3=y
29 elif [ "$1" = "libavtest" ] ; then
30     do_libav=y
31     logfile="$datadir/libav.regression"
32     outfile="$datadir/b-"
33 else
34     do_mpeg=y
35     do_msmpeg4v2=y
36     do_msmpeg4=y
37     do_wmv1=y
38     do_wmv2=y
39     do_h263=y
40     do_h263p=y
41     do_mpeg4=y
42     do_huffyuv=y
43     do_mjpeg=y
44     do_ljpeg=y
45     do_rv10=y
46     do_mp2=y
47     do_ac3=y
48     do_rc=y
49     do_mpeg4adv=y
50     do_mpeg1b=y
51     do_asv1=y
52     do_flv=y
53 fi
54
55
56 # various files
57 ffmpeg="../ffmpeg_g"
58 tiny_psnr="./tiny_psnr"
59 reffile="$2"
60 benchfile="$datadir/ffmpeg.bench"
61 raw_src="$3/%d.pgm"
62 raw_dst="$datadir/out.yuv"
63 raw_ref="$datadir/ref.yuv"
64 pcm_src="asynth1.sw"
65 pcm_dst="$datadir/out.wav"
66
67 # create the data directory if it does not exists
68 mkdir -p $datadir
69
70 do_ffmpeg()
71 {
72     f="$1"
73     shift
74     echo $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 $*
75     $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 -benchmark $* > $datadir/bench.tmp 2> /tmp/ffmpeg$$
76     egrep -v "^(Stream|Press|Input|Output|frame|  Stream)" /tmp/ffmpeg$$ || true
77     rm -f /tmp/ffmpeg$$
78     md5sum -b $f >> $logfile
79     if [ $f = $raw_dst ] ; then
80         $tiny_psnr $f $raw_ref >> $logfile
81     fi
82     expr "`cat $datadir/bench.tmp`" : '.*utime=\(.*s\)' > $datadir/bench2.tmp
83     echo `cat $datadir/bench2.tmp` $f >> $benchfile
84 }
85
86 do_ffmpeg_crc()
87 {
88     f="$1"
89     shift
90     echo $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 $* -f crc $datadir/ffmpeg.crc
91     $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 $* -f crc $datadir/ffmpeg.crc > /tmp/ffmpeg$$ 2>&1
92     egrep -v "^(Stream|Press|Input|Output|frame|  Stream)" /tmp/ffmpeg$$ || true
93     rm -f /tmp/ffmpeg$$ 
94     echo "$f `cat $datadir/ffmpeg.crc`" >> $logfile
95 }
96
97 do_ffmpeg_nocheck()
98 {
99     f="$1"
100     shift
101     echo $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 $*
102     $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 -benchmark $* > $datadir/bench.tmp 2> /tmp/ffmpeg$$
103     egrep -v "^(Stream|Press|Input|Output|frame|  Stream)" /tmp/ffmpeg$$ || true
104     rm -f /tmp/ffmpeg$$
105     expr "`cat $datadir/bench.tmp`" : '.*utime=\(.*s\)' > $datadir/bench2.tmp
106     echo `cat $datadir/bench2.tmp` $f >> $benchfile
107 }
108
109 echo "ffmpeg regression test" > $logfile
110 echo "ffmpeg benchmarks" > $benchfile
111
112 ###################################
113 # generate reference for quality check
114 do_ffmpeg_nocheck $raw_ref -y -f pgmyuv -i $raw_src -an -f rawvideo $raw_ref
115
116 ###################################
117 if [ -n "$do_mpeg" ] ; then
118 # mpeg1 encoding
119 file=${outfile}mpeg1.mpg
120 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -f mpeg1video $file 
121
122 # mpeg1 decoding
123 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst
124
125 # mpeg2 decoding
126 #do_ffmpeg /tmp/out-mpeg2.yuv -y -f mpegvideo -i a.vob \
127 #          -f rawvideo /tmp/out-mpeg2.yuv
128 fi
129
130 ###################################
131 if [ -n "$do_msmpeg4v2" ] ; then
132 # msmpeg4 encoding
133 file=${outfile}msmpeg4v2.avi
134 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec msmpeg4v2 $file
135
136 # msmpeg4v2 decoding
137 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
138 fi
139
140 ###################################
141 if [ -n "$do_msmpeg4" ] ; then
142 # msmpeg4 encoding
143 file=${outfile}msmpeg4.avi
144 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec msmpeg4 $file
145
146 # msmpeg4 decoding
147 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
148 fi
149
150 ###################################
151 if [ -n "$do_wmv1" ] ; then
152 # wmv1 encoding
153 file=${outfile}wmv1.avi
154 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec wmv1 $file
155
156 # wmv1 decoding
157 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
158 fi
159
160 ###################################
161 if [ -n "$do_wmv2" ] ; then
162 # wmv2 encoding
163 file=${outfile}wmv2.avi
164 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec wmv2 $file
165
166 # wmv2 decoding
167 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
168 fi
169
170 ###################################
171 if [ -n "$do_h263" ] ; then
172 # h263 encoding
173 file=${outfile}h263.avi
174 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -s 352x288 -an -vcodec h263 $file
175
176 # h263 decoding
177 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
178 fi
179
180 ###################################
181 if [ -n "$do_h263p" ] ; then
182 # h263p encoding
183 file=${outfile}h263p.avi
184 do_ffmpeg $file -y -qscale 2 -umv -f pgmyuv -i $raw_src -s 352x288 -an -vcodec h263p -ps 300 $file
185
186 # h263p decoding
187 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
188 fi
189
190 ###################################
191 if [ -n "$do_mpeg4" ] ; then
192 # mpeg4
193 file=${outfile}odivx.avi
194 do_ffmpeg $file -y -4mv -qscale 10 -f pgmyuv -i $raw_src -an -vcodec mpeg4 $file
195
196 # mpeg4 decoding
197 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
198 fi
199
200 ###################################
201 if [ -n "$do_huffyuv" ] ; then
202 # huffyuv
203 file=${outfile}huffyuv.avi
204 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec huffyuv -strict -1 $file
205
206 # huffyuv decoding
207 do_ffmpeg $raw_dst -y -i $file -f rawvideo -strict -1 $raw_dst
208 fi
209
210 ###################################
211 if [ -n "$do_rc" ] ; then
212 # mpeg4 rate control
213 file=${outfile}mpeg4-rc.avi
214 do_ffmpeg $file -y -b 400 -bf 2 -f pgmyuv -i $raw_src -an -vcodec mpeg4 $file
215
216 # mpeg4 rate control decoding
217 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
218 fi
219
220 ###################################
221 if [ -n "$do_mpeg4adv" ] ; then
222 # mpeg4
223 file=${outfile}mpeg4-adv.avi
224 do_ffmpeg $file -y -qscale 9 -4mv -hq -part -ps 200 -f pgmyuv -i $raw_src -an -vcodec mpeg4 $file
225
226 # mpeg4 decoding
227 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
228 fi
229
230 ###################################
231 if [ -n "$do_mpeg1b" ] ; then
232 # mpeg1
233 file=${outfile}mpeg1b.mpg
234 do_ffmpeg $file -y -qscale 8 -bf 3 -ps 200 -f pgmyuv -i $raw_src -an -vcodec mpeg1video $file
235
236 # mpeg1 decoding
237 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
238 fi
239
240 ###################################
241 if [ -n "$do_mjpeg" ] ; then
242 # mjpeg
243 file=${outfile}mjpeg.avi
244 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec mjpeg $file
245
246 # mjpeg decoding
247 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
248 fi
249
250 ###################################
251 if [ -n "$do_ljpeg" ] ; then
252 # ljpeg
253 file=${outfile}ljpeg.avi
254 do_ffmpeg $file -y -f pgmyuv -i $raw_src -an -vcodec ljpeg $file
255
256 # ljpeg decoding
257 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
258 fi
259
260 ###################################
261 if [ -n "$do_rv10" ] ; then
262 # rv10 encoding
263 file=${outfile}rv10.rm
264 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an $file 
265
266 # rv10 decoding
267 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
268 fi
269
270 ###################################
271 if [ -n "$do_asv1" ] ; then
272 # asv1 encoding
273 file=${outfile}asv1.avi
274 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec asv1 $file
275
276 # asv1 decoding
277 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
278 fi
279
280 ###################################
281 if [ -n "$do_flv" ] ; then
282 # flv encoding
283 file=${outfile}flv.flv
284 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec flv $file
285
286 # flv decoding
287 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
288 fi
289
290 ###################################
291 if [ -n "$do_mp2" ] ; then
292 # mp2 encoding
293 file=${outfile}mp2.mp2
294 do_ffmpeg $file -y -ab 128 -ac 2 -ar 44100 -f s16le -i $pcm_src $file 
295
296 # mp2 decoding
297 do_ffmpeg $pcm_dst -y -i $file -f wav $pcm_dst 
298 fi
299
300 ###################################
301 if [ -n "$do_ac3" ] ; then
302 # ac3 encoding
303 file=${outfile}ac3.rm
304 do_ffmpeg $file -y -ab 128 -ac 2 -f s16le  -i $pcm_src -vn $file 
305
306 # ac3 decoding
307 #do_ffmpeg $pcm_dst -y -i $file -f wav $pcm_dst 
308 fi
309
310 ###################################
311 # libav testing
312 ###################################
313
314 if [ -n "$do_libav" ] ; then
315
316 # avi
317 file=${outfile}libav.avi
318 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
319 do_ffmpeg_crc $file -i $file
320
321 # asf
322 file=${outfile}libav.asf
323 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
324 do_ffmpeg_crc $file -i $file
325
326 # rm
327 file=${outfile}libav.rm
328 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
329 # broken
330 #do_ffmpeg_crc $file -i $file
331
332 # mpegps
333 file=${outfile}libav.mpg
334 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
335 do_ffmpeg_crc $file -i $file
336
337 # swf (decode audio only)
338 file=${outfile}libav.swf
339 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
340 do_ffmpeg_crc $file -i $file
341
342 # ffm
343 file=${outfile}libav.ffm
344 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
345 do_ffmpeg_crc $file -i $file
346
347 # flv
348 file=${outfile}libav.flv
349 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
350 do_ffmpeg_crc $file -i $file
351
352 # XXX: need mov and mpegts tests (add bitstreams or add output capability in ffmpeg)
353
354 ####################
355 # streamed images
356 # mjpeg
357 #file=${outfile}libav.mjpeg
358 #do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src $file
359 #do_ffmpeg_crc $file -i $file
360
361 # pbmpipe
362 file=${outfile}libav.pbm
363 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f imagepipe $file
364 do_ffmpeg_crc $file -f imagepipe -i $file
365
366 # pgmpipe
367 file=${outfile}libav.pgm
368 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f imagepipe $file
369 do_ffmpeg_crc $file -f imagepipe -i $file
370
371 # ppmpipe
372 file=${outfile}libav.ppm
373 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f imagepipe $file
374 do_ffmpeg_crc $file -f imagepipe -i $file
375
376 # gif
377 file=${outfile}libav.gif
378 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src $file
379 #do_ffmpeg_crc $file -i $file
380
381 # yuv4mpeg
382 file=${outfile}libav.yuv4mpeg
383 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src $file
384 #do_ffmpeg_crc $file -i $file
385
386 ####################
387 # image formats
388 # pgm (we do not do md5 on image files yet)
389 file=${outfile}libav%d.pgm
390 $ffmpeg -t 0.5 -y -qscale 10 -f pgmyuv -i $raw_src $file
391 do_ffmpeg_crc $file -i $file
392
393 # ppm (we do not do md5 on image files yet)
394 file=${outfile}libav%d.ppm
395 $ffmpeg -t 0.5 -y -qscale 10 -f pgmyuv -i $raw_src $file
396 do_ffmpeg_crc $file -i $file
397
398 # jpeg (we do not do md5 on image files yet)
399 #file=${outfile}libav%d.jpg
400 #$ffmpeg -t 0.5 -y -qscale 10 -f pgmyuv -i $raw_src $file
401 #do_ffmpeg_crc $file -i $file
402
403 ####################
404 # audio only
405
406 # wav
407 file=${outfile}libav.wav
408 do_ffmpeg $file -t 1 -y -qscale 10 -f s16le -i $pcm_src $file
409 do_ffmpeg_crc $file -i $file
410
411 # alaw
412 file=${outfile}libav.al
413 do_ffmpeg $file -t 1 -y -qscale 10 -f s16le -i $pcm_src $file
414 do_ffmpeg_crc $file -i $file
415
416 # mulaw
417 file=${outfile}libav.ul
418 do_ffmpeg $file -t 1 -y -qscale 10 -f s16le -i $pcm_src $file
419 do_ffmpeg_crc $file -i $file
420
421 # au
422 file=${outfile}libav.au
423 do_ffmpeg $file -t 1 -y -qscale 10 -f s16le -i $pcm_src $file
424 do_ffmpeg_crc $file -i $file
425
426 ####################
427 # pix_fmt conversions
428 conversions="yuv420p yuv422p yuv444p yuv422 yuv410p yuv411p yuvj420p \
429              yuvj422p yuvj444p rgb24 bgr24 rgba32 rgb565 rgb555 gray monow \
430              monob pal8"
431 for pix_fmt in $conversions ; do
432     file=${outfile}libav-${pix_fmt}.yuv
433     do_ffmpeg_nocheck $file -r 1 -t 1 -y -f pgmyuv -i $raw_src \
434                             -f rawvideo -s 352x288 -pix_fmt $pix_fmt $raw_dst
435     do_ffmpeg $file -f rawvideo -s 352x288 -pix_fmt $pix_fmt -i $raw_dst \
436                     -f rawvideo -s 352x288 -pix_fmt yuv444p $file
437 done
438
439 fi
440
441
442
443 if $diff_cmd $logfile $reffile ; then
444     echo 
445     echo Regression test succeeded.
446     exit 0
447 else
448     echo 
449     echo Regression test: Error.
450     exit 1
451 fi