Re-Add support for PNG or PNM as watermark images, which was broken
[ffmpeg.git] / vhook / fish.c
1 /*
2  * Fish Detector Hook
3  * Copyright (c) 2002 Philip Gladstone
4  *
5  * This file implements a fish detector. It is used to see when a
6  * goldfish passes in front of the camera. It does this by counting
7  * the number of input pixels that fall within a particular HSV
8  * range.
9  *
10  * It takes a multitude of arguments:
11  *
12  * -h <num>-<num>    the range of H values that are fish
13  * -s <num>-<num>    the range of S values that are fish
14  * -v <num>-<num>    the range of V values that are fish
15  * -z                zap all non-fish values to black
16  * -l <num>          limit the number of saved files to <num>
17  * -i <num>          only check frames every <num> seconds
18  * -t <num>          the threshold for the amount of fish pixels (range 0-1)
19  * -d                turn debugging on
20  * -D <directory>    where to put the fish images
21  *
22  * This library is free software; you can redistribute it and/or
23  * modify it under the terms of the GNU Lesser General Public
24  * License as published by the Free Software Foundation; either
25  * version 2 of the License, or (at your option) any later version.
26  *
27  * This library is distributed in the hope that it will be useful,
28  * but WITHOUT ANY WARRANTY; without even the implied warranty of
29  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
30  * Lesser General Public License for more details.
31  *
32  * You should have received a copy of the GNU Lesser General Public
33  * License along with this library; if not, write to the Free Software
34  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
35  */
36 #include <stdlib.h>
37 #include <fcntl.h>
38 #include <unistd.h>
39 #include <stdarg.h>
40 #include <string.h>
41 #include <time.h>
42 #include <stdio.h>
43 #include <dirent.h>
44
45 #include "framehook.h"
46 #include "dsputil.h"
47 #include "avformat.h"
48 #include "swscale.h"
49
50 static int sws_flags = SWS_BICUBIC;
51
52 #define SCALEBITS 10
53 #define ONE_HALF  (1 << (SCALEBITS - 1))
54 #define FIX(x)    ((int) ((x) * (1<<SCALEBITS) + 0.5))
55
56 #define YUV_TO_RGB1_CCIR(cb1, cr1)\
57 {\
58     cb = (cb1) - 128;\
59     cr = (cr1) - 128;\
60     r_add = FIX(1.40200*255.0/224.0) * cr + ONE_HALF;\
61     g_add = - FIX(0.34414*255.0/224.0) * cb - FIX(0.71414*255.0/224.0) * cr + \
62                     ONE_HALF;\
63     b_add = FIX(1.77200*255.0/224.0) * cb + ONE_HALF;\
64 }
65
66 #define YUV_TO_RGB2_CCIR(r, g, b, y1)\
67 {\
68     yt = ((y1) - 16) * FIX(255.0/219.0);\
69     r = cm[(yt + r_add) >> SCALEBITS];\
70     g = cm[(yt + g_add) >> SCALEBITS];\
71     b = cm[(yt + b_add) >> SCALEBITS];\
72 }
73
74
75
76
77 typedef struct {
78     int h;  /* 0 .. 360 */
79     int s;  /* 0 .. 255 */
80     int v;  /* 0 .. 255 */
81 } HSV;
82
83 typedef struct {
84     int zapping;
85     int threshold;
86     HSV dark, bright;
87     char *dir;
88     int file_limit;
89     int debug;
90     int min_interval;
91     int64_t next_pts;
92     int inset;
93     int min_width;
94     struct SwsContext *toRGB_convert_ctx;
95     enum PixelFormat sws_pix_fmt;   // Sws_Context is opaque, we need to save
96     int sws_width, sws_height;      // this to check if we can re-use contexts
97 } ContextInfo;
98
99 static void dorange(const char *s, int *first, int *second, int maxval)
100 {
101     sscanf(s, "%d-%d", first, second);
102     if (*first > maxval)
103         *first = maxval;
104     if (*second > maxval)
105         *second = maxval;
106 }
107
108 void Release(void *ctx)
109 {
110     ContextInfo *ci;
111     ci = (ContextInfo *) ctx;
112
113     if (ctx) {
114         sws_freeContext(ci->toRGB_convert_ctx);
115         av_free(ctx);
116     }
117 }
118
119 int Configure(void **ctxp, int argc, char *argv[])
120 {
121     ContextInfo *ci;
122     int c;
123
124     *ctxp = av_mallocz(sizeof(ContextInfo));
125     ci = (ContextInfo *) *ctxp;
126
127     optind = 0;
128
129     ci->dir = "/tmp";
130     ci->threshold = 100;
131     ci->file_limit = 100;
132     ci->min_interval = 1000000;
133     ci->inset = 10;     /* Percent */
134
135     while ((c = getopt(argc, argv, "w:i:dh:s:v:zl:t:D:")) > 0) {
136         switch (c) {
137             case 'h':
138                 dorange(optarg, &ci->dark.h, &ci->bright.h, 360);
139                 break;
140             case 's':
141                 dorange(optarg, &ci->dark.s, &ci->bright.s, 255);
142                 break;
143             case 'v':
144                 dorange(optarg, &ci->dark.v, &ci->bright.v, 255);
145                 break;
146             case 'z':
147                 ci->zapping = 1;
148                 break;
149             case 'l':
150                 ci->file_limit = atoi(optarg);
151                 break;
152             case 'i':
153                 ci->min_interval = 1000000 * atof(optarg);
154                 break;
155             case 't':
156                 ci->threshold = atof(optarg) * 1000;
157                 if (ci->threshold > 1000 || ci->threshold < 0) {
158                     fprintf(stderr, "Invalid threshold value '%s' (range is 0-1)\n", optarg);
159                     return -1;
160                 }
161                 break;
162             case 'w':
163                 ci->min_width = atoi(optarg);
164                 break;
165             case 'd':
166                 ci->debug++;
167                 break;
168             case 'D':
169                 ci->dir = av_strdup(optarg);
170                 break;
171             default:
172                 fprintf(stderr, "Unrecognized argument '%s'\n", argv[optind]);
173                 return -1;
174         }
175     }
176
177     fprintf(stderr, "Fish detector configured:\n");
178     fprintf(stderr, "    HSV range: %d,%d,%d - %d,%d,%d\n",
179                         ci->dark.h,
180                         ci->dark.s,
181                         ci->dark.v,
182                         ci->bright.h,
183                         ci->bright.s,
184                         ci->bright.v);
185     fprintf(stderr, "    Threshold is %d%% pixels\n", ci->threshold / 10);
186
187
188     return 0;
189 }
190
191 static void get_hsv(HSV *hsv, int r, int g, int b)
192 {
193     int i, v, x, f;
194
195     x = (r < g) ? r : g;
196     if (b < x)
197         x = b;
198     v = (r > g) ? r : g;
199     if (b > v)
200         v = b;
201
202     if (v == x) {
203         hsv->h = 0;
204         hsv->s = 0;
205         hsv->v = v;
206         return;
207     }
208
209     if (r == v) {
210         f = g - b;
211         i = 0;
212     } else if (g == v) {
213         f = b - r;
214         i = 2 * 60;
215     } else {
216         f = r - g;
217         i = 4 * 60;
218     }
219
220     hsv->h = i + (60 * f) / (v - x);
221     if (hsv->h < 0)
222         hsv->h += 360;
223
224     hsv->s = (255 * (v - x)) / v;
225     hsv->v = v;
226
227     return;
228 }
229
230 void Process(void *ctx, AVPicture *picture, enum PixelFormat pix_fmt, int width, int height, int64_t pts)
231 {
232     ContextInfo *ci = (ContextInfo *) ctx;
233     uint8_t *cm = cropTbl + MAX_NEG_CROP;
234     int rowsize = picture->linesize[0];
235
236 #if 0
237     printf("pix_fmt = %d, width = %d, pts = %lld, ci->next_pts = %lld\n",
238         pix_fmt, width, pts, ci->next_pts);
239 #endif
240
241     if (pts < ci->next_pts)
242         return;
243
244     if (width < ci->min_width)
245         return;
246
247     ci->next_pts = pts + 1000000;
248
249     if (pix_fmt == PIX_FMT_YUV420P) {
250         uint8_t *y, *u, *v;
251         int width2 = width >> 1;
252         int inrange = 0;
253         int pixcnt;
254         int h;
255         int h_start, h_end;
256         int w_start, w_end;
257
258         h_end = 2 * ((ci->inset * height) / 200);
259         h_start = height - h_end;
260
261         w_end = (ci->inset * width2) / 100;
262         w_start = width2 - w_end;
263
264         pixcnt = ((h_start - h_end) >> 1) * (w_start - w_end);
265
266         y = picture->data[0] + h_end * picture->linesize[0] + w_end * 2;
267         u = picture->data[1] + h_end * picture->linesize[1] / 2 + w_end;
268         v = picture->data[2] + h_end * picture->linesize[2] / 2 + w_end;
269
270         for (h = h_start; h > h_end; h -= 2) {
271             int w;
272
273             for (w = w_start; w > w_end; w--) {
274                 unsigned int r,g,b;
275                 HSV hsv;
276                 int cb, cr, yt, r_add, g_add, b_add;
277
278                 YUV_TO_RGB1_CCIR(u[0], v[0]);
279                 YUV_TO_RGB2_CCIR(r, g, b, y[0]);
280
281                 get_hsv(&hsv, r, g, b);
282
283                 if (ci->debug > 1)
284                     fprintf(stderr, "(%d,%d,%d) -> (%d,%d,%d)\n",
285                         r,g,b,hsv.h,hsv.s,hsv.v);
286
287
288                 if (hsv.h >= ci->dark.h && hsv.h <= ci->bright.h &&
289                     hsv.s >= ci->dark.s && hsv.s <= ci->bright.s &&
290                     hsv.v >= ci->dark.v && hsv.v <= ci->bright.v) {
291                     inrange++;
292                 } else if (ci->zapping) {
293                     y[0] = y[1] = y[rowsize] = y[rowsize + 1] = 16;
294                     u[0] = 128;
295                     v[0] = 128;
296                 }
297
298                 y+= 2;
299                 u++;
300                 v++;
301             }
302
303             y += picture->linesize[0] * 2 - (w_start - w_end) * 2;
304             u += picture->linesize[1] - (w_start - w_end);
305             v += picture->linesize[2] - (w_start - w_end);
306         }
307
308         if (ci->debug)
309             fprintf(stderr, "Fish: Inrange=%d of %d = %d threshold\n", inrange, pixcnt, 1000 * inrange / pixcnt);
310
311         if (inrange * 1000 / pixcnt >= ci->threshold) {
312             /* Save to file */
313             int size;
314             char *buf;
315             AVPicture picture1;
316             static int frame_counter;
317             static int foundfile;
318
319             if ((frame_counter++ % 20) == 0) {
320                 /* Check how many files we have */
321                 DIR *d;
322
323                 foundfile = 0;
324
325                 d = opendir(ci->dir);
326                 if (d) {
327                     struct dirent *dent;
328
329                     while ((dent = readdir(d))) {
330                         if (strncmp("fishimg", dent->d_name, 7) == 0) {
331                             if (strcmp(".ppm", dent->d_name + strlen(dent->d_name) - 4) == 0) {
332                                 foundfile++;
333                             }
334                         }
335                     }
336                     closedir(d);
337                 }
338             }
339
340             if (foundfile < ci->file_limit) {
341                 size = avpicture_get_size(PIX_FMT_RGB24, width, height);
342                 buf = av_malloc(size);
343
344                 avpicture_fill(&picture1, buf, PIX_FMT_RGB24, width, height);
345
346                 // if we already got a SWS context, let's realloc if is not re-useable
347                 if (ci->toRGB_convert_ctx != NULL) {
348                     if ((ci->sws_pix_fmt != pix_fmt) ||
349                          (ci->sws_width != width) || (ci->sws_height != height)) {
350                         sws_freeContext(ci->toRGB_convert_ctx);
351                         ci->toRGB_convert_ctx = NULL;
352                     }
353                 }
354                 if (ci->toRGB_convert_ctx == NULL) {
355                     ci->sws_pix_fmt = pix_fmt;
356                     ci->sws_width = width;
357                     ci->sws_height = height;
358                     ci->toRGB_convert_ctx = sws_getContext(
359                                                      ci->sws_width, ci->sws_height,
360                                                      ci->sws_pix_fmt,
361                                                      ci->sws_width, ci->sws_height,
362                                                      PIX_FMT_RGB24,
363                                                      sws_flags, NULL, NULL, NULL);
364                     if (ci->toRGB_convert_ctx == NULL) {
365                         av_log(NULL, AV_LOG_ERROR,
366                                "Cannot initialize the toRGB conversion context\n");
367                         exit(1);
368                     }
369                 }
370                 // img_convert parameters are          2 first destination, then 4 source
371                 // sws_scale   parameters are context, 4 first source,      then 2 destination
372                 sws_scale(ci->toRGB_convert_ctx,
373                               picture->data, picture->linesize, 0, ci->sws_height,
374                               picture1.data, picture1.linesize);
375
376                     /* Write out the PPM file */
377
378                     FILE *f;
379                     char fname[256];
380
381                     snprintf(fname, sizeof(fname), "%s/fishimg%ld_%"PRId64".ppm", ci->dir, (long)(av_gettime() / 1000000), pts);
382                     f = fopen(fname, "w");
383                     if (f) {
384                         fprintf(f, "P6 %d %d 255\n", width, height);
385                         fwrite(buf, width * height * 3, 1, f);
386                         fclose(f);
387                     }
388
389                 av_free(buf);
390                 ci->next_pts = pts + ci->min_interval;
391             }
392         }
393     }
394 }
395