Check allocations on init.
[ffmpeg.git] / libavcodec / indeo3.c
1 /*
2  * Intel Indeo 3 (IV31, IV32, etc.) video decoder for ffmpeg
3  * written, produced, and directed by Alan Smithee
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <unistd.h>
26
27 #include "avcodec.h"
28 #include "dsputil.h"
29 #include "bytestream.h"
30
31 #include "indeo3data.h"
32
33 typedef struct
34 {
35   uint8_t *Ybuf;
36   uint8_t *Ubuf;
37   uint8_t *Vbuf;
38   uint8_t *the_buf;
39   unsigned int the_buf_size;
40   unsigned short y_w, y_h;
41   unsigned short uv_w, uv_h;
42 } YUVBufs;
43
44 typedef struct Indeo3DecodeContext {
45     AVCodecContext *avctx;
46     int width, height;
47     AVFrame frame;
48
49     YUVBufs iv_frame[2];
50     YUVBufs *cur_frame;
51     YUVBufs *ref_frame;
52
53     uint8_t *ModPred;
54     uint8_t *corrector_type;
55 } Indeo3DecodeContext;
56
57 static const uint8_t corrector_type_0[24] = {
58   195, 159, 133, 115, 101,  93,  87,  77,
59   195, 159, 133, 115, 101,  93,  87,  77,
60   128,  79,  79,  79,  79,  79,  79,  79
61 };
62
63 static const uint8_t corrector_type_2[8] = { 9, 7, 6, 8, 5, 4, 3, 2 };
64
65 static av_cold int build_modpred(Indeo3DecodeContext *s)
66 {
67   int i, j;
68
69   if (!(s->ModPred = av_malloc(8 * 128)))
70     return AVERROR(ENOMEM);
71
72   for (i=0; i < 128; ++i) {
73     s->ModPred[i+0*128] = i >  126 ? 254 : 2*(i + 1 - ((i + 1) % 2));
74     s->ModPred[i+1*128] = i ==   7 ?  20 :
75                           i == 119 ||
76                           i == 120 ? 236 : 2*(i + 2 - ((i + 1) % 3));
77     s->ModPred[i+2*128] = i >  125 ? 248 : 2*(i + 2 - ((i + 2) % 4));
78     s->ModPred[i+3*128] =                  2*(i + 1 - ((i - 3) % 5));
79     s->ModPred[i+4*128] = i ==   8 ?  20 : 2*(i + 1 - ((i - 3) % 6));
80     s->ModPred[i+5*128] =                  2*(i + 4 - ((i + 3) % 7));
81     s->ModPred[i+6*128] = i >  123 ? 240 : 2*(i + 4 - ((i + 4) % 8));
82     s->ModPred[i+7*128] =                  2*(i + 5 - ((i + 4) % 9));
83   }
84
85   if (!(s->corrector_type = av_malloc(24 * 256)))
86     return AVERROR(ENOMEM);
87
88   for (i=0; i < 24; ++i) {
89     for (j=0; j < 256; ++j) {
90       s->corrector_type[i*256+j] = j < corrector_type_0[i]          ? 1 :
91                                    j < 248 || (i == 16 && j == 248) ? 0 :
92                                    corrector_type_2[j - 248];
93     }
94   }
95
96   return 0;
97 }
98
99 static void iv_Decode_Chunk(Indeo3DecodeContext *s, uint8_t *cur,
100   uint8_t *ref, int width, int height, const uint8_t *buf1,
101   long fflags2, const uint8_t *hdr,
102   const uint8_t *buf2, int min_width_160);
103
104 /* ---------------------------------------------------------------------- */
105 static av_cold int iv_alloc_frames(Indeo3DecodeContext *s)
106 {
107   int luma_width, luma_height, luma_pixels, chroma_width, chroma_height,
108       chroma_pixels, i;
109   unsigned int bufsize;
110
111   luma_width   = (s->width  + 3) & (~3);
112   luma_height  = (s->height + 3) & (~3);
113
114   s->iv_frame[0].y_w = s->iv_frame[0].y_h =
115     s->iv_frame[0].the_buf_size = 0;
116   s->iv_frame[1].y_w = s->iv_frame[1].y_h =
117     s->iv_frame[1].the_buf_size = 0;
118   s->iv_frame[1].the_buf = NULL;
119
120   chroma_width  = ((luma_width >> 2) + 3) & (~3);
121   chroma_height = ((luma_height>> 2) + 3) & (~3);
122   luma_pixels = luma_width * luma_height;
123   chroma_pixels = chroma_width * chroma_height;
124
125   bufsize = luma_pixels * 2 + luma_width * 3 +
126     (chroma_pixels + chroma_width) * 4;
127
128   if(!(s->iv_frame[0].the_buf = av_malloc(bufsize)))
129     return AVERROR(ENOMEM);
130   s->iv_frame[0].y_w = s->iv_frame[1].y_w = luma_width;
131   s->iv_frame[0].y_h = s->iv_frame[1].y_h = luma_height;
132   s->iv_frame[0].uv_w = s->iv_frame[1].uv_w = chroma_width;
133   s->iv_frame[0].uv_h = s->iv_frame[1].uv_h = chroma_height;
134   s->iv_frame[0].the_buf_size = bufsize;
135
136   s->iv_frame[0].Ybuf = s->iv_frame[0].the_buf + luma_width;
137   i = luma_pixels + luma_width * 2;
138   s->iv_frame[1].Ybuf = s->iv_frame[0].the_buf + i;
139   i += (luma_pixels + luma_width);
140   s->iv_frame[0].Ubuf = s->iv_frame[0].the_buf + i;
141   i += (chroma_pixels + chroma_width);
142   s->iv_frame[1].Ubuf = s->iv_frame[0].the_buf + i;
143   i += (chroma_pixels + chroma_width);
144   s->iv_frame[0].Vbuf = s->iv_frame[0].the_buf + i;
145   i += (chroma_pixels + chroma_width);
146   s->iv_frame[1].Vbuf = s->iv_frame[0].the_buf + i;
147
148   for(i = 1; i <= luma_width; i++)
149     s->iv_frame[0].Ybuf[-i] = s->iv_frame[1].Ybuf[-i] =
150       s->iv_frame[0].Ubuf[-i] = 0x80;
151
152   for(i = 1; i <= chroma_width; i++) {
153     s->iv_frame[1].Ubuf[-i] = 0x80;
154     s->iv_frame[0].Vbuf[-i] = 0x80;
155     s->iv_frame[1].Vbuf[-i] = 0x80;
156     s->iv_frame[1].Vbuf[chroma_pixels+i-1] = 0x80;
157   }
158
159   return 0;
160 }
161
162 /* ---------------------------------------------------------------------- */
163 static av_cold void iv_free_func(Indeo3DecodeContext *s)
164 {
165   int i;
166
167   for(i = 0 ; i < 2 ; i++) {
168     if(s->iv_frame[i].the_buf != NULL)
169       av_free(s->iv_frame[i].the_buf);
170     s->iv_frame[i].Ybuf = s->iv_frame[i].Ubuf =
171       s->iv_frame[i].Vbuf = NULL;
172     s->iv_frame[i].the_buf = NULL;
173     s->iv_frame[i].the_buf_size = 0;
174     s->iv_frame[i].y_w = s->iv_frame[i].y_h = 0;
175     s->iv_frame[i].uv_w = s->iv_frame[i].uv_h = 0;
176   }
177
178   av_free(s->ModPred);
179   av_free(s->corrector_type);
180 }
181
182 /* ---------------------------------------------------------------------- */
183 static unsigned long iv_decode_frame(Indeo3DecodeContext *s,
184                                      const uint8_t *buf, int buf_size)
185 {
186   unsigned int hdr_width, hdr_height,
187     chroma_width, chroma_height;
188   unsigned long fflags1, fflags2, fflags3, offs1, offs2, offs3, offs;
189   const uint8_t *hdr_pos, *buf_pos;
190
191   buf_pos = buf;
192   buf_pos += 18;
193
194   fflags1 = bytestream_get_le16(&buf_pos);
195   fflags3 = bytestream_get_le32(&buf_pos);
196   fflags2 = *buf_pos++;
197   buf_pos += 3;
198   hdr_height = bytestream_get_le16(&buf_pos);
199   hdr_width  = bytestream_get_le16(&buf_pos);
200
201   if(avcodec_check_dimensions(NULL, hdr_width, hdr_height))
202       return -1;
203
204   chroma_height = ((hdr_height >> 2) + 3) & 0x7ffc;
205   chroma_width = ((hdr_width >> 2) + 3) & 0x7ffc;
206   offs1 = bytestream_get_le32(&buf_pos);
207   offs2 = bytestream_get_le32(&buf_pos);
208   offs3 = bytestream_get_le32(&buf_pos);
209   buf_pos += 4;
210   hdr_pos = buf_pos;
211   if(fflags3 == 0x80) return 4;
212
213   if(fflags1 & 0x200) {
214     s->cur_frame = s->iv_frame + 1;
215     s->ref_frame = s->iv_frame;
216   } else {
217     s->cur_frame = s->iv_frame;
218     s->ref_frame = s->iv_frame + 1;
219   }
220
221   buf_pos = buf + 16 + offs1;
222   offs = bytestream_get_le32(&buf_pos);
223
224   iv_Decode_Chunk(s, s->cur_frame->Ybuf, s->ref_frame->Ybuf, hdr_width,
225     hdr_height, buf_pos + offs * 2, fflags2, hdr_pos, buf_pos,
226     FFMIN(hdr_width, 160));
227
228   if (!(s->avctx->flags & CODEC_FLAG_GRAY))
229   {
230
231   buf_pos = buf + 16 + offs2;
232   offs = bytestream_get_le32(&buf_pos);
233
234   iv_Decode_Chunk(s, s->cur_frame->Vbuf, s->ref_frame->Vbuf, chroma_width,
235     chroma_height, buf_pos + offs * 2, fflags2, hdr_pos, buf_pos,
236     FFMIN(chroma_width, 40));
237
238   buf_pos = buf + 16 + offs3;
239   offs = bytestream_get_le32(&buf_pos);
240
241   iv_Decode_Chunk(s, s->cur_frame->Ubuf, s->ref_frame->Ubuf, chroma_width,
242     chroma_height, buf_pos + offs * 2, fflags2, hdr_pos, buf_pos,
243     FFMIN(chroma_width, 40));
244
245   }
246
247   return 8;
248 }
249
250 typedef struct {
251   long xpos;
252   long ypos;
253   long width;
254   long height;
255   long split_flag;
256   long split_direction;
257   long usl7;
258 } ustr_t;
259
260 /* ---------------------------------------------------------------------- */
261
262 #define LV1_CHECK(buf1,rle_v3,lv1,lp2)  \
263   if((lv1 & 0x80) != 0) {   \
264     if(rle_v3 != 0)         \
265       rle_v3 = 0;           \
266     else {                  \
267       rle_v3 = 1;           \
268       buf1 -= 2;            \
269     }                       \
270   }                         \
271   lp2 = 4;
272
273
274 #define RLE_V3_CHECK(buf1,rle_v1,rle_v2,rle_v3)  \
275   if(rle_v3 == 0) {         \
276     rle_v2 = *buf1;         \
277     rle_v1 = 1;             \
278     if(rle_v2 > 32) {       \
279       rle_v2 -= 32;         \
280       rle_v1 = 0;           \
281     }                       \
282     rle_v3 = 1;             \
283   }                         \
284   buf1--;
285
286
287 #define LP2_CHECK(buf1,rle_v3,lp2)  \
288   if(lp2 == 0 && rle_v3 != 0)     \
289     rle_v3 = 0;           \
290   else {                  \
291     buf1--;               \
292     rle_v3 = 1;           \
293   }
294
295
296 #define RLE_V2_CHECK(buf1,rle_v2, rle_v3,lp2) \
297   rle_v2--;             \
298   if(rle_v2 == 0) {     \
299     rle_v3 = 0;         \
300     buf1 += 2;          \
301   }                     \
302   lp2 = 4;
303
304 static void iv_Decode_Chunk(Indeo3DecodeContext *s,
305   uint8_t *cur, uint8_t *ref, int width, int height,
306   const uint8_t *buf1, long fflags2, const uint8_t *hdr,
307   const uint8_t *buf2, int min_width_160)
308 {
309   uint8_t bit_buf;
310   unsigned long bit_pos, lv, lv1, lv2;
311   long *width_tbl, width_tbl_arr[10];
312   const signed char *ref_vectors;
313   uint8_t *cur_frm_pos, *ref_frm_pos, *cp, *cp2;
314   uint32_t *cur_lp, *ref_lp;
315   const uint32_t *correction_lp[2], *correctionloworder_lp[2], *correctionhighorder_lp[2];
316   uint8_t *correction_type_sp[2];
317   ustr_t strip_tbl[20], *strip;
318   int i, j, k, lp1, lp2, flag1, cmd, blks_width, blks_height, region_160_width,
319     rle_v1, rle_v2, rle_v3;
320   unsigned short res;
321
322   bit_buf = 0;
323   ref_vectors = NULL;
324
325   width_tbl = width_tbl_arr + 1;
326   i = (width < 0 ? width + 3 : width)/4;
327   for(j = -1; j < 8; j++)
328     width_tbl[j] = i * j;
329
330   strip = strip_tbl;
331
332   for(region_160_width = 0; region_160_width < (width - min_width_160); region_160_width += min_width_160);
333
334   strip->ypos = strip->xpos = 0;
335   for(strip->width = min_width_160; width > strip->width; strip->width *= 2);
336   strip->height = height;
337   strip->split_direction = 0;
338   strip->split_flag = 0;
339   strip->usl7 = 0;
340
341   bit_pos = 0;
342
343   rle_v1 = rle_v2 = rle_v3 = 0;
344
345   while(strip >= strip_tbl) {
346     if(bit_pos <= 0) {
347       bit_pos = 8;
348       bit_buf = *buf1++;
349     }
350
351     bit_pos -= 2;
352     cmd = (bit_buf >> bit_pos) & 0x03;
353
354     if(cmd == 0) {
355       strip++;
356       memcpy(strip, strip-1, sizeof(ustr_t));
357       strip->split_flag = 1;
358       strip->split_direction = 0;
359       strip->height = (strip->height > 8 ? ((strip->height+8)>>4)<<3 : 4);
360       continue;
361     } else if(cmd == 1) {
362       strip++;
363       memcpy(strip, strip-1, sizeof(ustr_t));
364       strip->split_flag = 1;
365       strip->split_direction = 1;
366       strip->width = (strip->width > 8 ? ((strip->width+8)>>4)<<3 : 4);
367       continue;
368     } else if(cmd == 2) {
369       if(strip->usl7 == 0) {
370         strip->usl7 = 1;
371         ref_vectors = NULL;
372         continue;
373       }
374     } else if(cmd == 3) {
375       if(strip->usl7 == 0) {
376         strip->usl7 = 1;
377         ref_vectors = (const signed char*)buf2 + (*buf1 * 2);
378         buf1++;
379         continue;
380       }
381     }
382
383     cur_frm_pos = cur + width * strip->ypos + strip->xpos;
384
385     if((blks_width = strip->width) < 0)
386       blks_width += 3;
387     blks_width >>= 2;
388     blks_height = strip->height;
389
390     if(ref_vectors != NULL) {
391       ref_frm_pos = ref + (ref_vectors[0] + strip->ypos) * width +
392         ref_vectors[1] + strip->xpos;
393     } else
394       ref_frm_pos = cur_frm_pos - width_tbl[4];
395
396     if(cmd == 2) {
397       if(bit_pos <= 0) {
398         bit_pos = 8;
399         bit_buf = *buf1++;
400       }
401
402       bit_pos -= 2;
403       cmd = (bit_buf >> bit_pos) & 0x03;
404
405       if(cmd == 0 || ref_vectors != NULL) {
406         for(lp1 = 0; lp1 < blks_width; lp1++) {
407           for(i = 0, j = 0; i < blks_height; i++, j += width_tbl[1])
408             ((uint32_t *)cur_frm_pos)[j] = ((uint32_t *)ref_frm_pos)[j];
409           cur_frm_pos += 4;
410           ref_frm_pos += 4;
411         }
412       } else if(cmd != 1)
413         return;
414     } else {
415       k = *buf1 >> 4;
416       j = *buf1 & 0x0f;
417       buf1++;
418       lv = j + fflags2;
419
420       if((lv - 8) <= 7 && (k == 0 || k == 3 || k == 10)) {
421         cp2 = s->ModPred + ((lv - 8) << 7);
422         cp = ref_frm_pos;
423         for(i = 0; i < blks_width << 2; i++) {
424             int v = *cp >> 1;
425             *(cp++) = cp2[v];
426         }
427       }
428
429       if(k == 1 || k == 4) {
430         lv = (hdr[j] & 0xf) + fflags2;
431         correction_type_sp[0] = s->corrector_type + (lv << 8);
432         correction_lp[0] = correction + (lv << 8);
433         lv = (hdr[j] >> 4) + fflags2;
434         correction_lp[1] = correction + (lv << 8);
435         correction_type_sp[1] = s->corrector_type + (lv << 8);
436       } else {
437         correctionloworder_lp[0] = correctionloworder_lp[1] = correctionloworder + (lv << 8);
438         correctionhighorder_lp[0] = correctionhighorder_lp[1] = correctionhighorder + (lv << 8);
439         correction_type_sp[0] = correction_type_sp[1] = s->corrector_type + (lv << 8);
440         correction_lp[0] = correction_lp[1] = correction + (lv << 8);
441       }
442
443       switch(k) {
444         case 1:
445         case 0:                    /********** CASE 0 **********/
446           for( ; blks_height > 0; blks_height -= 4) {
447             for(lp1 = 0; lp1 < blks_width; lp1++) {
448               for(lp2 = 0; lp2 < 4; ) {
449                 k = *buf1++;
450                 cur_lp = ((uint32_t *)cur_frm_pos) + width_tbl[lp2];
451                 ref_lp = ((uint32_t *)ref_frm_pos) + width_tbl[lp2];
452
453                 switch(correction_type_sp[0][k]) {
454                   case 0:
455                     *cur_lp = le2me_32(((le2me_32(*ref_lp) >> 1) + correction_lp[lp2 & 0x01][k]) << 1);
456                     lp2++;
457                     break;
458                   case 1:
459                     res = ((le2me_16(((unsigned short *)(ref_lp))[0]) >> 1) + correction_lp[lp2 & 0x01][*buf1]) << 1;
460                     ((unsigned short *)cur_lp)[0] = le2me_16(res);
461                     res = ((le2me_16(((unsigned short *)(ref_lp))[1]) >> 1) + correction_lp[lp2 & 0x01][k]) << 1;
462                     ((unsigned short *)cur_lp)[1] = le2me_16(res);
463                     buf1++;
464                     lp2++;
465                     break;
466                   case 2:
467                     if(lp2 == 0) {
468                       for(i = 0, j = 0; i < 2; i++, j += width_tbl[1])
469                         cur_lp[j] = ref_lp[j];
470                       lp2 += 2;
471                     }
472                     break;
473                   case 3:
474                     if(lp2 < 2) {
475                       for(i = 0, j = 0; i < (3 - lp2); i++, j += width_tbl[1])
476                         cur_lp[j] = ref_lp[j];
477                       lp2 = 3;
478                     }
479                     break;
480                   case 8:
481                     if(lp2 == 0) {
482                       RLE_V3_CHECK(buf1,rle_v1,rle_v2,rle_v3)
483
484                       if(rle_v1 == 1 || ref_vectors != NULL) {
485                         for(i = 0, j = 0; i < 4; i++, j += width_tbl[1])
486                           cur_lp[j] = ref_lp[j];
487                       }
488
489                       RLE_V2_CHECK(buf1,rle_v2, rle_v3,lp2)
490                       break;
491                     } else {
492                       rle_v1 = 1;
493                       rle_v2 = *buf1 - 1;
494                     }
495                   case 5:
496                       LP2_CHECK(buf1,rle_v3,lp2)
497                   case 4:
498                     for(i = 0, j = 0; i < (4 - lp2); i++, j += width_tbl[1])
499                       cur_lp[j] = ref_lp[j];
500                     lp2 = 4;
501                     break;
502
503                   case 7:
504                     if(rle_v3 != 0)
505                       rle_v3 = 0;
506                     else {
507                       buf1--;
508                       rle_v3 = 1;
509                     }
510                   case 6:
511                     if(ref_vectors != NULL) {
512                       for(i = 0, j = 0; i < 4; i++, j += width_tbl[1])
513                         cur_lp[j] = ref_lp[j];
514                     }
515                     lp2 = 4;
516                     break;
517
518                   case 9:
519                     lv1 = *buf1++;
520                     lv = (lv1 & 0x7F) << 1;
521                     lv += (lv << 8);
522                     lv += (lv << 16);
523                     for(i = 0, j = 0; i < 4; i++, j += width_tbl[1])
524                       cur_lp[j] = lv;
525
526                     LV1_CHECK(buf1,rle_v3,lv1,lp2)
527                     break;
528                   default:
529                     return;
530                 }
531               }
532
533               cur_frm_pos += 4;
534               ref_frm_pos += 4;
535             }
536
537             cur_frm_pos += ((width - blks_width) * 4);
538             ref_frm_pos += ((width - blks_width) * 4);
539           }
540           break;
541
542         case 4:
543         case 3:                    /********** CASE 3 **********/
544           if(ref_vectors != NULL)
545             return;
546           flag1 = 1;
547
548           for( ; blks_height > 0; blks_height -= 8) {
549             for(lp1 = 0; lp1 < blks_width; lp1++) {
550               for(lp2 = 0; lp2 < 4; ) {
551                 k = *buf1++;
552
553                 cur_lp = ((uint32_t *)cur_frm_pos) + width_tbl[lp2 * 2];
554                 ref_lp = ((uint32_t *)cur_frm_pos) + width_tbl[(lp2 * 2) - 1];
555
556                 switch(correction_type_sp[lp2 & 0x01][k]) {
557                   case 0:
558                     cur_lp[width_tbl[1]] = le2me_32(((le2me_32(*ref_lp) >> 1) + correction_lp[lp2 & 0x01][k]) << 1);
559                     if(lp2 > 0 || flag1 == 0 || strip->ypos != 0)
560                       cur_lp[0] = ((cur_lp[-width_tbl[1]] >> 1) + (cur_lp[width_tbl[1]] >> 1)) & 0xFEFEFEFE;
561                     else
562                       cur_lp[0] = le2me_32(((le2me_32(*ref_lp) >> 1) + correction_lp[lp2 & 0x01][k]) << 1);
563                     lp2++;
564                     break;
565
566                   case 1:
567                     res = ((le2me_16(((unsigned short *)ref_lp)[0]) >> 1) + correction_lp[lp2 & 0x01][*buf1]) << 1;
568                     ((unsigned short *)cur_lp)[width_tbl[2]] = le2me_16(res);
569                     res = ((le2me_16(((unsigned short *)ref_lp)[1]) >> 1) + correction_lp[lp2 & 0x01][k]) << 1;
570                     ((unsigned short *)cur_lp)[width_tbl[2]+1] = le2me_16(res);
571
572                     if(lp2 > 0 || flag1 == 0 || strip->ypos != 0)
573                       cur_lp[0] = ((cur_lp[-width_tbl[1]] >> 1) + (cur_lp[width_tbl[1]] >> 1)) & 0xFEFEFEFE;
574                     else
575                       cur_lp[0] = cur_lp[width_tbl[1]];
576                     buf1++;
577                     lp2++;
578                     break;
579
580                   case 2:
581                     if(lp2 == 0) {
582                       for(i = 0, j = 0; i < 4; i++, j += width_tbl[1])
583                         cur_lp[j] = *ref_lp;
584                       lp2 += 2;
585                     }
586                     break;
587
588                   case 3:
589                     if(lp2 < 2) {
590                       for(i = 0, j = 0; i < 6 - (lp2 * 2); i++, j += width_tbl[1])
591                         cur_lp[j] = *ref_lp;
592                       lp2 = 3;
593                     }
594                     break;
595
596                   case 6:
597                     lp2 = 4;
598                     break;
599
600                   case 7:
601                     if(rle_v3 != 0)
602                       rle_v3 = 0;
603                     else {
604                       buf1--;
605                       rle_v3 = 1;
606                     }
607                     lp2 = 4;
608                     break;
609
610                   case 8:
611                     if(lp2 == 0) {
612                       RLE_V3_CHECK(buf1,rle_v1,rle_v2,rle_v3)
613
614                       if(rle_v1 == 1) {
615                         for(i = 0, j = 0; i < 8; i++, j += width_tbl[1])
616                           cur_lp[j] = ref_lp[j];
617                       }
618
619                       RLE_V2_CHECK(buf1,rle_v2, rle_v3,lp2)
620                       break;
621                     } else {
622                       rle_v2 = (*buf1) - 1;
623                       rle_v1 = 1;
624                     }
625                   case 5:
626                       LP2_CHECK(buf1,rle_v3,lp2)
627                   case 4:
628                     for(i = 0, j = 0; i < 8 - (lp2 * 2); i++, j += width_tbl[1])
629                       cur_lp[j] = *ref_lp;
630                     lp2 = 4;
631                     break;
632
633                   case 9:
634                     av_log(s->avctx, AV_LOG_ERROR, "UNTESTED.\n");
635                     lv1 = *buf1++;
636                     lv = (lv1 & 0x7F) << 1;
637                     lv += (lv << 8);
638                     lv += (lv << 16);
639
640                     for(i = 0, j = 0; i < 4; i++, j += width_tbl[1])
641                       cur_lp[j] = lv;
642
643                     LV1_CHECK(buf1,rle_v3,lv1,lp2)
644                     break;
645
646                   default:
647                     return;
648                 }
649               }
650
651               cur_frm_pos += 4;
652             }
653
654             cur_frm_pos += (((width * 2) - blks_width) * 4);
655             flag1 = 0;
656           }
657           break;
658
659         case 10:                    /********** CASE 10 **********/
660           if(ref_vectors == NULL) {
661             flag1 = 1;
662
663             for( ; blks_height > 0; blks_height -= 8) {
664               for(lp1 = 0; lp1 < blks_width; lp1 += 2) {
665                 for(lp2 = 0; lp2 < 4; ) {
666                   k = *buf1++;
667                   cur_lp = ((uint32_t *)cur_frm_pos) + width_tbl[lp2 * 2];
668                   ref_lp = ((uint32_t *)cur_frm_pos) + width_tbl[(lp2 * 2) - 1];
669                   lv1 = ref_lp[0];
670                   lv2 = ref_lp[1];
671                   if(lp2 == 0 && flag1 != 0) {
672 #ifdef WORDS_BIGENDIAN
673                     lv1 = lv1 & 0xFF00FF00;
674                     lv1 = (lv1 >> 8) | lv1;
675                     lv2 = lv2 & 0xFF00FF00;
676                     lv2 = (lv2 >> 8) | lv2;
677 #else
678                     lv1 = lv1 & 0x00FF00FF;
679                     lv1 = (lv1 << 8) | lv1;
680                     lv2 = lv2 & 0x00FF00FF;
681                     lv2 = (lv2 << 8) | lv2;
682 #endif
683                   }
684
685                   switch(correction_type_sp[lp2 & 0x01][k]) {
686                     case 0:
687                       cur_lp[width_tbl[1]] = le2me_32(((le2me_32(lv1) >> 1) + correctionloworder_lp[lp2 & 0x01][k]) << 1);
688                       cur_lp[width_tbl[1]+1] = le2me_32(((le2me_32(lv2) >> 1) + correctionhighorder_lp[lp2 & 0x01][k]) << 1);
689                       if(lp2 > 0 || strip->ypos != 0 || flag1 == 0) {
690                         cur_lp[0] = ((cur_lp[-width_tbl[1]] >> 1) + (cur_lp[width_tbl[1]] >> 1)) & 0xFEFEFEFE;
691                         cur_lp[1] = ((cur_lp[-width_tbl[1]+1] >> 1) + (cur_lp[width_tbl[1]+1] >> 1)) & 0xFEFEFEFE;
692                       } else {
693                         cur_lp[0] = cur_lp[width_tbl[1]];
694                         cur_lp[1] = cur_lp[width_tbl[1]+1];
695                       }
696                       lp2++;
697                       break;
698
699                     case 1:
700                       cur_lp[width_tbl[1]] = le2me_32(((le2me_32(lv1) >> 1) + correctionloworder_lp[lp2 & 0x01][*buf1]) << 1);
701                       cur_lp[width_tbl[1]+1] = le2me_32(((le2me_32(lv2) >> 1) + correctionloworder_lp[lp2 & 0x01][k]) << 1);
702                       if(lp2 > 0 || strip->ypos != 0 || flag1 == 0) {
703                         cur_lp[0] = ((cur_lp[-width_tbl[1]] >> 1) + (cur_lp[width_tbl[1]] >> 1)) & 0xFEFEFEFE;
704                         cur_lp[1] = ((cur_lp[-width_tbl[1]+1] >> 1) + (cur_lp[width_tbl[1]+1] >> 1)) & 0xFEFEFEFE;
705                       } else {
706                         cur_lp[0] = cur_lp[width_tbl[1]];
707                         cur_lp[1] = cur_lp[width_tbl[1]+1];
708                       }
709                       buf1++;
710                       lp2++;
711                       break;
712
713                     case 2:
714                       if(lp2 == 0) {
715                         if(flag1 != 0) {
716                           for(i = 0, j = width_tbl[1]; i < 3; i++, j += width_tbl[1]) {
717                             cur_lp[j] = lv1;
718                             cur_lp[j+1] = lv2;
719                           }
720                           cur_lp[0] = ((cur_lp[-width_tbl[1]] >> 1) + (cur_lp[width_tbl[1]] >> 1)) & 0xFEFEFEFE;
721                           cur_lp[1] = ((cur_lp[-width_tbl[1]+1] >> 1) + (cur_lp[width_tbl[1]+1] >> 1)) & 0xFEFEFEFE;
722                         } else {
723                           for(i = 0, j = 0; i < 4; i++, j += width_tbl[1]) {
724                             cur_lp[j] = lv1;
725                             cur_lp[j+1] = lv2;
726                           }
727                         }
728                         lp2 += 2;
729                       }
730                       break;
731
732                     case 3:
733                       if(lp2 < 2) {
734                         if(lp2 == 0 && flag1 != 0) {
735                           for(i = 0, j = width_tbl[1]; i < 5; i++, j += width_tbl[1]) {
736                             cur_lp[j] = lv1;
737                             cur_lp[j+1] = lv2;
738                           }
739                           cur_lp[0] = ((cur_lp[-width_tbl[1]] >> 1) + (cur_lp[width_tbl[1]] >> 1)) & 0xFEFEFEFE;
740                           cur_lp[1] = ((cur_lp[-width_tbl[1]+1] >> 1) + (cur_lp[width_tbl[1]+1] >> 1)) & 0xFEFEFEFE;
741                         } else {
742                           for(i = 0, j = 0; i < 6 - (lp2 * 2); i++, j += width_tbl[1]) {
743                             cur_lp[j] = lv1;
744                             cur_lp[j+1] = lv2;
745                           }
746                         }
747                         lp2 = 3;
748                       }
749                       break;
750
751                     case 8:
752                       if(lp2 == 0) {
753                         RLE_V3_CHECK(buf1,rle_v1,rle_v2,rle_v3)
754                         if(rle_v1 == 1) {
755                           if(flag1 != 0) {
756                             for(i = 0, j = width_tbl[1]; i < 7; i++, j += width_tbl[1]) {
757                               cur_lp[j] = lv1;
758                               cur_lp[j+1] = lv2;
759                             }
760                             cur_lp[0] = ((cur_lp[-width_tbl[1]] >> 1) + (cur_lp[width_tbl[1]] >> 1)) & 0xFEFEFEFE;
761                             cur_lp[1] = ((cur_lp[-width_tbl[1]+1] >> 1) + (cur_lp[width_tbl[1]+1] >> 1)) & 0xFEFEFEFE;
762                           } else {
763                             for(i = 0, j = 0; i < 8; i++, j += width_tbl[1]) {
764                               cur_lp[j] = lv1;
765                               cur_lp[j+1] = lv2;
766                             }
767                           }
768                         }
769                         RLE_V2_CHECK(buf1,rle_v2, rle_v3,lp2)
770                         break;
771                       } else {
772                         rle_v1 = 1;
773                         rle_v2 = (*buf1) - 1;
774                       }
775                     case 5:
776                         LP2_CHECK(buf1,rle_v3,lp2)
777                     case 4:
778                       if(lp2 == 0 && flag1 != 0) {
779                         for(i = 0, j = width_tbl[1]; i < 7; i++, j += width_tbl[1]) {
780                           cur_lp[j] = lv1;
781                           cur_lp[j+1] = lv2;
782                         }
783                         cur_lp[0] = ((cur_lp[-width_tbl[1]] >> 1) + (cur_lp[width_tbl[1]] >> 1)) & 0xFEFEFEFE;
784                         cur_lp[1] = ((cur_lp[-width_tbl[1]+1] >> 1) + (cur_lp[width_tbl[1]+1] >> 1)) & 0xFEFEFEFE;
785                       } else {
786                         for(i = 0, j = 0; i < 8 - (lp2 * 2); i++, j += width_tbl[1]) {
787                           cur_lp[j] = lv1;
788                           cur_lp[j+1] = lv2;
789                         }
790                       }
791                       lp2 = 4;
792                       break;
793
794                     case 6:
795                       lp2 = 4;
796                       break;
797
798                     case 7:
799                       if(lp2 == 0) {
800                         if(rle_v3 != 0)
801                           rle_v3 = 0;
802                         else {
803                           buf1--;
804                           rle_v3 = 1;
805                         }
806                         lp2 = 4;
807                       }
808                       break;
809
810                     case 9:
811                       av_log(s->avctx, AV_LOG_ERROR, "UNTESTED.\n");
812                       lv1 = *buf1;
813                       lv = (lv1 & 0x7F) << 1;
814                       lv += (lv << 8);
815                       lv += (lv << 16);
816                       for(i = 0, j = 0; i < 8; i++, j += width_tbl[1])
817                         cur_lp[j] = lv;
818                       LV1_CHECK(buf1,rle_v3,lv1,lp2)
819                       break;
820
821                     default:
822                       return;
823                   }
824                 }
825
826                 cur_frm_pos += 8;
827               }
828
829               cur_frm_pos += (((width * 2) - blks_width) * 4);
830               flag1 = 0;
831             }
832           } else {
833             for( ; blks_height > 0; blks_height -= 8) {
834               for(lp1 = 0; lp1 < blks_width; lp1 += 2) {
835                 for(lp2 = 0; lp2 < 4; ) {
836                   k = *buf1++;
837                   cur_lp = ((uint32_t *)cur_frm_pos) + width_tbl[lp2 * 2];
838                   ref_lp = ((uint32_t *)ref_frm_pos) + width_tbl[lp2 * 2];
839
840                   switch(correction_type_sp[lp2 & 0x01][k]) {
841                     case 0:
842                       lv1 = correctionloworder_lp[lp2 & 0x01][k];
843                       lv2 = correctionhighorder_lp[lp2 & 0x01][k];
844                       cur_lp[0] = le2me_32(((le2me_32(ref_lp[0]) >> 1) + lv1) << 1);
845                       cur_lp[1] = le2me_32(((le2me_32(ref_lp[1]) >> 1) + lv2) << 1);
846                       cur_lp[width_tbl[1]] = le2me_32(((le2me_32(ref_lp[width_tbl[1]]) >> 1) + lv1) << 1);
847                       cur_lp[width_tbl[1]+1] = le2me_32(((le2me_32(ref_lp[width_tbl[1]+1]) >> 1) + lv2) << 1);
848                       lp2++;
849                       break;
850
851                     case 1:
852                       lv1 = correctionloworder_lp[lp2 & 0x01][*buf1++];
853                       lv2 = correctionloworder_lp[lp2 & 0x01][k];
854                       cur_lp[0] = le2me_32(((le2me_32(ref_lp[0]) >> 1) + lv1) << 1);
855                       cur_lp[1] = le2me_32(((le2me_32(ref_lp[1]) >> 1) + lv2) << 1);
856                       cur_lp[width_tbl[1]] = le2me_32(((le2me_32(ref_lp[width_tbl[1]]) >> 1) + lv1) << 1);
857                       cur_lp[width_tbl[1]+1] = le2me_32(((le2me_32(ref_lp[width_tbl[1]+1]) >> 1) + lv2) << 1);
858                       lp2++;
859                       break;
860
861                     case 2:
862                       if(lp2 == 0) {
863                         for(i = 0, j = 0; i < 4; i++, j += width_tbl[1]) {
864                           cur_lp[j] = ref_lp[j];
865                           cur_lp[j+1] = ref_lp[j+1];
866                         }
867                         lp2 += 2;
868                       }
869                       break;
870
871                     case 3:
872                       if(lp2 < 2) {
873                         for(i = 0, j = 0; i < 6 - (lp2 * 2); i++, j += width_tbl[1]) {
874                           cur_lp[j] = ref_lp[j];
875                           cur_lp[j+1] = ref_lp[j+1];
876                         }
877                         lp2 = 3;
878                       }
879                       break;
880
881                     case 8:
882                       if(lp2 == 0) {
883                         RLE_V3_CHECK(buf1,rle_v1,rle_v2,rle_v3)
884                         for(i = 0, j = 0; i < 8; i++, j += width_tbl[1]) {
885                           ((uint32_t *)cur_frm_pos)[j] = ((uint32_t *)ref_frm_pos)[j];
886                           ((uint32_t *)cur_frm_pos)[j+1] = ((uint32_t *)ref_frm_pos)[j+1];
887                         }
888                         RLE_V2_CHECK(buf1,rle_v2, rle_v3,lp2)
889                         break;
890                       } else {
891                         rle_v1 = 1;
892                         rle_v2 = (*buf1) - 1;
893                       }
894                     case 5:
895                     case 7:
896                         LP2_CHECK(buf1,rle_v3,lp2)
897                     case 6:
898                     case 4:
899                       for(i = 0, j = 0; i < 8 - (lp2 * 2); i++, j += width_tbl[1]) {
900                         cur_lp[j] = ref_lp[j];
901                         cur_lp[j+1] = ref_lp[j+1];
902                       }
903                       lp2 = 4;
904                       break;
905
906                     case 9:
907                       av_log(s->avctx, AV_LOG_ERROR, "UNTESTED.\n");
908                       lv1 = *buf1;
909                       lv = (lv1 & 0x7F) << 1;
910                       lv += (lv << 8);
911                       lv += (lv << 16);
912                       for(i = 0, j = 0; i < 8; i++, j += width_tbl[1])
913                         ((uint32_t *)cur_frm_pos)[j] = ((uint32_t *)cur_frm_pos)[j+1] = lv;
914                       LV1_CHECK(buf1,rle_v3,lv1,lp2)
915                       break;
916
917                     default:
918                       return;
919                   }
920                 }
921
922                 cur_frm_pos += 8;
923                 ref_frm_pos += 8;
924               }
925
926               cur_frm_pos += (((width * 2) - blks_width) * 4);
927               ref_frm_pos += (((width * 2) - blks_width) * 4);
928             }
929           }
930           break;
931
932         case 11:                    /********** CASE 11 **********/
933           if(ref_vectors == NULL)
934             return;
935
936           for( ; blks_height > 0; blks_height -= 8) {
937             for(lp1 = 0; lp1 < blks_width; lp1++) {
938               for(lp2 = 0; lp2 < 4; ) {
939                 k = *buf1++;
940                 cur_lp = ((uint32_t *)cur_frm_pos) + width_tbl[lp2 * 2];
941                 ref_lp = ((uint32_t *)ref_frm_pos) + width_tbl[lp2 * 2];
942
943                 switch(correction_type_sp[lp2 & 0x01][k]) {
944                   case 0:
945                     cur_lp[0] = le2me_32(((le2me_32(*ref_lp) >> 1) + correction_lp[lp2 & 0x01][k]) << 1);
946                     cur_lp[width_tbl[1]] = le2me_32(((le2me_32(ref_lp[width_tbl[1]]) >> 1) + correction_lp[lp2 & 0x01][k]) << 1);
947                     lp2++;
948                     break;
949
950                   case 1:
951                     lv1 = (unsigned short)(correction_lp[lp2 & 0x01][*buf1++]);
952                     lv2 = (unsigned short)(correction_lp[lp2 & 0x01][k]);
953                     res = (unsigned short)(((le2me_16(((unsigned short *)ref_lp)[0]) >> 1) + lv1) << 1);
954                     ((unsigned short *)cur_lp)[0] = le2me_16(res);
955                     res = (unsigned short)(((le2me_16(((unsigned short *)ref_lp)[1]) >> 1) + lv2) << 1);
956                     ((unsigned short *)cur_lp)[1] = le2me_16(res);
957                     res = (unsigned short)(((le2me_16(((unsigned short *)ref_lp)[width_tbl[2]]) >> 1) + lv1) << 1);
958                     ((unsigned short *)cur_lp)[width_tbl[2]] = le2me_16(res);
959                     res = (unsigned short)(((le2me_16(((unsigned short *)ref_lp)[width_tbl[2]+1]) >> 1) + lv2) << 1);
960                     ((unsigned short *)cur_lp)[width_tbl[2]+1] = le2me_16(res);
961                     lp2++;
962                     break;
963
964                   case 2:
965                     if(lp2 == 0) {
966                       for(i = 0, j = 0; i < 4; i++, j += width_tbl[1])
967                         cur_lp[j] = ref_lp[j];
968                       lp2 += 2;
969                     }
970                     break;
971
972                   case 3:
973                     if(lp2 < 2) {
974                       for(i = 0, j = 0; i < 6 - (lp2 * 2); i++, j += width_tbl[1])
975                         cur_lp[j] = ref_lp[j];
976                       lp2 = 3;
977                     }
978                     break;
979
980                   case 8:
981                     if(lp2 == 0) {
982                       RLE_V3_CHECK(buf1,rle_v1,rle_v2,rle_v3)
983
984                       for(i = 0, j = 0; i < 8; i++, j += width_tbl[1])
985                         cur_lp[j] = ref_lp[j];
986
987                       RLE_V2_CHECK(buf1,rle_v2, rle_v3,lp2)
988                       break;
989                     } else {
990                       rle_v1 = 1;
991                       rle_v2 = (*buf1) - 1;
992                     }
993                   case 5:
994                   case 7:
995                       LP2_CHECK(buf1,rle_v3,lp2)
996                   case 4:
997                   case 6:
998                     for(i = 0, j = 0; i < 8 - (lp2 * 2); i++, j += width_tbl[1])
999                       cur_lp[j] = ref_lp[j];
1000                     lp2 = 4;
1001                     break;
1002
1003                 case 9:
1004                   av_log(s->avctx, AV_LOG_ERROR, "UNTESTED.\n");
1005                   lv1 = *buf1++;
1006                   lv = (lv1 & 0x7F) << 1;
1007                   lv += (lv << 8);
1008                   lv += (lv << 16);
1009                   for(i = 0, j = 0; i < 4; i++, j += width_tbl[1])
1010                     cur_lp[j] = lv;
1011                   LV1_CHECK(buf1,rle_v3,lv1,lp2)
1012                   break;
1013
1014                   default:
1015                     return;
1016                 }
1017               }
1018
1019               cur_frm_pos += 4;
1020               ref_frm_pos += 4;
1021             }
1022
1023             cur_frm_pos += (((width * 2) - blks_width) * 4);
1024             ref_frm_pos += (((width * 2) - blks_width) * 4);
1025           }
1026           break;
1027
1028         default:
1029           return;
1030       }
1031     }
1032
1033     if(strip < strip_tbl)
1034       return;
1035
1036     for( ; strip >= strip_tbl; strip--) {
1037       if(strip->split_flag != 0) {
1038         strip->split_flag = 0;
1039         strip->usl7 = (strip-1)->usl7;
1040
1041         if(strip->split_direction) {
1042           strip->xpos += strip->width;
1043           strip->width = (strip-1)->width - strip->width;
1044           if(region_160_width <= strip->xpos && width < strip->width + strip->xpos)
1045             strip->width = width - strip->xpos;
1046         } else {
1047           strip->ypos += strip->height;
1048           strip->height = (strip-1)->height - strip->height;
1049         }
1050         break;
1051       }
1052     }
1053   }
1054 }
1055
1056 static av_cold int indeo3_decode_init(AVCodecContext *avctx)
1057 {
1058     Indeo3DecodeContext *s = avctx->priv_data;
1059     int ret = 0;
1060
1061     s->avctx = avctx;
1062     s->width = avctx->width;
1063     s->height = avctx->height;
1064     avctx->pix_fmt = PIX_FMT_YUV410P;
1065
1066     if (!(ret = build_modpred(s)))
1067       ret = iv_alloc_frames(s);
1068     if (ret)
1069       iv_free_func(s);
1070
1071     return ret;
1072 }
1073
1074 static int indeo3_decode_frame(AVCodecContext *avctx,
1075                                void *data, int *data_size,
1076                                const uint8_t *buf, int buf_size)
1077 {
1078     Indeo3DecodeContext *s=avctx->priv_data;
1079     uint8_t *src, *dest;
1080     int y;
1081
1082     iv_decode_frame(s, buf, buf_size);
1083
1084     if(s->frame.data[0])
1085         avctx->release_buffer(avctx, &s->frame);
1086
1087     s->frame.reference = 0;
1088     if(avctx->get_buffer(avctx, &s->frame) < 0) {
1089         av_log(s->avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1090         return -1;
1091     }
1092
1093     src = s->cur_frame->Ybuf;
1094     dest = s->frame.data[0];
1095     for (y = 0; y < s->height; y++) {
1096       memcpy(dest, src, s->cur_frame->y_w);
1097       src += s->cur_frame->y_w;
1098       dest += s->frame.linesize[0];
1099     }
1100
1101     if (!(s->avctx->flags & CODEC_FLAG_GRAY))
1102     {
1103     src = s->cur_frame->Ubuf;
1104     dest = s->frame.data[1];
1105     for (y = 0; y < s->height / 4; y++) {
1106       memcpy(dest, src, s->cur_frame->uv_w);
1107       src += s->cur_frame->uv_w;
1108       dest += s->frame.linesize[1];
1109     }
1110
1111     src = s->cur_frame->Vbuf;
1112     dest = s->frame.data[2];
1113     for (y = 0; y < s->height / 4; y++) {
1114       memcpy(dest, src, s->cur_frame->uv_w);
1115       src += s->cur_frame->uv_w;
1116       dest += s->frame.linesize[2];
1117     }
1118     }
1119
1120     *data_size=sizeof(AVFrame);
1121     *(AVFrame*)data= s->frame;
1122
1123     return buf_size;
1124 }
1125
1126 static av_cold int indeo3_decode_end(AVCodecContext *avctx)
1127 {
1128     Indeo3DecodeContext *s = avctx->priv_data;
1129
1130     iv_free_func(s);
1131
1132     return 0;
1133 }
1134
1135 AVCodec indeo3_decoder = {
1136     "indeo3",
1137     CODEC_TYPE_VIDEO,
1138     CODEC_ID_INDEO3,
1139     sizeof(Indeo3DecodeContext),
1140     indeo3_decode_init,
1141     NULL,
1142     indeo3_decode_end,
1143     indeo3_decode_frame,
1144     0,
1145     NULL,
1146     .long_name = NULL_IF_CONFIG_SMALL("Intel Indeo 3"),
1147 };