lavc/vp9: split into vp9{block,data,mvs}
[ffmpeg.git] / libavcodec / vp9prob.c
1 /*
2  * VP9 compatible video decoder
3  *
4  * Copyright (C) 2013 Ronald S. Bultje <rsbultje gmail com>
5  * Copyright (C) 2013 Clément Bœsch <u pkh me>
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 #include "vp56.h"
25 #include "vp9.h"
26 #include "vp9data.h"
27
28 static av_always_inline void adapt_prob(uint8_t *p, unsigned ct0, unsigned ct1,
29                                         int max_count, int update_factor)
30 {
31     unsigned ct = ct0 + ct1, p2, p1;
32
33     if (!ct)
34         return;
35
36     update_factor = FASTDIV(update_factor * FFMIN(ct, max_count), max_count);
37     p1 = *p;
38     p2 = ((((int64_t) ct0) << 8) + (ct >> 1)) / ct;
39     p2 = av_clip(p2, 1, 255);
40
41     // (p1 * (256 - update_factor) + p2 * update_factor + 128) >> 8
42     *p = p1 + (((p2 - p1) * update_factor + 128) >> 8);
43 }
44
45 void ff_vp9_adapt_probs(VP9Context *s)
46 {
47     int i, j, k, l, m;
48     ProbContext *p = &s->prob_ctx[s->s.h.framectxid].p;
49     int uf = (s->s.h.keyframe || s->s.h.intraonly || !s->last_keyframe) ? 112 : 128;
50
51     // coefficients
52     for (i = 0; i < 4; i++)
53         for (j = 0; j < 2; j++)
54             for (k = 0; k < 2; k++)
55                 for (l = 0; l < 6; l++)
56                     for (m = 0; m < 6; m++) {
57                         uint8_t *pp = s->prob_ctx[s->s.h.framectxid].coef[i][j][k][l][m];
58                         unsigned *e = s->counts.eob[i][j][k][l][m];
59                         unsigned *c = s->counts.coef[i][j][k][l][m];
60
61                         if (l == 0 && m >= 3) // dc only has 3 pt
62                             break;
63
64                         adapt_prob(&pp[0], e[0], e[1], 24, uf);
65                         adapt_prob(&pp[1], c[0], c[1] + c[2], 24, uf);
66                         adapt_prob(&pp[2], c[1], c[2], 24, uf);
67                     }
68
69     if (s->s.h.keyframe || s->s.h.intraonly) {
70         memcpy(p->skip,  s->prob.p.skip,  sizeof(p->skip));
71         memcpy(p->tx32p, s->prob.p.tx32p, sizeof(p->tx32p));
72         memcpy(p->tx16p, s->prob.p.tx16p, sizeof(p->tx16p));
73         memcpy(p->tx8p,  s->prob.p.tx8p,  sizeof(p->tx8p));
74         return;
75     }
76
77     // skip flag
78     for (i = 0; i < 3; i++)
79         adapt_prob(&p->skip[i], s->counts.skip[i][0], s->counts.skip[i][1], 20, 128);
80
81     // intra/inter flag
82     for (i = 0; i < 4; i++)
83         adapt_prob(&p->intra[i], s->counts.intra[i][0], s->counts.intra[i][1], 20, 128);
84
85     // comppred flag
86     if (s->s.h.comppredmode == PRED_SWITCHABLE) {
87       for (i = 0; i < 5; i++)
88           adapt_prob(&p->comp[i], s->counts.comp[i][0], s->counts.comp[i][1], 20, 128);
89     }
90
91     // reference frames
92     if (s->s.h.comppredmode != PRED_SINGLEREF) {
93       for (i = 0; i < 5; i++)
94           adapt_prob(&p->comp_ref[i], s->counts.comp_ref[i][0],
95                      s->counts.comp_ref[i][1], 20, 128);
96     }
97
98     if (s->s.h.comppredmode != PRED_COMPREF) {
99       for (i = 0; i < 5; i++) {
100           uint8_t *pp = p->single_ref[i];
101           unsigned (*c)[2] = s->counts.single_ref[i];
102
103           adapt_prob(&pp[0], c[0][0], c[0][1], 20, 128);
104           adapt_prob(&pp[1], c[1][0], c[1][1], 20, 128);
105       }
106     }
107
108     // block partitioning
109     for (i = 0; i < 4; i++)
110         for (j = 0; j < 4; j++) {
111             uint8_t *pp = p->partition[i][j];
112             unsigned *c = s->counts.partition[i][j];
113
114             adapt_prob(&pp[0], c[0], c[1] + c[2] + c[3], 20, 128);
115             adapt_prob(&pp[1], c[1], c[2] + c[3], 20, 128);
116             adapt_prob(&pp[2], c[2], c[3], 20, 128);
117         }
118
119     // tx size
120     if (s->s.h.txfmmode == TX_SWITCHABLE) {
121       for (i = 0; i < 2; i++) {
122           unsigned *c16 = s->counts.tx16p[i], *c32 = s->counts.tx32p[i];
123
124           adapt_prob(&p->tx8p[i], s->counts.tx8p[i][0], s->counts.tx8p[i][1], 20, 128);
125           adapt_prob(&p->tx16p[i][0], c16[0], c16[1] + c16[2], 20, 128);
126           adapt_prob(&p->tx16p[i][1], c16[1], c16[2], 20, 128);
127           adapt_prob(&p->tx32p[i][0], c32[0], c32[1] + c32[2] + c32[3], 20, 128);
128           adapt_prob(&p->tx32p[i][1], c32[1], c32[2] + c32[3], 20, 128);
129           adapt_prob(&p->tx32p[i][2], c32[2], c32[3], 20, 128);
130       }
131     }
132
133     // interpolation filter
134     if (s->s.h.filtermode == FILTER_SWITCHABLE) {
135         for (i = 0; i < 4; i++) {
136             uint8_t *pp = p->filter[i];
137             unsigned *c = s->counts.filter[i];
138
139             adapt_prob(&pp[0], c[0], c[1] + c[2], 20, 128);
140             adapt_prob(&pp[1], c[1], c[2], 20, 128);
141         }
142     }
143
144     // inter modes
145     for (i = 0; i < 7; i++) {
146         uint8_t *pp = p->mv_mode[i];
147         unsigned *c = s->counts.mv_mode[i];
148
149         adapt_prob(&pp[0], c[2], c[1] + c[0] + c[3], 20, 128);
150         adapt_prob(&pp[1], c[0], c[1] + c[3], 20, 128);
151         adapt_prob(&pp[2], c[1], c[3], 20, 128);
152     }
153
154     // mv joints
155     {
156         uint8_t *pp = p->mv_joint;
157         unsigned *c = s->counts.mv_joint;
158
159         adapt_prob(&pp[0], c[0], c[1] + c[2] + c[3], 20, 128);
160         adapt_prob(&pp[1], c[1], c[2] + c[3], 20, 128);
161         adapt_prob(&pp[2], c[2], c[3], 20, 128);
162     }
163
164     // mv components
165     for (i = 0; i < 2; i++) {
166         uint8_t *pp;
167         unsigned *c, (*c2)[2], sum;
168
169         adapt_prob(&p->mv_comp[i].sign, s->counts.mv_comp[i].sign[0],
170                    s->counts.mv_comp[i].sign[1], 20, 128);
171
172         pp = p->mv_comp[i].classes;
173         c = s->counts.mv_comp[i].classes;
174         sum = c[1] + c[2] + c[3] + c[4] + c[5] + c[6] + c[7] + c[8] + c[9] + c[10];
175         adapt_prob(&pp[0], c[0], sum, 20, 128);
176         sum -= c[1];
177         adapt_prob(&pp[1], c[1], sum, 20, 128);
178         sum -= c[2] + c[3];
179         adapt_prob(&pp[2], c[2] + c[3], sum, 20, 128);
180         adapt_prob(&pp[3], c[2], c[3], 20, 128);
181         sum -= c[4] + c[5];
182         adapt_prob(&pp[4], c[4] + c[5], sum, 20, 128);
183         adapt_prob(&pp[5], c[4], c[5], 20, 128);
184         sum -= c[6];
185         adapt_prob(&pp[6], c[6], sum, 20, 128);
186         adapt_prob(&pp[7], c[7] + c[8], c[9] + c[10], 20, 128);
187         adapt_prob(&pp[8], c[7], c[8], 20, 128);
188         adapt_prob(&pp[9], c[9], c[10], 20, 128);
189
190         adapt_prob(&p->mv_comp[i].class0, s->counts.mv_comp[i].class0[0],
191                    s->counts.mv_comp[i].class0[1], 20, 128);
192         pp = p->mv_comp[i].bits;
193         c2 = s->counts.mv_comp[i].bits;
194         for (j = 0; j < 10; j++)
195             adapt_prob(&pp[j], c2[j][0], c2[j][1], 20, 128);
196
197         for (j = 0; j < 2; j++) {
198             pp = p->mv_comp[i].class0_fp[j];
199             c = s->counts.mv_comp[i].class0_fp[j];
200             adapt_prob(&pp[0], c[0], c[1] + c[2] + c[3], 20, 128);
201             adapt_prob(&pp[1], c[1], c[2] + c[3], 20, 128);
202             adapt_prob(&pp[2], c[2], c[3], 20, 128);
203         }
204         pp = p->mv_comp[i].fp;
205         c = s->counts.mv_comp[i].fp;
206         adapt_prob(&pp[0], c[0], c[1] + c[2] + c[3], 20, 128);
207         adapt_prob(&pp[1], c[1], c[2] + c[3], 20, 128);
208         adapt_prob(&pp[2], c[2], c[3], 20, 128);
209
210         if (s->s.h.highprecisionmvs) {
211             adapt_prob(&p->mv_comp[i].class0_hp, s->counts.mv_comp[i].class0_hp[0],
212                        s->counts.mv_comp[i].class0_hp[1], 20, 128);
213             adapt_prob(&p->mv_comp[i].hp, s->counts.mv_comp[i].hp[0],
214                        s->counts.mv_comp[i].hp[1], 20, 128);
215         }
216     }
217
218     // y intra modes
219     for (i = 0; i < 4; i++) {
220         uint8_t *pp = p->y_mode[i];
221         unsigned *c = s->counts.y_mode[i], sum, s2;
222
223         sum = c[0] + c[1] + c[3] + c[4] + c[5] + c[6] + c[7] + c[8] + c[9];
224         adapt_prob(&pp[0], c[DC_PRED], sum, 20, 128);
225         sum -= c[TM_VP8_PRED];
226         adapt_prob(&pp[1], c[TM_VP8_PRED], sum, 20, 128);
227         sum -= c[VERT_PRED];
228         adapt_prob(&pp[2], c[VERT_PRED], sum, 20, 128);
229         s2 = c[HOR_PRED] + c[DIAG_DOWN_RIGHT_PRED] + c[VERT_RIGHT_PRED];
230         sum -= s2;
231         adapt_prob(&pp[3], s2, sum, 20, 128);
232         s2 -= c[HOR_PRED];
233         adapt_prob(&pp[4], c[HOR_PRED], s2, 20, 128);
234         adapt_prob(&pp[5], c[DIAG_DOWN_RIGHT_PRED], c[VERT_RIGHT_PRED], 20, 128);
235         sum -= c[DIAG_DOWN_LEFT_PRED];
236         adapt_prob(&pp[6], c[DIAG_DOWN_LEFT_PRED], sum, 20, 128);
237         sum -= c[VERT_LEFT_PRED];
238         adapt_prob(&pp[7], c[VERT_LEFT_PRED], sum, 20, 128);
239         adapt_prob(&pp[8], c[HOR_DOWN_PRED], c[HOR_UP_PRED], 20, 128);
240     }
241
242     // uv intra modes
243     for (i = 0; i < 10; i++) {
244         uint8_t *pp = p->uv_mode[i];
245         unsigned *c = s->counts.uv_mode[i], sum, s2;
246
247         sum = c[0] + c[1] + c[3] + c[4] + c[5] + c[6] + c[7] + c[8] + c[9];
248         adapt_prob(&pp[0], c[DC_PRED], sum, 20, 128);
249         sum -= c[TM_VP8_PRED];
250         adapt_prob(&pp[1], c[TM_VP8_PRED], sum, 20, 128);
251         sum -= c[VERT_PRED];
252         adapt_prob(&pp[2], c[VERT_PRED], sum, 20, 128);
253         s2 = c[HOR_PRED] + c[DIAG_DOWN_RIGHT_PRED] + c[VERT_RIGHT_PRED];
254         sum -= s2;
255         adapt_prob(&pp[3], s2, sum, 20, 128);
256         s2 -= c[HOR_PRED];
257         adapt_prob(&pp[4], c[HOR_PRED], s2, 20, 128);
258         adapt_prob(&pp[5], c[DIAG_DOWN_RIGHT_PRED], c[VERT_RIGHT_PRED], 20, 128);
259         sum -= c[DIAG_DOWN_LEFT_PRED];
260         adapt_prob(&pp[6], c[DIAG_DOWN_LEFT_PRED], sum, 20, 128);
261         sum -= c[VERT_LEFT_PRED];
262         adapt_prob(&pp[7], c[VERT_LEFT_PRED], sum, 20, 128);
263         adapt_prob(&pp[8], c[HOR_DOWN_PRED], c[HOR_UP_PRED], 20, 128);
264     }
265 }