cavsdec: fix qp fixed slice handling
[ffmpeg.git] / libavcodec / huffman.c
1 /*
2  * Copyright (c) 2006 Konstantin Shishkov
3  * Copyright (c) 2007 Loren Merritt
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * huffman tree builder and VLC generator
25  */
26
27 #include <stdint.h>
28
29 #include "avcodec.h"
30 #include "get_bits.h"
31 #include "huffman.h"
32
33 /* symbol for Huffman tree node */
34 #define HNODE -1
35
36 typedef struct {
37     uint64_t val;
38     int name;
39 } HeapElem;
40
41 static void heap_sift(HeapElem *h, int root, int size)
42 {
43     while (root * 2 + 1 < size) {
44         int child = root * 2 + 1;
45         if (child < size - 1 && h[child].val > h[child+1].val)
46             child++;
47         if (h[root].val > h[child].val) {
48             FFSWAP(HeapElem, h[root], h[child]);
49             root = child;
50         } else
51             break;
52     }
53 }
54
55 int ff_huff_gen_len_table(uint8_t *dst, const uint64_t *stats, int size)
56 {
57     HeapElem *h  = av_malloc_array(sizeof(*h), size);
58     int *up      = av_malloc_array(sizeof(*up) * 2, size);
59     uint8_t *len = av_malloc_array(sizeof(*len) * 2, size);
60     int offset, i, next;
61     int ret = 0;
62
63     if (!h || !up || !len) {
64         ret = AVERROR(ENOMEM);
65         goto end;
66     }
67
68     for (offset = 1; ; offset <<= 1) {
69         for (i=0; i < size; i++) {
70             h[i].name = i;
71             h[i].val = (stats[i] << 14) + offset;
72         }
73         for (i = size / 2 - 1; i >= 0; i--)
74             heap_sift(h, i, size);
75
76         for (next = size; next < size * 2 - 1; next++) {
77             // merge the two smallest entries, and put it back in the heap
78             uint64_t min1v = h[0].val;
79             up[h[0].name] = next;
80             h[0].val = INT64_MAX;
81             heap_sift(h, 0, size);
82             up[h[0].name] = next;
83             h[0].name = next;
84             h[0].val += min1v;
85             heap_sift(h, 0, size);
86         }
87
88         len[2 * size - 2] = 0;
89         for (i = 2 * size - 3; i >= size; i--)
90             len[i] = len[up[i]] + 1;
91         for (i = 0; i < size; i++) {
92             dst[i] = len[up[i]] + 1;
93             if (dst[i] >= 32) break;
94         }
95         if (i==size) break;
96     }
97 end:
98     av_free(h);
99     av_free(up);
100     av_free(len);
101     return ret;
102 }
103
104 static void get_tree_codes(uint32_t *bits, int16_t *lens, uint8_t *xlat,
105                            Node *nodes, int node,
106                            uint32_t pfx, int pl, int *pos, int no_zero_count)
107 {
108     int s;
109
110     s = nodes[node].sym;
111     if (s != HNODE || (no_zero_count && !nodes[node].count)) {
112         bits[*pos] = pfx;
113         lens[*pos] = pl;
114         xlat[*pos] = s;
115         (*pos)++;
116     } else {
117         pfx <<= 1;
118         pl++;
119         get_tree_codes(bits, lens, xlat, nodes, nodes[node].n0, pfx, pl,
120                        pos, no_zero_count);
121         pfx |= 1;
122         get_tree_codes(bits, lens, xlat, nodes, nodes[node].n0 + 1, pfx, pl,
123                        pos, no_zero_count);
124     }
125 }
126
127 static int build_huff_tree(VLC *vlc, Node *nodes, int head, int flags, int nb_bits)
128 {
129     int no_zero_count = !(flags & FF_HUFFMAN_FLAG_ZERO_COUNT);
130     uint32_t bits[256];
131     int16_t lens[256];
132     uint8_t xlat[256];
133     int pos = 0;
134
135     get_tree_codes(bits, lens, xlat, nodes, head, 0, 0,
136                    &pos, no_zero_count);
137     return ff_init_vlc_sparse(vlc, nb_bits, pos, lens, 2, 2, bits, 4, 4, xlat, 1, 1, 0);
138 }
139
140
141 /**
142  * nodes size must be 2*nb_codes
143  * first nb_codes nodes.count must be set
144  */
145 int ff_huff_build_tree(AVCodecContext *avctx, VLC *vlc, int nb_codes, int nb_bits,
146                        Node *nodes, HuffCmp cmp, int flags)
147 {
148     int i, j;
149     int cur_node;
150     int64_t sum = 0;
151
152     for (i = 0; i < nb_codes; i++) {
153         nodes[i].sym = i;
154         nodes[i].n0 = -2;
155         sum += nodes[i].count;
156     }
157
158     if (sum >> 31) {
159         av_log(avctx, AV_LOG_ERROR,
160                "Too high symbol frequencies. "
161                "Tree construction is not possible\n");
162         return -1;
163     }
164     qsort(nodes, nb_codes, sizeof(Node), cmp);
165     cur_node = nb_codes;
166     nodes[nb_codes*2-1].count = 0;
167     for (i = 0; i < nb_codes * 2 - 1; i += 2) {
168         uint32_t cur_count = nodes[i].count + nodes[i+1].count;
169         // find correct place to insert new node, and
170         // make space for the new node while at it
171         for(j = cur_node; j > i + 2; j--){
172             if(cur_count > nodes[j-1].count ||
173                (cur_count == nodes[j-1].count &&
174                 !(flags & FF_HUFFMAN_FLAG_HNODE_FIRST)))
175                 break;
176             nodes[j] = nodes[j - 1];
177         }
178         nodes[j].sym = HNODE;
179         nodes[j].count = cur_count;
180         nodes[j].n0 = i;
181         cur_node++;
182     }
183     if (build_huff_tree(vlc, nodes, nb_codes * 2 - 2, flags, nb_bits) < 0) {
184         av_log(avctx, AV_LOG_ERROR, "Error building tree\n");
185         return -1;
186     }
187     return 0;
188 }