aes: fix array index out of bounds warning
[ffmpeg.git] / libavutil / aes.c
1 /*
2  * copyright (c) 2007 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * some optimization ideas from aes128.c by Reimar Doeffinger
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include "common.h"
24 #include "aes.h"
25
26 typedef union {
27     uint64_t u64[2];
28     uint32_t u32[4];
29     uint8_t u8x4[4][4];
30     uint8_t u8[16];
31 } av_aes_block;
32
33 typedef struct AVAES{
34     // Note: round_key[16] is accessed in the init code, but this only
35     // overwrites state, which does not matter (see also r7471).
36     av_aes_block round_key[15];
37     av_aes_block state[2];
38     int rounds;
39 }AVAES;
40
41 const int av_aes_size= sizeof(AVAES);
42
43 static const uint8_t rcon[10] = {
44   0x01, 0x02, 0x04, 0x08, 0x10, 0x20, 0x40, 0x80, 0x1b, 0x36
45 };
46
47 static uint8_t     sbox[256];
48 static uint8_t inv_sbox[256];
49 #if CONFIG_SMALL
50 static uint32_t enc_multbl[1][256];
51 static uint32_t dec_multbl[1][256];
52 #else
53 static uint32_t enc_multbl[4][256];
54 static uint32_t dec_multbl[4][256];
55 #endif
56
57 static inline void addkey(av_aes_block *dst, const av_aes_block *src, const av_aes_block *round_key){
58     dst->u64[0] = src->u64[0] ^ round_key->u64[0];
59     dst->u64[1] = src->u64[1] ^ round_key->u64[1];
60 }
61
62 static void subshift(av_aes_block s0[2], int s, const uint8_t *box){
63     av_aes_block *s1= (av_aes_block *)(s0[0].u8 - s);
64     av_aes_block *s3= (av_aes_block *)(s0[0].u8 + s);
65     s0[0].u8[0]=box[s0[1].u8[ 0]]; s0[0].u8[ 4]=box[s0[1].u8[ 4]]; s0[0].u8[ 8]=box[s0[1].u8[ 8]]; s0[0].u8[12]=box[s0[1].u8[12]];
66     s1[0].u8[3]=box[s1[1].u8[ 7]]; s1[0].u8[ 7]=box[s1[1].u8[11]]; s1[0].u8[11]=box[s1[1].u8[15]]; s1[0].u8[15]=box[s1[1].u8[ 3]];
67     s0[0].u8[2]=box[s0[1].u8[10]]; s0[0].u8[10]=box[s0[1].u8[ 2]]; s0[0].u8[ 6]=box[s0[1].u8[14]]; s0[0].u8[14]=box[s0[1].u8[ 6]];
68     s3[0].u8[1]=box[s3[1].u8[13]]; s3[0].u8[13]=box[s3[1].u8[ 9]]; s3[0].u8[ 9]=box[s3[1].u8[ 5]]; s3[0].u8[ 5]=box[s3[1].u8[ 1]];
69 }
70
71 static inline int mix_core(uint32_t multbl[][256], int a, int b, int c, int d){
72 #if CONFIG_SMALL
73 #define ROT(x,s) ((x<<s)|(x>>(32-s)))
74     return multbl[0][a] ^ ROT(multbl[0][b], 8) ^ ROT(multbl[0][c], 16) ^ ROT(multbl[0][d], 24);
75 #else
76     return multbl[0][a] ^ multbl[1][b] ^ multbl[2][c] ^ multbl[3][d];
77 #endif
78 }
79
80 static inline void mix(av_aes_block state[2], uint32_t multbl[][256], int s1, int s3){
81     uint8_t (*src)[4] = state[1].u8x4;
82     state[0].u32[0] = mix_core(multbl, src[0][0], src[s1  ][1], src[2][2], src[s3  ][3]);
83     state[0].u32[1] = mix_core(multbl, src[1][0], src[s3-1][1], src[3][2], src[s1-1][3]);
84     state[0].u32[2] = mix_core(multbl, src[2][0], src[s3  ][1], src[0][2], src[s1  ][3]);
85     state[0].u32[3] = mix_core(multbl, src[3][0], src[s1-1][1], src[1][2], src[s3-1][3]);
86 }
87
88 static inline void crypt(AVAES *a, int s, const uint8_t *sbox, uint32_t multbl[][256]){
89     int r;
90
91     for(r=a->rounds-1; r>0; r--){
92         mix(a->state, multbl, 3-s, 1+s);
93         addkey(&a->state[1], &a->state[0], &a->round_key[r]);
94     }
95     subshift(&a->state[0], s, sbox);
96 }
97
98 void av_aes_crypt(AVAES *a, uint8_t *dst_, const uint8_t *src_, int count, uint8_t *iv_, int decrypt){
99     av_aes_block *dst = (av_aes_block *)dst_;
100     const av_aes_block *src = (const av_aes_block *)src_;
101     av_aes_block *iv = (av_aes_block *)iv_;
102     while(count--){
103         addkey(&a->state[1], src, &a->round_key[a->rounds]);
104         if(decrypt) {
105             crypt(a, 0, inv_sbox, dec_multbl);
106             if(iv){
107                 addkey(&a->state[0], &a->state[0], iv);
108                 memcpy(iv, src, 16);
109             }
110             addkey(dst, &a->state[0], &a->round_key[0]);
111         }else{
112             if(iv) addkey(&a->state[1], &a->state[1], iv);
113             crypt(a, 2,     sbox, enc_multbl);
114             addkey(dst, &a->state[0], &a->round_key[0]);
115             if(iv) memcpy(iv, dst, 16);
116         }
117         src++;
118         dst++;
119     }
120 }
121
122 static void init_multbl2(uint8_t tbl[1024], const int c[4], const uint8_t *log8, const uint8_t *alog8, const uint8_t *sbox){
123     int i, j;
124     for(i=0; i<1024; i++){
125         int x= sbox[i>>2];
126         if(x) tbl[i]= alog8[ log8[x] + log8[c[i&3]] ];
127     }
128 #if !CONFIG_SMALL
129     for(j=256; j<1024; j++)
130         for(i=0; i<4; i++)
131             tbl[4*j+i]= tbl[4*j + ((i-1)&3) - 1024];
132 #endif
133 }
134
135 // this is based on the reference AES code by Paulo Barreto and Vincent Rijmen
136 int av_aes_init(AVAES *a, const uint8_t *key, int key_bits, int decrypt) {
137     int i, j, t, rconpointer = 0;
138     uint8_t tk[8][4];
139     int KC= key_bits>>5;
140     int rounds= KC + 6;
141     uint8_t  log8[256];
142     uint8_t alog8[512];
143
144     if(!enc_multbl[FF_ARRAY_ELEMS(enc_multbl)-1][FF_ARRAY_ELEMS(enc_multbl[0])-1]){
145         j=1;
146         for(i=0; i<255; i++){
147             alog8[i]=
148             alog8[i+255]= j;
149             log8[j]= i;
150             j^= j+j;
151             if(j>255) j^= 0x11B;
152         }
153         for(i=0; i<256; i++){
154             j= i ? alog8[255-log8[i]] : 0;
155             j ^= (j<<1) ^ (j<<2) ^ (j<<3) ^ (j<<4);
156             j = (j ^ (j>>8) ^ 99) & 255;
157             inv_sbox[j]= i;
158             sbox    [i]= j;
159         }
160         init_multbl2(dec_multbl[0], (const int[4]){0xe, 0x9, 0xd, 0xb}, log8, alog8, inv_sbox);
161         init_multbl2(enc_multbl[0], (const int[4]){0x2, 0x1, 0x1, 0x3}, log8, alog8, sbox);
162     }
163
164     if(key_bits!=128 && key_bits!=192 && key_bits!=256)
165         return -1;
166
167     a->rounds= rounds;
168
169     memcpy(tk, key, KC*4);
170
171     for(t= 0; t < (rounds+1)*16;) {
172         memcpy(a->round_key[0].u8+t, tk, KC*4);
173         t+= KC*4;
174
175         for(i = 0; i < 4; i++)
176             tk[0][i] ^= sbox[tk[KC-1][(i+1)&3]];
177         tk[0][0] ^= rcon[rconpointer++];
178
179         for(j = 1; j < KC; j++){
180             if(KC != 8 || j != KC>>1)
181                 for(i = 0; i < 4; i++) tk[j][i] ^=      tk[j-1][i];
182             else
183                 for(i = 0; i < 4; i++) tk[j][i] ^= sbox[tk[j-1][i]];
184         }
185     }
186
187     if(decrypt){
188         for(i=1; i<rounds; i++){
189             av_aes_block tmp[3];
190             memcpy(&tmp[2], &a->round_key[i], 16);
191             subshift(&tmp[1], 0, sbox);
192             mix(tmp, dec_multbl, 1, 3);
193             memcpy(&a->round_key[i], &tmp[0], 16);
194         }
195     }else{
196         for(i=0; i<(rounds+1)>>1; i++){
197             for(j=0; j<16; j++)
198                 FFSWAP(int, a->round_key[i].u8[j], a->round_key[rounds-i].u8[j]);
199         }
200     }
201
202     return 0;
203 }
204
205 #ifdef TEST
206 #include "lfg.h"
207 #include "log.h"
208
209 int main(void){
210     int i,j;
211     AVAES ae, ad, b;
212     uint8_t rkey[2][16]= {
213         {0},
214         {0x10, 0xa5, 0x88, 0x69, 0xd7, 0x4b, 0xe5, 0xa3, 0x74, 0xcf, 0x86, 0x7c, 0xfb, 0x47, 0x38, 0x59}};
215     uint8_t pt[16], rpt[2][16]= {
216         {0x6a, 0x84, 0x86, 0x7c, 0xd7, 0x7e, 0x12, 0xad, 0x07, 0xea, 0x1b, 0xe8, 0x95, 0xc5, 0x3f, 0xa3},
217         {0}};
218     uint8_t rct[2][16]= {
219         {0x73, 0x22, 0x81, 0xc0, 0xa0, 0xaa, 0xb8, 0xf7, 0xa5, 0x4a, 0x0c, 0x67, 0xa0, 0xc4, 0x5e, 0xcf},
220         {0x6d, 0x25, 0x1e, 0x69, 0x44, 0xb0, 0x51, 0xe0, 0x4e, 0xaa, 0x6f, 0xb4, 0xdb, 0xf7, 0x84, 0x65}};
221     uint8_t temp[16];
222     AVLFG prng;
223
224     av_aes_init(&ae, "PI=3.141592654..", 128, 0);
225     av_aes_init(&ad, "PI=3.141592654..", 128, 1);
226     av_log_set_level(AV_LOG_DEBUG);
227     av_lfg_init(&prng, 1);
228
229     for(i=0; i<2; i++){
230         av_aes_init(&b, rkey[i], 128, 1);
231         av_aes_crypt(&b, temp, rct[i], 1, NULL, 1);
232         for(j=0; j<16; j++)
233             if(rpt[i][j] != temp[j])
234                 av_log(NULL, AV_LOG_ERROR, "%d %02X %02X\n", j, rpt[i][j], temp[j]);
235     }
236
237     for(i=0; i<10000; i++){
238         for(j=0; j<16; j++){
239             pt[j] = av_lfg_get(&prng);
240         }
241 {START_TIMER
242         av_aes_crypt(&ae, temp, pt, 1, NULL, 0);
243         if(!(i&(i-1)))
244             av_log(NULL, AV_LOG_ERROR, "%02X %02X %02X %02X\n", temp[0], temp[5], temp[10], temp[15]);
245         av_aes_crypt(&ad, temp, temp, 1, NULL, 1);
246 STOP_TIMER("aes")}
247         for(j=0; j<16; j++){
248             if(pt[j] != temp[j]){
249                 av_log(NULL, AV_LOG_ERROR, "%d %d %02X %02X\n", i,j, pt[j], temp[j]);
250             }
251         }
252     }
253     return 0;
254 }
255 #endif