lavf/utils: Normalize AVPacket.data to native endian in ff_get_packet_palette()
authorMats Peterson <matsp888@yahoo.com>
Thu, 3 Mar 2016 07:25:58 +0000 (08:25 +0100)
committerMichael Niedermayer <michael@niedermayer.cc>
Fri, 4 Mar 2016 03:02:19 +0000 (04:02 +0100)
Signed-off-by: Michael Niedermayer <michael@niedermayer.cc>
libavformat/internal.h
libavformat/utils.c

index 63e0632..37a8591 100644 (file)
@@ -588,9 +588,12 @@ int ff_reshuffle_raw_rgb(AVFormatContext *s, AVPacket **ppkt, AVCodecContext *en
  *
  * Use 0 for the ret parameter to check for side data only.
  *
- * @param pkt pointer to the packet before calling ff_reshuffle_raw_rgb()
+ * @param pkt pointer to packet before calling ff_reshuffle_raw_rgb()
  * @param ret return value from ff_reshuffle_raw_rgb(), or 0
+ * @param palette pointer to palette buffer
+ * @return negative error code or
+ *         1 if the packet has a palette, else 0
  */
-int ff_get_packet_palette(AVFormatContext *s, AVPacket *pkt, int ret, const uint8_t **palette);
+int ff_get_packet_palette(AVFormatContext *s, AVPacket *pkt, int ret, uint32_t *palette);
 
 #endif /* AVFORMAT_INTERNAL_H */
index 85702dd..7c14725 100644 (file)
@@ -4782,18 +4782,27 @@ int ff_standardize_creation_time(AVFormatContext *s)
     return ret;
 }
 
-int ff_get_packet_palette(AVFormatContext *s, AVPacket *pkt, int ret, const uint8_t **palette)
+int ff_get_packet_palette(AVFormatContext *s, AVPacket *pkt, int ret, uint32_t *palette)
 {
+    uint8_t *side_data;
     int size;
 
-    *palette = av_packet_get_side_data(pkt, AV_PKT_DATA_PALETTE, &size);
-    if (*palette && size != AVPALETTE_SIZE) {
-        av_log(s, AV_LOG_ERROR, "Invalid palette side data\n");
-        return AVERROR_INVALIDDATA;
+    side_data = av_packet_get_side_data(pkt, AV_PKT_DATA_PALETTE, &size);
+    if (side_data) {
+        if (size != AVPALETTE_SIZE) {
+            av_log(s, AV_LOG_ERROR, "Invalid palette side data\n");
+            return AVERROR_INVALIDDATA;
+        }
+        memcpy(palette, side_data, AVPALETTE_SIZE);
+        return 1;
     }
 
-    if (!*palette && ret == CONTAINS_PAL)
-        *palette = pkt->data + pkt->size - AVPALETTE_SIZE;
+    if (ret == CONTAINS_PAL) {
+        int i;
+        for (i = 0; i < AVPALETTE_COUNT; i++)
+            palette[i] = AV_RL32(pkt->data + pkt->size - AVPALETTE_SIZE + i*4);
+        return 1;
+    }
 
     return 0;
 }