java - JNA:如何在结构中指定可变长度(0+)数组？

Question

示例结构，其中 count 是数组中的字节数，可以为 0。我想在 Java 中分配新实例，并读取 native 分配的实例。

    public class VarArray extends Structure {
        public byte dummy0;
        public short dummy1;
        public int count;
        public byte[] array;
    }

在 Structure 中不允许使用 array = new byte[0]。
如果计数为 0，则声明默认 array = new byte[1] 将从未分配的地址读取。

删除 array 字段可以读取，因为我可以从指针偏移 Structure.size() 访问字节 [编辑:不正确，取决于填充]。但是，为了分配新实例，我需要手动确定字段大小和对齐填充，以便分配正确的内存大小。

我有一个使用两种类型的解决方案 - 一种没有 array 用于 native 分配和 0 计数 Java 分配的实例，另一种带有用于 Java 的 array 的子类型-分配了 1+ 个计数实例。这看起来相当臃肿，尤其是对于所需的样板代码。

有没有更好的方法？
或者也许是一种计算字段大小和对齐方式的简单方法，以便一种类型就足够了？

import java.util.Arrays;
import java.util.List;
import com.sun.jna.Pointer;
import com.sun.jna.Structure;

public class JnaStructTester {

    /**
     * For native-allocated, and 0-count JNA-allocated instances.
     */
    public static class VarArray extends Structure {
        public byte dummy0;
        public short dummy1;
        public int count;

        public VarArray() {}

        public VarArray(Pointer p) {
            super(p);
        }

        public byte[] getArray() {
            byte[] array = new byte[count];
            if (count > 0) {
                int offset = size();
                getPointer().read(offset, array, 0, count);
            }
            return array;
        }
        
        @Override
        protected List<String> getFieldOrder() {
            return List.of("dummy0", "dummy1", "count");
        }
    }
    
    /**
     * For 1+ count JNA-allocated instances.
     */
    public static class VarArrayX extends VarArray {
        public byte[] array;

        public VarArrayX() {}

        @Override
        public byte[] getArray() {
            return array;
        }
        
        @Override
        protected List<String> getFieldOrder() {
            return List.of("dummy0", "dummy1", "count", "array");
        }
    }
    
    public static void main(String[] args) {
        var va0 = new VarArrayX();
        va0.dummy0 = (byte) 0xef;
        va0.dummy1 = (short) 0xabcd;
        va0.count = 7;
        va0.array = new byte[] { 1, 2, 3, 4, 5, 6, 7 };
        va0.write();
        
        var va1 = new VarArray();
        va1.dummy0 = (byte) 0xab;
        va1.dummy1 = (short) 0xcdef;
        va1.write();
        
        print(new Pointer(Pointer.nativeValue(va0.getPointer())));
        print(new Pointer(Pointer.nativeValue(va1.getPointer())));
    }
    
    private static void print(Pointer p) {
        var va = new VarArray(p);
        va.read();
        System.out.println(va);
        System.out.println("byte[] array=" + Arrays.toString(va.getArray()));
        System.out.println();
    }
}

输出:

JnaStructTester$VarArray(native@0x7fb6835524b0) (8 bytes) {
  byte dummy0@0=ffffffef
  short dummy1@2=ffffabcd
  int count@4=7
}
byte[] array=[1, 2, 3, 4, 5, 6, 7]

JnaStructTester$VarArray(native@0x7fb683551210) (8 bytes) {
  byte dummy0@0=ffffffab
  short dummy1@2=ffffcdef
  int count@4=0
}
byte[] array=[]

(我使用的是相当旧的 JNA 4.2.2 版)

更新 (2020-01-07)

感谢 Daniel Widdis 的建议，这是一个不错的解决方案。

根据数组是否为空动态修改字段列表是不可能的。当不包含可变数组字段时，布局将被静态缓存，因此具有非空数组的 future 实例将失败。相反:

1. 数组在ensureAllocated()中调整，避免空数组错误。
2. writeField() 仅在数组非空时写入字段。
3. readField()设置从count开始的数组大小，已经读取，如果count为0则跳过读取数组。

通过在 readField() 中将数组设置为正确的大小，整个数组将自动填充，无需手动创建。

import java.util.Arrays;
import java.util.List;
import com.sun.jna.Pointer;
import com.sun.jna.Structure;

public class JnaStructTester {

    public static class VarArray extends Structure {
        public short dummy0;
        public int dummy1;
        public byte count;
        public byte[] array = new byte[0];

        public VarArray() {}

        public VarArray(byte[] array) {
            this.count = (byte) array.length;
            this.array = array;
        }

        public VarArray(Pointer p) {
            super(p);
        }

        @Override
        protected void ensureAllocated() {
            if (count == 0) array = new byte[1];
            super.ensureAllocated();
            if (count == 0) array = new byte[0];
        }

        @Override
        protected void writeField(StructField structField) {
            if (structField.name.equals("array") && count == 0) return;
            super.writeField(structField);
        }

        @Override
        protected Object readField(StructField structField) {
            if (structField.name.equals("array")) {
                array = new byte[count];
                if (count == 0) return null;
            }
            return super.readField(structField);
        }

        @Override
        protected List<String> getFieldOrder() {
            return List.of("dummy0", "dummy1", "count", "array");
        }
    }

    public static void main(String[] args) {
        var va0 = new VarArray(new byte[] { 1, 2, 3, 4, 5, 6, 7 });
        va0.dummy0 = 0x4321;
        va0.dummy1 = 0xabcdef;
        va0.write();

        var va1 = new VarArray();
        va1.dummy0 = 0x4321;
        va1.dummy1 = 0xabcdef;
        va1.write();
        
        print(new Pointer(Pointer.nativeValue(va0.getPointer())));
        print(new Pointer(Pointer.nativeValue(va1.getPointer())));
    }

    private static void print(Pointer p) {
        var va = new VarArray(p);
        va.read();
        System.out.println(va);
        System.out.println("byte[] array=" + Arrays.toString(va.array));
        System.out.println();
    }
}

输出:

JnaStructTester$VarArray(native@0x7fd85cf1ffb0) (12 bytes) {
  short dummy0@0=4321
  int dummy1@4=abcdef
  byte count@8=7
  byte array[7]@9=[B@4f2410ac
}
byte[] array=[1, 2, 3, 4, 5, 6, 7]

JnaStructTester$VarArray(native@0x7fd85cf20690) (12 bytes) {
  short dummy0@0=4321
  int dummy1@4=abcdef
  byte count@8=0
  byte array[0]@9=[B@722c41f4
}
byte[] array=[]

我只在我的狭窄用例中对此进行了测试，如果在 Structure 上调用其他方法，它可能无法工作。

Answer 1

我确实认为具有两个结构的解决方案是一个合理的解决方案，数组版本扩展了另一个但只是添加了新字段。使用具有 @FieldOrder 注释的 JNA 5.X 大大减少了您对“样板文件膨胀”的担忧，这显着减少了样板文件。你的结构会很简单:

@FieldOrder({"dummy0", "dummy1", "count"})
public class VarArray extends Structure {
    public byte dummy0;
    public short dummy1;
    public int count;
}

@FieldOrder({"dummy0", "dummy1", "count", "array"})
public class VarArrayX extends VarArray  {
    public byte[] array = new byte[1];

    public VarArrayX(int arraySize) {
        array = new byte[arraySize];
        super.count = arraySize;
        allocateMemory();
    }
}

如果你想用指针初始化，除了添加构造函数之外，这应该足够了。

但是，您可以通过对 FieldOrder 进行相同的更改来创建单一结构版本。 JNA 的内存分配取决于字段顺序，使用 getFieldList() 和 getFieldOrder() 方法定义(新注释删除了样板要求)。

您可以在结构中保留数组分配，但更改 getFieldOrder() 覆盖以跳过定义数组的字段(如果它的大小为零)，对 执行相同操作getFieldList()。在编写 Sysinfo structure 时，我不得不处理这种情况。在 JNA 的 Linux LibC 映射中。主要结构包括这个字段:

public byte[] _f = new byte[PADDING_SIZE];

但是 getFieldList() 覆盖包括:

if (PADDING_SIZE == 0) {
    Iterator<Field> fieldIterator = fields.iterator();
    while (fieldIterator.hasNext()) {
        Field field = fieldIterator.next();
        if ("_f".equals(field.getName())) {
            fieldIterator.remove();
        }
    }
}

和getFieldOrder()包括:

if (PADDING_SIZE == 0) {
    fieldOrder.remove("_f");
}

类似的条件删除同一文件中 Statvfs 结构中的 _f_unused 字段。

对于您的结构，只要您在实例化结构之前知道 count，这样的事情就应该有效(未经测试):

public static class VarArray extends Structure {
    public byte dummy0;
    public short dummy1;
    public int count;
    public byte[] array = new byte[1];

    public VarArray(int arraySize) {
        array = new byte[arraySize];
        count = arraySize;
        allocateMemory();
    }

    @Override
    protected List<String> getFieldOrder() {
        if (count == 0) {
            return List.of("dummy0", "dummy1", "count");
        } else {
            return List.of("dummy0", "dummy1", "count", "array");
        }
    }

    // do the same for getFieldList()
}