python - pylibftdi Device.read 跳过一些字节

Question

我有一个 FPGA，它通过 FT2232H 在 USB 总线上传输数据，我发现大约 10% 的数据必须被丢弃，因为帧中的一些字节丢失了。以下是技术细节:

• FPGA是Artix 7。每9毫秒准备好一批4002字节。因此数据量为 444,667 字节/秒。
• 我的笔记本电脑在 Ubuntu 18.04LTS 上运行 python 3.7(来自 anaconda)
• FPGA/FT2232H 通过以下初始化行打开:

SYNCFF = 0x40
SIO_RTS_CTS_HS = (0x1 << 8)
self.device = pylibftdi.Device(mode='t', interface_select=pylibftdi.INTERFACE_A, encoding='latin1')
self.device.ftdi_fn.ftdi_set_bitmode(0xff, SYNCFF)
self.device.ftdi_fn.ftdi_read_data_set_chunksize(0x10000)
self.device.ftdi_fn.ftdi_write_data_set_chunksize(0x10000)
self.device.ftdi_fn.ftdi_setflowctrl(SIO_RTS_CTS_HS)
self.device.flush()

• 然后通过这个简单的行读取数据:

raw_usb_data = my_fpga.device.read(0x10000)

我观察到以下情况:

1. 每批处理我总是获得 0x10000 数据，这正是我所期望的。
2. 考虑到每 9 毫秒准备好一个批处理，使用 device.read 一次读取 2**16 = 65,536 字节应花费 147.4 毫秒。但该线的计时平均值为 143 毫秒，标准偏差为 6.6 毫秒。

我的第一个猜测是，某处没有缓冲区/很小的缓冲区，并且由于操作系统(优先级问题？)或Python(垃圾收集？)在某个时刻执行其他操作太长时间，所以一些信息丢失了。

如何减少读取设备时丢失的字节数？

Answer 1

FT2232H 具有容量约为 4 kbits 的内部 FIFO 缓冲区。您很可能受到它们的限制。不确定 pylibftdi 如何处理它们，但如果您可以使用 VCP 驱动程序，也许使用替代方法可能会起作用。这允许您将 FT2232H 作为标准端口，例如通过 pyserial。

我的一个项目的一些摘录，该项目实际上适用于 >12 Mbps 的波特率(UART 限制为 12 Mbps，但例如快速光电可以达到约 25 Mbps):

import traceback
import serial
import serial.tools.list_ports
import multiprocessing
import multiprocessing.connection

def IO_proc(cntr_pipe, data_pipe):
    try:
        search_str="USB VID:PID=0403:6010 SER="
        ports     = [x.device for x in serial.tools.list_ports.comports() if search_str in x.hwid]
        baud_rate = 12000000 #only matters for uart and not for fast opto or fifo mode
        ser       = serial.Serial(port, baud_rate)

    while not cntr_pipe.closed:
        time.sleep(0)
        in_data = ser.read(ser.inWaiting())

        [...do some pattern matching, package identification etc...]

        data_pipe.send_bytes(in_data)

        except EOFError:
            ret_code = 2
        except Exception as e:
            cntr_pipe.send(traceback.format_exc())
            cntr_pipe.close()
            ret_code = 4
        finally:
            cntr_pipe.close()
            ser.close()

multiprocessing.connection.BUFSIZE = 2 ** 20 #only required for windows
child_cntr, parent_cntr = multiprocessing.Pipe()
child_data, parent_data = multiprocessing.Pipe()
process                 = multiprocessing.Process(target = IO_proc, args=(child_cntr, child_data))

#called frequently
def update():
    if child_cntr.poll():
        raise Exception("error",child_cntr.recv())

        buf = bytes()

        while parent_data.poll():
            buf += parent_data.recv_bytes()

    [...do something fancy...]

我尝试c&p一个最小的例子。它未经测试，所以如果它不能开箱即用，请原谅我。要使其正常工作，实际上需要确保加载 VCP 而不是 D2XX 驱动程序。

P.S:实际上，在扫描我的文件时，我意识到 pylibftdi 方式应该可以正常工作，就像我使用“装饰器”类一样，以防加载 D2XX 驱动程序:

try:    import pylibftdi
except: pylibftdi = None


class pylibftdi_device:
    def __init__(self,speed):
        self.dev = pylibftdi.Device(interface_select=2)
        self.dev.baudrate = speed
        self.buf = b''

    def write(self, data):
        self.dev.write(data)

    def read(self, bytecount):
        while bytecount > len(self.buf):
            self._read()

        ret      = self.buf[:bytecount]
        self.buf = self.buf[bytecount:]
        return ret

    def flushInput(self):
        self.dev.flush_input()#FT_PURGE_RX
        self.buf = b''

    def _read(self):
        self.buf += self.dev.read(2048)

    @property
    def in_waiting(self):
        self._read()
        return len(self.buf)

    def close(self):
        self.dev.close()


def find_device_UART(baudrate=12000000,index=1, search_string="USB VID:PID=0403:6010 SER="):
    if pylibftdi:
        return pylibftdi_device(baudrate),"pylibftdi_device"
    try:
        ports = [x.device for x in serial.tools.list_ports.comports() if search_string in x.hwid]
        module_logger.info(str(ports))
        if len(ports) == 0:
            return None,"no device found"
        else:
            ser = serial.Serial(ports[index],baudrate)
            return ser,"found device %s %d"%(ser.name,ser.baudrate)
    except serial.SerialException as e:
        return None,"error during device detection - \n"+str(e)

与您的示例的主要区别在于，recv 缓冲区被更频繁地读取并放入缓冲区中，然后稍后在缓冲区中搜索数据包。也许这对您的应用程序来说完全是一种杀伤力，您只需要进行较小的读取调用即可确保缓冲区永远不会溢出。