- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
总体目标:在反序列化时跳过一个很长的字段,并且在访问该字段时直接从流中读取元素而不加载整个字段。
示例类 被序列化/反序列化的对象是FatPropertyClass
.
[ProtoContract]
public class FatPropertyClass
{
[ProtoMember(1)]
private int smallProperty;
[ProtoMember(2)]
private FatArray2<int> fatProperty;
[ProtoMember(3)]
private int[] array;
public FatPropertyClass()
{
}
public FatPropertyClass(int sp, int[] fp)
{
smallProperty = sp;
fatProperty = new FatArray<int>(fp);
}
public int SmallProperty
{
get { return smallProperty; }
set { smallProperty = value; }
}
public FatArray<int> FatProperty
{
get { return fatProperty; }
set { fatProperty = value; }
}
public int[] Array
{
get { return array; }
set { array = value; }
}
}
[ProtoContract]
public class FatArray2<T>
{
[ProtoMember(1, DataFormat = DataFormat.FixedSize)]
private T[] array;
private Stream sourceStream;
private long position;
public FatArray2()
{
}
public FatArray2(T[] array)
{
this.array = new T[array.Length];
Array.Copy(array, this.array, array.Length);
}
[ProtoBeforeDeserialization]
private void BeforeDeserialize(SerializationContext context)
{
position = ((Stream)context.Context).Position;
}
public T this[int index]
{
get
{
// logic to get the relevant index from the stream.
return default(T);
}
set
{
// only relevant when full array is available for example.
}
}
}
我可以这样反序列化:FatPropertyClass d = model.Deserialize(fileStream, null, typeof(FatPropertyClass), new SerializationContext() {Context = fileStream}) as FatPropertyClass;
model
在哪里可以是例如:
RuntimeTypeModel model = RuntimeTypeModel.Create();
MetaType mt = model.Add(typeof(FatPropertyClass), false);
mt.AddField(1, "smallProperty");
mt.AddField(2, "fatProperty");
mt.AddField(3, "array");
MetaType mtFat = model.Add(typeof(FatArray<int>), false);
这将跳过 array
的反序列化在 FatArray<T>
.但是,稍后我需要从该数组中读取随机元素。我尝试的一件事是在 BeforeDeserialize(SerializationContext context)
中记住反序列化之前的流位置。 FatArray2<T>
的方法| .如上面的代码:position = ((Stream)context.Context).Position;
.然而,这似乎总是流的结束。
我如何记住 FatProperty2
所在的流位置开始,我如何从随机索引中读取它?
注意:参数T
在 FatArray2<T>
可以是标有[ProtoContract]
的其他类型,不仅仅是原语。也可能有多个 FatProperty2<T>
类型的属性在对象图中的不同深度。
方法二:序列化字段FatProperty2<T>
在包含对象的序列化之后。所以,序列化FatPropertyClass
使用长度前缀,然后使用长度前缀序列化它包含的所有胖数组。用属性标记所有这些胖数组属性,在反序列化时我们可以记住它们中的每一个的流位置。
那么问题是我们如何从中读取原语?这适用于使用 T item = Serializer.DeserializeItems<T>(sourceStream, PrefixStyle.Base128, Serializer.ListItemTag).Skip(index).Take(1).ToArray();
的类获取索引 index
处的项目.但这对原语是如何工作的呢?一组基元似乎无法使用 DeserializeItems
反序列化。 .
是DeserializeItems
用 LINQ 那样用还行吗?它是否按照我假设的那样进行(在内部跳过流到正确的元素 - 最坏的情况是读取每个长度前缀并跳过它)?
问候,尤利安
最佳答案
这个问题在很大程度上取决于实际 模型 - 这不是图书馆专门针对方便的场景。我怀疑您最好的选择是使用 ProtoReader
手动编写阅读器.请注意,如果最外层对象是 List<SomeType>
,则在读取选定项时有一些技巧。或类似的,但内部对象通常被简单地读取或跳过。
通过 ProtoReader
从文档的根目录重新开始,您可以相当有效地查找第 n 个项目。如果您愿意,我稍后可以做一个具体的示例(除非您确定它确实有用,否则我不会跳进去)。作为引用,流的位置在这里没有用的原因是:库积极地过度读取和缓冲数据,除非您明确告诉它限制其长度。这是因为像“varint”这样的数据在没有大量缓冲的情况下很难有效读取,因为它最终会成为对 ReadByte()
的大量单独调用。 ,而不仅仅是使用本地缓冲区。
这是一个完全未经测试的版本,直接从读取器读取子属性的第 n 个数组项;请注意,一个接一个地多次调用它是低效的,但是如何将其更改为读取连续值范围等应该是显而易见的:
static int? ReadNthArrayItem(Stream source, int index, int maxLen)
{
using (var reader = new ProtoReader(source, null, null, maxLen))
{
int field, count = 0;
while ((field = reader.ReadFieldHeader()) > 0)
{
switch (field)
{
case 2: // fat property; a sub object
var tok = ProtoReader.StartSubItem(reader);
while ((field = reader.ReadFieldHeader()) > 0)
{
switch (field)
{
case 1: // the array field
if(count++ == index)
return reader.ReadInt32();
reader.SkipField();
break;
default:
reader.SkipField();
break;
}
}
ProtoReader.EndSubItem(tok, reader);
break;
default:
reader.SkipField();
break;
}
}
}
return null;
}
最后,请注意,如果这是一个大数组,您可能希望使用“打包”数组(请参阅 protobuf 文档,但这基本上存储它们时没有每个项目的标题)。这会更有效,但请注意,它需要稍微不同的读取代码。您可以通过添加 IsPacked = true
来启用压缩数组在 [ProtoMember(...)]
上对于那个数组。
关于c# - Protobuf-net 字段的惰性流式反序列化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25951775/
我是 python 的新手。我试图找到我的文本的频率分布。这是代码, import nltk nltk.download() import os os.getcwd() text_file=open(
我对安卓 fragment 感到困惑。我知道内存 fragment 但无法理解什么是 android fragment 问题。虽然我发现很多定义,比如 Android fragmentation re
尝试对 WordPress 进行 dockerise 我发现了这个场景: 2个数据卷容器,一个用于数据库(bbdd),另一个用于wordpress文件(wordpress): sudo docker
这个问题已经有答案了: From the server is there a way to know that my page is being loaded in an Iframe (1 个回答)
我正在玩小型服务器,试图对运行在其上的服务进行docker化。为简化起见,假设我必须主要处理:Wordpress和另一项服务。 在Docker集线器上有许多用于Wordpress的图像,但是它们似乎都
我想要发生的是,当帐户成功创建后,提交的表单应该消失,并且应该出现一条消息(取决于注册的状态)。 如果成功,他们应该会看到一个简单的“谢谢。请检查您的电子邮件。” 如果不是,那么他们应该会看到一条适当
就是这样,我需要为客户添加一个唯一标识符。通过 strip 元数据。这就是我现在完全构建它的方式,但是我只有最后一部分告诉我用户购买了哪个包。 我试着看这里: Plans to stripe 代码在这
我有一个类将执行一些复杂的操作,涉及像这样的一些计算: public class ComplexAction { public void someAction(String parameter
这个问题已经有答案了: maven add a local classes directory to module's classpath (1 个回答) 已关闭10 年前。 我有一些不应更改的旧 E
我使用 fragment 已经有一段时间了,但我经常遇到一个让我烦恼的问题。 fragment 有时会相互吸引。现在,我设法为此隔离了一个用例,它是这样的: Add fragment A(也使用 ad
我的 html 中有一个 ol 列表,上面有行条纹。看起来行条纹是从数字后面开始的。有没有办法让行条纹从数字开始? 我已经包含了正在发生的事情的片段 h4:nth-child(even) {
如何仅使用 css 将附加图像 html 化? 如果用纯 css 做不到,那我怎么能至少用一个图像来做 最佳答案 这不是真正的问题,而是您希望我们为您编写代码。我建议您搜索“css breadcrum
以下是 Joshua 的 Effective Java 的摘录: If you do synchronize your class internally, you can use various te
在这里工作时,我们有一个框向业务合作伙伴提供 XML 提要。对我们的提要的请求是通过指定查询字符串参数和值来定制的。其中一些参数是必需的,但很多不是。 例如,我们要求所有请求都指定一个 GUID 来标
我有 3 个缓冲区,其中包含在 32 位处理器上运行的 R、G、B 位数据。 我需要按以下方式组合三个字节: R[0] = 0b r1r2r3r4r5r6r7r8 G[0] = 0b g1g2g3g4
我最近发现了关于如何使用 History.js、jQuery 和 ScrollTo 通过 HTML5 History API 对网站进行 Ajax 化的要点:https://github.com/br
我们有一个 Spring Boot 应用程序,由于集成需要,它变得越来越复杂——比如在你这样做之后发送一封电子邮件,或者在你之后广播一条 jms 消息等等。在寻找一些更高级别的抽象时,我遇到了 apa
我正在尝试首次实施Google Pay。我面临如何指定gateway和gatewayMarchantId的挑战。 我所拥有的是google console帐户,不知道在哪里可以找到此信息。 priva
昨天下午 3 点左右,我为两个想要从一个 Azure 帐户转移到另一个帐户的网站设置了 awverify 记录。到当天结束时,Azure 仍然不允许我添加域,所以我赌了一把,将域和 www 子域重新指
我正在使用terms facet在elasticsearch服务器中获取顶级terms。现在,我的标签"indian-government"不被视为一个标签。将其视为"indian" "governm
我是一名优秀的程序员,十分优秀!