apache-pig - 从 Load Func 中获取 Pig Schema？-6ren

apache-pig - 从 Load Func 中获取 Pig Schema？

转载作者：行者123 更新时间：2023-12-01 09:35:47

26

4

我有一个自定义加载函数，它只是扩展了 Pig 的 PigStorage 加载函数。我正在寻找使用类型转换做一些工作，但我需要访问模式，但我不确定如何/在哪里访问 pig 模式。我不确定您是否需要任何其他信息，但如果您需要，请告诉我，我很乐意提供。

最佳答案

您需要实现 LoadMetadata 接口(interface)并通过 getSchema 方法提供架构详细信息。在那里你必须使用:

org.apache.pig.ResourceSchema;
org.apache.pig.data.DataType;
org.apache.pig.impl.logicalLayer.schema.Schema;
org.apache.pig.impl.logicalLayer.schema.Schema.FieldSchema;

为您的加载函数定义架构。

public ResourceSchema getSchema() {
    List<FieldSchema> fieldSchemaList = new ArrayList<FieldSchema>();

    fieldSchemaList.add( new FieldSchema("column_name1", org.apache.pig.data.DataType.CHARARRAY) );
    fieldSchemaList.add( new FieldSchema("column_name2", org.apache.pig.data.DataType.CHARARRAY) );
    fieldSchemaList.add( new FieldSchema("column_name3", org.apache.pig.data.DataType.CHARARRAY) );

    return new ResourceSchema( new Schema(fieldSchemaList) );
}

关于apache-pig - 从 Load Func 中获取 Pig Schema？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8348271/

26

4

0

文章推荐： Java RegEx - 匹配参数列表

Difference between cy.then(() => func()) and cy.wrap(null).then(() => func())(Cy.Then(()=>func())和cy.print(NULL)之间的差异。Then(()=>func()))
我在等待异步功能完成时苦苦挣扎。特别是，我发现这两种方法在测试继续之前等待异步函数完成，但不知道其中的区别(如果有区别的话)：。我的目标是在实际测试开始之前等待bepreEach()块中的两个异步函数
Difference between cy.then(() => func()) and cy.wrap(null).then(() => func())(Cy.Then(()=>func())和cy.print(NULL)之间的差异。Then(()=>func()))
我在等待异步功能完成时苦苦挣扎。特别是，我发现这两种方法在测试继续之前等待异步函数完成，但不知道其中的区别(如果有区别的话)：。我的目标是在实际测试开始之前，在beforeEach（）块中等待两个Ja
c# - 为什么从 Expression> 创建的 Func<> 比直接声明的 Func<> 慢？
为什么是Func<>从 Expression> 创建通过 .Compile() 比仅使用 Func<> 慢得多直接声明？我刚从使用 Func 更改为直接声明为从 Expression> 创建的一个在
c# - 如何编写 Linq 表达式？即 Func>, Exp>, Exp>>
我正在创建一个 Validator类(class)。我正在尝试实现 Linq SelectMany我的验证器的扩展方法能够使用 Linq 查询组合表达式并验证最终结果，即使基础值发生变化也是如此。下
javascript - return func() 或 return func without () 形式 func()，代码会发生什么情况？
function sum(a) { let currentSum = a; function f(b) { currentSum += b; return f; }
c++ - func() + func() 是未定义的行为吗？
我只知道i = i++;是未定义的行为，但是如果一个表达式中调用了两个或多个函数，并且所有功能是一样的。是未定义吗？例如: int func(int a) { std::cout << a <
Python，我如何定义一个对象 O 使得 func(O) = func(O.val) 对于任何 func
我如何定义一个对象，以便作用于它的任何函数都作用于它的一个字段？这可能吗？ class Mydata(object): def __init__(self, val): sel
python - 是否可以在 Python 中将 2*func(x) 的结果重写为 func(x) + func(x)？
这个问题一直很有趣，尽管它不一定很整洁。我有以下代码: import random def d(m): return random.randint(1, m) print(3*d(6)) 这将
javascript - 揭示模块模式 : func. apply(null, arr) 与 func.apply(this, arr) 其中 func 在匿名函数中
能否请您解释一下使用 func.apply(null, arr) 的区别？和 func.apply(this, arr)在下面的代码示例中？ var Foo = function() { fu
c# - 运行异步 lambda 时，使用 Task.Run(func) 还是 new Func(func)()？
我想收集/运行任务，然后对它们执行 Task.WhenAll。 var tasks = new List(); foreach (var thing in things) { tasks.Add(
c# - 从 Func 到 Func 的转换有效，但到 Func 失败
我有以下代码: static Func s_objToString = (x) => x.ToString(); static Func s_stringToString = s_objToStrin
func - 动态创建 Func
相关主题: Create Expression> dynamically 我在互联网上搜索但所有样本都解释了 Expression来自 T ？谢谢编辑 1) T输入我的代码在运行时确定，例如我想用
c# - 从 Func 返回 Func
我正在尝试使用 LinqKit 动态生成 linqtosql 查询.在将表达式发送到 LinqKit 之前，我想检查要为预测添加的字段。所以我想出了一些想法，比如 Expression> GetPr
c# - 在 Func 体内调用 Func
我遇到了一些麻烦，我写了一个 Func，IDE 不喜欢我在 Func 体内调用 Func ，我不太明白为什么，因为如果我将这个确切的代码放在方法体中，并使用相同的返回类型和参数，那么它就可以工作。代
javascript - func() => {} 和 func = () => {} 有什么区别？
我现在正在学习使用 Class 语法来创建 React 组件，请注意我现在必须声明这样的方法: class Foo extends React.Component { ... bar
c# - 转换到 Func 与新 Func？
下面两种说法有区别吗？他们都工作。 if ( ((Func)(()=>true))() ) { .... }; if ( new Func(()=>true)()) { .... }; 最佳答案不，
c++ - this->func() 和 func() 的语法之间有什么细微差别吗？
这个问题在这里已经有了答案: Difference between func() and (*this).func() in C++ (4 个答案) 关闭 6 年前。如果我有一个带有虚函数而没有自
golang 将 func 作为参数传递给另一个 func
主要问题是“是否可以将任何类型的 func 作为参数传递以及如何传递？”。我正在学习 Go 并且想像这样制作我自己的异步包装函数: func AsyncFunc(fn func(), args ...
c# - Expression> 或 Expression> 到 Expression> 转换器
有没有简单的转换方法 Expression> 到 Expression> T从哪里继承自TBase？最佳答案只要 T 派生自 TBase，您就可以使用原始表达式的主体和参数直接创建所需类型的表达式
c# - 在 Func 中使用泛型类型参数，并以特定类型调用 Func？
我有以下方法，其中 T 在 Func 中使用: public void DoSomething(string someString, Func someMethod) { if(some

首页

博学

6Ren·AI

商城

apache-pig - 从 Load Func 中获取 Pig Schema？