parsing - Hadoop Informatica 日志处理-6ren

parsing - Hadoop Informatica 日志处理

转载作者：可可西里更新时间：2023-11-01 16:11:04

26

4

我正在从事一个项目，该项目涉及从相当大的 Informatica 日志文件创建一组可查询的数据。为此，使用 Flume 将文件导入到 Hadoop 集群中，该集群在我开始此项目之前已由同事配置。我的工作是根据日志中包含的数据创建一个表，以便可以轻松地执行查询。我遇到的问题与日志文件格式有关。日志的格式为:

时间戳:严重性:(Pid | 线程):(服务类型 | 服务名称):客户端节点:消息代码:消息

问题是有时消息字段包含额外的冒号分隔注释，例如消息可能是 [ x : y : z ]。使用 HCatalog 创建表时，我无法解释这种行为，而是会产生额外的列。

有什么建议吗？通常我会使用 Ruby 来分隔字段或替换分隔符以在使用 HCatalog 导入时保持完整性。是否有一些预处理我可以做集群端允许我这样做？文件太大，无法在本地处理。

最佳答案

答案是使用 pig 脚本和 Python UDF。 pig 脚本加载到文件中，然后逐行调用 Python 脚本以正确拆分字段。然后可以将结果写入更友好的 CSV 和/或存储在表格中。

关于parsing - Hadoop Informatica 日志处理，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31120815/

26

4

0

文章推荐：在异步调用返回之前发送的 HTTP 响应

文章推荐： c++ - 如何使用 C++ 模板高效地展开序列

文章推荐： hadoop - 从多个链接访问 hadoop 节点 web UI

parse-platform - Parse Image + Parse httpRequest 替换——从 Parse Cloud Code 迁移到 Parse Server on Node (Heroku/AWS/DO)
我发现在使用parse-node包时，不能再使用Parse.Cloud.httpRequest了。我也知道 Parse 的 Image 对象将不可用。到目前为止，我已经能够用原生的替换一些 Pars
parsing - 'parse' 的反义词是什么？
关闭。这个问题是opinion-based 。目前不接受答案。已关闭 9 年前。已锁定。这个问题及其答案是locked因为这个问题是题外话，但却具有历史意义。目前不接受新的答案或互动。我有一个函
parse-platform - Parse Server - 用于配置新 Parse 实例的架构 API
开源 Parse Server 是否包含用于配置新 Parse 实例的 Schema API？我试图消除手动创建应用程序的需要。这是通过 Parse.com 提供的架构 API http://blo
parse-platform - 如何从客户端正确创建 Parse.com Parse.Cloud.httpRequest？
我想从我的云代码发出一个 http 请求，该请求在我的客户端被调用。最佳答案一开始我发现这有点令人困惑，所以希望这会有所帮助。在您的云代码中main.js Parse.Cloud.define(
parsing - *** 异常 : Prelude. 读取 : no parse in Haskell - Parsing, 表达式和递归
这部分代码应该读入两个或更多数字(省略主 io 函数)，然后是一个“+”来给出总和。使用有理数是因为稍后我将进行乘法和其他此类操作。 data Expression = Number Rationa
parse-platform - Parse.Config 在 Parse Server 上不起作用？
我似乎找不到任何关于此的官方信息:Does Parse.Config work on Parse Server?它曾经在 Parse.com 上工作，但是当我尝试迁移到 Parse.Server 时，
passwords - Parse.com 在 Parse.Cloud.beforeSave(Parse.User
我正在尝试找到使用 Parse.com 添加密码要求的最佳程序。似乎最简单的方法是在保存用户数据之前使用云功能执行。我唯一的警告是，只有当密码与数据库中存储的密码不同或者用户不存在于数据库中时，我才想
android - Parse 中的初始化 (com.parse.Parse.Configuration) 无法应用于 MainActivity 错误？
我是 android 开发、应用程序开发和一般开发的初学者，我正在尝试为我的 android 应用程序设置后端数据库。我决定使用一个名为 back4app 的服务，以便获得更加用户友好的数据库体验，因
android - 编译com.parse :parsefacebookutils leads to com. parse.Parse Class not found异常
我目前正在尝试将 Facebook 登录功能添加到我的应用程序。根据Android文档，当我添加 compile 'com.parse:parsefacebookutils-v4-android:1
parsing - 如何使用 PARSE 从字符串中解析货币值
我正在尝试使用 Rebol 2/3 从字符串中解析货币值，货币值的格式为: 10,50 欧元或 10,50 欧元我在浏览了所有 PARSE 文档后想出了这段代码，我可以在 Red 中找到它，但在 R
parsing - DateTimeFormat.parse() 失败
代码: DateTimeFormat dateFormat = DateTimeFormat .getFormat("EEE MMM dd HH:mm:ss zzz y
parse-platform - Parse 上不再有导入按钮
我不再在 Parse 上看到用于导入 JSON 或 CSV 文件的导入按钮。他们是否将其移动到某个地方，或者不再可能导入这些文件类型？最佳答案官方原因是这样的: “[导入类按钮] 几天前被删除，因
parsing - JSON.parse() 是必要的吗？
我正在使用 PHP 从我的服务器检索一些数据。我想在 javascript 应用程序中使用这些数据，所以我正在做这样的事情: var polylines = ; $polylines 只是一个 PHP
parsing - BigInteger.Parse() 对十六进制数给出负数
我已经开始使用 .NET 4 System.Numerics.BigInteger Structure我遇到了一个问题。我正在尝试解析一个包含无符号(正数)的十六进制数字的字符串。我得到一个负数。
parsing - JSON.parse() 是必要的吗？
我正在使用 PHP 从我的服务器检索一些数据。我想在 javascript 应用程序中使用这些数据，所以我正在做这样的事情: var polylines = ; $polylines 只是一个 PHP
parsing - time.Parse 行为
在 Go 中，尝试将字符串转换为 time.Time 时，使用时间包的 Parse 方法不会返回预期结果。似乎问题出在时区。我想更改为 ISO 8601 结合 UTC 日期和时间。 package m
parsing - time.Parse 自定义布局
我正在尝试将此字符串模式 "4-JAN-12 9:30:14" 解析为 time.Time。尝试了 time.Parse("2-JAN-06 15:04:05", inputString) 和许多其
parse-platform - "Please refrain from creating a Parse project inside another Parse project."
从云代码和解析开始。使用this . 如何删除所有 Parse 项目以便开始创建新项目？我收到以下错误: “您想要创建一个新应用程序，还是将 Cloud Code 添加到现有应用程序中？输入“(n)e
parse-platform - parse.com cloudcode 查询，如何告诉 parse 只返回在表中找到的 PFObject 的某些列？
我在解析云代码时有这个功能: Parse.Cloud.define("testfunction", function(request, response) { var username = r
parse-platform - 一个 Parse.Object.saveAll 请求可以保存多少数据？以及一个 Parse.Object.saveAll 将使用多少请求
最近，我在 parse.com 上做了一些测试。我现在面临在后台作业中使用 Parse.Object.saveAll 的问题。从 parse.com 的文档来看，后台作业可以运行 15 分钟。我现在

首页

博学

6Ren·AI

商城

parsing - Hadoop Informatica 日志处理