个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
<分区>
我是 Scala 新手。
我的要求是我需要逐行读取并将其拆分为特定的分隔符并提取值以放入不同文件的相应列中。
下面是我的输入示例数据:
ABC Log
Aug 10 14:36:52 127.0.0.1 CEF:0|McAfee|ePolicy Orchestrator|IFSSLCRT0.5.0.5/epo4.0|2410|DeploymentTask|High eventId=34 externalId=23
Aug 10 15:45:56 127.0.0.1 CEF:0|McAfee|ePolicy Orchestrator|IFSSLCRT0.5.0.5/epo4.0|2890|DeploymentTask|Medium eventId=888 externalId=7788
Aug 10 16:40:59 127.0.0.1 CEF:0|NV|ePolicy Orchestrator|IFSSLCRT0.5.0.5/epo4.0|2990|DeploymentTask|Low eventId=989 externalId=0004
XYZ Log
Aug 15 14:32:15 142.101.36.118 cef[10612]: CEF:0|fire|cc|3.5.1|FireEye Acquisition Started
Aug 16 16:45:10 142.101.36.189 cef[10612]: CEF:0|cold|dd|3.5.4|FireEye Acquisition Started
Aug 18 19:50:20 142.101.36.190 cef[10612]: CEF:0|fire|ee|3.5.6|FireEye Acquisition Started
在上面的数据中，我需要阅读“ABC 日志”标题下的第一部分，并从每一行中提取值并将其放在相应的列下。这里有几个第一个值的列名称是硬编码的，最后一列我需要通过拆分来提取“="即 eventId=34 externalId=23 => col = eventId value = 34 和 col = value = externalId
Column names
date time ip_address col1 col2 col3 col4 col5
我想要如下输出:
这是第一部分“ABC 日志”并将其放入一个文件中，其余部分相同。
date time ip_address col1 col2 col3 col4 col5 col6 col7
Aug 10 14:36:52 127.0.0.1 CEF:0 McAfee ePolicy Orchestrator IFSSLCRT0.5.0.5/epo4.0 2410 DeploymentTask High
Aug 10 15:45:56 127.0.0.1 CEF:0 McAfee ePolicy Orchestrator IFSSLCRT0.5.0.5/epo4.0 2890 DeploymentTask Medium
下面的代码我一直在尝试:
package AV_POC_Parsing
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.log4j.Logger
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
// For implicit conversions like converting RDDs to DataFrames
//import org.apache.spark.implicits._
//import spark.implicits._
object scala {
def main(args: Array[String]) {
// create Spark context with Spark configuration
val sc = new SparkContext(new SparkConf().setAppName("AV_Log_Processing").setMaster("local[*]"))
// Read text file in spark RDD
val textFile = sc.textFile("input.txt");
val splitRdd = textFile.map( line => line.split(" "))
// RDD[ Array[ String ]
// printing values
splitRdd.foreach { x => x.foreach { y => println(y) } }
// how to store split values in different column and write it into file
}}
如何在 Scala 中拆分两个分隔符。
谢谢
25
4
0
我正在使用 python 加密一些文件，但我在逐 block 读取文件时遇到问题。 有时不会返回最后一个 block 的所有数据。 当文件长度为 307200 字节时，我没有问题。当它的长度为 279
我正在使用 WebRTC 将文件发送到连接的对等方，并且我正在以块的形式发送文件。但是，我无法弄清楚如何让对等方在文件逐块流入时保存/下载文件。 我在网上找到的所有例子都推荐做这样的事情: // se
我用 Tiled 做了一张 map 。它的每一 block 图 block 都尺寸为 32x32 像素，我的主要角色 Sprite 也是。 在我的类(class) Player.cpp 中，我有一些计
我见过一些单页网站，您可以逐 block 滚动，因此您没有无限滚动。 你逐 block 移动。 是否有提供此功能的任何脚本或其他东西？ 最佳答案 我自己从未使用过它，所以我无法在代码方面为您提供帮助，
这是一个逐 block 反转文件内容的程序。 #include #include #define BS 12 void reverse(char * buffer, int size) { c
在下面的代码中，有没有办法避免 if 语句？ s = 13; /*Total size*/ b = 5; /*Block size*/ x = 0; b1 = b; while(x s)
我正在尝试分割输入图像并逐个对其进行模糊处理，但毕竟对相邻图 block 调用 cv::blur 我得到了边界像素，这与我有一次将 cv::blur 集体应用于整个图像。 Mat upper(im,
我想逐个读取文件。该文件被分成几部分，存储在不同类型的媒体上。我目前所做的是调用文件的每个单独部分，然后将其合并回原始文件。 问题是我需要等到所有 block 都到达后才能播放/打开文件。是否可以在
我有一个包含客户和日期列表的 JSON 文件。 文件看起来像这样: { "Customers": [ { "Customer": "Customer Name Here", "Company"
我的邮件目标是从连接到HTTP服务器的TCP套接字读取数据，然后解析 HTTP响应块(传输编码:分块)-服务器在同一连接上每30秒发送一个块 我附上了我的代码。看起来io.Copy读取第一个块，然后等
我认为自己是一位经验丰富的 numpy 用户，但我无法找到以下问题的解决方案。假设有以下数组: # sorted array of times t = numpy.cumsum(numpy.rando
当我将文件添加到暂存区时，我可以 $ git add my_file -p 然后选择我要暂存的 block 。 有没有办法 merge/挑选一个提交并逐 block 应用它的差异？ 谢谢 最佳答案 我
我有一个 mongodb 查询，它获取大约 50,000 个大文档。 这对我的 RAM 来说太多了，因此计算机速度变慢了。 现在我想逐 block 迭代 mongodb 结果。 我想获取前 1000
我不会为 AES 或其他加密打开此线程，因为这是我要用来加密 AES 和其他加密的 key 的内容。我从 StackOverflow 和其他一些网站收集了一些代码，并对其进行了编辑以适合我的程序，但是
我在做一些后台工作时尝试收集所有系统统计数据。例如，我使用以下命令来收集 IO 统计信息: iostat -xty 5 此脚本用于每 5 秒收集一次 I/O 统计信息。所以我的日志会包含很多数据 bl
我需要 php 脚本，用于从 url 到服务器的可恢复文件下载。它应该能够开始下载，然后在捕捉时(30 秒 - 5 分钟)恢复，依此类推，直到完成整个文件。 perl 中有类似的东西 http://c
是否有标准的 Linux 命令可用于逐 block 读取文件？例如，我有一个大小为 6kB 的文件。我想读取/打印第一个 1kB，然后是第二个 1kB ...似乎 cat/head/tail 在这种情
我正在处理大量文件，我想逐 block 处理这些文件，假设在每批处理中，我想分别处理每 50 个文件。 如何使用 Spark Structured Streaming 来实现？ 我看到 Jacek L
我正在处理大量文件，我想逐 block 处理这些文件，假设在每批处理中，我想分别处理每 50 个文件。 如何使用 Spark Structured Streaming 来实现？ 我看到 Jacek L
我想知道:逐 block 读取 jp2 并将数据存储在缓冲区对象中的预期方法是什么？ 现在我正在做类似的事情。 /* note I already created stream and configu
我是一名优秀的程序员,十分优秀！