- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我在运行 hadoop 管道程序时遇到此错误。 程序编译成功但在 hadoop 管道上失败。
error while loading shared libraries: Lib.so.0: cannot open shared object file: No such file or directory
生成文件:
CC = g++
HADOOP_PATH = usr/lib/HADOOP
OTHERLIB1_PATH = usr/lib/OTHERLIB1
OTHERLIB2_PATH = usr/lib/OTHERLIB2
OTHERLIB3_PATH = usr/lib/OTHERLIB3
OTHERLIB4_PATH = usr/lib/OTHERLIB4
IMAGE_PATH = usr/lib/IMAGE
LIB_PATH = ../../../src/Lib
PLATFORM = Linux-amd64-64
CFLAGS_HDP = -O3 \
-I$(LIB_PATH) \
-I$(OTHERLIB1_PATH)/include \
-I$(HADOOP_PATH)/$(PLATFORM)/include \
-I$(OTHERLIB4_PATH)/include \
-I$(OTHERLIB2_PATH)/include \
-I$(OTHERLIB3_PATH)/include
LDFLAGS_HDP = -L$(OTHERLIB1_PATH)/lib \
-L$(HADOOP_PATH)/$(PLATFORM)/lib \
-L$(OTHERLIB3_PATH)/lib \
-L$(OTHERLIB2_PATH)/lib \
-L$(OTHERLIB4_PATH)/lib \
-L$(LIB_PATH)/.libs \
-lhadooppipes -lhadooputils -lpthread -lcrypto\
-lLib -lLib4 -lLib1
all: pipes clean
clean:
rm *.o
pipes: LibPipes.cpp xml DocToXml
$(CC) $(CFLAGS_HDP) \
LibPipes.cpp \
-o Lib_Pipes base64.o \
xml.o DocToXml.o $(LDFLAGS_HDP)
xml: xml.cpp base64
$(CC) $(CFLAGS_HDP) base64.o -c xml.cpp -o xml.o
base64: base64.cpp
$(CC) $(CFLAGS_HDP) -c base64.cpp -o base64.o
DocToXml: DocToXml.cpp
$(CC) $(CFLAGS_HDP) -c DocToXml.cpp -o DocToXml.o
我使用以下命令在 hadoop 上运行该程序:
hadoop pipes \
-D hadoop.pipes.java.recordreader=false \
-D hadoop.pipes.java.recordwriter=false \
-D mapred.map.tasks=128 \
-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat \
-writer org.apache.hadoop.mapred.SequenceFileOutputFormat \
-reduce org.apache.hadoop.mapred.lib.IdentityReducer \
-input Input \
-output Output \
-program /user/uss/bin/Lib_Pipes \
-reduces 1
这似乎是动态链接引起的问题。我尝试使用 -files 标志将库提供给 hadoop。还尝试使用不同的编译标志静态链接此程序,如 -static、-Bstatic、-static-libgcc、-static-libstdc++,但这些也不起作用。有谁知道如何在 hadoop 管道上处理这种类型的二进制文件?任何帮助将不胜感激。
最佳答案
我使用的解决方案是压缩所有外部库并在管道中使用 -archives
标志。
zip -r my.zip lib/
此处 lib/
包含您要链接的所有 .so
文件。
编辑
同时将 -rpath my.zip/lib
添加到 LDFLAGS_HDP
。要进行编译,您还需要执行以下操作。
# in src dir
mkdir -p my.zip/lib
/编辑
然后使用你的命令运行管道并添加
-archives my.zip
关于c++ - Hadoop Pipes 找不到共享库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7957154/
我有管道输出 command_a | command_b | ... | command_n 输出是一个数字序列 4.2 -1 ... 0.2 我可以使用 gnuplot 绘制这些数字吗? (将 gn
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗?更新问题,以便 editing this post 可以用事实和引文来回答它。 . 已关闭 6 年前。 Improv
我目前正在尝试连接父项和子项之间的管道。子级正在执行 sort 并对从父级接收到的输入进行排序。然后 children 写入一个单独的管道。每个进程有两个管道。一个这样 parent 可以将输入发送给
最近我正在研究 Python 中的并行编程工具。这是 os.pipe 和 multiprocessing.Pipe 之间的两个主要区别。(尽管它们被使用的场合) os.pipe是单向,multipro
我的站点上运行着 Yahoo Pipe,Romneyomics它使用来自 Delicious 和 Topsy 的饲料。Delicious 提要不提供“描述”字段,但 Topsy 提供,并且不仅仅是一个
我有一些使用管道的 Haskell 代码: module Main(main) where import Pipes a :: Producer Int IO () a = each [1..10]
所以标题几乎解释了我的问题。 stdout=subprocess.PIPE 和 stdout=PIPE 有什么区别?两者都来自 subprocess 模块,但为什么要使用一个而不是另一个呢?你如何使用
我有一个名为“myPipe”的自定义管道。我得到: The pipe 'myPipe' could not be found error 在我的单元测试中请建议在我的 .spec.ts 中导入和声明什
我有一个非常简单的 Python 3 脚本: f1 = open('a.txt', 'r') print(f1.readlines()) f2 = open('b.txt', 'r') print(f
我正在使用管道和 Python 的多处理模块在进程之间发送简单的对象。文档指出,如果管道已关闭,则调用 pipe.recv() 应该引发 EOFError。相反,我的程序只是阻塞在 recv() 上,
我在 perl 中见过这两种形式的管道 open。 一种是简单的管道打开 open FH,'| command'; 其他是安全管道打开 open FH,'|-','command'; 现在,第二个中的
我正在尝试对我的组件进行单元测试,但它立即生成一个错误: 类型错误:this.store$.pipe 不是函数 根据我的理解, createSpyObj 应该模拟状态。我有不同的选项选项,但没有一个起
我在这里看到这个帖子很多次了;但未能从命令中捕获故意错误。迄今为止我找到的最好的部分工作.. from Tkinter import * import os import Image, ImageTk
我正在编写一个简单的程序来解析编译器的输出并重新格式化任何错误消息,以便我们使用的 IDE(visual studio)可以解析它们。我们使用 nmake构建,它将使用如下命令行调用编译器: cc16
我有一个在coreos上运行的kubernetes集群。我希望在称为记录的Pod中的容器中运行journal2gelf https://github.com/systemd/journal2gelf。
为什么当管道中没有写入器时,读取器存在可以,但当管道中没有读取器时,写入器存在就不行? 。是不是因为reader需要等待,所以没有writer也没关系,而writer已经准备好数据了,即使数据准备好了
我在/etc/postfix/master.cf 中创建了一个 postfix 命令管道,其中包含一个在 STDOUT 和 STDERR 上产生输出的有效命令。在终端上调用时一切正常(因此在 STDO
我有一个命令需要来自管道的输入。例如,考虑著名的 cat 命令: $ echo Hello | cat Hello 假设我在 Perl 6 程序中有一个字符串,我想将其通过管道传递给命令: use v
因此,由于我们拥有各种设置,我习惯于遇到需要将一个可观察结果添加到另一个结果的地方,然后同时使用两者。我需要第一个在另一个之前完成的地方 getUser() .pipe( mergeMap
我在 Angular 5 中有一个非常简单的管道 import { Pipe, Injectable } from '@angular/core'; @Pipe({ name: "defaul
我是一名优秀的程序员,十分优秀!