- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在尝试从 hbase 表中读取数据,对其进行一些处理并使用以下代码将其存储在另一个表中
package analysis;
import java.io.IOException;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
public class Author_ref {
public static class MyMapper extends TableMapper<Text,Text> {
public void map(ImmutableBytesWritable row, Result value,Context context)throws IOException, InterruptedException
{
String key = new String(row.get());
String values = new String(value.getValue(Bytes.toBytes("authors"), Bytes.toBytes("authors")));
String clean_values = values.replaceAll("[","");
String clean_values2 = clean_values.replaceAll("]","");
String authors[] = clean_values2.trim().split(",");
for (String author : authors)
{
//Put row = new Put();
context.write(new Text(author),new Text( key));
}
}
}
public static class MyReducer extends TableReducer<Text, Text, ImmutableBytesWritable>
{
public void reduce(Text author, Iterable<Text> values,Context context)throws IOException,InterruptedException
{
String papers = "";
for (Text x : values)
{
papers = papers + ","+x.toString();
}
Put p = new Put(author.getBytes());
p.add(Bytes.toBytes("papers_writen"),Bytes.toBytes("papers_writen"),Bytes.toBytes(papers));
context.write(null, p);
}
}
public static void main(String[] args) throws Exception
{
Configuration config = HBaseConfiguration.create();
Job job = new Job(config,"ExampleSummary");
Scan scan = new Scan();
scan.setCaching(500); // 1 is the default in Scan, which will be bad for MapReduce jobs
scan.setCacheBlocks(false);
job.setJarByClass(Author_ref.class); // class that contains mapper and reducer
TableMapReduceUtil.initTableMapperJob(
"Dataset", // input table
scan, // Scan instance to control CF and attribute selection
MyMapper.class, // mapper class
Text.class, // mapper output key
Text.class, // mapper output value
job);
TableMapReduceUtil.initTableReducerJob(
"Author_paper", // output table
MyReducer.class, // reducer class
job);
job.setNumReduceTasks(1); // at least one, adjust as required
System.exit(job.waitForCompletion(true)?0:1);
}
}
M 收到以下错误..
线程“main”中的异常 java.lang.NoSuchMethodError: org.apache.hadoop.yarn.api.records.URL.fromURI(Ljava/net/URI;)Lorg/apache/hadoop/yarn/api/records/网址; 在 org.apache.hadoop.mapreduce.v2.util.LocalResourceBuilder.createLocalResources(LocalResourceBuilder.java:144) 在 org.apache.hadoop.mapreduce.v2.util.MRApps.setupDistributedCache(MRApps.java:531) 在 org.apache.hadoop.mapred.LocalDistributedCacheManager.setup(LocalDistributedCacheManager.java:92) 在 org.apache.hadoop.mapred.LocalJobRunner$Job.(LocalJobRunner.java:171) 在 org.apache.hadoop.mapred.LocalJobRunner.submitJob(LocalJobRunner.java:760) 在 org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:253) 在 org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570) 在 org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567) 在 java.security.AccessController.doPrivileged( native 方法) 在 javax.security.auth.Subject.doAs(Subject.java:422) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1889) 在 org.apache.hadoop.mapreduce.Job.submit(Job.java:1567) 在 org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1588) 在 analysis.Author_ref.main(Author_ref.java:111)
我正在使用 hadoop 2.9 和 hbase 1.2.6.1
最佳答案
hadoop 2.9 和 hbase 1.2.x 不兼容,看看这个
http://hbase.apache.org/book.html#basic.prerequisites
您必须使用兼容的版本。
关于hadoop - NoSuchMethodException org.apache.hadoop.yarn.api.records.URL.fromURI,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51625899/
我一直在尝试在我当前的应用程序中包含 Song.FromURI() 方法,但总是出现“CrossThreadMessagingException”。 我已经开始了一个新项目,并从字面上复制并粘贴了 M
我使用 [FromUri] 在我的 web api 操作中获取参数,例如: public TestController { public ActionResult TestMethod([Fr
我正在使用 Asp.NET WebApi,让我感到困惑的一件事是完成请求时的绑定(bind)。 我有这个 ViewModel: [DataContract(Name="Store")] public
我正在尝试实现一个搜索过滤器以在我的一个 Controller 中获取对象。我有以下代码: public class SearchFilter { public DateTime? Busin
我在 web api 中有一个新方法 [HttpPost] public ApiResponse PushMessage( [FromUri] string x, [FromUri] string y
在使用 ASP.NET WebApi2 和 Swashbuckle/Swagger 时,我尝试使用 FromUri 属性绑定(bind)对象,如下所示: [RoutePrefix("api/v1/ex
我想将在 uri 中带有嵌套数组的复杂对象发送到 GET 请求中的 MVC 操作方法。 考虑以下代码: public ActionResult AutoCompleteHandler([FromUr
我有一个项目列表,每个项目都有一个图像(从远程服务器下载),如下所示: var image = new Image { WidthRequest
我们有多个 API Controller 接受 GET 请求,如下所示: //FooController public IHttpActionResult Get([FromUri]Foo f); /
我熟悉 FromBody 和 FromRoute。他们似乎很清楚。 我使用 FromUri 来处理映射到列表或 string[] 的多值参数。 FromQuery 听起来很相似,但有什么区别吗? 最佳
[Route("Street/{ZoneID}/{StreetID}/")] public HttpResponseMessage GetStreet(int ZoneID,int Stree
我有以下 API Controller 操作 [HttpGet] [Route("assets")] public async Task Get([FromUri]SearchCriteria sea
我正在尝试构建一个 RESTApi 端点,用户可以在其中发送多个 ID 来过滤特定资源。 因此我创建了一个请求对象,它可以在我自己的项目中重复使用以保持简单(至少对我而言)。 在构建 GET 调用 Q
我想使用属性路由和 [FromUri] 属性将 URL 参数绑定(bind)到我的 Point 对象,以便可以使用以下 URL: /foo-1,2 public IHttpActionResult P
在 WebApi 中,我可以使用 [FromUri] 修饰 Controller 操作上的参数,以便将 URI 的组件“反序列化”到 POCO 模型中;又名模型绑定(bind)。 尽管从 2.0 开始
我有一个带 url 的 MVC Controller ,它有一个参数绑定(bind),里面有方括号 public Product GetProduct([Bind(Prefix = "product
我正在使用 ImageSource.FromUri(new Uri("https://my image uri") 并且效果很好。 但是如何判断我是否已成功检索图像? 当我提供一个不存在的 URI 时
我目前正在创建一个新的 API,但我需要通过 URL 接收复杂的参数。我无法在不冒其他系统出错的风险的情况下轻松更改这些参数。 我正在使用 .Net Core 2.1,由于 [FromUri] 不存在
我在下面定义了一个 WebApi 操作。 (我使用的是 MediatR 库,它与我的问题略有相关) [HttpGet] [Route] public async Task Search([FromUr
我们正在使用 Asp.Net WebApi 创建 RestService。但由于某种原因,当尝试使用 [FromURI] 属性反序列化复杂属性时,Name 属性在 DataMember 属性中被忽略。
我是一名优秀的程序员,十分优秀!