- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
当别人做大数据用Java、Python的时候,我使用.NET做大数据、数据挖掘,这确实是值得一说的事。 写的并不全面,但都是实际工作中的内容.
其中一个优点是应用程序类型丰富,目前我用到的应用程序类型有:
我写了一个大杂烩脚本项目,里面有很多工程是查询ClickHouse统计分析,代码流程就是读取Excel数据作为查询输入条件,查询ClickHouse统计分析,统计结果导出到Excel。一个统计分析工作任务小半天就完成了。 用的ORM是我自己写的Dapper.LiteSql。没什么人用,可能是功能不强吧。不过很适合我自己的需求,我自己经常用。 比如:
int count = session.CreateSql<XXX>(@"
select count(distinct t.xxx, t.xxx, t.xxx) as cnt
from xxx t
")
.Where(t => t.PassTime >= startTime && t.PassTime <= endTime)
.Where("t.Name in (" + kkNames + ")")
.QuerySingle<int>();
再比如:
var query = session.CreateSql<XXX>(@"
select t.xxx, t.xxx, t.xxx
from xxx t
")
.Where(t => t.PassTime >= firstTime && t.PassTime <= firstTime.AddDays(7).AddSeconds(-1));
query.Where(t => plateList.Skip((page - 1) * pageSize).Take(pageSize).ToList().Contains(t.PlateNo));
var temp = query.ToList();
对于统计查询,我经常SQL和Lambda表达式混写,感觉这样非常灵活。 某些情况下,混写比纯Lambda写法,是要清晰的:
List<XXX> list = session.CreateSql<XXX>(@"
select xxx, xxx as xxx, max(xxx) as xxx
from (
select xxx, toDate(xxx) as xxx, xxx, count(*) as xxx
from (
select distinct t.xxx, t.xxx, t.xxx
from xxx t
").Where(t => t.Xxx != "xxx")
.Where(t => t.XxxTime >= startTime && t.XxxTime <= endTime)
.Where(t => xxxList.Contains(t.Xxx))
.Where(@"(
(formatDateTime(t.xxx_time ,'%H:%M:%S') >= '07:00:00' and formatDateTime(t.xxx_time ,'%H:%M:%S') <= '08:59:59') or
(formatDateTime(t.xxx_time ,'%H:%M:%S') >= '14:00:00' and formatDateTime(t.xxx_time ,'%H:%M:%S') <= '20:59:59')
)")
.Append(@")")
.GroupBy("xxx, xxx, xxx")
.Append(@")
group by xxx, xxx
")
.QueryList<XXX>();
上述代码说明:
本打算使用Elasticsearch.Net,为什么没有使用?
public async Task<TicketAgg> QueryAgg(string strStartTime, string strEndTime, string idCard)
{
Stopwatch sw = Stopwatch.StartNew();
string esUrl = $"http://{esIPs[_rnd.Next(0, esIPs.Length)]}:24100/out_xxx/_search";
var esQueryBody = new
{
size = 0,
query = new
{
@bool = new
{
must = new dynamic[]
{
new
{
range = new
{
travel_time = new
{
gte = strStartTime,
lte = strEndTime,
format = "yyyyMMddHHmmss"
}
}
},
new
{
match_phrase = new
{
zjhm = idCard
}
}
}
}
},
aggs = new
{
countByZjhm = new
{
terms = new
{
field = "zjhm",
size = 10000
}
}
}
};
string esPostData = JsonConvert.SerializeObject(esQueryBody);
Console.WriteLine($"ES请求URL:{esUrl}");
Console.WriteLine($"ES请求参数:{esPostData}");
HttpClient httpClient = HttpClientFactory.GetClient();
HttpContent content = new StringContent(esPostData);
content.Headers.ContentType = new System.Net.Http.Headers.MediaTypeHeaderValue("application/json");
string strEsResult = await (await httpClient.PostAsync(esUrl, content)).Content.ReadAsStringAsync();
var resultObj = new
{
took = 0,
aggregations = new
{
countByZjhm = new
{
buckets = new[]
{
new
{
key = "",
doc_count = 0
}
}
}
}
};
var esResult = JsonConvert.DeserializeAnonymousType(strEsResult, resultObj);
TicketAgg agg = new TicketAgg();
agg.IdCard = idCard;
agg.Count = esResult.aggregations.countByZjhm.buckets[0].doc_count;
sw.Stop();
Console.WriteLine($"统计数据,耗时:{sw.Elapsed.TotalSeconds.ToString("0.000")} 秒");
return agg;
}
代码中esQueryBody和resultObj都是一次性使用的,直接用匿名动态类型,而TicketAgg是需要实例化作为返回值给其它方法使用的,所以定义成静态类型。 评论区有人问可选条件怎么写,代码如下:
string strStartTime = DateTime.Now.AddDays(-7).ToString("yyyyMMddHHmmss");
string strEndTime = DateTime.Now.ToString("yyyyMMddHHmmss");
string idCard = "33";
var esQueryBody = new
{
size = 10000,
query = new
{
@bool = new
{
must = new List<dynamic>
{
new
{
range = new
{
travel_time = new
{
gte = strStartTime,
lte = strEndTime,
format="yyyyMMddHHmmss"
}
}
}
}
}
}
};
if (idCard != null)
{
esQueryBody.query.@bool.must.Add(new
{
match_phrase = new
{
zjhm = idCard
}
});
}
string esPostData = JsonConvert.SerializeObject(esQueryBody);
上述代码说明:
下面一段代码,生产测试数据用的:
public async Task MockXxxData(string indexName, int count, DateTime startDate, DateTime endDate, string[] departures, string[] destinations, dynamic peoples)
{
int days = (int)endDate.Subtract(startDate).TotalDays;
List<Task> taskList = new List<Task>();
for (int i = 0; i < count; i++)
{
DateTime date = startDate.AddDays(_rnd.Next(0, days + 1));
long time = (long)(_rnd.NextDouble() * 3600 * 24);
var people = peoples[_rnd.Next(0, peoples.Length)];
var esRequestBody = new
{
xxx_type = _rnd.Next(1, 4).ToString(),
zjlx = "xxx",
zjhm = people.zjhm,
xm = people.xm,
departure = departures[_rnd.Next(0, departures.Length)],
destination = destinations[_rnd.Next(0, destinations.Length)],
xxx_date = date.ToString("yyyyMMdd"),
xxx_time = date.AddSeconds(time).ToString("yyyyMMddHHmmss"),
xxx_time = date.AddSeconds(time).AddHours(0.5 + _rnd.NextDouble()).ToString("yyyyMMddHHmmss"),
xxx_time = date.AddSeconds(time).AddDays(-2 + _rnd.NextDouble()).ToString("yyyyMMddHHmmss"),
xxx = "",
xxx = ""
};
var task = ServiceFactory.Get<EsWriteService>().Write(indexName, esRequestBody);
taskList.Add(task);
}
await Task.WhenAll(taskList);
}
上述代码说明:
private Semaphore _sem = new Semaphore(20, 20); //限制异步请求的并发数量
public async Task<bool> Write(string indexName, dynamic esRequestBody)
{
_sem.WaitOne();
try
{
Stopwatch sw = new Stopwatch();
sw.Start();
indexName = $"{indexName}-{DateTime.Now.Year}-{DateTime.Now.Month:00}";
string esUrl = $"http://{esIPs[_rnd.Next(0, esIPs.Length)]}:24100/{indexName}/doc";
string esRequestData = JsonConvert.SerializeObject(esRequestBody);
HttpContent content = new StringContent(esRequestData);
content.Headers.ContentType = new System.Net.Http.Headers.MediaTypeHeaderValue("application/json");
HttpClient httpClient = HttpClientFactory.GetClient();
string strEsResult = await (await httpClient.PostAsync(esUrl, content)).Content.ReadAsStringAsync();
var resultObj = new
{
status = 0
};
var esResult = JsonConvert.DeserializeAnonymousType(strEsResult, resultObj);
sw.Stop();
_log?.Info($"【写入ES索引】【{(esResult.status == 0 ? "成功" : "失败")}】耗时:{sw.Elapsed.TotalSeconds:0.000} 秒,索引名称:{indexName},请求URL:{esUrl},请求参数:{esRequestData}");
return esResult.status == 0;
}
catch
{
throw;
}
finally
{
_sem.Release();
}
}
评论区有人问技术栈,这里列一下主要的库:
还有项目经理、产品经理、前端等一共几个人,项目资金投入少,所以不可能有很多人的.
我一开始是想使用Python的,但就我用.NET写的这些东西,如果改用Python,没个2、3年经验,写不顺畅.
我用.NET做一个项目,Swagger有了,创建工程时自带的,当然Python的Swagger也是有的,你可以百度"python 从注释自动生成 swagger",之前看到过一个不错的,没保存,一时半会就找不到了。 用Blazor做了简单的配置页面,测试时不用去手动修改数据库了 写了一个Mock工程,生产模拟测试数据,写入速度可以达到6000条/秒(一条数据请求一次,不是批量写入),界面如下:
写此博客是为了给.NET正名,在大数据项目中,.NET大有可为。 我写代码没有用到什么特别的技术,看起来很简单,但也不是随便学学就能写,没个3、5年经验,很难写的这么快。 我写代码也没有什么条条框框,可能不规范,但很灵活。 例如,winform程序注入日志工具类怎么写?来不急百度了,就这么写吧,一样每秒6000条的狂写日志,还不卡界面:
public partial class Form1 : Form, ILog
{
...省略
public Form1()
{
InitializeComponent();
...省略
//注入日志工具类
ServiceFactory.Get<IndexCreationService>().InjectLog(this);
ServiceFactory.Get<EsWriteService>().InjectLog(this);
ServiceFactory.Get<MockDataService>().InjectLog(this);
}
}
internal class EsWriteService : ServiceBase
{
...省略
private ILog? _log;
public void InjectLog(ILog log) => _log = log;
public async Task<bool> Write(string indexName, dynamic esRequestBody)
{
...省略
_log?.Info("xxx");
...省略
}
}
就目前这些项目、脚本、工具而言,感觉这就是我写的最佳实践。不知道最佳实践,代码也能写,容易写成屎山,要么写的服务三天两头崩.
最后此篇关于.NET与大数据的文章就讲到这里了,如果你想了解更多关于.NET与大数据的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
创建使用.NET框架的asp.net页面时,访问该页面的客户端是否需要在其计算机上安装.NET框架? IE。用户访问www.fakesite.com/default.aspx,如果他们没有安装框架,他
我阅读了很多不同的博客和 StackOverflow 问题,试图找到我的问题的答案,但最后我找不到任何东西,所以我想自己问这个问题。 我正在构建一个应用程序,其中有一个长时间运行的工作线程,它执行一些
已锁定。这个问题及其答案是locked因为这个问题是题外话,但却具有历史意义。目前不接受新的答案或互动。 我一直想知道为什么微软为这样一个伟大的平台选择了一个如此奇怪的、对搜索引擎不友好的名称。他们就
.Net Framework .Net .NET Standard的区别 1、.NET Framework 在未来.NET Framework或许成为过去时,目前还是有很多地方在使用的。这一套
如果有选择的话,您会走哪条路? ASP.NET Webforms + ASP.NET AJAX 或 ASP.NET MVC + JavaScript Framework of your Choice
我有一个 Web 服务,它通过专用连接通过 https 使用第三方 Web 服务,我应用了 ServicePointManager.ServerCertificateValidationCallbac
为什么我应该选择ASP.NET Web Application (.NET Framework)而不是ASP.NET Core Web Application (.NET Framework)? 我在
我在网络上没有找到任何关于包含 .NET Standard、.NET Core 和 .NET Framework 项目的 .NET 解决方案的公认命名约定。 就我而言,我们在 .NET 框架项目中有以
.NET Compact 是 .NET 的完美子集吗? 假设我考虑了屏幕大小和其他限制并避免了 .NET Compact 不支持的类和方法,或者 .NET Compact 是一个不同且不兼容的 GUI
我已经阅读了所有我能找到的关于 connectionManagement 中的 maxconnection 设置的文章:即 http://support.microsoft.com/kb/821268
我现在正在使用asp.net mvc,想知道使用内置的Json或 Json.Net哪个是更好的选择,但我不确定一个人是否比另一个人有优势。 另外,如果我确实选择沿用Json.Net的路线,那么我应该选
在 Visual Studio 中,您至少可以创建三种不同类型的类库: 类库(.NET Framework) 类库(.NET 标准) 类库(.NET Core) 虽然第一个是我们多年来一直使用的,但我
.NET 和 ASP.NET 之间有什么区别?它们有什么关系? 最佳答案 ASP.Net 基于 .Net 框架构建,提供有关 Web 开发的附加功能。 你可以去看看wikipedia article
在安装更高版本(3.0)之前,我需要安装.net框架1.1和2.0吗?或者单独安装 3.0 框架就足够了,并为在早期框架版本上编写的软件提供支持?谢谢 ,丽然 最佳答案 不,您不必安装以前的框架。 我
我正在开发一个项目,人们可以“更新”类别,例如更改类别的名称。我收到以下消息 This is called after clicking update 按钮 with the SQL statemen
.NET 类 System.Net.CookieContainer 线程安全吗? --更新:交 key 答复-- 是否有任何方法可以确保异步请求期间修改的变量(即 HttpWebRequest.Coo
我正在使用 JScript.NET 在我编写的 C# WinForms 应用程序中编写脚本。它工作得很好,但我只是尝试在脚本中放置一些异常处理,但我无法弄清楚如何判断我的 C# 代码抛出了哪种类型的异
我需要你的帮助, 比如我有一个小数类型的变量,我想这样取整。 例如 3.0 = 3 3.1 = 4 3.2 = 4 3.3 = 4 3.4 = 4 3.5 = 4 3.6 = 4 3.7 = 4 3.
我使用过这样的代码:http://msdn.microsoft.com/en-us/library/dw70f090.aspx在 ASP.NET 中工作之前访问数据库(2-3 年前)。我没有意识到我正
自 ConfigurationManager .NET Standard 中不存在,检索正在执行的程序集的应用程序设置的最佳方法是什么,无论是 web.config或 appSettings.{env
我是一名优秀的程序员,十分优秀!