- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
Python代码如下 。
import pandas as pd # 读取数据 data = pd.read_csv('data_row.csv') # 检查异常值 def detect_outliers(data): outliers = [] for col in data.columns: q1 = data[col].quantile(0.25) q3 = data[col].quantile(0.75) iqr = q3 - q1 lower_bound = q1 - 1.5 * iqr upper_bound = q3 + 1.5 * iqr outliers.extend(data[(data[col] < lower_bound) | (data[col] > upper_bound)].index) return list(set(outliers)) outliers = detect_outliers(data) print("异常数据数量:", len(outliers)) # 处理异常值 data.drop(outliers, inplace=True) # 保存清洗后的数据 data.to_csv('clean_data_row.csv', index=False)
下面我们修改成C#代码 。
创建控制台程序,Nuget安装 CsvHelper 和 pythonnet 。
public class Program { const string PathToPythonDir = "D:\\Python311"; const string DllOfPython = "python311.dll"; static void Main(string[] args) { // 数据清洗 CleanData(); }
/// <summary> /// 数据清洗 /// </summary> static void CleanData() { var originDatas = ReadCsvWithCsvHelper("data_row.csv"); var outliers = DetectOutliers(originDatas); var outlierHashset = new HashSet<int>(outliers); // 清洗过后的数据 var cleanDatas = originDatas.Where((r, index) => !outlierHashset.Contains(index)).ToList(); try { Runtime.PythonDLL = Path.Combine(PathToPythonDir, DllOfPython); PythonEngine.Initialize(); using (Py.GIL()) { dynamic pd = Py.Import("pandas"); dynamic np = Py.Import("numpy"); dynamic plt = Py.Import("matplotlib.pyplot"); dynamic fft = Py.Import("scipy.fftpack"); dynamic oData = np.array(originDatas.ToArray()); int oDataLength = oData.__len__(); dynamic data = np.array(cleanDatas.ToArray()); int dataLength = data.__len__(); // 绘制原始数据图和清洗后数据图 plt.figure(figsize: new dynamic[] { 12, 6 }); // 原始数据图 plt.subplot(1, 2, 1); plt.plot(np.arange(oDataLength), oData); plt.title("Original Datas"); // 清洗后数据图 plt.subplot(1, 2, 2); plt.plot(np.arange(dataLength), data); plt.title("Clean Datas"); // 布局调整,防止重叠 plt.tight_layout(); // 显示图表 plt.show(); } } catch (Exception e) { Console.WriteLine("报错了:" + e.Message + "\r\n" + e.StackTrace); } } /// <summary> /// 检测异常值 /// </summary> /// <param name="datas">原始数据集合</param> /// <returns>返回异常值在集合中的索引</returns> static List<int> DetectOutliers(List<double[]> datas) { List<int> outliers = new List<int>(); var first = datas.First(); for (int i = 0; i < first.Length; i++) { var values = datas.AsEnumerable().Select((row, index) => Tuple.Create(row[i], index)).ToArray(); double q1 = Enumerable.OrderBy(values, x => x.Item1).ElementAt((int)(values.Length * 0.25)).Item1; double q3 = Enumerable.OrderBy(values, x => x.Item1).ElementAt((int)(values.Length * 0.75)).Item1; double iqr = q3 - q1; double lowerBound = q1 - 1.5 * iqr; double upperBound = q3 + 1.5 * iqr; outliers.AddRange(values.AsEnumerable() .Where(row => row.Item1 < lowerBound || row.Item1 > upperBound) .Select(row => row.Item2)); } return outliers.Distinct().ToList(); } /// <summary> /// 读取CSV数据 /// </summary> /// <param name="filePath">文件路径</param> /// <returns>文件中数据集合,都是double类型</returns> static List<double[]> ReadCsvWithCsvHelper(string filePath) { using (var reader = new StreamReader(filePath)) using (var csv = new CsvReader(reader, CultureInfo.InvariantCulture)) { var result = new List<double[]>(); // 如果你的CSV文件有标题行,可以调用ReadHeader来读取它们 csv.Read(); csv.ReadHeader(); while (csv.Read()) { result.Add(new double[] { csv.GetField<double>(0), csv.GetField<double>(1), csv.GetField<double>(2), }); } return result; } } }
以下是运行后结果,左边是原始数据折线图,右边是清洗后数据折线图 。
源代码:https://gitee.com/Karl_Albright/csharp-demo/tree/master/PythonnetDemo/PythonnetClearData 。
。
。
。
抽稀算法 。
def down_sampling(sig,factor=2, axis=0): ''' 降采样 Inputs: sig --- numpy array, 信号数据数组 factor --- int, 降采样倍率 axis --- int, 沿着哪个轴进行降采样 ''' Temp=[':']*sig.ndim Temp[axis]='::'+str(factor) return eval('sig['+','.join(Temp)+']')
/// <summary> /// 降采样,其实就是抽稀算法 /// </summary> static List<double[]> DownSampling(int factor = 2, int axis = 0) { if (axis != 0 && axis != 1) throw new ArgumentException("Axis must be 0 or 1 for a 2D array."); var datas = ReadCsvWithCsvHelper("clean_data_row3.csv"); int dim0 = datas.Count; var first = datas.First(); int dim1 = first.Length; var result = new List<double[]>(); if (axis == 0) { var xAxis = dim0 / factor; var yAxis = dim1; for (int i = 0; i < xAxis; i++) { result.Add(datas[i * factor]); } } else if (axis == 1) { var xAxis = dim0; var yAxis = dim1 / factor; var item = new double[yAxis]; for (int i = 0; i < xAxis; i++) { var deviceData = datas[i]; for (int j = 0; j < yAxis; j++) { item[j] = deviceData[j * factor]; } result.Add(item); } } return result; }
源代码:https://gitee.com/Karl_Albright/csharp-demo/tree/master/PythonnetDemo/PythonnetClearData 。
最后此篇关于C#pythonnet(1)_传感器数据清洗算法的文章就讲到这里了,如果你想了解更多关于C#pythonnet(1)_传感器数据清洗算法的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
#include using namespace std; class C{ private: int value; public: C(){ value = 0;
这个问题已经有答案了: What is the difference between char a[] = ?string?; and char *p = ?string?;? (8 个回答) 已关闭
关闭。此题需要details or clarity 。目前不接受答案。 想要改进这个问题吗?通过 editing this post 添加详细信息并澄清问题. 已关闭 7 年前。 此帖子已于 8 个月
除了调试之外,是否有任何针对 c、c++ 或 c# 的测试工具,其工作原理类似于将独立函数复制粘贴到某个文本框,然后在其他文本框中输入参数? 最佳答案 也许您会考虑单元测试。我推荐你谷歌测试和谷歌模拟
我想在第二台显示器中移动一个窗口 (HWND)。问题是我尝试了很多方法,例如将分辨率加倍或输入负值,但它永远无法将窗口放在我的第二台显示器上。 关于如何在 C/C++/c# 中执行此操作的任何线索 最
我正在寻找 C/C++/C## 中不同类型 DES 的现有实现。我的运行平台是Windows XP/Vista/7。 我正在尝试编写一个 C# 程序,它将使用 DES 算法进行加密和解密。我需要一些实
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
有没有办法强制将另一个 窗口置于顶部? 不是应用程序的窗口,而是另一个已经在系统上运行的窗口。 (Windows, C/C++/C#) 最佳答案 SetWindowPos(that_window_ha
假设您可以在 C/C++ 或 Csharp 之间做出选择,并且您打算在 Windows 和 Linux 服务器上运行同一服务器的多个实例,那么构建套接字服务器应用程序的最明智选择是什么? 最佳答案 如
你们能告诉我它们之间的区别吗? 顺便问一下,有什么叫C++库或C库的吗? 最佳答案 C++ 标准库 和 C 标准库 是 C++ 和 C 标准定义的库,提供给 C++ 和 C 程序使用。那是那些词的共同
下面的测试代码,我将输出信息放在注释中。我使用的是 gcc 4.8.5 和 Centos 7.2。 #include #include class C { public:
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它,visit the help center 。 已关
我的客户将使用名为 annoucement 的结构/类与客户通信。我想我会用 C++ 编写服务器。会有很多不同的类继承annoucement。我的问题是通过网络将这些类发送给客户端 我想也许我应该使用
我在 C# 中有以下函数: public Matrix ConcatDescriptors(IList> descriptors) { int cols = descriptors[0].Co
我有一个项目要编写一个函数来对某些数据执行某些操作。我可以用 C/C++ 编写代码,但我不想与雇主共享该函数的代码。相反,我只想让他有权在他自己的代码中调用该函数。是否可以?我想到了这两种方法 - 在
我使用的是编写糟糕的第 3 方 (C/C++) Api。我从托管代码(C++/CLI)中使用它。有时会出现“访问冲突错误”。这使整个应用程序崩溃。我知道我无法处理这些错误[如果指针访问非法内存位置等,
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以便用事实和引用来回答。 关闭 7 年前。
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的,因为
我有一些 C 代码,将使用 P/Invoke 从 C# 调用。我正在尝试为这个 C 函数定义一个 C# 等效项。 SomeData* DoSomething(); struct SomeData {
这个问题已经有答案了: Why are these constructs using pre and post-increment undefined behavior? (14 个回答) 已关闭 6
我是一名优秀的程序员,十分优秀!