c# - 与 Oracle 的多个连接 - 多任务

Question

我有一个控制台应用程序，我必须一般来说检查整个基地来做东西...

为此，我正在使用 Tasks，如下所示:

static void Main(string[] args)
{
        var dateStart = DateTime.Now.AddDays(-35);
        var dateEnd = DateTime.Now;

        var taskList = new List<Task>();

        while (dateStart > dateEnd ? dateStart >= dateEnd : dateStart <= dateEnd)
        {
            var d = dateStart.Date;
            var dispositivesBll = new DispositivesBll();
            taskList.Add(Task.Run(() =>
                                        {
                                           dispositivesBll.Foo(d);
                                        }).ContinueWith(
                                            x => dispositivesBll.Dispose())
                               .ContinueWith(x => GC.Collect()));

            var dispositivesBllNew = new DispositivesBll();
            taskList.Add(Task.Run(() =>
                                        {
                                            dispositivesBllNew.Boo(d);
                                        }).ContinueWith(
                                            x =>
                                            dispositivesBllNew.Dispose())
                               .ContinueWith(x => GC.Collect()));

            if (taskList.Count >= 2 * 5)
            {
                Task.WaitAll(taskList.ToArray());
                taskList.Clear();
            }
            dateStart = dateStart > dateEnd ? dateStart.AddDays(-1) : dateStart.AddDays(1);
        }
        Task.WaitAll(taskList.ToArray());

所以基本上我想一次运行 10 天，正如您在 if (taskList.Count >= 2 * 5) 中注意到的那样，但问题是我的 Foo 和 Boo 方法与一个 Oracle 数据库有多个连接。

public class DispositivesBll : IDisposable 
{
    private readonly OracleDal _oracleDal = new OracleDal();

    public void Foo(DateTime data)
    {

        var t1 = Task.Run(() =>
                     {
                         _listSuccess = _oracleDal.GetSuccessList();
                     });

        var t2 =
            Task.Run(() =>
                         {
                             listFailure = _oracleDal.GetFailureList();
                         });

        t1.Wait();
        t2.Wait();

        foreach (var success in _listSuccess)
        {
            //Some logic to insert objects into a "mergeList"
        }

        if (mergeList.Any())
            Task.Run(() => _oracleDal.MergeList(mergeList)).Wait();
    }

    public void Dispose()
    {
        if (_hash != null)
            _hash.Clear();
        _hash = null;

    }
}

和我的合并方法:

    public void MergeList(List<MyObject> mergeList)
    {
        using (var conn = new OracleConnection(Connection.ConnectionString))
        {
            if (conn.State != ConnectionState.Open)
                conn.Open();
            using (var oCommand = conn.CreateCommand())
            {
                oCommand.CommandType = CommandType.Text;
                oCommand.CommandText = string.Format(@"
                MERGE INTO MyTable dgn 
                USING (select id from another_table where field = :xpe) d ON ( TO_CHAR(dateHappen, 'DDMMYYYY') = {0} and id = :xId) WHEN MATCHED THEN 
                    UPDATE SET OK = :xOk, dateHappen = SYSDATE
                WHEN NOT MATCHED THEN 
                    INSERT (fields....) 
                    VALUES (values...)");
                oCommand.BindByName = true;
                oCommand.ArrayBindCount = mergeList.Count;



                oCommand.Parameters.Add(":xId", OracleDbType.Int32,
                                        mergeList.Select(c => Convert.ToInt32(c.Id)).ToArray(), ParameterDirection.Input);

                oCommand.Parameters.Add(":xPe", OracleDbType.Varchar2,
                                        mergeList.Select(c => Convert.ToString(c.Xpe)).ToArray(), ParameterDirection.Input);


                oCommand.ExecuteNonQuery();
            }
        }
    }

问题是:对于每一“天”，处理所有事情都需要大约 2 个小时......我们有一个每日计划来备份我们的数据库，导致数据库停止大约 10 分钟......所以它会导致锁定在我的过程中...

那我怎么办？我手动停止这个过程并再次启动它以避免已经执行的日期。但是，如果我打开了 20 个连接，它们会保持这种状态...所以我每次都必须终止这些 session ...有没有办法强制处理所有连接？

编辑:

MyTable 有 50 mi 行....由 ID | 组成状态 |日期 ...基本上我必须通过他们的日期跨越那些国家...所以它在数据库上的巨大延迟......这是一个已知问题，我们必须重构整个数据库模型......我们很快就会这样做......

但无论如何，尽管处理时间很长，但如果我能管理(或强制)连接终止，那就没问题了......

有什么想法吗？

Answer 1

好吧，为了终止 session ，您需要让 DBA 参与进来，如果您每周这样做几次，就不会建立良好的友谊!正如我自己和其他人指出的那样，不需要为了备份(冷备份除外)甚至导出而关闭数据库，但是如果您有这些漫长的合并过程，则一致的导出将花费相当长的时间。因此，第一步是(很好地)教育 DBA 让数据库处于归档日志模式，并让 RMAN 管理在线备份。

其次，您需要改进合并条件，以便对合并列进行索引。很可能 dateHappen 已被索引，但由于您在合并条件中对其调用函数，因此除非创建基于函数的索引，否则无法使用该索引。我指的是

TO_CHAR(dateHappen, 'DDMMYYYY') = {0}

特别是；一般来说，

USING (select id from another_table where field = :xpe) d 
ON ( TO_CHAR(dateHappen, 'DDMMYYYY') = {0} and id = :xId) 

您应该检查 another_table 上的 id 和 field 是否被索引，并在 dateHappen 上创建一个基于函数的索引:

create index i_date_string on whatever_table (TO_CHAR(dateHappen, 'DDMMYYYY'))

对于您的数据库调优，只需在 SQL 工具中单独调用合并语句来尝试不同的方法；那么你就不必担心中途终止合并，这会导致数据库中的大量工作回滚事务等。

更新:

好的，我将回答问题而不是提供我的解决方案。 :)

您可以创建一个配置文件，然后将其分配给用户，以将 session 限制在特定的CONNECT_TIME 或IDLE_TIME 或两者。那么如果用户超过时间，根据http://docs.oracle.com/database/121/SQLRF/statements_6012.htm#SQLRF01310

If a user exceeds the CONNECT_TIME or IDLE_TIME session resource limit, then the database rolls back the current transaction and ends the session. When the user process next issues a call, the database returns an error.

所以你可以这样做:

create profile MERGE_PROF limit idle_time 5 connect_time 86400;
alter user BATCH_MERGER_USER profile MERGE_PROF;

然后当你的session被创建的时候，如果session空闲5分钟，oracle会kill这个session，如果它running solid 24小时，(24小时running commands with less than 5 minutes between commands)Oracle将终止 session 。