cloudstack下libvirtd服务无响应问题-6ren

cloudstack下libvirtd服务无响应问题

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章cloudstack下libvirtd服务无响应问题由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

在cloudstack4.5.2版本下，偶尔出现libvirtd服务无响应的情况，导致virsh命令无法使用，同时伴随cloudstack master丢失该slave主机连接的情况。最初怀疑是libvirtd服务或版本的问题，经过分析和排查最终确定是cloudstack-agent的问题。但是在官网上并没有找到类似的bug提交，该问题可能还存在于更高的版本，需要时间进一步从根本上分析。下面是该问题的处理过程，在此记录下，关注和使用cloudstack的朋友可以参考.

众所周知，cloudstack的社区热度远不如openstack，为什么还要选择clcoudstack？这个问题以后有机会再和大家聊。言归正传.

环境交代。

宿主机操作系统：centos6.5x64(2.6.32-431.el6.x86_64) cloudstack版本：4.5.2 libvirt版本：libvirt-0.10.2-54.el6_7.2.x86_64 。

问题描述。

通过cloudstackapi listHosts报警信息显示: node5.cloud.rtmap:192.168.14.20 state is Down at 2016-05-13T07:19:04+0800 #有关cloudstackapi的使用方法在其它文章中总结,不在此处说明.

登陆问题宿主服务器检查:

 
    ? 
   
         [root@node5 log] 
         #virsh list --all

没有响应ctrl^c退出。

这时的vm可以正常工作，但处于失控状态。

尝试重启启动libvirtd服务:

 
    ? 
   
         [root@node5 log] 
         # service libvirtd stop

正在关闭 libvirtd 守护进程： [失败]　　#无法关闭libvirtd服务。

尝试重启启动cloudstack-agent服务:

 
    ? 
   
         [root@node5 libvirt] 
         # service cloudstack-agent restart 
        
         Stopping Cloud Agent:  
        
         Starting Cloud Agent:

libvirtd故障依旧。

简单维护。

 
    ? 
   
         [root@node5  
         ping 
         ] 
         # libvirtd -d -l --config /etc/libvirt/libvirtd.conf

libvirtd：错误：Unable to initialize network sockets。查看 /var/log/messages 或者运行不带 --daemon 的命令查看更多信息.

 
    ? 
   
         [root@node5 log] 
         # libvirtd -d

可以执行成功，这时执行virsh list --all 可以查看和操作vm 。

 
    ? 
   
         [root@node5 log]#virsh list --all 
        
         Id  名称             状态 
        
         ---------------------------------------------------- 
        
         2   i-4-185-VM           running

虽然vm运行正常，现在也可以通过命令正常管理了。但是对于cloudstack平台而言，宿主机处于down状态，vm处于失控状态.

临时解决办法是在其它大的升级和维护过程中重启服务器解决，根本解决还要具体问题具体分析.

分析与排查。

检查进程。

 
    ? 
   
         [root@node5 log] 
         # ps ax |grep libvirtd 
        
         6485 ?    R  863:37 libvirtd --daemon -l　　 
         #该服务始终处于run状态

 
    ? 
   
         [root@node5 log] 
         # top -p 6485 
        
         top 
         -p 6485 
        
         top 
         - 09:19:41 up 12 days, 22:27, 1 user, load average: 3.05, 5.07, 6.64 
        
         Tasks:  1 total,  0 running,  1 sleeping,  0 stopped,  0 zombie 
        
         Cpu(s): 4.8%us, 1.4%sy, 0.0%ni, 93.1% 
         id 
         , 0.6%wa, 0.0%hi, 0.1%si, 0.0%st 
        
         Mem: 264420148k total, 182040780k used, 82379368k  
         free 
         ,  834232k buffers 
        
         Swap: 8388600k total,    92k used, 8388508k  
         free 
         , 100453708k cached 
        
         PID USER   PR NI VIRT RES SHR S %CPU %MEM  TIME+ COMMAND 
        
         6485 root   20  0 984m 12m 4440 R 100.2 0.0 844:22.68 libvirtd 　　　　　　 
         #cpu占用100%，无法释放，影响系统稳定性

杀进程。

 
    ? 
   
         [root@node5 log] 
         # kill -9 6485 
        
         [root@node5 log] 
         # kill -9 6485 
        
         [root@master log] 
         # ps ax |grep libvirtd　　#检查进程依然存在 
        
         6485 ?    R  863:37 libvirtd --daemon -l 
        
         [root@node5 ~] 
         # libvirtd -d -l --config /etc/libvirt/libvirtd.conf 
        
         libvirtd：错误：Unable to initialize network sockets。查看  
         /var/log/messages 
         或者运行不带 --daemon 的命令查看更多信息。 
        
         [root@node5 ~] 
         # netstat -antp |grep 16509 
        
         tcp    0   0 0.0.0.0:16509        0.0.0.0:*          LISTEN   3658 
         /libvirtd    
        
         tcp    1   0 192.168.14.25:16509     192.168.14.22:8717     CLOSE_WAIT -           
        
         tcp    1   0 192.168.14.25:16509     192.168.14.20:5152     CLOSE_WAIT -           
        
         tcp    1   0 192.168.14.25:16509     192.168.14.10:39359     CLOSE_WAIT -           
        
         tcp    0   0 :::16509          :::*            LISTEN   3658 
         /libvirtd    
        
         tcp    39   0 ::1:16509          ::1:19715          CLOSE_WAIT -

经过上述操作，初步判断libvirtd陷入了hang死状态.

追踪进程。

 
    ? 
   
         [root@node5 log] 
         #strace -f libvirtd 
        
         [pid 107570] close(23058)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23059)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23060)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23061)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23062)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23063)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23064)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23065)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23066)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23067)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23068)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23069)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23070)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         [pid 107570] close(23071)        = -1 EBADF (Bad  
         file 
         descriptor) 
        
         ^C[pid 107570] close(23072 <unfinished ...> 
        
         Process 107559 detached 
        
         Process 107560 detached 
        
         Process 107561 detached 
        
         Process 107562 detached 
        
         Process 107563 detached 
        
         Process 107564 detached 
        
         Process 107565 detached 
        
         Process 107566 detached 
        
         Process 107567 detached 
        
         Process 107568 detached 
        
         Process 107569 detached 
        
         Process 107570 detached

父进程6485在不断的产生和关闭子进程，并返回错误信息。Bad file descriptor的原因（如何触发的，谁触发的）？循环为何无法退出？问题如何再现?

获得更多的线索。

官方文档（libvirtd各种故障诊断记录和解决办法非常详尽） https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Virtualization_Deployment_and_Administration_Guide/sect-Troubleshooting-Common_libvirt_errors_and_troubleshooting.html#sect-libvirtd_failed_to_start 。

开启系统日志。

Change libvirt's logging in /etc/libvirt/libvirtd.conf by enabling the line below. To enable the setting the line, open the /etc/libvirt/libvirtd.conf file in a text editor, remove the hash (or #) symbol from the beginning of the following line, and save the change: log_outputs="3:syslog:libvirtd" 。

参照配置，重启服务器等待下次故障观察日志。

 
    ? 
   
         ...... 
        
         Jun 1 12:42:26 node5 abrtd: New client connected 
        
         Jun 1 12:42:26 node5 abrtd: Directory 'pyhook-2016-06-01-12:42:26-70065' creation detected 
        
         Jun 1 12:42:26 node5 abrt-server[70066]: Saved Python crash dump of pid 70065 to /var/spool/abrt/pyhook-2016-06-01-12:42:26-70065 
        
         Jun 1 12:42:26 node5 abrtd: Package 'cloudstack-common' isn't signed with proper key 
        
         Jun 1 12:42:26 node5 abrtd: 'post-create' on '/var/spool/abrt/pyhook-2016-06-01-12:42:26-70065' exited with 1 
        
         Jun 1 12:42:26 node5 abrtd: Deleting problem directory '/var/spool/abrt/pyhook-2016-06-01-12:42:26-70065' 
        
         Jun 1 12:43:26 node5 abrt: detected unhandled Python exception in '/usr/share/cloudstack-common/scripts/vm/network/security_group.py' 
        
         ...... 
        
         Jun 6 10:36:21 node5 libvirtd: 102840: warning : qemuDomainObjBeginJobInternal:878 : Cannot start job (modify, none) for domain i-4-30-VM; current job is (modify, none) owned by (102925, 0) 
        
         Jun 6 10:36:21 node5 libvirtd: 102840: error : qemuDomainObjBeginJobInternal:883 : Timed out during operation: cannot acquire state change lock 
        
         Jun 6 10:39:59 node5 libvirtd: 114071: info : libvirt version: 0.10.2, package: 54.el6_7.2 (CentOS BuildSystem <http://bugs.centos.org>, 2015-11-10-10:25:08, c6b9.bsys.dev.centos.org) 
        
         Jun 6 10:39:59 node5 libvirtd: 114071: error : virNetSocketNewListenTCP:312 : Unable to bind to port: 地址已在使用 
        
         Jun 6 10:40:46 node5 libvirtd: 114147: info : libvirt version: 0.10.2, package: 54.el6_7.2 (CentOS BuildSystem <http://bugs.centos.org>, 2015-11-10-10:25:08, c6b9.bsys.dev.centos.org) 
        
         Jun 6 10:40:46 node5 libvirtd: 114147: error : virNetSocketNewListenTCP:312 : Unable to bind to port: 地址已在使用 
        
         Jun 6 10:42:15 node5 libvirtd: 114204: info : libvirt version: 0.10.2, package: 54.el6_7.2 (CentOS BuildSystem <http://bugs.centos.org>, 2015-11-10-10:25:08, c6b9.bsys.dev.centos.org) 
        
         Jun 6 10:42:15 node5 libvirtd: 114204: error : virNetSocketNewListenTCP:312 : Unable to bind to port: 地址已在使用 
        
         Jun 6 10:47:05 node5 libvirtd: 114375: info : libvirt version: 0.10.2, package: 54.el6_7.2 (CentOS BuildSystem <http://bugs.centos.org>, 2015-11-10-10:25:08, c6b9.bsys.dev.centos.org) 
        
         Jun 6 10:47:05 node5 libvirtd: 114375: error : virNetSocketNewListenTCP:312 : Unable to bind to port: 地址已在使用 
        
         Jun 6 10:47:23 node5 libvirtd: 114412: info : libvirt version: 0.10.2, package: 54.el6_7.2 (CentOS BuildSystem <http://bugs.centos.org>, 2015-11-10-10:25:08, c6b9.bsys.dev.centos.org) 
        
         Jun 6 10:47:23 node5 libvirtd: 114412: error : virNetSocketNewListenTCP:312 : Unable to bind to port: 地址已在使用 
        
         ...... 
        
         Jun 12 03:08:02 node5 rsyslogd: [origin software="rsyslogd" swVersion="5.8.10" x-pid="3111" x-info="http://www.rsyslog.com"] rsyslogd was HUPed 
        
         Jun 12 09:20:40 node5 libvirtd: 72575: info : libvirt version: 0.10.2, package: 54.el6_7.2 (CentOS BuildSystem <http://bugs.centos.org>, 2015-11-10-10:25:08, c6b9.bsys.dev.centos.org) 
        
         Jun 12 09:20:40 node5 libvirtd: 72575: error : virPidFileAcquirePath:410 : Failed to acquire pid file '/var/run/libvirtd.pid': 资源暂时不可用

并未获得致命错误和更多线索。（该日志配置选项还是很有必要打开的，很多问题都可以通过它来定位) 。

解决过程。

解决思路。

尝试和找到终止进程、重启服务的方法提交bug，等待补丁升级分析源代码，再现问题，解决问题（投入研发和时间）由于不能再现问题，还是从简入繁吧。触发这些子进程的元凶是谁？还是cloudstack-agent的嫌疑最大，但之前重启过该服务并没有解决问题，那么agent服务是怎么一回事呢?

看下启动脚本可以基本了解，。

 
    ? 
   
         [root@node5 libvirt] 
         # cat /etc/rc.d/init.d/cloudstack-agent 
        
         #!/bin/bash 
        
         # chkconfig: 35 99 10 
        
         # description: Cloud Agent 
        
         # Licensed to the Apache Software Foundation (ASF) under one 
        
         # or more contributor license agreements. See the NOTICE file 
        
         # distributed with this work for additional information 
        
         # regarding copyright ownership. The ASF licenses this file 
        
         # to you under the Apache License, Version 2.0 (the 
        
         # "License"); you may not use this file except in compliance 
        
         # with the License. You may obtain a copy of the License at 
        
         # 
        
         #  http://www.apache.org/licenses/LICENSE-2.0 
        
         # 
        
         # Unless required by applicable law or agreed to in writing, 
        
         # software distributed under the License is distributed on an 
        
         # "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY 
        
         # KIND, either express or implied. See the License for the 
        
         # specific language governing permissions and limitations 
        
         # under the License. 
        
         # WARNING: if this script is changed, then all other initscripts MUST BE changed to match it as well 
        
         .  
         /etc/rc 
         .d 
         /init 
         .d 
         /functions 
        
         # set environment variables 
        
         SHORTNAME=$( 
         basename 
         $0 |  
         sed 
         -e  
         's/^[SK][0-9][0-9]//' 
         ) 
        
         PIDFILE= 
         /var/run/ 
         "$SHORTNAME" 
         .pid 
        
         LOCKFILE= 
         /var/lock/subsys/ 
         "$SHORTNAME" 
        
         LOGDIR= 
         /var/log/cloudstack/agent 
        
         LOGFILE=${LOGDIR} 
         /agent 
         .log 
        
         PROGNAME= 
         "Cloud Agent" 
        
         CLASS= 
         "com.cloud.agent.AgentShell" 
        
         JSVC=` 
         which 
         jsvc 2> 
         /dev/null 
         `; 
        
         # exit if we don't find jsvc 
        
         if 
         [ -z  
         "$JSVC" 
         ];  
         then 
        
         echo 
         no jsvc found  
         in 
         path; 
        
         exit 
         1; 
        
         fi 
        
         unset 
         OPTIONS 
        
         [ -r  
         /etc/sysconfig/ 
         "$SHORTNAME" 
         ] &&  
         source 
         /etc/sysconfig/ 
         "$SHORTNAME" 
        
         # The first existing directory is used for JAVA_HOME (if JAVA_HOME is not defined in $DEFAULT) 
        
         JDK_DIRS= 
         "/usr/lib/jvm/jre /usr/lib/jvm/java-7-openjdk /usr/lib/jvm/java-7-openjdk-i386 /usr/lib/jvm/java-7-openjdk-amd64 /usr/lib/jvm/java-6-openjdk /usr/lib/jvm/java-6-openjdk-i386 /usr/lib/jvm/java-6-openjdk-amd64 /usr/lib/jvm/java-6-sun" 
        
         for 
         jdir  
         in 
         $JDK_DIRS;  
         do 
        
         if 
         [ -r  
         "$jdir/bin/java" 
         -a -z  
         "${JAVA_HOME}" 
         ];  
         then 
        
         JAVA_HOME= 
         "$jdir" 
        
         fi 
        
         done 
        
         export 
         JAVA_HOME 
        
         ACP=` 
         ls 
         /usr/share/cloudstack-agent/lib/ 
         *.jar |  
         tr 
         '\n' 
         ':' 
         |  
         sed 
         s 
         '/.$//' 
         ` 
        
         PCP=` 
         ls 
         /usr/share/cloudstack-agent/plugins/ 
         *.jar 2> 
         /dev/null 
         |  
         tr 
         '\n' 
         ':' 
         |  
         sed 
         s 
         '/.$//' 
         ` 
        
         # We need to append the JSVC daemon JAR to the classpath 
        
         # AgentShell implements the JSVC daemon methods 
        
         export 
         CLASSPATH= 
         "/usr/share/java/commons-daemon.jar:$ACP:$PCP:/etc/cloudstack/agent:/usr/share/cloudstack-common/scripts" 
        
         start() { 
        
         echo 
         -n $ 
         "Starting $PROGNAME: " 
        
         if 
         hostname 
         --fqdn > 
         /dev/null 
         2>&1 ;  
         then 
        
         $JSVC -Xms256m -Xmx2048m - 
         cp 
         "$CLASSPATH" 
         -pidfile  
         "$PIDFILE" 
         \ 
        
         -errfile $LOGDIR 
         /cloudstack-agent 
         .err -outfile $LOGDIR 
         /cloudstack-agent 
         .out $CLASS 
        
         RETVAL=$? 
        
         echo 
        
         else 
        
         failure 
        
         echo 
        
         echo 
         The host name does not resolve properly to an IP address. Cannot start  
         "$PROGNAME" 
         . >  
         /dev/stderr 
        
         RETVAL=9 
        
         fi 
        
         [ $RETVAL = 0 ] &&  
         touch 
         ${LOCKFILE} 
        
         return 
         $RETVAL 
        
         } 
        
         stop() { 
        
         echo 
         -n $ 
         "Stopping $PROGNAME: " 
        
         $JSVC -pidfile  
         "$PIDFILE" 
         -stop $CLASS 
        
         RETVAL=$? 
        
         echo 
        
         [ $RETVAL = 0 ] &&  
         rm 
         -f ${LOCKFILE} ${PIDFILE} 
        
         } 
        
         case 
         "$1" 
         in 
        
         start) 
        
         start 
        
         ;; 
        
         stop) 
        
         stop 
        
         ;; 
        
         status) 
        
         status -p ${PIDFILE} $SHORTNAME 
        
         RETVAL=$? 
        
         ;; 
        
         restart) 
        
         stop 
        
         sleep 
         3 
        
         start 
        
         ;; 
        
         condrestart) 
        
         if 
         status -p ${PIDFILE} $SHORTNAME >& 
         /dev/null 
         ;  
         then 
        
         stop 
        
         sleep 
         3 
        
         start 
        
         fi 
        
         ;; 
        
         *) 
        
         echo 
         $ 
         "Usage: $SHORTNAME {start|stop|restart|condrestart|status|help}" 
        
         RETVAL=3 
        
         esac 
        
         exit 
         $RETVAL

 
    ? 
   
 
     
       
       
         [root@node5 libvirt] 
         # ps ax |grep jsvc.exec 
        
 
           
         6655 ?    Ss   0:00 jsvc. 
         exec 
         -Xms256m -Xmx2048m - 
         cp 
         /usr/share/java/commons-daemon 
         .jar: 
         /usr/share/cloudstack-agent/lib/activation-1 
         .1.jar: 
         /usr/share/cloudstack-agent/lib/antisamy-1 
         .4.3.jar: 
         /usr/share/cloudstack-agent/lib/aopalliance-1 
         .0.jar: 
         /usr/share/cloudstack-agent/lib/apache-log4j-extras-1 
         .1.jar: 
         /usr/share/cloudstack-agent/lib/aspectjweaver-1 
         .7.0.jar: 
         /usr/share/cloudstack-agent/lib/aws-java-sdk-1 
         .3.22.jar: 
         /usr/share/cloudstack-agent/lib/batik-css-1 
         .7.jar: 
         /usr/share/cloudstack-agent/lib/batik-ext-1 
         .7.jar: 
         /usr/share/cloudstack-agent/lib/batik-util-1 
         .7.jar: 
         /usr/share/cloudstack-agent/lib/bcprov-jdk15-1 
         .46.jar: 
         /usr/share/cloudstack-agent/lib/bcprov-jdk16-1 
         .46.jar: 
         /usr/share/cloudstack-agent/lib/bsh-core-2 
         .0b4.jar: 
         /usr/share/cloudstack-agent/lib/cglib-nodep-2 
         .2.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-agent-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-api-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-core-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-engine-api-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-engine-components-api-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-engine-schema-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-cluster-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-config-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-db-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-events-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-ipc-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-jobs-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-managed-context-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-rest-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-security-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-plugin-hypervisor-kvm-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-plugin-network-ovs-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-server-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-utils-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/commons-beanutils-core-1 
         .7.0.jar: 
         /usr/share/cloudstack-agent/lib/commons-codec-1 
         .6.jar: 
         /usr/share/cloudstack-agent/lib/commons-collections-3 
         .2.1.jar: 
         /usr/share/cloudstack-agent/lib/commons-configuration-1 
         .8.jar: 
         /usr/share/cloudstack-agent/lib/commons-daemon-1 
         .0.10.jar: 
         /usr/share/cloudstack-agent/lib/commons-dbcp-1 
         .4.jar: 
         /usr/share/cloudstack-agent/lib/commons-fileupload-1 
         .2.jar: 
         /usr/share/cloudstack-agent/lib/commons-httpclient-3 
         .1.jar: 
         /usr/share/cloudstack-agent/lib/commons-io-1 
         .4.jar: 
         /usr/share/cloudstack-agent/lib/commons-lang-2 
         .6.jar: 
         /usr/share/cloudstack-agent/lib/commons-logging-1 
         .1.3.jar: 
         /usr/share/cloudstack-agent/lib/commons-net-3 
         .3.jar: 
         /usr/share/cloudstack-agent/lib/commons-pool-1 
         .6.jar: 
         /usr/share/cloudstack-agent/lib/cxf-bundle-jaxrs-2 
         .7.0.jar: 
         /usr/share/cloudstack-agent/lib/dom4j-1 
         .6.1.jar: 
         /usr/share/cloudstack-agent/lib/ehcache-core-2 
         .6.6.jar: 
         /usr/share/cloudstack-agent/lib/ejb-api-3 
         .0.jar: 
         /usr/share/cloudstack-agent/lib/esapi-2 
         .0.1.jar: 
         /usr/share/cloudstack-agent/lib/geronimo-javamail_1 
         .4_spec-1.7.1.jar: 
         /usr/share/cloudstack-agent/lib/geronimo-servlet_3 
         .0_spec-1.0.jar: 
         /usr/share/cloudstack-agent/lib/gson-1 
         .7.2.jar: 
         /usr/share/cloudstack-agent/lib/guava-14 
         .0-rc1.jar: 
         /usr/share/cloudstack-agent/lib/httpclient-4 
         .3.6.jar: 
         /usr/share/cloudstack-agent/lib/httpcore-4 
         .3.3.jar: 
         /usr/share/cloudstack-agent/lib/jackson-annotations-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jackson-core-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jackson-core-asl-1 
         .8.9.jar: 
         /usr/share/cloudstack-agent/lib/jackson-databind-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jackson-jaxrs-json-provider-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jackson-mapper-asl-1 
         .8.9.jar: 
         /usr/share/cloudstack-agent/lib/jackson-module-jaxb-annotations-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jasypt-1 
         .9.0.jar: 
         /usr/share/cloudstack-agent/lib/java-ipv6-0 
         .10.jar: 
         /usr/share/cloudstack-agent/lib/javassist-3 
         .12.1.GA.jar: 
         /usr/share/cloudstack-agent/lib/javassist-3 
         .18.1-GA.jar: 
         /usr/share/cloudstack-agent/lib/javax 
         .inject-1.jar: 
         /usr/share/cloudstack-agent/lib/javax 
         .persistence-2.0.0.jar: 
         /usr/share/cloudstack-agent/lib/javax 
         .ws.rs-api-2.0-m10.jar 
        
 
           
         6657 ?    Sl   0:05 jsvc. 
         exec 
         -Xms256m -Xmx2048m - 
         cp 
         /usr/share/java/commons-daemon 
         .jar: 
         /usr/share/cloudstack-agent/lib/activation-1 
         .1.jar: 
         /usr/share/cloudstack-agent/lib/antisamy-1 
         .4.3.jar: 
         /usr/share/cloudstack-agent/lib/aopalliance-1 
         .0.jar: 
         /usr/share/cloudstack-agent/lib/apache-log4j-extras-1 
         .1.jar: 
         /usr/share/cloudstack-agent/lib/aspectjweaver-1 
         .7.0.jar: 
         /usr/share/cloudstack-agent/lib/aws-java-sdk-1 
         .3.22.jar: 
         /usr/share/cloudstack-agent/lib/batik-css-1 
         .7.jar: 
         /usr/share/cloudstack-agent/lib/batik-ext-1 
         .7.jar: 
         /usr/share/cloudstack-agent/lib/batik-util-1 
         .7.jar: 
         /usr/share/cloudstack-agent/lib/bcprov-jdk15-1 
         .46.jar: 
         /usr/share/cloudstack-agent/lib/bcprov-jdk16-1 
         .46.jar: 
         /usr/share/cloudstack-agent/lib/bsh-core-2 
         .0b4.jar: 
         /usr/share/cloudstack-agent/lib/cglib-nodep-2 
         .2.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-agent-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-api-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-core-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-engine-api-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-engine-components-api-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-engine-schema-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-cluster-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-config-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-db-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-events-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-ipc-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-jobs-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-managed-context-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-rest-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-framework-security-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-plugin-hypervisor-kvm-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-plugin-network-ovs-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-server-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/cloud-utils-4 
         .5.2.jar: 
         /usr/share/cloudstack-agent/lib/commons-beanutils-core-1 
         .7.0.jar: 
         /usr/share/cloudstack-agent/lib/commons-codec-1 
         .6.jar: 
         /usr/share/cloudstack-agent/lib/commons-collections-3 
         .2.1.jar: 
         /usr/share/cloudstack-agent/lib/commons-configuration-1 
         .8.jar: 
         /usr/share/cloudstack-agent/lib/commons-daemon-1 
         .0.10.jar: 
         /usr/share/cloudstack-agent/lib/commons-dbcp-1 
         .4.jar: 
         /usr/share/cloudstack-agent/lib/commons-fileupload-1 
         .2.jar: 
         /usr/share/cloudstack-agent/lib/commons-httpclient-3 
         .1.jar: 
         /usr/share/cloudstack-agent/lib/commons-io-1 
         .4.jar: 
         /usr/share/cloudstack-agent/lib/commons-lang-2 
         .6.jar: 
         /usr/share/cloudstack-agent/lib/commons-logging-1 
         .1.3.jar: 
         /usr/share/cloudstack-agent/lib/commons-net-3 
         .3.jar: 
         /usr/share/cloudstack-agent/lib/commons-pool-1 
         .6.jar: 
         /usr/share/cloudstack-agent/lib/cxf-bundle-jaxrs-2 
         .7.0.jar: 
         /usr/share/cloudstack-agent/lib/dom4j-1 
         .6.1.jar: 
         /usr/share/cloudstack-agent/lib/ehcache-core-2 
         .6.6.jar: 
         /usr/share/cloudstack-agent/lib/ejb-api-3 
         .0.jar: 
         /usr/share/cloudstack-agent/lib/esapi-2 
         .0.1.jar: 
         /usr/share/cloudstack-agent/lib/geronimo-javamail_1 
         .4_spec-1.7.1.jar: 
         /usr/share/cloudstack-agent/lib/geronimo-servlet_3 
         .0_spec-1.0.jar: 
         /usr/share/cloudstack-agent/lib/gson-1 
         .7.2.jar: 
         /usr/share/cloudstack-agent/lib/guava-14 
         .0-rc1.jar: 
         /usr/share/cloudstack-agent/lib/httpclient-4 
         .3.6.jar: 
         /usr/share/cloudstack-agent/lib/httpcore-4 
         .3.3.jar: 
         /usr/share/cloudstack-agent/lib/jackson-annotations-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jackson-core-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jackson-core-asl-1 
         .8.9.jar: 
         /usr/share/cloudstack-agent/lib/jackson-databind-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jackson-jaxrs-json-provider-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jackson-mapper-asl-1 
         .8.9.jar: 
         /usr/share/cloudstack-agent/lib/jackson-module-jaxb-annotations-2 
         .1.1.jar: 
         /usr/share/cloudstack-agent/lib/jasypt-1 
         .9.0.jar: 
         /usr/share/cloudstack-agent/lib/java-ipv6-0 
         .10.jar: 
         /usr/share/cloudstack-agent/lib/javassist-3 
         .12.1.GA.jar: 
         /usr/share/cloudstack-agent/lib/javassist-3 
         .18.1-GA.jar: 
         /usr/share/cloudstack-agent/lib/javax 
         .inject-1.jar: 
         /usr/share/cloudstack-agent/lib/javax 
         .persistence-2.0.0.jar: 
         /usr/share/cloudstack-agent/lib/javax 
         .ws.rs-api-2.0-m10.jar 
        
 
     
 
   

重启服务。

 
    ? 
   
         [root@node5 bin] 
         # service cloudstack-agent status 
        
         cloudstack-agent (pid 6657) 正在运行... 
        
         [root@node5 bin] 
         # service cloudstack-agent stop 
        
         Stopping Cloud Agent: 
        
         [root@node5 bin] 
         # service cloudstack-agent status 
        
         cloudstack-agent (pid 6657) 正在运行..

ps ax |grep jsvc.exec 也验证了进程依然存在。

眼前一亮的同时，也发现了之前使用restart带来的问题，stop不成功的问题被掩盖了~~~有没有懊恼？不过来不及反思，接下来的问题还远不是这么简单...... 。

 
    ? 
   
         [root@node5 bin] 
         # kill -9 6655 6657 
        
         [root@node5 bin] 
         # kill -9 6655 6657 
        
         - 
         bash 
         :  
         kill 
         : (6655) - 没有那个进程 
        
         - 
         bash 
         :  
         kill 
         : (6657) - 没有那个进程 
        
         [root@node5 bin] 
         # service cloudstack-agent status 
        
         cloudstack-agent 已死，但 pid 文件仍存 
        
         [root@node5 bin] 
         # rm /var/run/cloudstack-agent.pid 
        
         rm 
         ：是否删除普通文件  
         "/var/run/cloudstack-agent.pid" 
         ？y 
        
         [root@node5 bin] 
         # service cloudstack-agent status 
        
         cloudstack-agent 已死，但是 subsys 被锁 
        
         [root@node5 bin] 
         # service cloudstack-agent start 
        
         [root@node5 bin] 
         # service cloudstack-agent status 
        
         cloudstack-agent (pid 109382) 正在运行... 
        
         [root@node5 bin] 
         # netstat -antp |grep 8250 
        
         tcp    0   0 192.168.14.20:22220     192.168.14.10:8250     ESTABLISHED 109382 
         /jsvc 
         . 
         exec

处理后状态恢复正常，但是libvirtd仍然无法杀掉, 很快netstat -antp |grep 8250 状态再次消失，cloudstack master平台监控主机记录由Up状态转为disconnect状态。不过毕竟不是down状态，较之前已经有了进步.

启动一个libvirtd -d看下，。

 
    ? 
   
         [root@node5 bin] 
         # libvirtd -d 
        
         [root@node5 bin] 
         # ps ax |grep libvirtd 
        
         6485 ?    R  863:37 libvirtd --daemon -l 
        
         130057 ?    Sl   0:38 libvirtd -d 
        
         28904 pts 
         /0   
         S+   0:00  
         grep 
         libvirtd

然后在cloudstack master平台上手工点击强制重新连接该主机，成功了。主机监控状态由disconnect转为Up，这时再次尝试杀掉6485仍然是不成功的，于是又在cloudstack master管理平台上尝试着点击操作了一下暂停vm命令，vm成功暂停。再返回服务器上观察原来hung死的libvirtd进程已经消失.

 
    ? 
   
         [root@node5 bin] 
         # libvirtd -d 
        
         [root@node5 bin] 
         # ps ax |grep libvirtd 
        
         130057 ?    Sl   0:38 libvirtd -d 
        
         28904 pts 
         /0   
         S+   0:00  
         grep 
         libvirtd

至此既恢复了平台对该主机的管控，也终止了libvirtd异常进程。问题初步归于cloudstack-agent在处理发送个libvirtd的信号上存在些小问题。以后再单独分析下jsvc进程，再现问题和根本解决.

问题反思。

在处理服务异常的问题上，命令行参数不要用restart，用stop和kill来调试。说起来都是泪！。

最后此篇关于cloudstack下libvirtd服务无响应问题的文章就讲到这里了,如果你想了解更多关于cloudstack下libvirtd服务无响应问题的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： linux 查找过滤及用户和组管理命令的一些实例

文章推荐：解决@Around对静态方法不生效的问题

文章推荐：详解UDP协议格式及在java中的使用

文章推荐： Java 读写锁实现原理浅析

php - Ajax 响应 HTML 响应
我正在尝试检查 Entry 中是否存在重复项，并使用内联消息提醒用户该数字存在。 $(document).ready(function(){ $("#con1").blur(function(
python - 如何在基于类的 View 中返回 JSON 响应，而不是 HTTP 响应
我有一个基于类的 View 。我在引导模式上使用 Ajax。为了避免页面刷新，我想使用此类基于 View 返回 JSON 响应而不是 HTTP 响应，但我只看到了如何为基于函数的 View 返回 JS
C# Hue Bridge PUT 发送 OK 响应。无 API 响应
关闭。这个问题是not reproducible or was caused by typos .它目前不接受答案。这个问题是由于错别字或无法再重现的问题引起的。虽然类似的问题可能是on-topi
http-status-codes - 根除 401 "Unauthorised"响应，然后是 200 "Ok"响应
我有一个大型内部企业基于 Web 的应用程序在 IIS6 上运行 ASP.NET 3.5，生成 401 个“未经授权”响应，然后是 200 个“Ok”响应(如 Fiddler 所述)。我知道为什么会发
javascript - Express 不会从一个 Controller 返回 HTTP 响应，但在其他 Controller 中会返回 HTTP 响应
感谢您研究我的问题。我有一个node/express服务器，配置了一个server.js文件，它调用urls.js，而urls.js又调用 Controller 来处理http请求，所有这些都配置相
node.js - Curl 正在获取 POST 响应，但 Node.js 未获取 POST 响应
当我使用以下命令时，我得到正确的 JSON 响应: $ curl --data "regno=&dob=&mobile=" https://vitacademics-rel.herokuapp.co
RESTful POST 响应
我有一个非常简单的 RESTful 服务，它通过 POST 接收一些表单数据，其目的是在云存储(Amazon S3、Azure Blob 存储等)中简单地保留文本主体(具有唯一 ID)作为一个文件..
sockets - UDP 响应
UDP 不发送任何 ack，但它会发送任何响应吗？我已经设置了客户端服务器UDP程序。如果我让客户端向不存在的服务器发送数据，那么客户端会收到任何响应吗？我的假设是；客户端 --> 广播服务器地
scala - 如何在电梯中记录请求/响应
我有一个电梯项目，其中有一个扩展 RestHelper 的类，看起来像这样 serve{ "api" / "mystuff" prefix { case a
Kong 自定义错误消息/响应
我们正在寻求覆盖 Kong 错误响应结构并编写自定义消息(即用我们的自定义消息替换“超出 API 速率限制”、“无效的身份验证凭据”等)。我们要找的错误响应结构(代码是自定义的内部错误代码，与HTT
iphone - 响应 EKEventStoreChangedNotification
我正在尝试监听 EKEventStoreChangedNotification 以检查当我的应用程序处于后台时日历是否已更改。我在 View Controller 的 initWithNibMeth
javascript - 响应.写入divIDE
我了解 javascript，并且正在学习 ASP.NET C# 我想要做什么(完成的是javascript): document.getElementById('divID-1'
java - 在Java中的BrowserMob中仅获取POST请求/响应
是否可以过滤所有 har 对象并仅获取 POST 请求/响应？也许在初始化 BrowserMobProxyServer 期间是这样做的方法？我需要将 har 对象保存到文件中并上传到 har 查看器。
php - Symfony2 响应
我正在尝试向 Oauth 的 API 发送响应。遗憾的是，Symfony2 文档在解释 $response->headers->set(...); 的所有不同部分方面做得很差。这是我的 OauthC
python 响应 - 并非所有请求都已执行
我正在尝试测试用例来模拟 api 调用，并使用 python 响应来模拟 api 调用。下面是我的模拟， with responses.RequestsMock() as rsps: url
haskell - 我将如何以可扩展的方式抽象命令/响应？
在尝试在 Haskell 中进行一些领域驱动设计时，我发现自己遇到了这个问题: data FetchAccessories = FetchAccessories data AccessoriesRes
java - 如何在项目reactor中设置阻塞异步请求/响应？
我正在与 ANT+ USB 棒连接，并用项目 react 器替换我自己天真的“MessageBus”，因为它看起来非常合适。 USB接口(interface)本质上是异步的(单独的输入/输出管道)，我
ios - 如何使用AFHTTPSessionManager记录每个请求/响应？
我正在将项目迁移到AFNetworking 2.0。使用AFNetworking 1.0时，我编写了代码来记录控制台中的每个请求/响应。这是代码: -(AFHTTPRequestOperation *
php - Ajax 响应
我有以下代码段。 ajaxRequest.onreadystatechange = function(){ if(ajaxRequest.readyState == 4){
来自帖子的 Jquery 响应
我有问题......我在 php 中有一个监听器脚本可以执行以下操作: if ($count != 1) {echo 'no';} else { echo "yes";} 因此它会回显"is"或“

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

cloudstack下libvirtd服务无响应问题