博客分类：
工作中经常要和服务器、数据库这些打交道，有些小功能例如：服务监控、数据监控等用java往往无处下手，即使能做也要花费很长的时间，身边好几个同事都会Python，面对这些需求他们往往优先选择Python来实现，又快又省事。所以我也计划着自学一下Python，寻思着买一本入门的书来参考，在豆瓣上挑来挑去最后挑了《Head first Python》这本。买来后断断续续看了好几章了，对Python也有了一些基本的了解，不过一直没真正上手。
废话太多，直接步入正题，昨天领导让我写个脚本来实时监控某个服务的日志，监控日志中报出的用户购买超时的现象，如果某个node累计超时次数达到10次则通过邮件和短信告警。
需求就是上面说的这样，虽然Python用的还不熟练，不过当下也没其它好的方式来实现，没办法，赶鸭子上架，现学现用，如果碰到不会的就借助于万能的互联网吧
一、Python调用shell
首先考虑实现的方式，由于领导要求实时监控，所以当前想到的方式就是使用linux shell的tail命令扫描服务日志，然后再使用关键字来grep，根据grep出来的日志内容进行分析。这时候碰到了第一个问题，如何在Python中执行linux shell命令呢？
没办法，上网求助，网上有人推荐使用os.system，不过大部分都推荐使用subprocess模块来实现，通过官方文档说明，我决定使用subprocess
有这么一段话：
The subprocess module allows you to spawn new processes, connect to their input/output/error pipes, and obtain their return codes. This module intends to replace several other, older modules and functions, such as:os.systemos.spawn*os.popen*popen2.*commands.*
翻译过来的意思大致就是：subprocess模块允许你新建子进程，可以连接到进程的输入、输出、异常通道，并且可以获取到子进程的返回值，这个模块是Python用来替代一些其它过时的模块和功能的。
所以说，官方推荐使用subprocess来实现类似的功能。
要使用subprocess，首先必须import该模块
import subprocess
要调用shell命令，subprocess有很多方式，比如call、Popen等，这里我们使用Popen
首先看一个最简单的实例：
subprocess.Popen('ls -l',stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)
上面的代码构建了一个Popen对象，Popen的构造函数格式如下：
subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)
参数args可以是字符串或者序列类型（如：list，元组），用于指定进程的可执行文件及其参数。如果是序列类型，第一个元素通常是可执行文件的路径。
参数stdin, stdout, stderr分别表示程序的标准输入、输出、错误句柄。他们可以是PIPE，文件描述符或文件对象，也可以设置为None，表示从父进程继承。
如果参数shell设为true，程序将通过shell来执行。
关于其它具体的参数的说明，参见官方文档：
不想看英文的可以看网上的另一篇博客：
我的代码逻辑如下：
#日志文件目录和名称
filename = '/home/project/logs/xxx.log'
#要执行的shell命令
command='tail -f '+filename+'|grep "timeout"'
popen=subprocess.Popen(command,stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)
while True:
#获取当前grep出来的日志文本行
line=popen.stdout.readline().strip()
#对日志文本进行分析（这里省略）
二、Python发送http请求
上面已经提到，告警的方式为邮件和短信，我们的短信推送接口是一个http接口，所以如果需要短信告警，则需要通过python来请求该http接口。python中一共有urllib、urllib2、httplib、httplib2支持发送http请求，由于服务器上没有安装python的httplib和httplib2模块，所以只能使用urllib,urllib2
使用GET请求来请求短信推送接口，可以把参数写在url中，如果使用POST方式来请求接口，则数据必须放在data或者body中，不能放在url中，放在url中将被忽略。
附上一个通过urllib,urllib2发送GET请求的示例：
import urllib,urllib2
def main():
url="/s?wd=douban"
req = urllib2.Request(url)
res_data = urllib2.urlopen(req)
res = res_data.read()
if __name__ == '__main__':
关于python对http请求的操作，可以参见博客：
三、脚本进程和子进程的退出
发现了2个问题：
问题1：在上面的代码中，python调用的shell tail命令作用是实时监控当前的日志，而服务是24小时不间断的，该python脚本也一直同步执行，所以只能使用nohup方式后台启动。每次要关闭该脚本，手动通过进程pid来kill。带来了一个新的问题，每次kill掉python主进程时，主进程执行时启动的Popen子进程未关闭，由于调试时曾经连续启动-&kill-&启动-&kill多次，导致系统中出现了一大堆tail日志的进程，这是我原来没有预料到的。
问题2：我们的日志是生成的dailyRolling日志，文件名称为：xxx_dailyRolling.log，每天的0点会自动重命名为xxx_dailyRolling.logyyyyMMdd,yyyyMMdd代表前一天的日期，例如xxx_dailyRolling.log，如果tail -f xxx_dailyRolling.log命令一直执行，到0点时会中断，所以我还需要在每天0点前停止当前的python脚本，然后在第二天0点后定时启动此python脚本
综上，2个问题一起解决，在0点前停止python脚本前先kill掉Popen子进程，然后再停止就OK了。
我的思路时每天设置一个固定的时间点，例如就定为每天的23:30:00（因为我们的服务在凌晨时基本上没人使用，监控的目的主要是为了监控白天高峰期时的服务情况,所以23:30到0点这段时间即使没监控也不影响），然后在Popen子进程执行时判断当前时刻是否到了23:30:00，如果已经到了，则终止子进程。通过实践证明，如果Popen子进程终止了，如果python主进程里没有挂起的其余子进程在执行，则主进程也会终止。
Popen可以通过terminate()或者kill()函数来终止当前的子进程。在执行了terminate()后，如果不想立即终止，可以通过wait()或poll()函数来等待子进程执行结束，关于各函数的使用，具体参考官方文档。
各函数说明如下：
Popen.poll()Check if child process has terminated. Set and return returncode attribute.Popen.wait()Wait for child process to terminate. Set and return returncode attribute.Popen.terminate()Stop the child. On Posix OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess() is called to stop the child.Popen.kill()Kills the child. On Posix OSs the function sends SIGKILL to the child. On Windows kill() is an alias for terminate().
附上一个示例：
#程序执行终止时间为当前时刻延迟15秒
stoptime = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()+15))
def main():
popen=subprocess.Popen(command,stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)
pid=popen.pid
print('Popen.pid:'+str(pid))
while True:
line=popen.stdout.readline().strip()
print(line)
thistime = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
if thistime&=stoptime:
#终止子进程
popen.terminate()
#等待子进程终止后跳出while循环
if subprocess.Popen.poll(popen) is not None:
print('waiting for subprocess.Popen terminate()')
print('DONE')
if __name__ == '__main__':
四、Python2.x和3.x版本的区别（部分）
Python在2.x和3.x之间有一些特性区别比较大，由于我本地是安装的最新的3.2.2版本，而服务器上还是2.6.x，所以在编写调试时遇到了一些，也拿出来说说说：
区别1.print函数
在python 2.x版本中，同时支持print(xxx)和print xxx，示例：
&&& name='chenzhou'
&&& print name
&&& print(name)
在python 3.x版本中，只支持print(xxx)的方式，示例：
&&& name='chenzhou'
&&& print(name)
&&& print name
SyntaxError: invalid syntax
区别2.判断字典中的key是否存在
在python 2.x中，可以使用has_key(key)函数，也可以判断 key in xxxMap.keys()，示例：
&&& users={'name':'chenzhou','age':'24','address':'Beijing'}
&&& print users.has_key('name')
&&& print 'name' in users.keys()
&&& print users.has_key('score')
&&& print 'score' not in users.keys()
在python 3.x中，只支持key in xxxMap.keys() 示例：
&&& users={'name':'chenzhou','age':'24','address':'Beijing'}
&&& print('name' in users.keys())
&&& print('score' in users.keys())
&&& print(users.has_key('name'))
Traceback (most recent call last):
File "&pyshell#20&", line 1, in &module&
print(users.has_key('name'))
AttributeError: 'dict' object has no attribute 'has_key'
五、Python UnicodeDecodeError
脚本写完后在linux下执行时报错：
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe8 in position 0: ordinal not in range(128)
网友给出的原因是windows系统下编辑的文件在linux下编码转换出现的问题，具体解决方法如下：
#引入sys模块
import sys
#加入下面两行代码
reload(sys)
sys.setdefaultencoding('utf-8')
在grep关键字时用到了正则表达式，推荐一篇关于Python正则表达式的好博客：
Python官网：
以上就是我第一次使用Python的经历，开始体会到了Python的优势。另外，也应了那句俗话，学习编程语言，光看书是没有效果的，只有理论与实践结合起来才能达到学习的效果，我想这应该就是别人经常提到的应用驱动学习吧。
最后，说明一下，我只是一个Python小菜鸟，写的东西很简单，大家不喜勿喷哈。
浏览 29143
chenzhou123520
浏览: 2869189 次
来自: 北京
update t_goods set status=2 whe ...
问下大神，我想做版本控制，但是为了数据一致性，我想2个修改过来 ...
这算是mybatis的奇巧淫技吗？哈哈哈
虽然已经找到 原因了，但是楼主写的还是很清楚 的
关于主键和索引采用行锁还是表锁，与条件是否等值查询没有绝对关系 ...
(window.slotbydup=window.slotbydup || []).push({
id: '4773203',
container: s,
size: '200,200',
display: 'inlay-fix'苹果/安卓/wp
积分 1362, 距离下一级还需 13 积分
权限: 自定义头衔, 签名中使用图片, 隐身
道具: 彩虹炫, 涂鸦板, 雷达卡, 热点灯, 金钱卡, 显身卡, 匿名卡, 抢沙发下一级可获得
权限: 设置帖子权限道具: 提升卡
购买后可立即获得
权限: 隐身
道具: 金钱卡, 彩虹炫, 雷达卡, 热点灯, 涂鸦板
在Ubuntu终端命令行中，每次运行my.py程序时都需要键入：python&&my.py ，才能运行。
能否通过设定，省去前面的python，直接键入my.py就回车运行程序？
支持楼主：、
购买后，论坛将把您花费的资金全部奖励给楼主，以表示您对TA发好贴的支持
载入中......
king64 发表于
在Ubuntu终端命令行中，每次运行my.py程序时都需要键入：python&&my.py ，才能运行。
能否通过设定，省去前 ...很简单，编个脚本，加可执行权限即可。
lasgpope 发表于
很简单，编个脚本，加可执行权限即可。谢谢！
新手！如何编写脚本赋予可执行权限？
chmod +x my.py
先在shell 中cd 到文件目录下，然后在python + 文件名
初级学术勋章
初级学术勋章
初级热心勋章
初级热心勋章
中级学术勋章
中级学术勋章
中级热心勋章
中级热心勋章
初级信用勋章
初级信用勋章
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
如有投资本站或合作意向，请联系（010-）；
邮箱：service@pinggu.org
投诉或不良信息处理：（010-）
论坛法律顾问：王进律师python 中运行linux shell脚本
我的图书馆
python 中运行linux shell脚本
&分类：&&585人阅读&&&subprocess.Popen(command, shell=True)如果command不是一个可执行文件，shell=True不可省。最简单的方法是使用class subprocess.Popen(command,shell=True)。Popen类有Popen.stdin，Popen.stdout，Popen.stderr三个有用的属性，可以实现与子进程的通信。例如：[html]&python 去掉特殊字符lstrip和rstrip 分别去首尾字符例如：[html]&结果：[html]&
TA的最新馆藏[转]&[转]&[转]&[转]&[转]&[转]&
喜欢该文的人也喜欢