众所周知,使用iftop能监控所有程序占用的网络带宽,一般情况下,手动执行iftop就可查看。但现在需要使用脚本来监控程序占用的带宽,遇到的问题真不是一点半点,现记录如下,希望能给其它运维人带来更多的帮助。
中途所遇到的难点:
1.iftop把结果重定向到文本中,是图形格式的
重定向到文本中的内容,全部是一行,根本无法用脚本取值。最开始我使用python读取这个文件,得到所有特殊符号,找到规律,然后使用sed替换成规范的格式。终于在自己测试机上完成,能展示出正常的格式。当放到线上机器时,特殊符号变了…又变成乱糟糟的了。网上找了很久的资料,终于找到了解决方法:iftop 1.0-pre之后的版本都能输出文本格式,之前用的是iftop 0.7版本。当晚心里有种流泪的感觉,弄了一天,结果有简单现成的方法。。。
2.一个程序不仅仅只使用一个端口
原以为程序仅仅监听一个端口进行通信,后来询问研发得知,当这个程序是服务端的时候,端口是固定的;当这个程序主动访问外面的时候,端口是随机的。所以要想监控的准确,必须找到这个程序打开的所有端口。解决方法是:用netstat所这个程序的所有端口找出来。
3.iftop输出的流量单位不一样,且没有调整一致的命令
单位不一样,里面有Mb,Kb,b单位,需要进行换算。我的解决方法是:把Mb替换成*1000,把Kb替换成空,把b直接不要过滤掉。最后用bc一算直接得结果。
4.程序发送占用带宽好算,接收带宽不好算
根据第2步找到的几个端口,过滤出发送出去的流量一加就可以。但是接收的怎么算?见上边图中第一条流量,有"<="的则为接收流量,"<="这些行都是未知的IP与端口,怎么把它过滤出来得出结果??我的解决方法是:把"=>"行和"<="放两个临时文件中,图中有"=>"的行第一列都有序号,那么全部是"<="行的都和它一一对应,如:发送"=>"中的是序号12,13,15。那么"<="文件中的第12,13,15行就是对应的接收流量。。是不是理解了?
5.shell脚本代码如下
#!/bin/sh #author:yangrong #mail:10286460@qq.com #date:2014-05-14 file_name="test.txt" temp_file1="liuliang.txt" temp_file2="liuliang2.txt" iftop-Pp-Nn-t-L100-s1>$temp_file1 pragrom_list=(VueDaemonVueCenterVueAgentVueCacheVueSERVERVUEConnectorMyswitchSlirpvde) #pragrom_list=(VueSERVERVueCenter) >$file_name foriin${pragrom_list[@]} do port_list=`netstat-plnt|grep$i|awk'{print$4}'|awk-F:'{print$2}'` port_all="" forportin$port_list do port_all="${port}|${port_all}" port_all=`echo$port_all|sed's/\(.*\)|$/\1/g'` done if[[$port_all==""]];then echo"${i}sendflow=0">>$file_name echo"${i}receiveflow=0">>$file_name continue fi send_flow=`cat$temp_file1|grep-E"${port_all}"|grep-E'Mb|Kb'|grep'=>'|awk'{print$4}'|\ tr'\n''+'|sed-es/Mb/*1000/g|seds/Kb//g|sed's/\(.*\)+$/\1\n/g'|bc` #echo"catliuliang.txt|grep-E"${port_all}"|grep-E'Mb|Kb'|grep'=>'|awk'{print$4}'|\ #tr'\n''+'|sed-es/Mb/*1000/g|seds/Kb//g|sed's/\(.*\)+$/\1\n/g'|bc" if[[${send_flow}==""]];then send_flow=0 fi send_num=`cat$temp_file1|grep-E"${port_all}"|grep"=>"|awk'{print$1}'` echo"">$temp_file2 fornumin$send_num do cat$temp_file1|grep'<='|sed-n${num}p|grep-E'Mb|Kb'>>$temp_file2 done receive_flow=`cat$temp_file2|grep-E'Mb|Kb'|awk'{print$4}'|\ tr'\n''+'|sed-es/Mb/*1000/g|seds/Kb//g|sed's/\(.*\)+$/\1\n/g'|bc` if[[$receive_flow==""]];then receive_flow=0 fi echo"${i}sendflow=${send_flow}">>$file_name echo"${i}receiveflow=${receive_flow}">>$file_name done
6.shell脚本执行效果
脚本中定义的进程列表为:pragrom_list=(VueDaemonVueCenter VueAgent VueCache VueSERVER VUEConnector Myswitch Slirpvde)
执行脚本的输出单位是Kb。
7.附:iftop命令用法
[root@center230python]#iftop--help iftop:unknownoption-- iftop:displaybandwidthusageonaninterfacebyhost Synopsis:iftop-h|[-npblNBP][-iinterface][-ffiltercode] [-Fnet/mask][-Gnet6/mask6] -hdisplaythismessage#帮助信息 -ndon'tdohostnamelookups#禁用主机解析,即不会出现IP显示域名 -Ndon'tconvertportnumberstoservices#以数字为示端口号,如21端口不会显示成ftp -pruninpromiscuousmode(showtrafficbetweenother hostsonthesamenetworksegment) -bdon'tdisplayabargraphoftraffic#以b单位显示 -BDisplaybandwidthinbytes#以B单位显示 -iinterfacelistenonnamedinterface#指定监听的网口 -ffiltercodeusefiltercodetoselectpacketstocount (default:none,butonlyIPpacketsarecounted) -Fnet/maskshowtrafficflowsin/outofIPv4network#显示指定Ipv4段流量 -Gnet6/mask6showtrafficflowsin/outofIPv6network#显示指定Ipv6段流量 -ldisplayandcountlink-localIPv6traffic(default:off)#显示Ipv6的流量 -Pshowportsaswellashosts#显示端口信息 -mlimitsetstheupperlimitforthebandwidthscale -cconfigfilespecifiesanalternativeconfigurationfile -tusetextinterfacewithoutncurses#使用文本模式输出 Sortingorders: -o2sSortbyfirstcolumn(2strafficaverage)#按2s平均流量列排序 -o10sSortbysecondcolumn(10strafficaverage)[default]#按10s平均流量列排序 -o40sSortbythirdcolumn(40strafficaverage)#按50s平均流量列排序 -osourceSortbysourceaddress#按源IP列排序 -odestinationSortbydestinationaddress#按目的IP列排序 Thefollowingoptionsareonlyavailableincombinationwith-t -snumprintonesingletextoutputafernumseconds,thenquit#指定刷新几次。 -Lnumnumberoflinestoprint#显示多少行数据。当程序多流量大时,则要显示行数多些才行。 iftop,version1.0pre4#版本信息。
文本输出方法:
iftop-Pp-Nn-t-L100-s1>temp_file
直接查看输iftop即可。
iftop详细用法见网上文档。
http://www.vpser.net/manage/iftop.html
总结:
1、先尽可能的寻找已有方法。
2、基本功要杂实,对sed,awk,grep等命令要熟练使用。
3、思路要灵活多变,不能被一种方法束缚死。