日志留存及过滤系统源码（日志筛选过滤）
本文目录一览：
- 1、企业网站怎么搞网络安全日志留存
- 2、如何使用syslog向服务器协议
- 3、通达信CCI专家系统怎样过滤重复的卖出信号 买入信号不用过滤
- 4、使用log4j把日志信息保存到数据库
- 5、android 怎么使用应用的包名通过logcat命令来过滤某个应用的日志
企业网站怎么搞网络安全日志留存
网站日志就是服务器/虚拟主机的日志吧，你使用的是什么虚拟主机或者服务器，后台就能直接下载网站日志，且有的会自动存储网站日志。
如何使用syslog向服务器协议
Syslog是一种工业标准的协议，可用来记录设备的日志。
Ubuntu下安装syslog apt-get install inetutils-syslogd
这里面的三个函数openlog， syslog， closelog是一套系统日志写入接口。另外那个vsyslog和syslog功能一样，只是参数格式不同。
通常，syslog守护进程读取三种格式的记录消息。此守护进程在启动时读一个配置文件。一般来说，其文件名为/etc/syslog.conf，该文件决定了不同种类的消息应送向何处。例如，紧急消息可被送向系统管理员（若已登录），并在控制台上显示，而警告消息则可记录到一个文件中。该机制提供了 syslog函数，其调用格式如下
#include syslog.h
void openlog (char*ident,int option ,int facility);
void syslog(int priority,char*format,……)
void closelog();
调用openlog是可选择的。如果不调用openlog，则在第一次调用syslog时，自动调用openlog。调用closelog也是可选择的，它只是关闭被用于与syslog守护进程通信的描述符。调用openlog 使我们可以指定一个ident，以后， 此ident 将被加至每则记录消息中。ident 一般是程序的名称（例如 ，cron ，ine 等）
程序的用法示例代码如下：
#include syslog.h
int main(int argc, char **argv)
{
openlog("MyMsgMARK", LOG_CONS | LOG_PID, 0);
syslog(LOG_DEBUG,
"This is a syslog test message generated by program '%s'\n",
argv[0]);
closelog();
return 0;
}
编译生成可执行程序后，运行一次程序将向/var/log /message文件添加一行信息如下：
Feb 12 08:48:38 localhost MyMsgMARK[7085]: This is a syslog test message generated by program './a.out'
syslog函数及参数
syslog函数用于把日志消息发给系统程序syslogd去记录，此函数原型是：
void syslog(int priority, const char *format, ...);
第一个参数是消息的紧急级别，第二个参数是消息的格式，之后是格式对应的参数。就是printf函数一样使用。
如果我们的程序要使用系统日志功能，只需要在程序启动时使用openlog函数来连接 syslogd程序，后面随时用syslog函数写日志就行了。
下面介绍在RedHat和ubuntu中如何配置它：
Ubuntu和红帽常使用它，并且通过文件/etc/rsyslog.conf进行管理。文件中包含许多指定的特殊系统日志：有的是控制台方面的，有的是文件方面或其它主机的。
首先，我们需要载入合适的TCP和UDP插件以支持接收系统日志。把下面的代码添加到rsyslog.conf的头部：
$modload imtcp
$modload imudp
$InputTCPServerRun 10514
$UDPServerRun 514
载入的这两个模块能支持监听TCP和UDP的端口，并且指定哪个端口来接受事件，在这种情况下，使用TCP的10514端口和UDP的514端口。你需要确认一下本地防火墙(在你的主机和中央系统日志服务器之间的防火墙)
下面我们需要指定一些规则来告诉rSyslog在哪放输入事件。如果你不添加任何规则，输入事件将按照本地的规则进行处理，并且与本地主机的事件交织在一起。我们需要在上面添加节之后和本地处理系统日志之前来正确的指定这个规则，例如：
if $fromhost-ip isequal '192.168.0.2' then /var/log/192.168.0.2.log
~
这里我们说的每一个来自于192.168.0.2的系统日志都应该保存在/var/log/192.168.0.2.log文件中。~这个符号是非常重要的，因为它告诉rSyslog将停止处理消息。如果你把它忘写了，消息将越过下一个规则，并且继续处理。在这一规则中还有其他的变量。例如：
if $fromhost-ip startswith '192.168.' then /var/log/192.168.log
~
这里我们用192.168.*替代了以这个为开始的所有IP地址，写入到/var/log/192.168.log文件中。你还可以看到一些其它的过滤。
你将需要重启这个rsyslog服务来激活我们所做的新的配置：
$ sudo service rsyslog restart
现在，对于发送方的主机，我们还需要对文件rsyslog.conf进行一些更改，在文件的头部，添加下面这行：
*.* @@192.168.0.1:10514
这是发送的所有事件，来自于所有源代码和所有重要级别(用*.*)，通过TCP协议传给IP地址为192.168.0.1的10514端口。你可是用你所在环境的地址来替换这个IP地址。要启用此配置，你将需要重启主机上的rSyslog。
你可以通过SSL/TLS更进一步地发送你的系统日志。如果你在互联网上或其它网络间传输系统日志，这也没什么坏处，你可能会发现这个的简单说明。
现在，如果给你的配置管理系统(如果不使用这个，你可以试一试Puppet或Cfengine工具)添加这个配置，然后，您可以用适当的系统日志来有效地配置每台主机，以确保你的日志将被发送到中央系统日志服务器。
通达信CCI专家系统怎样过滤重复的卖出信号 买入信号不用过滤
可以只过滤掉买入与买入之间的卖出重复信号,但是你要说明清楚一个问题,这个卖出信号是保留最开始的一个,还是最后的一个,那是满足某些条件的一个.例如买入信号出现分别出现ABC3个卖出信号都是连续的,A是第一个,B呢是第二个,C是第三个,那要保留哪一个要说清楚.这种过滤重复信号的解决不光可以只保留第一个,也可以只保留最后一个,还可以保留满足某些条件的.例如你这个条件 我吧他过滤成只保留买入第一次和只保留卖出第一次的交替信号.买入显示红色三角,卖出显示绿色三角效果如下图
同样的走势也可以只保留最后一个也是没有问题的例如下图
就算买入保留第一个卖出条件保留最后一个这也是可以的例如下图
使用log4j把日志信息保存到数据库
log4j 包里面有一个 SQL 的 appender ，但我知道以前的版本中有bug，因为它生成 SQL 时用的是 createStatement 拼接字符串而不是 PreparedStatement ，因此当消息内容中有单引号或特殊符号时 SQL 都有语法错误执行不成功。
你需要自己扩展一下它提供自己的 SQLAppender 来做这件事。在网上搜索一个像 decompiler 这样的 Java 反编译器或从 Apache 网站去下载 log4j 源码来看一下 SQL appender 是怎么样的，我们改写它把这个 bug 解决了就可以用了。
如果你打算用 ODBC 数据源而不是 JDBC 来做，你需要确保你的 JRE 是 Oracle / Sun 提供的，因为像 IBM 的 JRE 就没有自带 ODBC 驱动程序，或者你自己去手工下载第三方的 ODBC 驱动程序。
从你的错误消息说 数据源找不到，对比下面这个图片，你没有设置它的 driver 参数，左边所有以 set 开头的方法就是表示你在 log4j.properties 文件中可以给它设置的参数，比如，setPassword 表示这个 JDBC Appender 有一个属性 password。
log4j.appender.mySQLAppender.password = 密码
log4j.appender.mySQLAppender.user = 用户名
。。。 其它 set 方法对应的属性列举在这里。。。
依此类推。
我们需要纠正的 bug 在这里面，你需要提供自己的类继承原来的 JDBCAppender 把这个 statement 改成 PreparedStatement 来访问数据库，就是需要 stmt.setString(1, myMsg); 这种，而不是直接拼接字符串的。
看了它的 JDBCAppender.execute 方法就知道这里有一个 bug:
android 怎么使用应用的包名通过logcat命令来过滤某个应用的日志
本文介绍如何在 shell 命令行中过滤 adb logcat 输出日志留存及过滤系统源码的几个小技巧。 开发当中经常看到别人的 log 如洪水般瞬间刷满日志留存及过滤系统源码了屏幕，对自己有用的信息都被淹没日志留存及过滤系统源码了，影响心情也影响效率。下面是几个我所知道的过滤方法。 1. 只显示需要的输出，白名单 最方便的当然是通过管道使用 grep 过滤了，这样可以使用 grep 强大的正则表达式匹配。简单的匹配一行当中的某个字符串，例如 MyApp： adb logcat grep MyApp adb logcat grep -i myapp #忽略大小写。 adb logcat grep --color=auto -i myapp #设置匹配字符串颜色。更多设置请查看 grep 帮助。 进阶一点可以使用 grep 的正则表达式匹配。例如上一个例子会匹配一行中任意位置的 MyApp，可以设置为仅匹配 tag。默认的 log 输出如下，如果修改过输出格式相应的表达式也要修改。 I/CacheService( 665): Preparing DiskCache for all thumbnails. 可以看出 tag 是一行开头的第三个字符开始，根据这点写出表达式： adb logcat grep "^..MyApp" 根据这个格式也可以设置只显示某个优先级的 log，再匹配行首第一个字符即可。例如仅显示 Error 级别 tag 为 MyApp 的输出： adb logcat grep "^E.MyApp" 当然也可以匹配多个，使用 分割多个匹配表达式，要加转义符。例如要匹配 tag 为 MyApp 和 MyActivity 的输出： adb logcat grep "^..MyApp\^..MyActivity" adb logcat grep -E "^..MyApp^..MyActivity" #使用 egrep 无须转义符 2. 过滤不需要的输出，黑名单 还是使用 grep，用法也跟上面的一样，加一个 -v 即可。例如要过滤 tag 为 MyApp 和 MyActivity 的输出： adb logcat grep -v "^..MyApp\^..MyActivity" adb logcat grep -vE "^..MyApp^..MyActivity" #使用 egrep 无须转义符 3. 显示同一个进程的所有输出 有时一个程序里面的 tag 有多个，需要输出该程序（同一个 PID）的所有 tag；仅使用 tag 过滤有时也会漏掉一些错误信息，而一般错误信息也是和程序同一个 PID。还是通过 grep 实现，思路是先根据包名找到 pid 号，然后匹配 pid。写成 shell 脚本如下，参数是程序的 java 包名（如 com.android.media）。 查看源代码打印帮助 1 #!/bin/bash 2 packageName=$1 3 pid=`adb shell ps grep $packageName awk '{print $2}'` 4 adb logcat grep --color=auto $pid 4. 从当前开始显示 logcat 有缓存，如果仅需要查看当前开始的 log，需要清空之前的。 adb logcat -c adb logcat 5. 过滤 log 文件 有时需要分析 log 文件，过滤 log 文件还是使用 grep。例如 log 文件为 myapp.log，要匹配 tag 为 MyApp 和 MyActivity 的输出，然后输出到 newmyapp.log： cat myapp.log grep "^..MyApp\^..MyActivity" newmyapp.log Windows 下推荐使用 Notepad++，一个免费强大的记事本，支持正则表达式查找替换。可以高亮显示匹配内容，也可以删除不需要的内容。 以上的技巧主要用到了 grep，其实 logcat 本身也有过滤功能，可以根据 tag、优先级过滤 log，具体请参考 Android 官方文档 Reading and Writing Logs。如果喜欢使用图形界面，请参考 Using DDMS，DDMS 里面的 logcat 也可以同样过滤。 android的logcat详细用法 Android日志系统提供了记录和查看系统调试信息的功能。日志都是从各种软件和一些系统的缓冲区中记录下来的，缓冲区可以通过 logcat 命 令来查看和使用. 使用logcat命令 你可以用 logcat 命令来查看系统日志缓冲区的内容: [adb] logcat [option] ... [filter-spec] ... 请查看Listing of logcat Command Options ，它有对logcat命 令有详细的描述 . 你也可以在你的电脑或运行在模拟器/设备上的远程adb shell端来使用logcat命 令，也可以在你的电脑上查看日志输出。 $ adb logcat 你也这样使用： # logcat 过滤日志输出 每一个输出的Android日志信息都有一个标签和它的优先级. 日志的标签是系统部件原始信息的一个简要的标志。（比如：“View”就 是查看系统的标签）. 优先级有下列集中，是按照从低到高顺利排列的: V — Verbose (lowest priority) D — Debug I — Info W — Warning E — Error F — Fatal S — Silent (highest priority, on which nothing is ever printed) 在运行logcat的时候在前两列的信息中你就可以看到 logcat 的标签列表和优先级别,它是这样标出的:priority/tag . 下面是一个logcat输出的例子,它的优先级就似乎I,标签 就是ActivityManage: I/ActivityManager( 585): Starting activity: Intent { action=android.intent.action...} 为了让日志输出能体现管理的级别,你还可以用过滤器来控制日志输出,过滤器可以帮助你描述 系统的标签等级. 过滤器语句按照下面的格式描tag:priority ... , tag 表 示是标签,priority 是表示标签的报告的最低等级. 从上面的tag的中可以得到日志的优先级. 你可以在过滤器中多次写tag:priority . 这些说明都只到空白结束。下面有一个列子，例子表示支持所有的日志信息，除了那些标签 为”ActivityManager”和优先级为”Info”以上的和标签为” MyApp”和优先级为” Debug”以上的。 小等级,优先权报告为tag. adb logcat ActivityManager:I MyApp:D *:S 上面表达式的最后的元素 *:S ,，是设置所有的标 签为”silent”，所有日志只显示有”View” and “MyApp”的，用 *:S 的另一个用处是 能够确保日志输出的时候是按照过滤器的说明限制的，也让过滤器也作为一项输出到日志中. 下面的过滤语句指显示优先级为warning或更高的日志信息: adb logcat *:W 如果你电脑上运行logcat ，相比在远程adbshell端，你还可以 为环境变量ANDROID_LOG_TAGS :输入一个参数来设置默认的过滤 export ANDROID_LOG_TAGS="ActivityManager:I MyApp:D *:S" 需要注意的是ANDROID_LOG_TAGS 过滤器如果 通过远程shell运行logcat 或 用adb shell logcat 来 运行模拟器/设备不能输出日志. 控制 日志输出格式 日志信息包括了许多元数据域包括标签和优先级。可以修改日志的输出格式，所以可以显示出特 定的元数据域。可以通过 -v 选项得到格式化输出日志的相关信息. brief — Display priority/tag and PID of originating process (the default format). process — Display PID only. tag — Display the priority/tag only. thread — Display process:thread and priority/tag only. raw — Display the raw log message, with no other metadata fields. time — Display the date, invocation time, priority/tag, and PID of the originating process. long — Display all metadata fields and separate messages with a blank lines. 当启动了logcat ，你可以通过-v 选 项来指定输出格式: [adb] logcat [-v format] 下面是用 thread 来产生的日志格式: adb logcat -v thread 需要注意的是你只能-v 选项来规定输出格式 option. 查看 可用日志缓冲区 Android日志系统有循环缓冲区，并不是所有的日志系统都有默认循环缓冲区。为了得到 日志信息，你需要通过-b 选项来启动logcat 。如果要使用循环缓冲区，你需要查看剩余的 循环缓冲期: radio — 查看缓冲区的相关的信息. events — 查看和事件相关的的缓冲区. main — 查看主要的日志缓冲区 -b 选项使用方法: [adb] logcat [-b buffer] 下面的例子表示怎么查看日志缓冲区包含radio 和 telephony信息: adb logcat -b radio 查看 stdout 和stderr 在默认状态下，Android系统有stdout 和 stderr (System.out和System.err ) 输出到/dev/null ， 在运行Dalvik VM的进程中，有一个系统可以备份日志文件。在这种情况下，系统会用stdout 和stderr 和 优先级 I.来记录日志信息 通过这种方法指定输出的路径，停止运行的模拟器/设备，然后通过用setprop 命 令远程输入日志 $ adb shell stop $ adb shell setprop log.redirect-stdio true $ adb shell start 系统直到你关闭模拟器/设备前设置会一直保留，可以通过添加/data/local.prop 可 以使用模拟器/设备上的默认设置 Logcat命令列表 Option Description -b buffer 加载一个可使用的日志缓冲区供查看，比如event 和radio . 默认值是main 。具体查看Viewing Alternative Log Buffers. -c 清楚屏幕上的日志. -d 输出日志到屏幕上. -f filename 指定输出日志信息的filename ， 默认是stdout . -g 输出指定的日志缓冲区，输出后退出. -n count 设置日志的最大数目count .， 默认值是4，需要和 -r 选 项一起使用。 -r kbytes 每kbytes 时 输出日志，默认值为16，需要和-f 选 项一起使用. -s 设置默认的过滤级别为silent. -v format 设置日志输入格式，默认的是brief 格 式，要知道更多的支持的格式，参看Controlling Log Output Format .
