教你如何搭建威胁情报库 老男孩网络安全周末班

    /    2019-09-09

一、前言

威胁情报是一种基于数据的,对组织即将面临的攻击进行预测的行动。预测(基于数据)将要来临的的攻击。威胁情报利用公开的可用资源,预测潜在的威胁,可以帮助你在防御方面做出更好的决策。 在企业或政府乃至国家,拥有一个高准确度,大数据量的威胁情报库是至关重要的。

二、简介

本文主要针对是初学者,刚起步的搭建自己的威胁情报库的企业,通过简单便捷的python脚本来搭建自己的恶意ip数据库。此恶意数据库的IP来源于国外较为权威的威胁情报。本文只是讲述其中的黑名单ip如何搜集,方向还可以拓展为恶意域名,恶意证书,可用类似方法。之所以要收录国外的开源情报威胁库,更大程度上是因为国内各个网络安全公司不会将自己的数据库分享,也是用与我一样的思路爬取国外信息为主。

三、黑名单IP(C&C,恶意软件,垃圾邮件,网络爬虫)

首先,代码将从国外权威平台的威胁情报源下载黑名单IP列表,其中包含(c2 服务器,垃圾邮件,网络爬虫,间谍软件和其他恶意软件)。并且在收集含有黑名单ip的文件同时,还需要聚合筛选数据,只提取重要可用的数据。

我们需要将下面的命令写入cron中,可用来每5分钟自动下载一次黑名单IP

"""
crontab -e
"""

在配置文件中添加下面三行

"""
*/5 * * * * cd && wget http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt
*/5 * * * * cd && wget reputation.alienvault.com/reputation.data
*/5 * * * * cd && wget https://myip.ms/files/blacklist/general/latest_blacklist.txt

在Home中,创建新py文件叫merge.py

"""
Filename: merge.py
Arthor:Mike
Date:2019.8.5
"""

打开文件

c2=open("c2-ipmasterlist.txt","r")
bl=open("latest_blacklist.txt","r")
reputation=open("reputation.data","a")

以行来分开下载的数据

for line in c2:
  ip = line.split(',')
  reputation.write(ip[0]+ ",c2\n")
for line in bl:
  ip = line.split()
  try:
    reputation.write(ip[0]+ "\n")
  except:
    pass

在执行代码之前,还需要添加一个命令在cron文件中,它会用下面的命令每5分钟导入黑名单IP列表:

打开cron的配置文件

crontab -e

添加运行每5分钟一次的merge.py文件,用于拓展黑名单数据量。

然后再重启cmikewhorontab服务:

service cron restart

这张截图显示merge.py所结合的恶意ip,域名的总文件

再次创建新py文件,检查IP是否被列入收录中的黑名单。

import mmap

打开IP收录文件,检测流量中的IP是否在黑名单中

file = open("reputation.data")
IP ='207.241.231.146'
s = mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ)
if s.find(IP) != -1:
  print "This "+IP+" is blacklisted"
  file.close()

四、总结

本文简单地描述如何利用开源威胁情报,帮助我们更好的防护网络不受到恶意的攻击。阅读者可以展开思维,通过爬虫技术去搜集各个情报源的C2数据库。

五、提示

经提示因为配置文件不同,可能造成一些同学无法启动crontab。这里为更详细的教程图解帮助大家配置威胁情报库。

开启crontab日志

crontab默认情况下是不执行开启日子的,所以一开始写完后,不能执行,想查看日志,却找不到。所以先开启定时任务的日志来查看

修改rsyslog服务,将 /etc/rsyslog.d/50-default.conf 文件中的 #cron.* 和#daedon.* 前的 # 删掉;

用以下命令重启rsyslog服务:

service rsyslog restart

然后再重启crontab服务:

service cron restart


*本文作者:mikewho,转载须注明来自FreeBuf.COM

(0)

分享至

246好彩天天免费资枓大全 景宁| 商南县| 油尖旺区| 贵定县| 深泽县| 雅安市| 江西省| 泽州县| 都兰县| 东乡县| 曲靖市| 定州市| 桃源县| 阳朔县| 苍山县| 乌兰察布市| 吉安县| 洞头县| 通道| 福泉市| 望江县| 东安县| 吴江市| 湄潭县| 鄂温| 临海市| 瑞昌市| 滨州市| 沅江市| 灵璧县| 遵义县| 建宁县| 措美县| 万载县| 佛学| 桂东县| 蓬安县| 定边县| 格尔木市| 信丰县| 山东省| 长宁区| 平泉县| 合阳县| 梧州市| 勃利县| 灯塔市| 边坝县| 寿宁县| 遂溪县| 比如县| 固安县| 稷山县| 喀喇| 蒙城县| 赣州市| 张家港市| 百色市| 濮阳市| 大连市| 乐都县| 农安县| 炎陵县| 两当县| 磐安县| 长乐市| 夏津县| 建湖县| 新昌县| 邯郸县| 榆中县| 施甸县| 崇阳县| 宜丰县| 鄯善县| 华安县| 锡林郭勒盟| 湖北省| 甘洛县| 拉孜县| 怀仁县| 林甸县| 康保县| 蛟河市| 香河县| 林周县| 巴中市| 靖安县| 清水河县| 安达市| 水富县| 白山市| 安仁县| 新邵县| 武定县| 辽中县| 文水县| 桓仁| 新兴县| 上栗县| 青浦区| 金塔县| 元谋县| 和龙市| 晋江市| 阿坝县| 昌黎县| 乌拉特中旗| 皋兰县| 嵊泗县| 九江市| 泉州市| 确山县| 桂阳县| 盐边县| 岱山县| 大化| 怀安县| 上林县| 平远县| 石林| 黑水县| 肇东市| 田林县| 盐津县| 资中县| 渝北区| 沈丘县| 阿拉善盟| 仲巴县| 沂源县| 民和| 澜沧| 保靖县| 密山市| 焦作市| 博罗县| 华亭县| 紫云| 冀州市| 镇赉县| 宿松县| 台东县| 思南县| 叙永县| 长春市| 武威市| 衡南县| 陵川县| 贺兰县| 云和县| 宁波市| 会同县| 无棣县| 泽州县| 西充县| 宁武县| 新源县| 深泽县| 德清县| 汕尾市| 东宁县| 新巴尔虎左旗| 濮阳县| 饶阳县| 赣州市| 潮州市| 高雄县| 集安市| 肇源县| 中牟县| 丹巴县| 海口市| 定结县| 鄯善县| 报价| 阳江市| 仪征市| 丹棱县| 怀安县| 儋州市| 鹤峰县| 徐水县| 平阳县| 合江县| 菏泽市| 辰溪县| 台安县| 玛曲县| 项城市| 旌德县| 汉源县| 游戏| 龙口市| 平远县| 北辰区| 定西市| 五大连池市| 高邑县| 南昌市| 辽宁省| 文昌市| 上蔡县| 宜都市| 柳林县| 余庆县| 莲花县| 新绛县| 义乌市| 佛冈县| 德昌县| 江安县| 永川市| 永川市| 德兴市| 海盐县| 娄烦县| 贵阳市| 阿拉善左旗| 汶上县| 遵化市| 章丘市| 西乡县| 哈尔滨市| 徐汇区| 德阳市| 白银市| 大田县| 岳西县| 双峰县| 乡城县| 济阳县| 容城县| 黄平县| 浙江省| 堆龙德庆县| 卫辉市| 咸丰县| 蓬安县| 呈贡县| 民丰县| 长治县| 辽中县| 扬州市| 阳曲县| 元朗区| 尉犁县| 盈江县| 武城县| 四子王旗| 巫山县| 乌鲁木齐市| 临洮县| 武强县| 东宁县| 安化县| 上蔡县| 黄冈市| 宜春市| 肥城市| 汤原县| 古交市| 师宗县| 邵阳县| 乌海市| 安多县| 分宜县| 拉孜县| 吉木乃县| 枣庄市| 岳池县| 囊谦县| 江口县| 普兰县| 抚宁县| 航空| 什邡市| 汶川县| 瓦房店市| 华阴市| 阳信县| 呼和浩特市| 余姚市| 修文县| 精河县| 达尔| 玉门市| 融水| 杂多县| 洱源县| 台北县| 盐山县| 长岭县| 长治市| 从江县| 石家庄市| 都匀市| 集安市| 龙山县| 时尚| 萝北县| 金堂县| 正宁县| 本溪| 策勒县| 尼玛县| 丽江市| 金川县| 章丘市| 阳原县| 库尔勒市| 邓州市| 黄浦区| 广宁县| 福海县| 海伦市| 祁东县| 阿克陶县| 宁都县| 荔浦县| 甘孜县| 府谷县| 四川省| 昆明市| 旺苍县| 鄂伦春自治旗| 宝清县| 榕江县| 长汀县| 高台县| 武穴市| 波密县| 衡水市| 太湖县| 兴宁市| 饶平县| 镇巴县| 呈贡县| 蒲江县| 合山市| 百色市| 蒙城县| 绍兴县| 吐鲁番市| 柘城县| 怀来县| 松阳县| 遂溪县| 申扎县| 房产| 泾源县| 保山市| 常德市| 晋江市| 厦门市| 武安市| 延边| 嘉兴市| 岢岚县| 咸丰县| 恭城| 肥城市| 和政县| 五台县| 蒙城县| 攀枝花市| 比如县| 礼泉县| 客服| 黄山市| 南汇区| 顺义区| 宝鸡市| 凌云县| 高州市| 建瓯市| 凤翔县| 彰化市| 二连浩特市| 保山市| 客服| 阳朔县| 奉新县| 宝兴县| 郧西县| 大田县| 明星| 巴南区| 无棣县| 海晏县| 遂宁市| 太原市| 海南省| 阜康市| 永康市| 黑龙江省| 开封县| 虞城县| 邵阳县| 郯城县| 吉水县| 天门市| 永康市| 清徐县| 申扎县| 青州市| 古浪县| 西充县| 和静县| 鸡东县| 当雄县| 涿鹿县| 呼玛县| 应城市| 洛扎县| 堆龙德庆县| 鲜城| 永宁县| 伊宁县| 鲁山县| 南昌市| 丁青县| 丰城市| 水富县| 临猗县| 永康市| 贵定县| 灵寿县| 潜山县| 呈贡县| 田东县| 彭山县| 湛江市| 慈溪市| 涿州市| 筠连县| 孝义市| 鄢陵县| 平定县| 衡山县| 沁水县| 闽侯县| 昌宁县| 滦南县| 繁昌县| 肇源县| 云和县| 尚义县| 宁河县| 西和县| 鲁山县| 吉林省| 犍为县| 禄劝| 郓城县| 永胜县| 武义县| 寻乌县| 合江县| 榆林市| 泸定县| 康马县| 德令哈市| 盐津县| 谢通门县| 冀州市| 南充市| 资阳市| 天台县| 修文县| 启东市| 延寿县| 宁都县| 新巴尔虎右旗| 涿鹿县| 原平市| 余江县| 樟树市| 五指山市| 高邑县| 伽师县| 绥江县| 嘉善县| 江源县| 隆化县| 洛南县| 肥西县| 广元市| 青海省| 大庆市| 铜鼓县| 永城市| 师宗县| 邯郸市| 灵丘县| 政和县| 朝阳区| 平陆县| 三穗县| 新乡市| 吕梁市| 萨迦县| 锡林郭勒盟| 酒泉市| 杭锦旗| 新乡市| 开平市| 屯昌县| 若羌县| 巴青县| http://m.gz1980bayc.fun http://m.yqo0j0rl1v.fun http://wap.gz1980kidc.fun http://www.yqo0j2rl7v.fun http://wap.yqo8j7rl8v.fun http://m.gz1980potterc.fun http://wap.bo2020grays.fun http://wap.yqo6j8rl8v.fun http://m.gz1980shapec.fun http://m.bo2020chips.fun http://www.yqo7j4rl2v.fun http://wap.jvz1j2r8o.fun http://wap.gz1980developc.fun http://wap.bo2020routes.fun http://wap.yqo4j3rl1v.fun