Setup ELK(ElasticSearch、Logstash、Kibana) Environment
- 此文章描述如何建立ELK運行環境，以及如何啟動與使用。
- ElasticSearch的安裝可以參考此篇文章
Basic Info
- OS: CentOS 7.3
- Nginx Version: 1.8.0
- ElasticSearch Version: 5.5.0
- Logstash Version: 5.5.0
- Kibana Version: 5.5.0
Nginx Installation
Posted on
|
In
Misc
ElasticSearch Installation
Posted on
|
In
Big data
Spark SQL Configuration and Performance Tuning
Posted on
|
In
Big data
Spark SQL Configuration and Performance Tuning
Configuration Properties
- Spark SQL Performance Tuning
- 下面列出需要關注的屬性，以及其對應的Spark source code
- Spark source code: org.apache.spark.sql.internal.SQLConf.scala
- buildConf指出可以透過–conf傳入的屬性名稱，例如–conf spark.sql.sources.default
- createWithDefault指出屬性的預設值
Spark SQL External Data Source
Posted on
|
In
Big data
Spark SQL Thrift Server
Posted on
|
In
Big data
Spark SQL Thrift Server
Introduce
- Spark SQLs當中提到的Standard Connectivity就是指Thrift Server。
- Thrift Server提供JDBC/ODBC的接口，讓用戶透過JDBC/ODBC連接到Thrift Server，然後透過Spark SQL的訪問或處理數據。
- Thrift Server啟動後，會啟動一個Spark SQL應用程式，所有通過JDBC/ODBC連接進來的客戶端皆共享這個Spark SQL應用程式的資源；換句話說，不同客戶端之間是共享數據的。
Compared with Spark Application
- spark-shell與spark-sql都是Spark Application，每次提交作業都要申請各自的資源，作業之間資源獨立。
- Thrift Server無論連入多少個客戶端都是一個Spark Application，且只要申請一次資源，而且客戶端之間的數據可以共享。
Spark SQL Built-in and UDF Functions
Posted on
|
In
Big data
Spark SQL DataFrame API Programming
Posted on
|
In
Big data
Cuckoo Network Analysis Failure
Posted on
|
In
Security
Cuckoo Installation
Posted on
|
In
Security
Cuckoo Installation
Baisc Info
- Host OS: Ubuntu 16.04 LST
- Guest OS: Windows 7 x64 Professional SP1
- Cuckoo: 2.0.5
- Virtualization software: VirtualBox 5.0.40
- Python Version: 2.7.14
- Python Virtual Environment: Conda
- 本文章中所有的Host OS pip安裝皆在Conda虛擬環境中執行，以便於Python library管理
- 不使用虛擬環境(Conda/Virtualenv)，不影響Cuckoo的安裝與使用