用于比特币区块链数据分析的ETL工具,可以抽取比特币区块文件中的区块/交易信息并加载到SQL数据库
BlockETL软件包用于比特币区块链数据分析中的数据抽取、转换和加载。 主要特性如下:
BlockETL软件包采用Java开发,支持Windows、OSX和Linux等多种操作系统, 当前版本1.0.0,主要类/接口及关系如下图所示:
BlockETL软件包的目录组织及主要代码文件清单如下:
代码文件 | 说明 |
---|---|
build.gradle | Gradle根项目构建文件 |
settings.gradle | Gradle根项目配置文件 |
blocketl/ | blocketl库代码目录 |
blocketl/build.gradle | blocket库gradle构建文件 |
blocketl/src/main/java/blocketl/IPipe.java | ETL流水线管道接口定义 |
blocketl/src/main/java/blocketl/Pipeline.java | ETL流水线模型类 |
blocketl/src/main/java/blocketl/Kit.java | ETL流水线并发管理类 |
blocketl/src/main/java/blocketl/btc/FileExtractor.java | Bitcoin区块文件抽取管道实现类 |
blocketl/src/main/java/blocketl/btc/DummyTransformer.java | Bitoin区块及交易数据转换实现类 |
blocketl/src/main/java/blocketl/btc/SqlLoader.java | SQL数据库加载类 |
sql/ | SQL脚本目录 |
sql/ddl.sql | 数据库及表结构定义SQL脚本 |
sql/index.sql | 数据表索引构建SQL脚本 |
sql/stats.sql | 分析统计演示SQL脚本 |
demo/ | blocketl库使用演示代码目录 |
demo/build.gradle | 演示应用gradle构建文件 |
demo/src/App.java | 演示应用主文件 |
demo/src/log4j.properties | log4j日志配置文件 |
在开始使用软件包之前,请先安装好gradle 6、jdk 8和所选择的SQL数据库。下面 以MySQL为例说明使用过程:
进入软件包的sql
目录,使用ddl.sql
脚本创建数据库和基础表结构:
mysql -u root -p < ddl.sql
上述命令会要求交互输入root用户的密码,也可以使用其他有足够权限的用户名/密码。 成功执行后,上述命令将创建数据库bitcoin_analysis和基础数据表:
首先根据自己的基础环境配置,修改demo/src/App.java文件中的区块目录和数据库连接信息并保存:
String dataDir = "…"; //区块数据文件目录
String dbUrl = "jdbc:…. "; //SQL数据库连接URL
String dbUser = "…", //SQL数据库用户名
String dbPassword = "…"; //SQL数据库密码
String network = "mainnet"; //主网:mainnet,测试网:testnet
进入软件包的demo目录,使用gradle run
或gradle.bat run
命令启动演示应用,
可以看到屏幕输出的数据加载进度:
软件包的demo
应用除了在屏幕输出日志,也会记录到当前目录下的app.log
文件中,
可以利用此文件排查故障。
要长时间无人值守运行,可以使用gradle distZip
打包后再执行编译好的程序。
一旦完成区块链数据的抽取并加载到SQL数据库中,就可以进行数据分析了。
为了提高数据加载速度,在之前的ddl.sql
中没有定义数据表的索引,因此在进行
数据分析之前,首先要使用index.sql
来建立数据表索引以加速统计查询的执行。
进入sql目录执行如下命令完成索引构建,根据要求输入密码:
mysql -u root -p < index.sql
索引建立之后,就可以利用SQL进行数据分析了。预置的stats.sql提供了几个 基本的分析,可以作为参考。
本站所提供软件包仅用于学习和研究,请依法合规使用。
本站所提供软件包均提供完整源码,使用前请认真阅读源代码和文档以确保充分理解软件包的设计与功能实现,本站不承担 因不当使用本站所提供软件包而造成的任何法律风险或财产损失责任。