1、确实mysql是innodb的引擎
2、外键必须要建立索引，或者是一个primary key , 你的外键基本上都没有建立索引，所以会报错

服务端开启了sasl认证，客户端连接的时候需要指定认证的文件，用户名和密码

好像严格保证只消费一次的都需要自定义处理，没有现成的办法

1、你的读写的数据存在哪里？
2、是用什么方法写的？
澄清一下上面的问题

/ 是除法，//是取模，*是乘法，**是乘方，%是取模的余数

存储不会有问题，问题在于你怎么查询

量化交易很多场景，具体指的是哪一种，实时性高的时候一般用不上

找个图形化结果的工具可以看到表和库的关系 像是pgAdmin等

java是静态类型语言，需要编译和解释执行两种环境，如果基于java的开发也就是我们通常所说的jdk环境，还有运行时环境jre，如果只需要运行，有很多集成环境直接可以用jar，之所以手工配置是增加了更多的灵活性，python是动态类型的语言，一个环境就够了，所以可以很自动的配置

SELECT id FROM table_a WHERE id IN(1,2,3) and id IN(9999) 这么写可以吗

把sql和sql的执行计划及索引结构发出来看一下把

yarn提供了一套自己的调度机制，如果想被yarn调度起来需要自定义开发很多组件，spark也是自己开发了适应于yarn调度的接口，才能部署为spark on yarn，这个内容比较多，推荐一篇文章给你看下吧https://blog.csdn.net/u010039929/article/details/74934306

!/usr/bin/env python -- coding: utf-8 --

import MySQLdb as mdb

连接数据库

conn = mdb.connect('localhost', 'root', 'root')

也可以使用关键字参数

conn = mdb.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='test', charset='utf8')

也可以使用字典进行连接参数的管理

config = {
'host': '127.0.0.1',
'port': 3306,
'user': 'root',
'passwd': 'root',
'db': 'test',
'charset': 'utf8'
}
conn = mdb.connect(**config)
连接完数据库就可以执行sql了
然后把查询出来的结果拼装成html就可以了

大数据平台一般指的是具体的平台比如某个商业公司用的某个基于大数据开发的平台，大数据技术平台一般指的是一系列技术构建成的平台，也可以用别的技术，这些技术栈统称为大数据技术平台技术栈，这个虽然有点拗口，但是不要太在意这些概念。

MetaStore的引入很重要，主要解决了客户端访问hive元数据的管理问题，客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。这样既可以保证安全又可以保证高效。

spark的出现其实是一个生态系统的成长过程，Spark是基于内存计算的大数据并行计算框架，也就是说他的思想是要在内存中处理大规模数据，同时还要兼顾处理数据处理的实时性,同时保证了高容错性和高可伸缩性,当然这个前提是要在廉价的分布式集群上解决这个问题，这就是设计的初衷，也是设计的主要思想，至于rdd只是一个抽象而已。

但从环境上来说可以部署在一起，也可以分开，可以按功能分开部署，这样有利于维护，就像你非要把数据库和web应用部署在同一台机器上是一个道理

1、zk是命门
2、因为仓库一般是内网 没有啥攻击 就像你说所有数据都存在oracle 、oracle挂了不都完了吗一样

这个方法目前存在什么问题吗 还是满足不了业务的需求？

flink 写数据的时候写两份就行了 如果不用保证集群的数据实时一致，为了不影响flink的性能，你可以写另外的一个任务，把一个集群的数据直接拷贝给另一个集群