需求是这样的,一个游戏后台系统,需要对每天产生的日志文件进行分析。游戏日志有用户注册、用户登录等。使用mapreduce将用户注册信息统计到一个集合user_register,将用户登录信息去重后放到另一个集合user_login,现在需要根据用户名关联这个两个集合统计出一些数据。但查了很多资料没有发现mongodb在这方面有很好的解决办法,也想过使用mapreduce来解决,但根据这段时间我使用mapreduce的心得,感觉mapreduce只能处理一个集合,不能同时处理两个集合。目前我想出的一个解决方案就是把这两个集合中的数据都读出来,然后使用程序代码处理。这种方式虽然能暂时解决问题,但肯定不是最优的。
所以就冒昧给您发了这条信息,看您能不能给一些合理的建议或方法,先在此谢过!!
今天遇到了一个问题,想了一下午,查看了很多资料也没能找到合理的解决方式,不知道您有没有遇到过。 需求是这样的,一个游戏后台系统,需要对每天产生的日志文件进行分析。游戏日志有用户注册、用户登录等。使用mapreduce将用户注册信息统计到一个集合user_register,将用户登录信息去重后放到另一个集合user_login,现在需要根据用户名关联这个两个集合统计出一些数据。但查了很多资料没有发现mongodb在这方面有很好的解决办法,也想过使用mapreduce来解决,但根据这段时间我使用mapreduce的心得,感觉mapreduce只能处理一个集合,不能同时处理两个集合。目前我想出的一个解决方案就是把这两个集合中的数据都读出来,然后使用程序代码处理。这种方式虽然能暂时解决问题,但肯定不是最优的。 所以就冒昧给您发了这条信息,看您能不能给一些合理的建议或方法,先在此谢过!!
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....