有个统计网站 UV 的后台需求,用什么技术框架实现比较好?
如题,就是简单的接收前端的埋点上报,计数,主要是一堆文章,要记录每篇文章的推荐 UV 、浏览 UV,还能统计所有文章的 UV,最后统计展示出来,都是以日为维度,请教大佬们,用什么做? redis? mysql? elasticsearch?
完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
ElasticSearch, MongoDB
motamo
多谢大佬,只怪自己这两样儿学的不精,多研究下吧
这个没听说过呀,大佬
PV/UV 统计的数据库好像比较流行用 PostgreSQL
别用 matomo,开源版很吃资源,付费版不了解
我们之前是用 redis 做的
哦哦好的大佬,PostgreSQL 还了解点儿,matomo 不了解,那就不考虑了
redis hyperloglog 了解下
redis 计数很方便,但是比如我要汇总是不是比较麻烦啊,比如获取所有文章的总 UV 这种,还有按日期分组筛选这些,
我还在纳闷 redis 咋做,原来是有更高级的算法,多谢大佬,我去搜搜
必须要自研吗?
如果不是,接入三方的应该会更快。
百度 cnzz 腾讯 谷歌 都有
redis->定时写回数据库
小公司,自己写来的快点哈哈~其实整个统计的体量也不是太大,自己写的就能扛得住,然后主要是针对一些自定义需求开发~
直接用现成的统计产品,自己写的统计不准确
那建议别自己写了。
建议你调研一下大厂现有的统计产品的功能,再决定是否自研。
好的好的,我去研究下,跟领导商量下
不准确我倒是信哈哈,技术比较渣
上家公司的是直接接入腾讯有数
建议接入 sass
虽然自建 matomo 可以做
完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
直接上友盟
友盟解决
友盟或者诸葛
thinkdata,神策数据,用完你会回来感谢我的
thinkingdata,神策数据,用完你会回来感谢我的
append 一下帖子.
redis 呗,也不是很复杂的业务
简单的 redis 的 HLL 就够了
当然 bitmap 也可以
比较麻烦。建议还是使用现成服务,业务量较大的话可能需要依赖大数据环境。说一下我们以前的整体架构:
前端埋点 -> nginx -> tomcat 集群(简单处理解压过滤等)-> kafka -> 多应用点同时消费写到本地文件 -> 上传到 hive 日期分区表 -> spark 计算 -> 写入 hbase (用户 id 使用 bitmap) -> phoniex 查询( redis 缓存)
clickhouse
bigmap Hyperloglog
这几年也换了好多机器了,本来用的是群晖 DS418play ,但可能还是 QNAP 先入为主吧,还是想换回来,但是 TS-464C 这类外形又不喜欢,恰巧上闲鱼看了看有台拆封未…
也不一定要镜像,反代加速也行,我需求也不大,拉的时候国内能加速就行 感觉反代加速好一点,镜像的话硬盘吃不消 用中科大的镜像源 那还不如注册个阿里云账号,开个阿里云镜像源 …
我同一时间给服务器发送 1000 个 ajax 请求,服务器就崩了,得重启。 万一有人想搞我的网站,也同时发 1000 个 ajax 过来,那我网站不就崩了? 有没有办法让服务…