quentinXXZ
- 浏览: 110185 次
- 来自: 杭州
-
最新评论
-
lujia35：
有深度
基于lucene的内嵌式kv存储 -
supergenuis：
[size=x-[url][/url]][color=viol ...
如何对10亿数据量级的mongoDB作高效的全表扫描 -
qindongliang1922：
quentinXXZ 写道qindongliang1922 写 ...
如何对10亿数据量级的mongoDB作高效的全表扫描 -
quentinXXZ：
qindongliang1922 写道mongodb存储搜索引 ...
如何对10亿数据量级的mongoDB作高效的全表扫描 -
qindongliang1922：
mongodb存储搜索引擎的索引？ 楼主上面说的3个小时，是 ...
如何对10亿数据量级的mongoDB作高效的全表扫描
文章列表
本文链接: http://quentinXXZ.iteye.com/blog/2149440
一、正常情况下，不应该有这种需求
首先，大家应该有个概念，标题中的这个问题，在大多情况下是一个伪命题，不应该被提出来。要知道，对于一般较大数据量的数据库，全表查询，这种操作一般情况下是不应该出现的，在做正常查询的时候，如果是范围查询，你至少应该要加上limit。
说一下，我的应用场景：用于全量建立搜索引擎的索引。这就是一种需要用到全表扫描的非一般情况。对于全表扫描的结果，我们没有排序要求。
二、情况说明
既然有如此大的数据量，那存储所占空间基本都是上T的了。所以肯定是使用了m ...
链接地址: http://quentinXXZ.iteye.com/blog/2125433
内容主要来自《 MongoDB The Definitive Guide 2nd Edition》
最基本的建索引命令如下:
db.users.ensureIndex({"username" : 1})
根据username建立索引。1表示升序存储。
MonogDB每个一个collection最多可建64个索引。
利用hint可指定使用哪个索引。
db.users.find({"age" : {"$gte" : ...
链接地址http://quentinXXZ.iteye.com/blog/2126684
ActiveMq在stop操作，停止接收时，出现如下提示：
2014-09-23 20:26:23,233 WARN [ActiveMQ Session Task-1] (AbstractMessageListenerContainer.java:461) - Rejecting received message because of the listener container having been stopped in the meantime: ActiveM ...
本文的配置示例采用单台zookeeper与两台solr实例（即两个tomcat启动），collection分为两个shard(分片)，每个shard两个replia(复本)，本例使用版本为solr 4.4, zookeeper 3.4.6。
实际生产不会采用单台zookeeper，读者可自行扩展。
本文链 ...
Unlike a typical file system, which is designed for storage, ZooKeeper data is kept in-memory, which means ZooKeeper can achieve high throughput and low latency numbers.
与其他文件系统不同，zookeeper的数据存储于内存中，也就意味着zookper可以实现较高吞吐与低延 ...
这是本周在公司进行技术分享的稿件。也算是本人对最近一段时间内部份工作学习内容的一次总结。
链接地址：http://quentinXXZ.iteye.com/blog/2116127
1、 Solr 简介
1.1 solr与lucene
² Solr是一 ...
以下内容是对 《ActiveMq In Action》的翻译 第二章的部份翻译，体现了ActiveMq的核心思想，
转自
1.2使用ActiveMQ：为什么，何时
时间回到2003年，一群开源开发者集合在一起形成了Apache Geronimo。之后，他们发现当前没有好用的使用BSD-style许可协议的消息代理器。Geronimo是由于java EE兼容性需要一个JMS实现。所以一些开发者开始讨论其可能性。拥有丰富MOMs经验甚至自己创建过一些MOMs的这些开发者开始创建下一个伟大的开源消息代理。ActiveMQ这么快开始是因为当时市场上大多数的MOMs是商业，闭源而且购买和支持 ...
http://quentinXXZ.iteye.com/blog/2113458
实验一：
public class Producer {
public static void main(String[] args) {
String user = ActiveMQConnection.DEFAULT_USER;
String password = ActiveMQConnection.DEFAULT_PASSWORD;
String url = ActiveMQConnection.DEFAULT_BROKER_URL;
...
文章地址：http://quentinxxz.iteye.com/blog/2102604
初学solr在schema 里面配置并使用sorl的date或者tdate类型，具体类型与使用如下：
<field name="tdate_field" type="tdate" indexed="true" stored="true" />
<f ...
文章地址：http://quentinxxz.iteye.com/blog/2102592 本文所述的索引replication方式是通过Http传输由，由solr1.4引入的。想了解更多Solr1.1引入的基于 ssh/rsync实现的replication功能，请查询CollectionDistribution。注意Solr4.0的SolrCloud的replication是通过推的方式实现的 ,这种replication方式以后就不再是必要的了。
（可见看来有三种replication的方式 一种是solr 1.1引入，基于ssh/rsync实现 ，需要额外配置；一种是s ...
文章地址：http://quentinxxz.iteye.com/blog/2102010
java.util.Date
The class Date represents a specific instant in time, with millisecond precision.
精度从javadoc 上来，Date是精确到微秒的。
值得注意的是leap second的介绍，这又是一个有趣的故事。
“国际地球自转和参考坐标系统服务（IERS）在2012年6月30日午夜(北京时间7月1号7点59分59秒)增加一闰秒（ ...
文章地址：http://quentinxxz.iteye.com/blog/2100628
fieldType
< fieldType name =" string " class =" solr.StrField " sortMissingLast =" true " omitNorms =" true " />
sortMissingLast和sortMissingFirst两个属性是用在可以内在使用String排序的类型上（包括：string,boolean,sint,s ...
文章地址：http://quentinxxz.iteye.com/blog/2100621
前一篇中全量索引的data-config.xml 的配置为
<dataConfig>
<dataSource type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://199.xxx.xxx.xxx/quentinxxz_com"
u ...
文章地址：http://quentinxxz.iteye.com/blog/2100619
本文所有实验在solr4.4上进行
quickStart 参考 http://wiki.apache.org/solr/DIHQuickStart
步骤1： 首先修改solrconfig.xml 加往上DataImportHandler的配置
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler" ...