转载

[深入分析]ThreadLocal源码及原理

ThreadLocal是每个线程自己维护的一个存储对象的数据结构,线程间互不影响实现线程封闭。 使用时,实例化ThreadLocal对象,调用set/get方法获得对象。

源码分析

get/set是如何获取保存对象?怎么获取的对象?又以什么样的结构保存? 我们从set/get方法开始分析

public void set(T value) {
    Thread t = Thread.currentThread();
    ThreadLocalMap map = getMap(t); // 根据当前线程获得ThreadLocalMap对象
    if (map != null)
        map.set(this, value); // 如果有则set
    else
        createMap(t, value); // 否则创建ThreadLocalMap对象
}
    
ThreadLocalMap getMap(Thread t) {
    return t.threadLocals;
}
    
void createMap(Thread t, T firstValue) {
    t.threadLocals = new ThreadLocalMap(this, firstValue);
}
复制代码

通过getMap方法,可见我们返回的map实际上Thread对象的threadLocals属性。而这个ThreadLocalMap就是存储数据的结构。

ThreadLocalMap简介

ThreadLocalMap是ThreadLocal的核心,定义在ThreadLocal类里的内部类,他维护了一个Enrty数组,我们称之为条目。我们通过ThreadLocal存/取数据都是通过操作Enrty数组来实现的。Enrty数组实际上一个Hash表,我们包保存的对象使用开放地址方法散列到这个数组中。与HashMap不同,HashMap是通过链表法将对象散列到数组中。开放地址法就是散列到数组中当前位置如果有冲突,再以某种规则在数组中找到下一个可以散列的位置,而在ThreadLocalMap中则使用线性探测的方式向后依次查找可以散列的位置。

Enery介绍

Enery在这里我们称之为条目,是散列表中维护的单元。Enery对象不为空单key为null的条目我们这里称之为旧条目。

// 哈希映射表中的条目使用其引用字段作为键(它始终是ThreadLocal对象)继承WeakReference。
// 注意,null键(即entry.get()== null)表示不再引用该键,因此可以从表中删除该条目。这些条目在下面的代码中称为“旧条目”。
// 这些“旧条目”就是脏对象,因为存在引用不会被GC,为避免内存泄露需要代码里清理,将引用置为null,那么这些对象之后就会被GC清理。
// 实际上后面的代码很大程度上都是在描述如何清理“旧条目”的引用
static class Entry extends WeakReference<ThreadLocal<?>> {
    Object value;
    Entry(ThreadLocal<?> k, Object v) {
        super(k);
        value = v;
    }
}
复制代码

到这里可能有两个疑问

1.既然要存储的内容是线程独有的对象,为什么不直接在Thread里设置一个属性直接存储该对象?或者说为什么要维护一个Entry散列表来存储内容,以ThreadLocal对象作为key?

答:一个ThreadLocal对象只属于一个线程,但一个线程可以实例化ThreadLocal对象。而ThreadLocalMap维护的数组存储的就是以ThreadLocal实例作为key的Entry对象。

2、ThreadLocalMap中的Enery为什么要继承WeakReference,并以ThreadLocal对象作为若引用?

答:弱引用即ThreadLocal对象不存在强引用的情况,弱引用对象会在下次GC时被清除。将ThreadLocal对象作为弱引用目的是为了防止内存泄露。如果Enery的key不是弱引用即使在我们的代码里threadLocal引用已失效,threadLocal也不会被GC。因为当前线程持有ThreadLocalMap的引用,threadLocal对象针对当前线程可达,不会被GC。但即使threadLocal做为弱引用被GC清理,Entry[]还是存在entry对象,只是key为null,vlue对象也还存在,这些都是脏对象。弱引用不单是清理了threadLocal对象,它的另一层含义是可以标识出Enery[]数组中哪一项元素本被GC(我们这里称为旧条目),然后程序里找出这些entry并清理。

ThreadLocalMap.set方法

回到前面的set方法,当map不为null是会调用ThreadLocalMap的set方法,set描述了如何将值散列到哈希表中。是开放地址法以线性探测方式散列的实现。在set值之后,尝试清理一些旧条目,如果没有发现旧条目判断阈值,确定哈希表是否足够大,是否需要扩容。如果哈希表过于拥挤,get/set值会发生频繁的冲突,这是不期望的情况。ThreadLocalMap的set方法代码及详细注释如下

private void set(ThreadLocal<?> key, Object value) {
    // We do not use a fast path as with get() because it is at
    // least as common to use set() to create new entries as
    // it is to replace existing ones, in which case, a fast
    // path would fail more often than not.
    // 我们不像get()那样先使用快速路径(直接散列)判断
    // 因为使用set()创建新条目至少与替换现有条目一样频繁,在这种情况下,快速路径会更频繁地失败。
    // 所以直接先线性探测
    Entry[] tab = table;
    int len = tab.length;

    // 根据hashcode散列到数组位置
    int i = key.threadLocalHashCode & (len-1);
    // 开放地址法处理散列冲突,线性探测找到可以存放位置
    // 遍历数组找到下一个可以存放条目的位置,这种位置包含三种情况
    // 1.条目的key已存在,直接赋值value
    // 2.条目的key位null,说明k作为弱引用被GC清理,该位置为旧数据,需要被替换
    // 3.遍历到一个数组位置为null的位置赋值
    for (Entry e = tab[i];
         e != null;
         e = tab[i = nextIndex(i, len)]) {
        ThreadLocal<?> k = e.get();

        if (k == key) {//key已存在则直接更新
            e.value = value;
            return;
        }
        if (k == null) { //e不为null但k为null说明k作为弱引用被GC,是旧数据需要被清理
            // i为旧数据位置,清理该位置并依据key/value合理地散列或替换到数组中,重新散列i后面的元素,并顺便清理i位置附近的其他旧条目
            replaceStaleEntry(key, value, i);
            return;
        }
    }
    // 遍历到一个数组位置为null的位置赋值
    tab[i] = new Entry(key, value);
    int sz = ++size;
    // 调用cleanSomeSlots尝试性发现并清理旧条目,如果没有发现且旧条目当前容量超过阈值,则调用rehash
    if (!cleanSomeSlots(i, sz) && sz >= threshold)
        // 此时认为表空间不足,全量遍历清理旧条目,清理后判断容量若大于阈值的3/4,若是则扩容并从新散列
        rehash();
}
复制代码

replaceStaleEntry方法

replaceStaleEntry方法是当我们线性探测时,如果碰到了旧条目就执行。该方法做的事情比较多,可以总结为我们在staleSlot位置发现旧条目,将新值覆盖到staleSlot位置上并清理staleSlot附近的旧条目。代码及详细注释如下

private void replaceStaleEntry(ThreadLocal<?> key, Object value, int staleSlot) {
    Entry[] tab = table;
    int len = tab.length;
    Entry e;
    // Back up to check for prior stale entry in current run.
    // We clean out whole runs at a time to avoid continual
    // incremental rehashing due to garbage collector freeing
    // up refs in bunches (i.e., whenever the collector runs).
    // 向前检查是否存在旧条目,一次性彻底清理由于GC清除的弱引用key导致的旧数据,避免多次执行
    int slotToExpunge = staleSlot;
    // 向前遍历找到entry不为空且key为null的位置赋值给slotToExpunge
    for (int i = prevIndex(staleSlot, len);
         (e = tab[i]) != null;
         i = prevIndex(i, len))
        if (e.get() == null)
            slotToExpunge = i;

    // Find either the key or trailing null slot of run, whichever
    // occurs first
    // staleSlot位置向后遍历如果位置不为空,判断key是否已经存在
    // 回想前面我们是set实例的时候,碰到旧条目的情况下调用该方法,所以很可能在staleSlot后面key是已经存在的
    for (int i = nextIndex(staleSlot, len);
         (e = tab[i]) != null;
         i = nextIndex(i, len)) {
        ThreadLocal<?> k = e.get();

        // If we find key, then we need to swap it
        // with the stale entry to maintain hash table order.
        // The newly stale slot, or any other stale slot
        // encountered above it, can then be sent to expungeStaleEntry
        // to remove or rehash all of the other entries in run.
        // 如果我们找到键,那么我们需要将它与旧条目交换以维护哈希表顺序。
        // 然后可以将交换后得到的旧索引位置或其上方遇到的任何其他旧索引位置传给expungeStaleEntry清理旧条
        // 如果碰到key相同的值则覆盖value
        if (k == key) {
            e.value = value;
            // i位置与staleSlot旧数据位置做交换,将数组条目位置规范化,维护哈希表顺序
            // 这里维护哈希表顺序是必要的,举例来说,回想前面threadLocal.set实例的判断,是线性探测找到可以赋值的位置
            // 如果哈希顺序不维护,可能造成同一个实例被赋值多次的情况
            // 包括后面清理旧条目的地方都要重新维护哈希表顺序
            tab[i] = tab[staleSlot];
            tab[staleSlot] = e;
            // Start expunge at preceding stale entry if it exists
            // 开始清理前面的旧条目
            // 如果前面向前或向后查找的旧条目不存在,也就是slotToExpunge == staleSlot
            //此时slotToExpunge = i,此时位置i的条目是旧条目,需要被清理
            // slotToExpunge用来存储第一个需要被清理的旧条目位置
            if (slotToExpunge == staleSlot)
                slotToExpunge = i;
            // 清理完slotToExpunge位置及其后面非空连续位置后,通过调用cleanSomeSlots尝试性清理一些其他位置的旧条目
            // cleanSomeSlots不保证清理全部旧条目,它的时间复杂度O(log2n),他只是全量清理旧条目或不清理的折中
            cleanSomeSlots(expungeStaleEntry(slotToExpunge), len);
            return;
        }

        // If we do not find stale entry on backward scan, the
        // first stale entry seen while scanning for key is the
        // first still present in the run.
        // 如果前面向前查找的旧条目不存在,也就是slotToExpunge == staleSlot,而此时位置i为旧条目,所以将i赋值给slotToExpunge
        // slotToExpunge用来存储第一个需要被清理的旧条目位置
        if (k == null && slotToExpunge == staleSlot)
            slotToExpunge = i;
    }

    // If key not found, put new entry in stale slot
    // 如果向后遍历非空entry都没有找到key,则直接赋值给当前staleSlot旧条目位置
    tab[staleSlot].value = null;
    tab[staleSlot] = new Entry(key, value);

    // If there are any other stale entries in run, expunge them
    // 通过前面根据staleSlot向前/向后遍历,如果发现有旧条目则清理
    if (slotToExpunge != staleSlot)
        // 清理完slotToExpunge位置及其后面非空连续位置后,通过调用cleanSomeSlots尝试性清理一些其他位置的旧条目
        // cleanSomeSlots不保证清理全部旧条目,它的时间复杂度O(log2n),他只是全量清理旧条目或不清理的折中
        cleanSomeSlots(expungeStaleEntry(slotToExpunge), len);
}
复制代码

expungeStaleEntry方法

查找到的旧条目都会执行expungeStaleEntry方法。expungeStaleEntry频繁被使用,它是清理旧条目的单元方法。该方法的做的事情就是:清理包括staleSlot位置后面连续为空条目中的所有旧条目并重新散列,返回staleSlot后面首个空位置。代码及详细注释如下

private int expungeStaleEntry(int staleSlot) {
    Entry[] tab = table;
    int len = tab.length;

    // expunge entry at staleSlot
    // 清空staleSlot位置的条目
    tab[staleSlot].value = null;
    tab[staleSlot] = null;
    size--;

    // Rehash until we encounter null
    // 旧位置清理后,后面的条目需要重新散列到数组里,直到遇到数组位置为null。即维护哈希顺序。
    Entry e;
    int i;
    for (i = nextIndex(staleSlot, len);
         (e = tab[i]) != null;
         i = nextIndex(i, len)) {
        ThreadLocal<?> k = e.get();
        if (k == null) { // k == null说明此位置也是旧数据,需要清理
            e.value = null;
            tab[i] = null;
            size--;
        } else {
            int h = k.threadLocalHashCode & (len - 1);
            // 将staleSlot后面不为空位置重新散列,如果与当前位置不同,则向前移动到h位置后面(包括h)的首个空位置
            if (h != i) {
                tab[i] = null;
                // Unlike Knuth 6.4 Algorithm R, we must scan until
                // null because multiple entries could have been stale.
                while (tab[h] != null)
                    h = nextIndex(h, len);
                tab[h] = e;
            }
        }
    }
    return i;
}
复制代码

cleanSomeSlots方法

cleanSomeSlots是一个比较灵动的方法。就如他的名字一样"some"。该方法只是尝试性地寻找一些旧条目。添加新元素或删除旧条目时都会调用此方法。它的执行复杂度log2(n),他是 “不清理”和“全量清理”的折中。若有发现旧条目返回true。代码及详细注释如下

private boolean cleanSomeSlots(int i, int n) {
    boolean removed = false;
    Entry[] tab = table;
    int len = tab.length;
    do {
        i = nextIndex(i, len);
        Entry e = tab[i];
        if (e != null && e.get() == null) {
            n = len;
            removed = true;
            i = expungeStaleEntry(i);
        }
    } while ( (n >>>= 1) != 0);// 无符号右移,即执行次数以n的二进制最高位的1的位置为基准,所以时间复杂度log2(n)
    return removed;
}
复制代码

rehash/expungeStaleEntries/resize方法

在我们set值后,通过阈值判断,如果程序认为表空间不足就会调用rehash方法。 rehash做了两件事,首先全量遍历清理旧条目,然后在清理后判断容量是否足够,若成立则2倍扩容并重新散列 expungeStaleEntries则是全量清理旧条目,resize则是二倍扩容。

// rehash全量地遍历清理旧条目,然后判断容量若大于阈值的3/4,则扩容并从新散列
// 程序认为表空间不足时会调用该方法
private void rehash() {
    // 全量遍历清理旧条目
    expungeStaleEntries();
    // Use lower threshold for doubling to avoid hysteresis
    // 适当的扩容,以避免hash散列到数组时过多的位置冲突
    if (size >= threshold - threshold / 4)
        // 2倍扩容并重新散列
        resize();
}

// 全量遍历清理旧条目
private void expungeStaleEntries() {
    Entry[] tab = table;
    int len = tab.length;
    for (int j = 0; j < len; j++) {
        Entry e = tab[j];
        if (e != null && e.get() == null)
            expungeStaleEntry(j);
    }
}

// 二倍扩容
private void resize() {
    Entry[] oldTab = table;
    int oldLen = oldTab.length;
    int newLen = oldLen * 2;
    Entry[] newTab = new Entry[newLen];
    int count = 0;

    for (int j = 0; j < oldLen; ++j) {
        Entry e = oldTab[j];
        if (e != null) {
            ThreadLocal<?> k = e.get();
            if (k == null) {
                e.value = null; // Help the GC
            } else {
                int h = k.threadLocalHashCode & (newLen - 1);
                while (newTab[h] != null)
                    h = nextIndex(h, newLen);
                newTab[h] = e;
                count++;
            }
        }
    }

    setThreshold(newLen);
    size = count;
    table = newTab;
}
复制代码

ThreadLocal的get方法

ThreadLocal的get逻辑相比set要简单的多。他只是将threadLocal对象散列到数组中,通过线性探测的方式找到匹配的值。代码及详细注释如下

public T get() {
    Thread t = Thread.currentThread();
    ThreadLocalMap map = getMap(t);
    if (map != null) {
        ThreadLocalMap.Entry e = map.getEntry(this);
        if (e != null) {
            @SuppressWarnings("unchecked")
            T result = (T)e.value;
            return result;
        }
    }
    // 如果map不为null初始化一个key为当前threadLocal值为null的ThreadLocalMap对象
    return setInitialValue();
}

private Entry getEntry(ThreadLocal<?> key) {
    int i = key.threadLocalHashCode & (table.length - 1);
    Entry e = table[i];
    if (e != null && e.get() == key)
        return e;
    else // 直接散列找不到的情况,调用getEntryAfterMiss线性探测查找期望条目
        return getEntryAfterMiss(key, i, e);
}

private Entry getEntryAfterMiss(ThreadLocal<?> key, int i, Entry e) {
    Entry[] tab = table;
    int len = tab.length;
    // 线性探测找到符合的元素,若遇到旧条目则进行清理
    while (e != null) {
        ThreadLocal<?> k = e.get();
        if (k == key)
            return e;
        if (k == null)
            expungeStaleEntry(i);
        else
            i = nextIndex(i, len);
        e = tab[i];
    }
    return null;
}
复制代码

remove方法

remove即将引用清空并调用清理旧条目方法。所以remove不会产生就条目,当我们确认哪些内容需要移除时优先使用remove方法清理。

public void remove() {
    ThreadLocalMap m = getMap(Thread.currentThread());
    if (m != null)
        m.remove(this);
}

private void remove(ThreadLocal<?> key) {
    Entry[] tab = table;
    int len = tab.length;
    int i = key.threadLocalHashCode & (len-1);
    for (Entry e = tab[i];
         e != null;
         e = tab[i = nextIndex(i, len)]) {
        if (e.get() == key) {
            e.clear();
            expungeStaleEntry(i);
            return;
        }
    }
}
复制代码

总结

ThreadLocal最大的复杂性在于如何处理旧条目,目的就是为了避免内存泄露。为了尽可能少地在set时发现有旧条目的情况,在清理旧条目后多次调用cleanSomeSlots尝试性清理一些旧条目,为了执行效率这是不清理和全量清理之间一种平衡的思想。expungeStaleEntry在清理自己位置上的旧条目的同时也会清理附近的旧条目,为得都是减少发现就条目的情况。即便如此,在哈希表容量过多时也会全量清理一遍旧条目并扩容。

原文  https://juejin.im/post/5cf75a995188254628166745
正文到此结束
Loading...