草庐IT

JAVA实现生成短链接

lcz-2000 2023-04-11 原文

短链接

短链接就是将长度较长的链接压缩成较短的链接。

好处:便于发布、传播。

短链跳转访问原理

其实就是在后台保存有短链和长链的映射关系,然后进行重定向,让浏览器跳转到对应的长链接。首先访问短链接,根据短链接查询数据库获取完整长链接,返回301或者302,让浏览器重定向到目标地址,浏览器跳转到长链接。

例子:当访问短链接,https://域名/xxx时,后端返回了302,同时多了一个Location响应头,值就是原始链接地址。

关于重定向:

  • 301 永久重定向
  • 302 临时重定向 (很多短链生成平台其实都是走的302重定向)

解决方案:

第一种是对 URL 进行hash运算,得到较短的hash值,Murmur哈希就是其中之一。既然是通过哈希函数,就避免不了哈希冲突。虽然这概率很低,但我们设计系统时需要考虑。

第二种对数据存储,由短链接跳转到长链接,肯定有必然的关系,我们需要把他们保存起来,存储的方式有Redis、Mysql等数据库。

例子:如果是Mysql存储,表结构大概有(自增id、短链接、长链接、创建时间)这些字段;我们可以通过生成的短链接,查询数据库是否有存在的短链接。不存在,直接存储;存在,需要二次拼接生成短链接,直到不存在为止,进行存储。如果当数据库数据变多,我们需要优化,短链接字段需要加唯一性索引。如果再一次优化,可以使用布隆过滤器,将新生成的短链接在布隆过滤器里进行查找,不存在直接插入数据库。

生成短链接方法:

  1. 根据唯一自增id后,再转换为62进制字符串,生成短链接。优点:ID唯一,生成的短链不会重复和冲突;缺点:高并发下有性能瓶颈。
  2. 雪花算法。优点:高性能;缺点:生成的ID比较长。
  3. Redis自增。优点:高性能,高并发;缺点:是中间件,有维护成本。
  4. Hash算法,常见有MD5、SHA算法。但这里我们一般采用Google的Murmurhash算法,优点:哈希冲突的概率低,速度比MD5快,缺点:有几率哈希冲突。
<!-- 引包 -->     
<dependency>
   <groupId>com.google.guava</groupId>
   <artifactId>guava</artifactId>
   <version>31.1-jre</version>
</dependency>
 <!-- 使用 -->    
 public static void main(String[] args) {
   System.out.println(Hashing.murmur3_128().hashString("长链接", StandardCharsets.UTF_8));
   System.out.println(Hashing.murmur3_32_fixed().hashString("长链接", StandardCharsets.UTF_8));
   System.out.println(Hashing.murmur3_32_fixed().hashLong(Long.MAX_VALUE));
   System.out.println(Hashing.murmur3_128().hashString("长链接", StandardCharsets.UTF_8).padToLong());
 }

示例

使用用Hash算法 + Base62 编码生成短链。

数据库表结构

 # 短链表
create table `t_short_link`
(
    `id`             bigint primary key auto_increment comment '主键ID',
    `short_link`     varchar(32)  not null default '' comment '短链接',
    `long_link_hash` bigint       not null default 0  comment  'hash值',
    `long_link`      varchar(128) not null default '' comment '长链接',
    `status`         tinyint      not null default 1  comment '状态:1-可用,0-不可用',
    `expiry_time`    datetime     null comment '过期时间',
    `create_time`    datetime     not null default current_timestamp comment '创建时间'
) comment '短链表';
# 创建对应的索引
create index idx_sl_hash_long_link on t_short_link (long_link_hash, long_link);
create index idx_sl_short_link on t_short_link (short_link);

工具类

/**
 * 短链接 - 工具类
 */
public class Base62Utils {
    private static final int SCALE = 62;
    // 下面的字符,可以随便打乱,安全性更高
    private static final char[] BASE_62_ARRAY = {
            'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M',
            'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z',
            'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm',
            'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z',
            '0', '1', '2', '3', '4', '5', '6', '7', '8', '9'
    };
    private static final String BASE_62_CHARACTERS = String.valueOf(BASE_62_ARRAY);
    /**
     * 将long类型编码成Base62字符串
     * @param num
     * @return
     */
    public static String encodeToBase62String(long num) {
        StringBuilder sb = new StringBuilder();
        while (num > 0) {
            sb.insert(0, BASE_62_ARRAY[(int) (num % SCALE)]);
            num /= SCALE;
        }
        return sb.toString();
    }
    /**
     * 将Base62字符串解码成long类型
     * @param base62Str
     * @return
     */
    public static long decodeToLong(String base62Str) {
        long num = 0, coefficient = 1;
        String reversedBase62Str = new StringBuilder(base62Str).reverse().toString();
        for (char base62Character : reversedBase62Str.toCharArray()) {
            num += BASE_62_CHARACTERS.indexOf(base62Character) * coefficient;
            coefficient *= SCALE;
        }
        return num;
    }
    public static void main(String[] args) {
        String data = "6s3brYkS9OQp7YpY7RHR+GOJUdp//tdRrVPyiUcuJhJZPaHS9dStwDCdOWNWuHk=";
        Base64.Encoder encoder = Base64.getEncoder();
        System.out.println(encoder.encodeToString(data.getBytes()));
        Base64.Encoder encoder2 = Base64.getUrlEncoder();
        System.out.println(encoder2.encodeToString(data.getBytes()));
        // 编码 这个编码后 有 url的特殊字符
        System.out.println(URLEncoder.encode(data));
    }
}

测试方法

@SpringBootTest
public class ShortLinkTest {
    @Autowired(required = false)
    private ShortLinkService shortLinkService;
    // 生成短链接
    @Test
    void test1() throws Exception {
        String shortLink = shortLinkService.generateShortLink("https://www.good.com/xxx");
        System.err.println("生成的短链为:" + shortLink);
    }
}

Service层

@Service
public class ShortLinkServiceImpl implements ShortLinkService {
    @Autowired(required = false)
    private ShortLinkManager shortLinkManager;
    /**
     * 生成短链接
     *
     * @param longLink 长连接
     * @return {@code String}
     */
    @Override
    public String generateShortLink(String longLink) {
        // 使用 Murmurhash算法,进行哈希,得到长链接Hash值
        long longLinkHash = Hashing.murmur3_32_fixed().hashString(longLink, StandardCharsets.UTF_8).padToLong();
        System.out.println(longLinkHash); 
        // 通过长链接Hash值和长链接检索 (查询数据库里是否唯一)
        String shortLink = "";
        // SQL 模拟操作 getShortLink(长链接Hash值,长链接) 判定是否唯一
          // SQL ...
        if (StringUtils.isNotBlank(shortLink)) {
            return shortLink;
        }
        // 如果Hash冲突则加随机盐再次Hash
        return regenerateOnHashConflict(longLink, longLinkHash);
    }
    // 参数1 长连接  参数2 生成的Hash
    private String regenerateOnHashConflict(String longLink, long longLinkHash) {
        // 这个工具类是 雪花算法的工具类
        SnowFlakeUtils snowFlakeUtil = new SnowFlakeUtils();
        // 雪花算法 生成主键id
        long id = snowFlakeUtil.nextId();
        long uniqueIdHash = Hashing.murmur3_32_fixed().hashLong(id).padToLong();
        // 相减主要是为了让哈希值更小
        String shortLink = Base62Utils.encodeToBase62String(Math.abs(longLinkHash - uniqueIdHash));
        System.out.println("产生更短的短连接" + shortLink);
        // SQL 模拟操作 isShortLinkRepeated(短链接) 判定是短链接否唯一
          // SQL ... 如果为false 代表 短链接不存在表中
        boolean isShort = false;
        if (!isShort) {
             // SQL 模拟操作 saveShortLink 保存表中 (shortLink、longLinkHash、longLink)
               // SQL ... 
            return shortLink;
        }
        // 如果有 短链接 重复 再走一遍
        return regenerateOnHashConflict(longLink, longLinkHash);
    }
}

有关JAVA实现生成短链接的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  3. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件,并创建一个临时验证的url以发送给同事。(理想情况下,这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针,它似乎不符合这个标准,但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  4. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/

  5. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  6. ruby-on-rails - Ruby on Rails - 为文本区域和图片生成列 - 2

    我是Rails的新手,所以请原谅简单的问题。我正在为一家公司创建一个网站。那家公司想在网站上展示它的客户。我想让客户自己管理这个。我正在为“客户”生成一个表格,我想要的三列是:公司名称、公司描述和Logo。对于名称,我使用的是name:string但不确定如何在脚本/生成脚手架终端命令中最好地创建描述列(因为我打算将其设置为文本区域)和图片。我怀疑描述(我想成为一个文本区域)应该仍然是描述:字符串,然后以实际形式进行调整。不确定如何处理图片字段。那么……说来话长:我在脚手架命令中输入什么来生成描述和图片列? 最佳答案 对于“文本”数

  7. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java,并成功地将它与另一个Java包一起使用,但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  8. ruby-on-rails - 如何生成传递一些自定义参数的 `link_to` URL? - 2

    我正在使用RubyonRails3.0.9,我想生成一个传递一些自定义参数的link_toURL。也就是说,有一个articles_path(www.my_web_site_name.com/articles)我想生成如下内容:link_to'Samplelinktitle',...#HereIshouldimplementthecode#=>'http://www.my_web_site_name.com/articles?param1=value1¶m2=value2&...我如何编写link_to语句“alàRubyonRailsWay”以实现该目的?如果我想通过传递一些

  9. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见,例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

  10. ruby-on-rails - 如何在 Rails 3 中创建自定义脚手架生成器? - 2

    有这些railscast。http://railscasts.com/episodes/218-making-generators-in-rails-3有了这个,你就会知道如何创建样式表和脚手架生成器。http://railscasts.com/episodes/216-generators-in-rails-3通过这个,您可以了解如何添加一些文件来修改脚手架View。我想把两者结合起来。我想创建一个生成器,它也可以创建脚手架View。有点像RyanBates漂亮的生成器或web_app_themegem(https://github.com/pilu/web-app-theme)。我

随机推荐