知识铺的博客

001 什么是微服务扩展性和高可用、可扩展性

Thu, 07 Mar 2024 14:10:33 +0800

微服务扩展性和高可用、可扩展性是微服务架构的两个重要特性。微服务架构通过将应用程序拆分为多个小型、独立部署的服务，实现了系统的高可维护性和可扩展性。以下将从微服务的可扩展性、高可用性两个方面进行详细的解释。微服务的可扩展性微服务的可扩展性主要体现在以下几个方面：灵活性：微服务架构

rocketmq-send-store

Wed, 06 Mar 2024 13:58:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ 消息发送存储流程第一步：检查消息存储状态 org.apache.rocketmq.store.DefaultMessageStore#checkStoreStatus 1、检查 broker 是否可用 1 2 3 4 if (this.shutdown) { log.warn("message store has shutdown, so putMessage is forbidden"); return PutMessageStatus.SERVICE_NOT_AVAILABLE; } 2、检查 broker 的角色 1 2 3 4 5 6 7 if (BrokerRole.SLAVE== this.messageStoreConfig.getBrokerRole()) { long value = this.printTimes.getAndIncrement(); if ((value % 50000) == 0) { log.warn("broke role is slave, so putMessage is forbidden"); } return PutMessageStatus.SERVICE_NOT_AVAILABLE; } 3、检查 messageStore 是否可写 1 2 3 4 5 6 7 8 9 10 if (!this.runningFlags.isWriteable()) { long value = this.printTimes.getAndIncrement(); if ((value % 50000) ==

rocketmq-send-message

Wed, 06 Mar 2024 13:57:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ 消息发送流程这里以同步发送为示例讲解：入口： org.apache.rocketmq.client.producer.DefaultMQProducer#send(org.apache.rocketmq.common.message.Message) 消息发送默认超时时间 3 秒第一步：验证主题的长度不能大于 127，消息的大小不能大于 4M 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 public static void checkMessage(Message msg, DefaultMQProducer defaultMQProducer) throws MQClientException { if (null == msg) { throw new MQClientException(ResponseCode.MESSAGE_ILLEGAL, "the message is null"); } // topic Validators.checkTopic(msg.getTopic()); Validators.isNotAllowedSendTopic(msg.getTopic()); // body if (null == msg.getBody()) { throw

rocketmq-pullmessage

Wed, 06 Mar 2024 13:56:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ 消息拉取流程之前在消费者启动流程中描述过 MQClientInstance 的启动流程，在启动过程中会启动 PullMessageService，它继承了ServiceThread，并且 ServiceThread 实现了 Runnable 接口，所以是单独启动了一个线程 public class PullMessageService extends ServiceThread public abstract class ServiceThread implements Runnable PullMessageService 的 run 方法如下： protected volatile boolean stopped = false; 1

rocketmq-pullmessage-processor

Wed, 06 Mar 2024 13:55:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ broker 处理拉取消息请求流程 org.apache.rocketmq.broker.processor.PullMessageProcessor#processRequest(io.netty.channel.ChannelHandlerContext, org.apache.rocketmq.remoting.protocol.RemotingCommand) 第 1 步、校验broker是否可读 1 2 3 4 5 if (!PermName.isReadable(this.brokerController.getBrokerConfig().getBrokerPermission())) { response.setCode(ResponseCode.NO_PERMISSION); response.setRemark(String.format("the broker[%s] pulling message is forbidden", this.brokerController.getBrokerConfig().getBrokerIP1())); return response; } 第 2 步、根据消费组获取订阅信息 1 2 SubscriptionGroupConfig subscriptionGroupConfig = this.brokerController.getSubscriptionGroupManager().findSubscriptionGroupConfig(requestHeader.getConsumerGroup()); 第 3 步、校验是否允许消费 1 2 3 4 5 if (!subscriptionGroupConfig.isConsumeEnable()) { response.setCode(ResponseCode.NO_PERMISSION); response.setRemark("subscription group no permission, " + requestHeader.getConsumerGroup()); return response; } 第 4 步、根据主题获取对应的配置信息 1 2 3 4

rocketmq-producer-start

Wed, 06 Mar 2024 13:54:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ 生产者启动流程入口： org.apache.rocketmq.client.producer.DefaultMQProducer#start 1 2 3 4 5 6 7 8 9 10 11 12 @Override public void start() throws MQClientException { this.setProducerGroup(withNamespace(this.producerGroup)); this.defaultMQProducerImpl.start(); if (null != traceDispatcher) { try { traceDispatcher.start(this.getNamesrvAddr(), this.getAccessChannel()); } catch (MQClientException e) { log.warn("trace dispatcher start failed ", e); } } } 第一步、检查 producerGroup 1 2 3 4 5 6 7 8 9 10 11 private void checkConfig() throws MQClientException { Validators.checkGroup(this.defaultMQProducer.getProducerGroup()); if (null == this.defaultMQProducer.getProducerGroup()) { throw new MQClientException("producerGroup is null", null); } if (this.defaultMQProducer.getProducerGroup().equals(MixAll.DEFAULT_PRODUCER_GROUP)) { throw new MQClientException("producerGroup can not equal " + MixAll.DEFAULT_PRODUCER_GROUP + ", please specify another one.",null); } } 第二步、设置 instanceName 1 2

rocketmq-nameserver-broker

Wed, 06 Mar 2024 13:53:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RockerMQ Nameserver 如何与 Broker 进行通信的？ nameserver 每隔 10s 扫描一次 Broker，移除处于未激活状态的 Broker 核心代码： this.scheduledExecutorService.scheduleAtFixedRate(NamesrvController.this.routeInfoManager::scanNotActiveBroker, 5, 10, TimeUnit.*SECONDS*); 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 public int scanNotActiveBroker() { int removeCount = 0; Iterator<Entry<String, BrokerLiveInfo>> it = this.brokerLiveTable.entrySet().iterator(); while (it.hasNext()) { Entry<String, BrokerLiveInfo> next = it.next(); long last = next.getValue().getLastUpdateTimestamp(); if ((last +BROKER_CHANNEL_EXPIRED_TIME) < System.currentTimeMillis()) { RemotingUtil.closeChannel(next.getValue().getChannel()); it.remove(); log.warn("The broker channel expired, {} {}ms", next.getKey(),BROKER_CHANNEL_EXPIRED_TIME); this.onChannelDestroy(next.getKey(), next.getValue().getChannel()); removeCount++; } } return removeCount; } broker 每隔 30 秒会向集群

rocketmq-mappedfile-detail

Wed, 06 Mar 2024 13:52:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ MappedFile 内存映射文件详解 1、MappedFile 初始化 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 private void init(final String fileName, final int fileSize) throws IOException { this.fileName = fileName; this.fileSize = fileSize; this.file = new File(fileName); this.fileFromOffset = Long.parseLong(this.file.getName()); boolean ok = false; ensureDirOK(this.file.getParent()); try { this.fileChannel = new RandomAccessFile(this.file, "rw").getChannel(); this.mappedByteBuffer = this.fileChannel.map(MapMode.READ_WRITE, 0, fileSize); TOTAL_MAPPED_VIRTUAL_MEMORY.addAndGet(fileSize); TOTAL_MAPPED_FILES.incrementAndGet(); ok = true; } catch (FileNotFoundException e) { log.error("Failed to create file " + this.fileName, e); throw e; } catch (IOException e) { log.error("Failed to map file

rocketmq-indexfile

Wed, 06 Mar 2024 13:51:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ IndexFile 详解首先明确一下 IndexFile 的文件结构 Index header + 哈希槽，每个槽下面挂载 index 索引,类似哈希表的结构一个 Index 文件默认包含 500 万个哈希槽，一个哈希槽最多存储 4 个 index，也就是一个 IndexFile 默认最多包含 2000 万个 index Index header： 40byte Index header = 8byte 的 beginTimestamp（In

rocketmq-consumer-start

Wed, 06 Mar 2024 13:50:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ 消费者启动流程 org.apache.rocketmq.client.impl.consumer.DefaultMQPushConsumerImpl#start 1、检查配置信息 org.apache.rocketmq.client.impl.consumer.DefaultMQPushConsumerImpl#checkConfig 校验消费组的长度不能大于 255 public static final int CHARACTER_MAX_LENGTH = 255; 1 2 3 if (group.length() >CHARACTER_MAX_LENGTH) { throw new MQClientException("the specified group is longer than group max length 255.", null); } 消费组名称只能包含数字、字母、%、-、_、| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 // regex: ^[%|a-zA-Z0-9_-]+$ // % VALID_CHAR_BIT_MAP['%'] = true; // - VALID_CHAR_BIT_MAP['-'] = true; // _ VALID_CHAR_BIT_MAP['_'] = true; // |

rocketmq-consumequeue

Wed, 06 Mar 2024 13:49:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ ConsumeQueue 详解 RocketMQ 基于主题订阅模式实现消息消费，消费者关注每一个主题下的所有消息，但是同一主题下的消息是不连续地存储在 CommitLog 文件中的，如果消费者直接从消息存储文件中遍历查找主题下的消息，效率会特别低。所以为了在查找消息的时候效率更高一些，设计了 ConsumeQueue 文件，可以

rocketmq-consume-message-process

Wed, 06 Mar 2024 13:48:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ 消息消费流程拉取消息成功之后会调用 org.apache.rocketmq.client.impl.consumer.ConsumeMessageConcurrentlyService#submitConsumeRequest 组装消费消息请求获取 consumeMessageBatchMaxSize,表示一个 ConsumeRequest 包含的消息数量，默认为 1 入参 msgs 为拉取消息的最大值，默认为 32 如果 msgs 小于等于 consumeMessageBatchMaxSiz

rocketmq-commitlog

Wed, 06 Mar 2024 13:47:00 +0000

该文所涉及的 RocketMQ 源码版本为 4.9.3。 RocketMQ CommitLog 详解 commitlog 目录主要存储消息，为了保证性能，顺序写入，每一条消息的长度都不相同，每条消息的前面四个字节存储该条消息的总长度，每个文件大小默认为 1G，文件的命名是以 commitLog 起始偏移量命名的，可以通过修改 broker 配置文件中 mappedFileSizeCommitLog 属性改变文件大小 1、获取最小偏移量 org.apache.rocketmq.store.CommitLog#getMinOffset 1

nacos-discovery

Wed, 06 Mar 2024 13:46:00 +0000

Nacos 服务注册 nacos-spring-boot-project 中有关服务注册的几个项目 nacos-discovery-spring-boot-actuator nacos-discovery-spring-boot-autoconfigure nacos-discovery-spring-boot-starter 1 2 org.springframework.boot.autoconfigure.EnableAutoConfiguration=\ com.alibaba.boot.nacos.discovery.autoconfigure.NacosDiscoveryAutoConfiguration 找到类 NacosDiscoveryAutoConfiguration 1 2 3 4 5 6 7 8 9 10 11 12 13 @ConditionalOnProperty(name = NacosDiscoveryConstants.ENABLED, matchIfMissing = true) @ConditionalOnMissingBean(name = DISCOVERY_GLOBAL_NACOS_PROPERTIES_BEAN_NAME) @EnableNacosDiscovery @EnableConfigurationProperties(value = NacosDiscoveryProperties.class) @ConditionalOnClass(name = "org.springframework.boot.context.properties.bind.Binder") public class NacosDiscoveryAutoConfiguration { @Bean public NacosDiscoveryAutoRegister discoveryAutoRegister() { return new NacosDiscoveryAutoRegister(); } } 注解:EnableNacosDiscovery 1 2 3 4 5 @Target({ ElementType.TYPE, ElementType.ANNOTATION_TYPE }) @Retention(RetentionPolicy.RUNTIME) @Documented @Import(NacosDiscoveryBeanDefinitionRegistrar.class) public @interface EnableNacosDiscovery {} import 类 :NacosDiscoveryBeanDefinitionRegistrar 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

一个简单的servlet容器代码设计

Wed, 06 Mar 2024 13:45:00 +0000

一个简单的 Servlet 容器代码设计 Servlet 算是 Java Web 开发请求链路调用栈中底层的一个技术，当客户端发起一个请求后，到达服务器内部，就会先进入 Servlet（这里不讨论更底层的链路），SpringMVC 的请求分发核心也是一个 Servlet，名叫DispatcherServlet，一个请求首先会进入到这

一个简单的Web服务器代码设计

Wed, 06 Mar 2024 13:44:00 +0000

一个简单的 Web 服务器代码设计在这篇博客中，我们将介绍如何使用 Java 编写一个简单的 Web 服务器。这个 Web 服务器可以接收客户端的 HTTP 请求，并返回一个静态的 HTML 页面。 1. 代码设计首先，我们需要创建一个 WebServer 类，这个类将负责接收客户端的请求，并返回响应。以下是 WebServer 类的代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

servlet容器详解

Wed, 06 Mar 2024 13:43:00 +0000

Servlet 容器详解 Servlet 容器是 Java Web 应用程序的核心组件之一。它负责管理 Servlet 的生命周期、请求分发、会话跟踪等任务。在这篇博客中，我们将详细介绍 Servlet 容器的工作原理和常见实现。 1. Servlet 容器的工作原理 Servlet 容器的工作原理如下：接收客户端请求：Servlet 容器监听一个或多个端口，等待客户端的请求。解析请求：Ser

servlet-api源码赏析

Wed, 06 Mar 2024 13:42:00 +0000

Servlet 基础 Servlet 简介 Servlet（Server Applet）是 J2EE 的内容之一，由 Java 编写的服务器端小程序。它是 web 请求的入口，主要功能在于交互式地（Request 和 Response）浏览和修改数据，生成动态 Web 内容。Servlet 运行于支持 Servlet 的 WEB 容器中，如 Tomcat。从实现上讲，Servle

SpringSecurity请求全过程解析

Wed, 06 Mar 2024 13:41:00 +0000

Spring Security 请求全过程解析 Spring Security 是一款基于 Spring 的安全框架，主要包含认证和授权两大安全模块，和另外一款流行的安全框架 Apache Shiro 相比，它拥有更为强大的功能。Spring Security 也可以轻松的自定义扩展以满足各种需求，并且对常见的 Web 安全攻击提供了防护支持。如果你的 Web 框架选择的是 Spring，那么在安全方面 Spring Security 会

SpringSecurity自定义用户认证

Wed, 06 Mar 2024 13:40:00 +0000

Spring Security 自定义用户认证在Spring Boot 中开启 Spring Security一节中我们简单地搭建了一个 Spring Boot + Spring Security 的项目，其中登录页、用户名和密码都是由 Spring Security 自动生成的。Spring Security 支持我们自定义认证的过程，如使用自定义的登录页替换默认的登录页，用户信息的获取逻辑、登录成功或失败后的处理逻辑等。这里

SpringSecurity流程补充

Wed, 06 Mar 2024 13:39:00 +0000

SpringSecurity 流程补充注意: 基于 spring-boot-dependencies:2.7.7 首先需要了解 springboot2.7 升级 Changes to Auto-configuration 以后使用 autoconfigure 进行自动注入代码地址 io.github.poo0054 启动我们每次添加 <artifactId>spring-boot-starter-security</artifactId>，启动的时候会有一条类似的日志： Using generated springSecurity password: 1db8eb87-e2ee-4c72-88e7-9b85268c4430 This generated password is for development use

spring-cloud-openfeign-source-note

Wed, 06 Mar 2024 13:38:00 +0000

说明源码阅读仓库: spring-cloud-openfeign 参考资料和需要掌握的知识： SpringBoot 源码分析 Spring 源码分析 Spring Cloud 官网文档 Spring Cloud Commons 官网文档 Spring Cloud OpenFeign 官网文档 Feign 官方文档 Spring Cloud OpenFeign 介绍 Feign 是一个声明式的 Web 服务客户端，它使 Java 编写 Web 服务客户端变得更加容易。其实就是通过 JDK 代理生成接口的代理对象，方法的执行就是执行 Http 请求。而 OpenFeign 的作用是通过自动装配

spring-cloud-gateway-source-note

Wed, 06 Mar 2024 13:37:00 +0000

说明源码阅读仓库: spring-cloud-gateway 参考资料和需要掌握的知识： Spring WebFlux 源码分析 Spring Cloud Circuit Breaker Spring Cloud Commons Spring Cloud Gateway 官网文档 Spring Cloud Gateway 介绍功能：接收请求并根据匹配的路由进行转发。术语： Route: 是路由规则的描述。它由 ID、目标 URI、Predicate 集合和Filter 集合组成。如果 Predicate 为真，则路由匹配。 Predicate: 这是一个 Java 8 函数接口。输

spring-cloud-commons-source-note

Wed, 06 Mar 2024 13:36:00 +0000

说明源码阅读仓库: spring-cloud-commons 参考资料和需要掌握的知识： SpringBoot 源码分析 Spring 源码分析 Spring Cloud 官网文档 Spring Cloud Commons 官网文档 Spring Cloud 介绍 SpringCloud 是在 SpringBoot 的基础上构建的。Spring Cloud 以两个库的形式提供了许多特性：Spring Cloud Context 和 Spring Cloud Commons。Spring Cloud Context 为 SpringCloud 应用程序的 ApplicationContext 提供扩展机制（引导上下文、加密、刷新属性和

SpringBootBatch源码

Wed, 06 Mar 2024 13:35:00 +0000

SpringBootBatch 源码加载版本使用 2.7.13 1 2 3 4 5 6 7 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-dependencies</artifactId> <version>2.7.13</version> <scope>import</scope> <type>pom</type> </dependency> spring-autoconfigure-metadata.properties 1 2 3 4 5 6 7 8 9 10 11 12 13 org.springframework.boot.autoconfigure.batch.BatchAutoConfiguration= org.springframework.boot.autoconfigure.batch.BatchAutoConfiguration$DataSourceInitializerConfiguration= org.springframework.boot.autoconfigure.batch.BatchAutoConfiguration$DataSourceInitializerConfiguration.ConditionalOnBean=javax.sql.DataSource org.springframework.boot.autoconfigure.batch.BatchAutoConfiguration$DataSourceInitializerConfiguration.ConditionalOnClass=org.springframework.jdbc.datasource.init.DatabasePopulator org.springframework.boot.autoconfigure.batch.BatchAutoConfiguration.AutoConfigureAfter=org.springframework.boot.autoconfigure.orm.jpa.HibernateJpaAutoConfiguration org.springframework.boot.autoconfigure.batch.BatchAutoConfiguration.ConditionalOnBean=org.springframework.batch.core.launch.JobLauncher org.springframework.boot.autoconfigure.batch.BatchAutoConfiguration.ConditionalOnClass=javax.sql.DataSource,org.springframework.batch.core.launch.JobLauncher org.springframework.boot.autoconfigure.batch.BatchConfigurerConfiguration= org.springframework.boot.autoconfigure.batch.BatchConfigurerConfiguration$JpaBatchConfiguration= org.springframework.boot.autoconfigure.batch.BatchConfigurerConfiguration$JpaBatchConfiguration.ConditionalOnBean= org.springframework.boot.autoconfigure.batch.BatchConfigurerConfiguration$JpaBatchConfiguration.ConditionalOnClass=javax.persistence.EntityManagerFactory org.springframework.boot.autoconfigure.batch.BatchConfigurerConfiguration.ConditionalOnBean=javax.sql.DataSource org.springframework.boot.autoconfigure.batch.BatchConfigurerConfiguration.ConditionalOnClass=org.springframework.transaction.PlatformTransactionManager @EnableBatchProcessing 启动首先添加@EnableBatchProcessing，这个类引入了BatchConfigurationSelector. BatchConfigurationSelector 这里面主要是判断modular决定加载Modula

SpringBoot-自动装配

Wed, 06 Mar 2024 13:34:00 +0000

Spring Boot 自动装配 Author: HuiFer 源码阅读仓库: SourceHot-spring-boot org.springframework.boot.autoconfigure.SpringBootApplication 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 @Target(ElementType.TYPE) @Retention(RetentionPolicy.RUNTIME) @Documented @Inherited @SpringBootConfiguration @EnableAutoConfiguration @ComponentScan(excludeFilters = { @Filter(type = FilterType.CUSTOM, classes = TypeExcludeFilter.class), @Filter(type = FilterType.CUSTOM, classes = AutoConfigurationExcludeFilter.class) }) public @interface SpringBootApplication { @AliasFor(annotation = EnableAutoConfiguration.class) Class<?>[] exclude() default {}; @AliasFor(annotation = EnableAutoConfiguration.class) String[] excludeName() default {}; @AliasFor(annotation = ComponentScan.class, attribute = "basePackages") String[] scanBasePackages() default {}; @AliasFor(annotation = ComponentScan.class, attribute = "basePackageClasses") Class<?>[] scanBasePackageClasses() default {}; @AliasFor(annotation = Configuration.class) boolean proxyBeanMethods() default true; } EnableAutoConfiguration 1 2 3 4 5 6 7 8 9 @Target(ElementType.TYPE) @Retention(RetentionPolicy.RUNTIME) @Documented @Inherited @AutoConfigurationPackage @Import(AutoConfigurationImportSelector.class) public @interface EnableAutoConfiguration { } AutoConfigurationImportSelector 类图 getAutoConfigurationMetadata() 1 2 3 4

SpringBoot-application-load

Wed, 06 Mar 2024 13:33:00 +0000

Spring Boot application 文件加载 Author: HuiFer 源码阅读仓库: SourceHot-spring-boot 如何找到这个加载的过程创建配置文件application.yml 全局搜索 yml 换成properties搜索我们以yml为例打上断点开始源码追踪看到调用堆栈一步一步回上去看如何调用具体方法的 ConfigFileApplicationListener 配置文件监听器调用过程 org.springframework.boot.context.config.ConfigFileApplicationListener#addPropertySources 1 2 3 4 5 protected void addPropertySources(ConfigurableEnvironment environment, ResourceLoader resourceLoader) { RandomValuePropertySource.addToEnvironment(environment); // 加载器加

SpringBoot-LogSystem

Wed, 06 Mar 2024 13:32:00 +0000

SpringBoot 日志系统 Author: HuiFer 源码阅读仓库: SourceHot-spring-boot 包路径: org.springframework.boot.logging 日志级别日志级别: org.springframework.boot.logging.LogLevel 1 2 3 public enum LogLevel { TRACE, DEBUG, INFO, WARN, ERROR, FATAL, OFF } Java 日志实现 org.springframework.boot.logging.java.JavaLoggingSystem 1 2 3 4 5 6 7 8 9 10 static { // KEY : springBoot 定义的日志级别, value: jdk 定义的日志级别 LEVELS.map(LogLevel.TRACE, Level.FINEST); LEVELS.map(LogLevel.DEBUG, Level.FINE); LEVELS.map(LogLevel.INFO, Level.INFO); LEVELS.map(LogLevel.WARN, Level.WARNING); LEVELS.map(LogLevel.ERROR, Level.SEVERE); LEVELS.map(LogLevel.FATAL, Level.SEVERE); LEVELS.map(LogLevel.OFF, Level.OFF); } LEVELS 对象 1 2 3 4 5 6 7 8 9 10 protected static class LogLevels<T> { /** * key ： SpringBoot 中定义的日志级别, value: 其他日志框架的日

SpringBoot-ConfigurationProperties

Wed, 06 Mar 2024 13:31:00 +0000

SpringBoot ConfigurationProperties Author: HuiFer 源码阅读仓库: SourceHot-spring-boot 本文主要对org.springframework.boot.context.properties.ConfigurationProperties进行分析 ConfigurationProperties 顶部注释 1 2 3 4 * @see ConfigurationPropertiesScan * @see ConstructorBinding * @see ConfigurationPropertiesBindingPostProcessor * @see EnableConfigurationProperties 看到ConfigurationPropertiesScan 去看

SpringBoot-ConditionalOnBean

Wed, 06 Mar 2024 13:30:00 +0000

SpringBoot ConditionalOnBean Author: HuiFer 源码阅读仓库: SourceHot-spring-boot 在 SpringBoot 中有下列当 XXX 存在或不存的时候执行初始化 ConditionalOnBean ConditionalOnClass ConditionalOnCloudPlatform ConditionalOnExpression ConditionalOnJava ConditionalOnJndi ConditionalOnMissingBean ConditionalOnMissingClass ConditionalOnNotWebApplication ConditionalOnProperty ConditionalOnResource ConditionalOnSingleCandidate ConditionalOnWebApplication ConditionalOnBean 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 @Target({ ElementType.TYPE, ElementType.METHOD }) @Retention(RetentionPolicy.RUNTIME) @Documented @Conditional(OnBeanCondition.class) public @interface ConditionalOnBean { /** * 需要匹配的 bean 类型 */ Class<?>[] value() default {}; /** * 需要匹配的 bean 类型 */ String[] type() default {}; /** * 匹配的 bean 注解 */ Class<? extends Annotation>[] annotation() default {}; /**

Spring-Boot-Run

Wed, 06 Mar 2024 13:29:00 +0000

SpringBoot 启动方法 Author: HuiFer 源码阅读仓库: SourceHot-spring-boot 入口通常一个简单的 SpringBoot 基础项目我们会有如下代码 1 2 3 4 5 6 7 8 9 10 @SpringBootApplication @RestController @RequestMapping("/") public class Application { public static void main(String[] args) { SpringApplication.run(Application.class, args); } } 值得关注的有SpringApplication.run以及注解@SpringBootApplication run 方法 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Spring-mvc-MappingRegistry

Wed, 06 Mar 2024 13:28:00 +0000

MappingRegistry Author: HuiFer 源码阅读仓库: SourceHot-spring 源码路径: org.springframework.jms.annotation.EnableJms 类全路径 org.springframework.web.servlet.handler.AbstractHandlerMethodMapping.MappingRegistry 基本属性 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 class MappingRegistry { /** * key:mapping * value: mapping registration */ private final Map<T, MappingRegistration<T>> registry = new HashMap<>(); /** * key: mapping * value: handlerMethod */ private final Map<T, HandlerMethod> mappingLookup = new LinkedHashMap<>(); /** * key: url * value: list mapping */ private final MultiValueMap<String, T> urlLookup = new LinkedMultiValueMap<>(); /** * key: name * value: handler method */ private final Map<String, List<HandlerMethod>> nameLookup = new ConcurrentHashMap<>(); /** * key:handler method * value: 跨域

Spring-MVC-HandlerMapping

Wed, 06 Mar 2024 13:27:00 +0000

Spring HandlerMapping Author: HuiFer 源码阅读仓库: SourceHot-spring 源码路径: org.springframework.jms.annotation.EnableJms org.springframework.web.servlet.HandlerMapping HandlerMapping 处理映射关系, 通过请求转换成对象HandlerExecutionChain 1 2 3 4 public interface HandlerMapping { HandlerExecutionChain getHandler(HttpServletRequest request) throws Exception; // 其他静态变量省略 } 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 @Override @Nullable public final HandlerExecutionChain getHandler(HttpServletRequest request) throws Exception { // 转换成handler Object handler

Spring-MessageConverter

Wed, 06 Mar 2024 13:26:00 +0000

Spring MessageConverter Author: HuiFer 源码阅读仓库: SourceHot-spring 源码路径: org.springframework.messaging.converter.MessageConverter MessageConverter 消息转换接口类图如下两个方法 fromMessage: 从消息转换到 Object 1 Object fromMessage(Message<?> message, Class<?> targetClass); toMessage: 从 Object 转换到消息 1 Message<?> toMessage(Object payload, @Nullable MessageHeaders headers); 序号 class 作用 1 ByteArrayMessageConverter byte 数组消息转换器 2 MappingJackson2MessageConverter jackson2 的消息转换器 3 MarshallingMessageConverter xml 的消息转换器 4 StringMessageConverter 字符串消息转换器 AbstractMessageConverter 类图: fromMessage 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 @Override @Nullable public final Object fromMessage(Message<?> message,

Spring-JmsTemplate

Wed, 06 Mar 2024 13:25:00 +0000

Spring JmsTemplate Author: HuiFer 源码阅读仓库: SourceHot-spring 源码路径: org.springframework.jms.core.JmsTemplate 源码分析 send 发送消息 1 2 3 4 5 6 7 8 9 @Override public void send(final String destinationName, final MessageCreator messageCreator) throws JmsException { // 执行. execute(session -> { Destination destination = resolveDestinationName(session, destinationName); doSend(session, destination, messageCreator); return null; }, false); } 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 @Nullable public <T> T execute(SessionCallback<T> action, boolean startConnection) throws JmsException { Assert.notNull(action, "Callback object must not be null"); Connection conToClose = null; Session sessionToClose = null; try { Session sessionToUse = ConnectionFactoryUtils.doGetTransactionalSession( obtainConnectionFactory(), this.transactionalResourceFactory, startConnection); if (sessionToUse ==

Spring-EnableJms

Wed, 06 Mar 2024 13:24:00 +0000

Spring EnableJms 注解 Author: HuiFer 源码阅读仓库: SourceHot-spring 源码路径: org.springframework.jms.annotation.EnableJms 源码分析 1 2 3 4 5 6 @Target(ElementType.TYPE) @Retention(RetentionPolicy.RUNTIME) @Documented @Import(JmsBootstrapConfiguration.class) public @interface EnableJms { } 该类的切入点在@Import(JmsBootstrapConfiguration.class) , 直接看JmsBootstrapConfiguration就可以了 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

Spring-Printer

Wed, 06 Mar 2024 13:23:00 +0000

Spring Printer 类全路径: org.springframework.format.Printer 类作用: 对象转换成字符串 1 2 3 4 5 6 7 8 9 10 11 12 13 @FunctionalInterface public interface Printer<T> { /** * Print the object of type T for display. * 打印对象 * @param object the instance to print * @param locale the current user locale * @return the printed text string */ String print(T object, Locale locale); }

Spring-Parser

Wed, 06 Mar 2024 13:22:00 +0000

Spring Parser 类全路径: org.springframework.format.Parser 类作用: 字符串准换成 java 对象 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 @FunctionalInterface public interface Parser<T> { /** * Parse a text String to produce a T. * 将字符串转换成对象 * @param text the text string * @param locale the current user locale * @return an instance of T * @throws ParseException when a parse exception occurs in a java.text parsing library * @throws IllegalArgumentException when a parse exception occurs */ T parse(String text, Locale locale) throws ParseException; } 类图

Spring-Formatter

Wed, 06 Mar 2024 13:21:00 +0000

Spring Formatter 类全路径: org.springframework.format.Formatter 1 2 3 public interface Formatter<T> extends Printer<T>, Parser<T> { } 该接口继承了 printer 和 parser 两个接口. 比较常见的有: DateFormatter 就是继承这个接口.

Spring-AnnotationFormatterFactory

Wed, 06 Mar 2024 13:20:00 +0000

Spring AnnotationFormatterFactory 类全路径: org.springframework.format.AnnotationFormatterFactory 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 public interface AnnotationFormatterFactory<A extends Annotation> { /** * The types of fields that may be annotated with the <A> annotation. * 字段类型 */ Set<Class<?>> getFieldTypes(); /** * Get the Printer to print the value of a field of {@code fieldType} annotated with * {@code annotation}. * <p>If the type T the printer accepts is not assignable to {@code fieldType}, a * coercion from {@code fieldType} to T will be attempted before the Printer is invoked. * 通过注解和字段类型获取输出接口 * @param annotation the

Spring-MillisecondInstantPrinter

Wed, 06 Mar 2024 13:19:00 +0000

Spring MillisecondInstantPrinter 类全路径: org.springframework.format.datetime.joda.MillisecondInstantPrinter 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 public final class MillisecondInstantPrinter implements Printer<Long> { private final DateTimeFormatter formatter; /** * Create a new ReadableInstantPrinter. * @param formatter the Joda DateTimeFormatter instance */ public MillisecondInstantPrinter(DateTimeFormatter formatter) { this.formatter = formatter; } @Override public String print(Long instant, Locale locale) { // DateTimeFormatter .print return JodaTimeContextHolder.getFormatter(this.formatter, locale).print(instant); } }

Spring-DateTimeParser

Wed, 06 Mar 2024 13:18:00 +0000

Spring DateTimeParser 类全路径: org.springframework.format.datetime.joda.DateTimeParser 代码如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 public final class DateTimeParser implements Parser<DateTime> { private final DateTimeFormatter formatter; /** * Create a new DateTimeParser. * @param formatter the Joda DateTimeFormatter instance */ public DateTimeParser(DateTimeFormatter formatter) { this.formatter = formatter; } @Override public DateTime parse(String text, Locale locale) throws ParseException { // DateTimeFormatter 转换字符串事件类型 return JodaTimeContextHolder.getFormatter(this.formatter, locale).parseDateTime(text); } }

Spring-DateTimeFormatAnnotationFormatterFactory

Wed, 06 Mar 2024 13:17:00 +0000

Spring DateTimeFormatAnnotationFormatterFactory 类全路径: org.springframework.format.datetime.DateTimeFormatAnnotationFormatterFactory 类图 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 public class DateTimeFormatAnnotationFormatterFactory extends EmbeddedValueResolutionSupport implements AnnotationFormatterFactory<DateTimeFormat> { /** * 字段类型 */ private static final Set<Class<?>> FIELD_TYPES; @Override public Set<Class<?>> getFieldTypes() { return FIELD_TYPES; } @Override public Printer<?> getPrinter(DateTimeFormat annotation, Class<?> fieldType) { return getFormatter(annotation, fieldType); } @Override public Parser<?> getParser(DateTimeFormat annotation, Class<?> fieldType) { return getFormatter(annotation, fieldType); } protected Formatter<Date> getFormatter(DateTimeFormat annotation, Class<?> fieldType) { DateFormatter formatter = new DateFormatter(); // style String style = resolveEmbeddedValue(annotation.style()); // 判断时间格式是

Spring-scan

Wed, 06 Mar 2024 13:16:00 +0000

Spring scan Author: HuiFer 源码阅读仓库: SourceHot-Spring 解析 Spring 注解形式使用有下面两种方式通过AnnotationConfigApplicationContext参数:扫描包通过 xml 配置context:component-scan属性base-package 1 2 AnnotationConfigApplicationContext aac = new AnnotationConfigApplicationContext("com.huifer.source.spring.ann"); 1 2 <context:component-scan base-package="com.huifer.source.spring.ann"> </context:component-scan> 目标明确开始找入口方法 Annota

Spring-beanFactory

Wed, 06 Mar 2024 13:15:00 +0000

Spring BeanFactory Author: HuiFer 源码阅读仓库: SourceHot-spring BeanFactory 概述 org.springframework.beans.factory.BeanFactory 类图方法列表贴出部分代码. 仅表示方法作用 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 public interface BeanFactory { // 从容器中根据beanname获取 Object getBean(String name) throws BeansException; // 延迟加载对象 <T> ObjectProvider<T> getBeanProvider(Class<T> requiredType); // 是否存在beanName boolean containsBean(String name); // 这个 beanName 是否是单例的. 映射成 bean boolean isSingleton(String name) throws NoSuchBeanDefinitionException; // 是否多例. boolean isPrototype(String name) throws NoSuchBeanDefinitionException; // 类

Spring-SystemPropertyUtils

Wed, 06 Mar 2024 13:14:00 +0000

Spring SystemPropertyUtils spring 中获取系统属性的工具类内部属性 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 /** * * Prefix for system property placeholders: "${". * 前缀占位符 * */ public static final String PLACEHOLDER_PREFIX = "${"; /** * Suffix for system property placeholders: "}". * 后缀占位符 * */ public static final String PLACEHOLDER_SUFFIX = "}"; /** * Value separator for system property placeholders: ":". * 值分割符号 * */ public static final String VALUE_SEPARATOR = ":"; /** * 占位符解析类 */ private static final PropertyPlaceholderHelper strictHelper = new PropertyPlaceholderHelper(PLACEHOLDER_PREFIX, PLACEHOLDER_SUFFIX, VALUE_SEPARATOR, false);

Spring-StopWatch

Wed, 06 Mar 2024 13:13:00 +0000

Spring StopWatch Author: HuiFer 源码阅读仓库: SourceHot-spring 全路径: org.springframework.util.StopWatch 属性 taskList: 任务信息列表 keepTaskList: 是否保留任务信息列表 startTimeMillis: 任务开始的时间 currentTaskName: 任务名称 lastTaskInfo: 任务信息 taskCount: 任务数量 totalTimeMillis: 总共花费的时间方法 org.springframework.util.StopWatch.start(java.lang.String) 1 2 3 4 5 6 7 public void start(String taskName) throws IllegalStateException { if (this.currentTaskName != null) { throw new IllegalStateException("Can't start StopWatch: it's already running"); } this.currentTaskName = taskName; this.startTimeMillis = System.currentTimeMillis(); } org.springframework.util.StopWatch.stop 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 public void stop() throws IllegalStateException { if (this.currentTaskName == null) { throw new IllegalStateException("Can't stop StopWatch: it's not

Spring-SpringFactoriesLoader

Wed, 06 Mar 2024 13:12:00 +0000

SpringFactoriesLoader Author: HuiFer 源码阅读仓库: SourceHot-spring-boot 全路径 : org.springframework.core.io.support.SpringFactoriesLoader 测试类 : org.springframework.core.io.support.SpringFactoriesLoaderTests loadFactories 加载并实例化工厂 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 public static <T> List<T> loadFactories(Class<T> factoryType, @Nullable ClassLoader classLoader) { Assert.notNull(factoryType, "'factoryType' must not be null"); ClassLoader classLoaderToUse = classLoader; if (classLoaderToUse == null) { classLoaderToUse = SpringFactoriesLoader.class.getClassLoader(); } // 工厂实现类名称 List<String> factoryImplementationNames = loadFactoryNames(factoryType, classLoaderToUse); if (logger.isTraceEnabled()) { logger.trace("Loaded [" + factoryType.getName() + "] names: " + factoryImplementationNames); } List<T> result = new ArrayList<>(factoryImplementationNames.size()); for (String factoryImplementationName : factoryImplementationNames) { // 将实例化的工厂放入结果集合 result.add(instantiateFactory(factoryImplementationName, factoryType, classLoaderToUse)); } // 排序 AnnotationAwareOrderComparator.sort(result); return

Spring-SimpleAliasRegistry

Wed, 06 Mar 2024 13:11:00 +0000

Spring-SimpleAliasRegistry Author: HuiFer 源码阅读仓库: huifer-spring AliasRegistry SimpleAliasRegistry继承org.springframework.core.AliasRegistry 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 public interface AliasRegistry { /** * Given a name, register an alias for it. * 别名注册 * * @param name the canonical

Spring-Scheduling

Wed, 06 Mar 2024 13:10:00 +0000

Spring 定时任务 Author: HuiFer 源码阅读仓库: SourceHot-spring EnableScheduling 首先关注的类为启动定时任务的注解@EnableScheduling 1 2 3 4 5 6 7 @Target(ElementType.TYPE) @Retention(RetentionPolicy.RUNTIME) @Import(SchedulingConfiguration.class) @Documented public @interface EnableScheduling { } SchedulingConfiguration 注册定时任务相关信息 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 @Configuration @Role(BeanDefinition.ROLE_INFRASTRUCTURE) public class SchedulingConfiguration { /** * 开启定时任务 * @return */ @Bean(name = TaskManagementConfigUtils.SCHEDULED_ANNOTATION_PROCESSOR_BEAN_NAME) @Role(BeanDefinition.ROLE_INFRASTRUCTURE) public ScheduledAnnotationBeanPostProcessor scheduledAnnotationProcessor() { // 注册 ScheduledAnnotationBeanPostProcessor return new ScheduledAnnotationBeanPostProcessor(); } } ScheduledAnnotationBeanPostProcessor 关注 application 事件,以及 spring 生命周期

Spring-PropertySources

Wed, 06 Mar 2024 13:09:00 +0000

Spring PropertySources Author: HuiFer 源码阅读仓库: SourceHot-spring MutablePropertySources 全路径: org.springframework.core.env.MutablePropertySources MutablePropertySources类内部存储了List<PropertySource<?>>对象,主要是针对List<PropertySource<?>> 进行的操作.换句话说就是对 list 操作

Spring-PropertyPlaceholderHelper

Wed, 06 Mar 2024 13:08:00 +0000

Spring PropertyPlaceholderHelper 类全路径: org.springframework.util.PropertyPlaceholderHelper parseStringValue org.springframework.util.PropertyPlaceholderHelper#parseStringValue 这个方法是主要方法 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 protected String parseStringValue( String value, PlaceholderResolver placeholderResolver, @Nullable Set<String> visitedPlaceholders) { // 占位符所在位置 int startIndex = value.indexOf(this.placeholderPrefix); if (startIndex == -1) { return value; } // 返回值 StringBuilder result = new StringBuilder(value); while (startIndex != -1) { // 寻找结尾占位符

Spring-Property

Wed, 06 Mar 2024 13:07:00 +0000

Spring Property Author: HuiFer 源码阅读仓库: SourceHot-spring 相关类 org.springframework.beans.PropertyValues org.springframework.beans.PropertyValue org.springframework.beans.MutablePropertyValues 类图如下在 Spring IoC 中,非 Web 工程,使用 xml 或者注解进行配置主要使用到的是 PropertyValues ，PropertyValue ，MutablePropertyValues 三个其中 PropertyValues 是继承迭代器，具体实现在MutablePropertyValues 他们处理的对象是Propert

Spring-OrderUtils

Wed, 06 Mar 2024 13:06:00 +0000

Spring OrderUtils Author: HuiFer 源码阅读仓库: SourceHot-Spring org.springframework.core.annotation.OrderUtils主要方法如下 getOrder getPriority 测试类org.springframework.core.annotation.OrderUtilsTests 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Spring-OrderComparator

Wed, 06 Mar 2024 13:05:00 +0000

Spring OrderComparator Author: HuiFer 源码阅读仓库: SourceHot-Spring 1 2 3 4 5 6 7 8 9 10 11 12 13 14 private int doCompare(@Nullable Object o1, @Nullable Object o2, @Nullable OrderSourceProvider sourceProvider) { boolean p1 = (o1 instanceof PriorityOrdered); boolean p2 = (o2 instanceof PriorityOrdered); if (p1 && !p2) { return -1; } else if (p2 && !p1) { return 1; } int i1 = getOrder(o1, sourceProvider); int i2 = getOrder(o2, sourceProvider); // 对比两个Order值得大小返回 return Integer.compare(i1, i2); } 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 private int getOrder(@Nullable Object obj, @Nullable OrderSourceProvider sourceProvider) { Integer order = null; if (obj != null && sourceProvider

Spring-MultiValueMap

Wed, 06 Mar 2024 13:04:00 +0000

Spring MultiValueMap Author: HuiFer 源码阅读仓库: SourceHot-spring 类路径: org.springframework.util.MultiValueMap 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 public interface MultiValueMap<K, V> extends Map<K, List<V>> { /** * 获取value的第一 */ @Nullable V getFirst(K key); /** * 添加元素 */ void add(K key, @Nullable V value); /** * 添加所有元素 */ void addAll(K key, List<? extends V> values); /** * 添加要给 {@link MultiValueMap} 对象 */ void addAll(MultiValueMap<K, V> values); default void addIfAbsent(K key, @Nullable V value) {

Spring-MethodOverride

Wed, 06 Mar 2024 13:03:00 +0000

Spring MethodOverride Author: HuiFer 源码阅读仓库: SourceHot-spring org.springframework.beans.factory.support.MethodOverride org.springframework.beans.factory.support.LookupOverride org.springframework.beans.factory.support.ReplaceOverride org.springframework.beans.factory.support.MethodOverrides MethodOverride MethodOverride 方法重载类在MethodOverride定义了下面三个属性方法名称是否重载源 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 public abstract class MethodOverride implements BeanMetadataElement { /** * 方法名称 */ private final String methodName; /** * 是否重载 */ private boolean overloaded = true; /** * 源 */ @Nullable private Object source; } 定义了一个抽象方法, 交由子类实现 1 public abstract boolean matches(Method method); 类图在 Spring 中

Spring-Metadata

Wed, 06 Mar 2024 13:02:00 +0000

Spring 元信息 Author: HuiFer 源码阅读仓库: SourceHot-Spring ClassMetadata 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 public interface ClassMetadata { /** * 类名 */ String getClassName(); /** * 是否是接口 */ boolean isInterface(); /** * 是否是注解 */ boolean isAnnotation(); /** * 是否是超类 */ boolean isAbstract(); /** * 是否允许创

Spring-MessageSource

Wed, 06 Mar 2024 13:01:00 +0000

Spring MessageSource Author: HuiFer 源码阅读仓库: SourceHot-Spring 初始化入口 org.springframework.context.support.AbstractApplicationContext.refresh方法有initMessageSource()方法进行了MessageSource初始化 1 2 3 4 5 6 7 8 9 10

Spring-Import

Wed, 06 Mar 2024 13:00:00 +0000

Spring Import Author: HuiFer 源码阅读仓库: SourceHot-spring 分析 org.springframework.context.annotation.Import 1 2 3 4 5 6 7 8 9 10 11 12 13 @Target(ElementType.TYPE) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface Import { /** * {@link Configuration @Configuration}, {@link ImportSelector}, * {@link ImportBeanDefinitionRegistrar}, or regular component classes to import. * * 需要导入的类 */ Class<?>[] value(); } ImportBeanDefinitionRegistrar 注册 Import Bean org.springframework.context.annotation.ImportBeanDefinitionRegistrar 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 public interface ImportBeanDefinitionRegistrar { /** * Register bean definitions as necessary based on the given annotation metadata of * the importing {@code @Configuration} class. * <p>Note that {@link BeanDefinitionRegistryPostProcessor} types may <em>not</em> be * registered here, due to lifecycle constraints related to {@code @Configuration} * class processing. * * 对impor

Spring-EntityResolver

Wed, 06 Mar 2024 12:59:00 +0000

EntityResolver Author: HuiFer 源码阅读仓库: huifer-spring 源码路径: org.xml.sax.EntityResolver,非 Spring 类 DelegatingEntityResolver#resolveEntity org.springframework.beans.factory.xml.DelegatingEntityResolver.resolveEntity 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 @Override @Nullable public InputSource resolveEntity(@Nullable String publicId, @Nullable String systemId) throws SAXException, IOException { if (systemId != null) { if (systemId.endsWith(DTD_SUFFIX)) { return this.dtdResolver.resolveEntity(publicId, systemId); } else if (systemId.endsWith(XSD_SUFFIX)) { return this.schemaResolver.resolveEntity(publicId, systemId); } } // Fall back to the parser's default behavior. return null; } 上述这段代码是针对 xml 进行校验 1 2 3 <beans xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.springframework.org/schema/beans" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd"> 如上所示以.x

Spring-DefaultSingletonBeanRegistry

Wed, 06 Mar 2024 12:58:00 +0000

DefaultSingletonBeanRegistry Author: HuiFer 源码阅读仓库: SourceHot-Spring 源码路径: org.springframework.beans.factory.support.DefaultSingletonBeanRegistry 官方提供的测试类: org.springframework.beans.factory.support.DefaultSingletonBeanRegistryTests 类图注册方法解析从名字可以看出这是一个单例对象的注册类 org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.registerSingleton 测试用例出发 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 @Test public void testSingletons() { DefaultSingletonBeanRegistry beanRegistry = new DefaultSingletonBeanRegistry(); TestBean tb = new TestBean(); beanRegistry.registerSingleton("tb", tb); assertSame(tb, beanRegistry.getSingleton("tb")); TestBean tb2 = (TestBean) beanRegistry.getSingleton("tb2", new ObjectFactory<Object>() { @Override public Object getObject() throws BeansException { return new TestBean(); } }); assertSame(tb2, beanRegistry.getSingleton("tb2")); assertSame(tb, beanRegistry.getSingleton("tb")); assertSame(tb2, beanRegistry.getSingleton("tb2")); assertEquals(2, beanRegistry.getSingletonCount()); String[] names = beanRegistry.getSingletonNames();

Spring-Custom-label-resolution

Wed, 06 Mar 2024 12:57:00 +0000

Spring 自定义标签解析 Author: HuiFer 源码阅读仓库: SourceHot-Spring 与自定义标签解析相关的类 org.springframework.beans.factory.xml.AbstractSingleBeanDefinitionParser org.springframework.beans.factory.xml.NamespaceHandlerSupport 开始源码之前先搭建一个环境环境搭建创建对象 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 public class UserXtd { private String userName; private String emailAddress; public String getUserName() { return userName; } public void setUserName(String userName) { this.userName = userName; } public String getEmailAddress() { return emailAddress; } public void setEmailAddress(String emailAddress) { this.emailAddress = emailAddress; } } 创建 xsd 文件 1 2 3 4 5 6 7 8 9 10 11 12 13 <?xml version="1.0" encoding="UTF-8" ?> <schema xmlns="http://www.w3.org/2001/XMLSchema"

Spring-Custom-attribute-resolver

Wed, 06 Mar 2024 12:56:00 +0000

Spring 自定义属性解析器 Author: HuiFer 源码阅读仓库: SourceHot-Spring 用例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.springframework.org/schema/beans" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd"> <bean class="org.springframework.beans.factory.config.CustomEditorConfigurer"> <property name="propertyEditorRegistrars"> <list> <bean class="com.huifer.source.spring.bean.DatePropertyRegister"/> </list> </property> <property name="customEditors"> <map> <entry key="java.util.Date" value="com.huifer.source.spring.bean.DatePropertyEditor"> </entry> </map> </property> </bean> <bean id="apple" class="com.huifer.source.spring.bean.Apple"> <property name="date" value="2020-01-01 01:01:01"/> </bean> </beans> 1 2 3 4 5 6 7 8 public class DatePropertyRegister implements PropertyEditorRegistrar { @Override public void registerCustomEditors(PropertyEditorRegistry registry) { registry.registerCustomEditor(Date.class, new CustomDateEditor( new SimpleDateFormat("yyyy-MM-dd"), true) ); } } 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 public class DatePropertyEditor extends PropertyEditorSupport {

Spring-Conditional

Wed, 06 Mar 2024 12:55:00 +0000

Spring Conditional Author: HuiFer 源码阅读仓库: SourceHot-spring Conditional 1 2 3 4 5 6 7 8 9 10 11 @Target({ ElementType.TYPE, ElementType.METHOD }) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface Conditional { /** * 多个匹配器接口 */ Class<? extends Condition>[] value(); } Condition @FunctionalInterface public interface Condition { /** * 匹配,如果匹配返回true进行初始化,返回false跳过初始化 */ boolean matches(ConditionContext context, AnnotatedTypeMetadata metadata); } ConditionContext 上下文 AnnotatedTypeMetadata 注解信息 ConditionContext public interface ConditionContext { /** * bean的定义 */ BeanDefinitionRegistry getRegistry(); /** * bean 工厂 */ @Nullable ConfigurableListableBeanFactory getBeanFactory(); /** * 环境 */ Environment getEnvironment(); /** * 资

Spring-BeanNameGenerator

Wed, 06 Mar 2024 12:54:00 +0000

Spring BeanNameGenerator Author: HuiFer 源码阅读仓库: SourceHot-spring org.springframework.beans.factory.support.BeanNameGenerator 方法用来生成 beanName 1 2 3 4 5 6 7 8 9 10 11 12 13 public interface BeanNameGenerator { /** * Generate a bean name for the given bean definition. * 生成 beanName * @param definition the bean definition to generate a name for * @param registry the bean definition registry that the given definition * is supposed to be registered with * @return the generated bean name */ String generateBeanName(BeanDefinition definition, BeanDefinitionRegistry registry); } DefaultBeanNameGenerator org.springframework.beans.factory.support.DefaultBeanNameGenerator 调用工具类方法进行生成 1 2 3 4 @Override public String generateBeanName(BeanDefinition definition, BeanDefinitionRegistry registry) { return BeanDefinitionReaderUtils.generateBeanName(definition, registry); } ClassName + # + 十六进制字符 parentName + $child + # + 十

Spring-BeanFactoryPostProcessor

Wed, 06 Mar 2024 12:53:00 +0000

Spring BeanFactoryPostProcessor Author: HuiFer 源码阅读仓库: SourceHot-Spring 作用: 定制或修改BeanDefinition的属性 Demo 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 public class ChangeAttrBeanPostProcessor implements BeanFactoryPostProcessor { private Set<String> attr; public ChangeAttrBeanPostProcessor() { attr = new HashSet<>(); } public Set<String> getAttr() { return attr; } public void setAttr(Set<String> attr) { this.attr = attr; } @Override public void postProcessBeanFactory(ConfigurableListableBeanFactory beanFactory) throws BeansException { String[] beanDefinitionNames = beanFactory.getBeanDefinitionNames(); for (String beanName : beanDefinitionNames) { BeanDefinition beanDefinition = beanFactory.getBeanDefinition(beanName); StringValueResolver stringValueResolver = new StringValueResolver() { @Override public String resolveStringValue(String

Spring-BeanDefinitionReaderUtils

Wed, 06 Mar 2024 12:52:00 +0000

Spring BeanDefinitionReaderUtils Author: HuiFer 源码阅读仓库: SourceHot-spring createBeanDefinition org.springframework.beans.factory.support.BeanDefinitionReaderUtils.createBeanDefinition 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 public static AbstractBeanDefinition createBeanDefinition( @Nullable String parentName, @Nullable String className, @Nullable ClassLoader classLoader) throws ClassNotFoundException { GenericBeanDefinition bd = new GenericBeanDefinition(); // 设置父bean bd.setParentName(parentName); if (className != null) { if (classLoader != null) { // 设置 class // 内部是通过反射创建 class bd.setBeanClass(ClassUtils.forName(className, classLoader)); } else { // 设置 class name bd.setBeanClassName(className); } } return bd; } generateBeanName org.springframework.beans.factory.support.BeanDefinitionReaderUtils.generateBeanName(org.springframework.beans.factory.config.BeanDefinition, org.springframework.beans.factory.support.BeanDefinitionRegistry, boolean) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

Spring-BeanDefinitionParserDelegate

Wed, 06 Mar 2024 12:51:00 +0000

Spring BeanDefinitionParserDelegate Author: HuiFer 源码阅读仓库: SourceHot-spring 全路径org.springframework.beans.factory.xml.BeanDefinitionParserDelegate 解析 xml 中标签的委托类在这个类中定义常量如下，为后续解析提供帮助 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

Spring-ApplicationListener

Wed, 06 Mar 2024 12:50:00 +0000

Spring initApplicationEventMulticaster Author: HuiFer 源码阅读仓库: SourceHot-Spring demo 1 2 3 4 5 6 7 8 9 10 11 package com.huifer.source.spring.applicationListener; import org.springframework.context.ApplicationEvent; import org.springframework.context.ApplicationListener; public class DemoApplicationListener implements ApplicationListener { @Override public void onApplicationEvent(ApplicationEvent event) { System.out.println("com.huifer.source.spring.applicationListener.DemoApplicationListener.onApplicationEvent"); } } 1 2 3 4 5 6 7 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.springframework.org/schema/beans" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd"> <bean id="demoApplicationListener" class="com.huifer.source.spring.applicationListener.DemoApplicationListener"/> </beans> 1 2 3 4 5 public class ListenerSourceCode { public static void main(String[] args) { ApplicationContext context = new ClassPathXmlApplicationContext("Listener-demo.xml"); } } 初始化入口 org.springframework.context.support.AbstractAppli

Spring-AnnotationUtils

Wed, 06 Mar 2024 12:49:00 +0000

Spring AnnotationUtils Author: HuiFer 源码阅读仓库: SourceHot-Spring org.springframework.core.annotation.AnnotationUtils提供了注解相关的方法 getAnnotation: 获取注解 findAnnotation: 寻找注解 getValue: 获取属性值 getDefaultValue: 获取默认值 getAnnotation 测试用例如下 1 2 3 4 5 6 7 @Test public void findMethodAnnotationOnLeaf() throws Exception { Method m = Leaf.class.getMethod("annotatedOnLeaf"); assertNotNull(m.getAnnotation(Order.class)); assertNotNull(getAnnotation(m, Order.class)); assertNotNull(findAnnotation(m, Order.class)); } org.springframework.core.annotation.AnnotationUtils.getAnnotation(java.lang.reflect.Method, java.lang.Class<A>) 1 2 3 4 5 6 7 8 9 10 11 12

Spring-StubPropertySource

Wed, 06 Mar 2024 12:48:00 +0000

Spring StubPropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 整体代码如下. 通过 StubPropertySource 的 getProperty 方法永远返回 null 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 public static class StubPropertySource extends PropertySource<Object> { public StubPropertySource(String name) { super(name, new Object()); } /** * Always returns {@code null}. */ @Override @Nullable public String getProperty(String name) { return null; } }

Spring-SimpleCommandLinePropertySource

Wed, 06 Mar 2024 12:47:00 +0000

Spring SimpleCommandLinePropertySource 全路径: org.springframework.core.env.SimpleCommandLinePropertySource 1 public class SimpleCommandLinePropertySource extends CommandLinePropertySource<CommandLineArgs> {} SimpleCommandLinePropertySource 的 source 类型是 CommandLineArgs 具体解释请看下面分析 CommandLineArgs 两个内部属性 1 2 3 4 5 6 7 8 9 10 11 12 class CommandLineArgs { /** * 选项参数列表 */ private final Map<String, List<String>> optionArgs = new HashMap<>(); /** * 非选项参数列表 */ private final List<String> nonOptionArgs = new ArrayList<>(); } addOptionArg 添加选项参数 1 2 3 4 5 6 7 8 public void addOptionArg(String optionName, @Nullable String optionValue) { if (!this.optionArgs.containsKey(optionName)) { this.optionArgs.put(optionName, new ArrayList<>()); } if (optionValue != null) { this.optionArgs.get(optionName).add(optionValue); } } getOptionNames 获取选项参数列表 1 2 3 public Set<String>

Spring-SimpleCommandLineArgsParser

Wed, 06 Mar 2024 12:46:00 +0000

Spring SimpleCommandLineArgsParser Author: HuiFer 源码阅读仓库: SourceHot-spring 类全路径: `org.springframework.core.env.SimpleCommandLineArgsParser 类作用: 将命令行参数解析成 org.springframework.core.env.CommandLineArgs 完整代码如下. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 class SimpleCommandLineArgsParser { /** * Parse the given {@code String} array based on the rules described {@linkplain * SimpleCommandLineArgsParser above}, returning a fully-populated * {@link CommandLineArgs} object. * @param args command line arguments, typically from a {@code main()} method */ public CommandLineArgs parse(String... args) { CommandLineArgs commandLineArgs = new CommandLineArgs(); for (String arg : args) { if (arg.startsWith("--")) { String optionText = arg.substring(2, arg.length()); String

Spring-ServletContextPropertySource

Wed, 06 Mar 2024 12:45:00 +0000

Spring ServletContextPropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 类全路径: org.springframework.web.context.support.ServletContextPropertySource 内部数据结构是 ServletContext 接口整体代码如下. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 public class ServletContextPropertySource extends EnumerablePropertySource<ServletContext> { public ServletContextPropertySource(String name, ServletContext servletContext) { super(name, servletContext); } @Override public String[] getPropertyNames() { // javax.servlet.ServletContext.getInitParameterNames 方法调用 return StringUtils.toStringArray(this.source.getInitParameterNames()); } @Override @Nullable public String getProperty(String name) { // javax.servlet.ServletContext.getInitParameter return this.source.getInitParameter(name); } }

Spring-ServletConfigPropertySource

Wed, 06 Mar 2024 12:44:00 +0000

Spring ServletConfigPropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 类全路径: org.springframework.web.context.support.ServletConfigPropertySource 内部数据结构是 ServletConfig 整体代码如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 public class ServletConfigPropertySource extends EnumerablePropertySource<ServletConfig> { public ServletConfigPropertySource(String name, ServletConfig servletConfig) { super(name, servletConfig); } @Override public String[] getPropertyNames() { // javax.servlet.ServletConfig.getInitParameterNames return StringUtils.toStringArray(this.source.getInitParameterNames()); } @Override @Nullable public String getProperty(String name) { // javax.servlet.ServletConfig.getInitParameter return this.source.getInitParameter(name); } }

Spring-ResourcePropertySource

Wed, 06 Mar 2024 12:43:00 +0000

Spring ResourcePropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 全路径: org.springframework.core.io.support.ResourcePropertySource source 依然是 map 结构 getNameForResource 1 2 3 4 5 6 7 8 9 private static String getNameForResource(Resource resource) { // 获取 resource 的介绍 String name = resource.getDescription(); if (!StringUtils.hasText(name)) { // 短类名+@+hashcode name = resource.getClass().getSimpleName() + "@" + System.identityHashCode(resource); } return name; } withName 创建 ResourcePropertySource 对象, 根据 name 属性 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 public ResourcePropertySource withName(String name) { if (this.name.equals(name)) { return this; } // Store the original resource name if necessary... if (this.resourceName != null) { if (this.resourceName.equals(name)) { return new ResourcePropertySource(this.resourceName,

Spring-PropertiesPropertySource

Wed, 06 Mar 2024 12:42:00 +0000

Spring PropertiesPropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 全路径: org.springframework.core.env.PropertiesPropertySource Properties 是 map 结构。可以做类型转换. getPropertyNames 就转换成了父类 MapPropertySource 的方法了 map.keySet() 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 public class PropertiesPropertySource extends MapPropertySource { @SuppressWarnings({"rawtypes", "unchecked"}) public PropertiesPropertySource(String name, Properties source) { super(name, (Map) source); } protected PropertiesPropertySource(String name, Map<String, Object> source) { super(name, source); } @Override public String[] getPropertyNames() { synchronized (this.source) { return super.getPropertyNames(); } } }

Spring-MockPropertySource

Wed, 06 Mar 2024 12:41:00 +0000

Spring MockPropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 内部 source 是 Properties 类型 withProperty 设置属性名称和属性值 1 2 3 4 public MockPropertySource withProperty(String name, Object value) { this.setProperty(name, value); return this; } setProperty 1 2 3 public void setProperty(String name, Object value) { this.source.put(name, value); } 完整代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 public class MockPropertySource extends PropertiesPropertySource { /** * {@value} is

Spring-MapPropertySource

Wed, 06 Mar 2024 12:40:00 +0000

Spring MapPropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 类全路径: org.springframework.core.env.MapPropertySource 内部数据结构是一个Map<String,Object> 这是一个对 map 的操作. 整体代码如下. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 public class MapPropertySource extends EnumerablePropertySource<Map<String, Object>> { public MapPropertySource(String name, Map<String, Object> source) { super(name, source); } @Override @Nullable public Object getProperty(String name) { // 从map中获取 name 对应的value return this.source.get(name); }

Spring-EnumerablePropertySource

Wed, 06 Mar 2024 12:39:00 +0000

Spring EnumerablePropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 全路径: org.springframework.core.env.EnumerablePropertySource 在这个类中定义了一个抽象方法getPropertyNames 用来获取所有的 property 的名称 1 public abstract String[] getPropertyNames(); 整体代码如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 public abstract class EnumerablePropertySource<T> extends PropertySource<T> { public EnumerablePropertySource(String name, T source) { super(name, source); } protected EnumerablePropertySource(String name) { super(name); } /** * Return whether this {@code PropertySource} contains a property with the given name. * <p>This implementation

Spring-CompositePropertySource

Wed, 06 Mar 2024 12:38:00 +0000

Spring CompositePropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 全路径: org.springframework.core.env.CompositePropertySource 整体代码如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 public class CompositePropertySource extends EnumerablePropertySource<Object> { /** * set 集合 */ private final Set<PropertySource<?>> propertySources = new LinkedHashSet<>(); /** * Create

Spring-ComparisonPropertySource

Wed, 06 Mar 2024 12:37:00 +0000

Spring ComparisonPropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 整体代码如下. 下面几个调用方法会直接抛出异常 getSource containsProperty getProperty 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 static class ComparisonPropertySource extends StubPropertySource { // 异常信息 private static final String USAGE_ERROR = "ComparisonPropertySource instances are for use with collection comparison only"; public ComparisonPropertySource(String name) { super(name); } @Override public Object getSource() { // 抛异常 throw new UnsupportedOperationException(USAGE_ERROR); } @Override public boolean containsProperty(String name) { // 抛异常 throw new UnsupportedOperationException(USAGE_ERROR); } @Override @Nullable public String getProperty(String name) { // 抛异常 throw new UnsupportedOperationException(USAGE_ERROR); }

Spring-CommandLinePropertySource

Wed, 06 Mar 2024 12:36:00 +0000

Spring CommandLinePropertySource Author: HuiFer 源码阅读仓库: SourceHot-spring 类全路径: org.springframework.core.env.CommandLinePropertySource 作用: 用来存储命令行参数 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 public abstract class CommandLinePropertySource<T> extends EnumerablePropertySource<T> { public static final String COMMAND_LINE_PROPERTY_SOURCE_NAME = "commandLineArgs"; public static final String DEFAULT_NON_OPTION_ARGS_PROPERTY_NAME = "nonOptionArgs"; private String nonOptionArgsPropertyName = DEFAULT_NON_OPTION_ARGS_PROPERTY_NAME; public CommandLinePropertySource(T source) { //

Spring-SystemPropertyPlaceholderResolver

Wed, 06 Mar 2024 12:35:00 +0000

Spring SystemPropertyPlaceholderResolver 类全路径: org.springframework.util.SystemPropertyUtils.SystemPropertyPlaceholderResolver 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 private static class SystemPropertyPlaceholderResolver implements PropertyPlaceholderHelper.PlaceholderResolver { private final String text; public SystemPropertyPlaceholderResolver(String text) { this.text = text; } @Override @Nullable public String resolvePlaceholder(String placeholderName) { try { String propVal = System.getProperty(placeholderName); if (propVal == null) { // Fall back to searching the system environment. // 获取系统属性 propVal = System.getenv(placeholderName); } return propVal; } catch (Throwable ex) { System.err.println("Could not resolve placeholder '" + placeholderName + "' in [" + this.text + "] as system property: " + ex); return null; } } }

Spring-ServletContextPlaceholderResolver

Wed, 06 Mar 2024 12:34:00 +0000

Spring ServletContextPlaceholderResolver 类全路径: org.springframework.web.util.ServletContextPropertyUtils.ServletContextPlaceholderResolver 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 private static class ServletContextPlaceholderResolver implements PropertyPlaceholderHelper.PlaceholderResolver { private final String text; private final ServletContext servletContext; public ServletContextPlaceholderResolver(String text, ServletContext servletContext) { this.text = text; this.servletContext = servletContext; } @Override @Nullable public String resolvePlaceholder(String placeholderName) { try { // servlet 上下文获取 String propVal = this.servletContext.getInitParameter(placeholderName); if (propVal == null) { // Fall back to system properties. propVal = System.getProperty(placeholderName); if (propVal == null) { // Fall back to searching the system environment. propVal = System.getenv(placeholderName); } } return propVal; } catch (Throwable ex) { System.err.println("Could not resolve placeholder '" + placeholderName + "' in

Spring-PropertyPlaceholderConfigurerResolver

Wed, 06 Mar 2024 12:33:00 +0000

Spring PropertyPlaceholderConfigurerResolver 类全路径: org.springframework.beans.factory.config.PropertyPlaceholderConfigurer.PropertyPlaceholderConfigurerResolver 这个类是从 Properties 中获取属性 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 private final class PropertyPlaceholderConfigurerResolver implements PlaceholderResolver { private final Properties props; private PropertyPlaceholderConfigurerResolver(Properties props) { this.props = props; } @Override @Nullable public String resolvePlaceholder(String placeholderName) { return PropertyPlaceholderConfigurer.this.resolvePlaceholder(placeholderName, this.props, systemPropertiesMode); } } 详细方法如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 @Nullable protected String resolvePlaceholder(String placeholder, Properties props, int systemPropertiesMode) { String propVal = null; if (systemPropertiesMode == SYSTEM_PROPERTIES_MODE_OVERRIDE) { propVal = resolveSystemProperty(placeholder); } if (propVal == null) { propVal = resolvePlaceholder(placeholder, props); } if (propVal == null && systemPropertiesMode == SYSTEM_PROPERTIES_MODE_FALLBACK) { propVal = resolveSystemProperty(placeholder); } return propVal; } 1 2 3 4

Spring-PlaceholderResolver

Wed, 06 Mar 2024 12:32:00 +0000

Spring PlaceholderResolver 类全路径: org.springframework.util.PropertyPlaceholderHelper.PlaceholderResolver 类作用将占位符中的内容替换成属性值. 假设现有属性表: user.dir = c:\home 传入参数 user.dir 会获得 c:\home 1 2 3 4 5 6 7 8 9 10 11 12 @FunctionalInterface public interface PlaceholderResolver { /** * Resolve the supplied placeholder name to the replacement value. * @param placeholderName the name of the placeholder to resolve * @return the replacement value, or {@code null} if no replacement is to be made */ @Nullable String resolvePlaceholder(String placeholderName); } 类图如下

Spring-transaction

Wed, 06 Mar 2024 12:31:00 +0000

Spring 事务 Author: HuiFer 源码阅读仓库: SourceHot-Spring 声明式事务 Propagation 事务传播 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 public enum Propagation { /** * 有事务则加入，没有则新建 */ REQUIRED(TransactionDefinition.PROPAGATION_REQUIRED), /** * 有事务就用，如果没有就不开启(继承关系) * @see org.springframework.transaction.support.AbstractPlatformTransactionManager#setTransactionSynchronization */ SUPPORTS(TransactionDefinition.PROPAGATION_SUPPORTS), /** * 必须在已有事务中 */ MANDATORY(TransactionDefinition.PROPAGATION_MANDATORY), /** * 不管

面筋哥IoC容器的一天(上)

Wed, 06 Mar 2024 12:30:00 +0000

引言：庞大的代码量让人心生怠倦，有趣的故事让技术也疯狂。大家好，我是 IoC 容器家族的第 17 代传人，我们家族世世代代在 spring 商业街上卖烤面筋，大家都叫我“面筋哥”，另外我爹还给我起了个高大上的英文名字，叫“FileSystemXmlApplicationContext”，但有群臭猴子嫌麻烦，

16张图解锁Spring的整体脉络

Wed, 06 Mar 2024 12:29:00 +0000

作者: Java4ye 概览本文将讲解 Spring 的原理，看看一个 Bean 是怎么被创建出来的，中间经历过那几道工序加工，它的生命周期是怎样的，以及有哪些扩展点，后置处理器可以使用，让你对 Spring 多一些了解！目录本文会先大概介绍下这些知识点 👇 印象中的 Spring 脑海中有这么一条公式： 👉 IOC = 工厂模式 + XML + 反射 👉 而 DI , AOP ，事务等也都

Spring声明式事务处理

Wed, 06 Mar 2024 12:28:00 +0000

1 设计原理与基本过程在使用 Spring 声明式事务处理的时候，一种常用的方法是结合 IoC 容器和 Spring 已有的 TransactionProxyFactoryBean 对事务管理进行配置，比如，可以在这个 TransactionProxyFactoryBean 中为事务方法配置传播行为、并发事务隔离级别等事务处理属性，从而对声明式事务的处理提供指导。具体来说，在对声明式事务处理的原理分析中，声明式事务处理的实现大

Spring事务管理器的设计与实现

Wed, 06 Mar 2024 12:27:00 +0000

1 Spring 事务处理的应用场景下面，我们以 DataSourceTransactionManager 事务管理器为例，看一下在具体的事务管理器中如何实现事务创建、提交和回滚这些底层的事务处理操作。DataSourceTransationManager 和其他事务管理器一样，如 JtaTransactionManager，JpaTransaction

Spring事务处理的设计与实现

Wed, 06 Mar 2024 12:26:00 +0000

1 事务处理的编程式使用 1 2 3 4 5 6 7 8 9 10 11 TransactionDefinition td = new DefaultTransactionDefinition(); // transactionManager 是某一个具体的 PlatformTransactionManager实现类的对象 TransactionStatus ts = transactionManager.getTransaction(td); try { // 这里是需要进行事务处理的方法调用 } catch (Exception e) { transactionManager.rollback(ts); throw e; } transactionManager.commit(ts); 在使用编程式事务处理的过程中，利用 DefaultTransactionDefinition 对象来持有事务处理属性。同时，在创建事务的

Spring与事务处理

Wed, 06 Mar 2024 12:25:00 +0000

JavaEE 应用中的事务处理是一个重要并且涉及范围很广的领域。事务管理的实现往往涉及并发和数据一致性方面的问题。作为应用平台的 Spring，具有在多种环境中配置和使用事务处理的能力，也就是说通过使用 Spring 的事务组件，可以把事务处理的工作统一起来，并为事务处理提供通用的支持。在涉及单个数据库局部

温习一下servlet

Wed, 06 Mar 2024 12:24:00 +0000

Servlet 温习 Servlet 是 Java 平台上用于扩展基于请求-响应模式的 Web 应用程序功能的一种技术。在这篇博客中，我们将温习一下 Servlet 的基本概念和使用方法。 1. Servlet 的基本概念 Servlet 是 Java 平台上运行的一个小程序，它可以接收和响应来自客户端的请求，并向客户端发送响应。Servlet 容器（如 Tomcat）负责管理 Servlet 的生命周期，

SpringMVC的设计与实现

Wed, 06 Mar 2024 12:23:00 +0000

1 SpringMVC 应用场景在使用 SpringMVC 时，除了要在 web.xml 中配置 ContextLoaderListener 外，还要对 DispatcherServlet 进行配置。作为一个 Servlet，这个 DispatcherServlet 实现的是 Sun 的 J2EE 核心模式中的前端控制器模式(Front Controller)，作为一个前端控制器，所有的 Web 请求都需要通过它来进行转发、匹配、数据处理，然后转由页面进行展现，因此这个 DispatcerServlet 可以看

SpringMVC-CROS

Wed, 06 Mar 2024 12:22:00 +0000

Spring-MVC 跨域 CrossOrigin 注解通过注解设置跨域 demo 如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 package com.huifer.source.controller; import org.springframework.web.bind.annotation.*; import java.util.HashMap; @CrossOrigin(maxAge = 3600) @RequestMapping("/") @RestController public class JSONController { @ResponseBody @GetMapping(value = "/json") public Object ob() { HashMap<String, String> hashMap = new HashMap<>(); hashMap.put("1", "a"); return hashMap; } } 切入点: org.springframework.web.servlet.handler.AbstractHandlerMethodMapping#registerHandlerMethod org.springframework.web.servlet.handler.AbstractHandlerMethodMapp

IoC容器在Web环境中的启动

Wed, 06 Mar 2024 12:21:00 +0000

1 Web 环境中的 SpringMVC 在 Web 环境中，SpringMVC 是建立在 IoC 容器基础上的。了解 SpringMVC，首先要了解 Spring 的 IoC 容器是如何在 Web 环境中被载入并起作用的。 Spring 的 IoC 是一个独立模块，它并不直接在 Web 容器中发挥作用，如果要在 Web 环境中使用 IoC 容器，需要 Spring 为 IoC 设计一个启动过程，把 IoC 容器导入，并在 Web 容器中

Spring-spring-components

Wed, 06 Mar 2024 12:20:00 +0000

Spring5 新特性 - spring.components Author: HuiFer 源码阅读仓库: SourceHot-Spring 解析相关类: org.springframework.context.index.CandidateComponentsIndexLoader 测试用例: org.springframework.context.annotation.ClassPathScanningCandidateComponentProviderTests.defaultsWithIndex,org.springframework.context.index.CandidateComponentsIndexLoaderTests CandidateComponentsIndexLoader是怎么找出来的,全文搜索spring.components 使用介绍下面是从resources/example/scannable/spring.component

Spring-RMI

Wed, 06 Mar 2024 12:19:00 +0000

Spring RMI Author: HuiFer 源码阅读仓库: SourceHot-Spring Spring 远程服务调用 DEMO 服务提供方服务提供方需要准备接口、接口实现泪接口 1 2 3 public interface IDemoRmiService { int add(int a, int b); } 接口实现 1 2 3 4 5 6 public class IDemoRmiServiceImpl implements IDemoRmiService { @Override public int add(int a, int b) { return a + b; } } xml 配置文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.springframework.org/schema/beans" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd"> <bean id="demoRmiService" class="com.huifer.source.spring.rmi.impl.IDemoRmiServiceImpl"/> <bean id="demoRmi" class="org.springframework.remoting.rmi.RmiServiceExporter">  <property name="service" ref="demoRmiService"/> <!-- 服务名称

Spring-jdbc

Wed, 06 Mar 2024 12:18:00 +0000

Spring JDBC Author: HuiFer 源码阅读仓库: SourceHot-Spring 环境搭建依赖 1 2 3 compile(project(":spring-jdbc")) compile group: 'com.alibaba', name: 'druid', version: '1.1.21' compile group: 'mysql', name: 'mysql-connector-java', version: '5.1.47' db 配置 1 2 3 4 jdbc.url= jdbc.driverClass= jdbc.username= jdbc.password= 实体对象 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 public class HsLog { private Integer id; private String source; public Integer getId() { return id; } public void setId(Integer id) { this.id = id; } public String getSource() { return source; } public void setSource(String source) { this.source = source; } } DAO 1 2 3 4 5 public interface HsLogDao { List<HsLog> findAll(); void save(HsLog hsLog); } 实现类 1 2 3 4 5 6

循环依赖

Wed, 06 Mar 2024 12:17:00 +0000

循环依赖一个对象依赖对象闭环到自己 A -> B -> …. ->A tip: 不涉及代理对象问题解决方法：当一个对象已经实例化完毕了，还未初始化的时候，将它注入到它所依赖的已经实例好的对象（提前暴露对象），使得它所依赖的对象是个完整对象（实例化+初始化），然后再将这个完整对象注入给它。简单工程（Spring-

BeanPostProcessor

Wed, 06 Mar 2024 12:16:00 +0000

BeanPostProcessor 源码分析 BeanPostProcessor 接口也叫 Bean 后置处理器，作用是在 Bean 对象实例化和依赖注入完成后，在配置文件 bean 的 init-method(初始化方法)或者 InitializingBean 的 afterPropertiesSet 的前后添加我们自己的处理逻辑。注意是 Bean 实例化完毕后及依赖注入完成后触发的，接口的源码如下。 1 2 3 4 5 6 7 8 9 10 11 12 public interface BeanPostProcessor { /** * 实例化、依赖注入完毕，

BeanFactoryPostProcessor

Wed, 06 Mar 2024 12:15:00 +0000

BeanFactoryBeanPostProcessor 源码分析 BeanFactoryBeanPostProcessor 是当 BeanDefinition 读取完元数据（也就是从任意资源中定义的 bean 数据）后还未实例化之前可以进行修改抄录并翻译官方的语句 BeanFactoryPostProcessor 操作 bean 的元数据配置. 也就是说,Spring IoC 容器允许 BeanFactoryPostProcessor 读取配置元数据, 并可能在容器实例化除 BeanFactoryPostProcessor 实例之外的任何 bean 之前更改它 tip: 在 BeanFactoryPostProcessor (例如使用 BeanFactory.getBean()) 中使用这些 bean 的实例虽然在技术上

4、依赖注入(DI)

Wed, 06 Mar 2024 12:14:00 +0000

前言前面我们主要分析了 FileSystemXmlApplicationContext 这个具体的 IoC 容器实现类的初始化源码，在 IoC 容器中建立了 beanName 到 BeanDefinition 的数据映射，通过一个 ConcurrentHashMap。现在我们来看一下 Spring 是如何将 IoC 容器中存在依赖关系的 bean 根据配置联系在一起的。 Spring 中触发 IoC 容器“依赖注入” 的方式有两种，一个是应用程序通过 getBea

3、将BeanDefinition注册进IoC容器

Wed, 06 Mar 2024 12:13:00 +0000

前言这篇文章分享一下 spring IoC 容器初始化第三部分的代码，也就是将前面解析出来的 BeanDefinition 对象注册进 IoC 容器，其实就是存入一个 ConcurrentHashMap<String, BeanDefinition> 中。（PS：可以结合我 GitHub 上对 Spring 框架源码的翻译注释一起看，会更有助于各位同学理解，地址： spring-beans https://github.com/AmyliaY/spring-beans-reading spring-context https://github.com/AmyliaY/spring-context-reading ）正文回过头看一下前面在 DefaultBeanDefinitionDocumentReader 中实现的 processBeanDefinition(Element ele, BeanDefinitionParserDelegate delegate) 方法。 1 2 3 4 5 6 7 8 9 10 11 12 13

2、将bean解析封装成BeanDefinition

Wed, 06 Mar 2024 12:12:00 +0000

前言接着上一篇的 BeanDefinition 资源定位开始讲。Spring IoC 容器 BeanDefinition 解析过程就是把用户在配置文件中配置的 bean，解析并封装成 IoC 容器可以装载的 BeanDefinition 对象，BeanDefinition 是 Spring 定义的基本数据结构，其中的属性与配置文件中 bean 的属性相对应。（PS：可以结合我 GitHub 上对 Spring 框架源码的阅读及个人理解一起

1、BeanDefinition的资源定位过程

Wed, 06 Mar 2024 12:11:00 +0000

前言之前一直想系统的拜读一下 spring 的源码，看看它到底是如何吸引身边的大神们对它的设计赞不绝口，虽然每天工作很忙，每天下班后总感觉脑子内存溢出，想去放松一下，但总是以此为借口，恐怕会一直拖下去。所以每天下班虽然有些疲惫，但还是按住自己啃下这块硬骨头。 spring 源码这种东西真的是一回生二回熟，第

Spring-Aop如何生效

Wed, 06 Mar 2024 12:10:00 +0000

Spring AOP 如何生效 Author: HuiFer 源码阅读仓库: SourceHot-Spring 解析在使用 Spring AOP 技术的时候会有下面这段代码在 xml 配置文件中出现,来达到 Spring 支持 AOP 1 <aop:aspectj-autoproxy/> 源码阅读目标找到了,那么怎么去找入口或者对这句话的标签解析方法呢?项目中使用搜索这样就找到了具体解析方法了 org.springframework.aop.config.AspectJAutoProxyBeanDefinitionParser 类图 1 2 3 4 5 6 7 8 9 @Override @Nullable public BeanDefinition parse(Element element, ParserContext parserContext) { // 注册 <aop:aspectj-autoproxy/> AopNamespaceUtils.registerAspectJAnnotationAutoProxyCreatorIfNecessary(parserContext, element); // 子类解析

JDK动态代理的实现原理解析

Wed, 06 Mar 2024 12:09:00 +0000

最近在看 Spring AOP 部分的源码，所以对 JDK 动态代理具体是如何实现的这件事产生了很高的兴趣，而且能从源码上了解这个原理的话，也有助于对 spring-aop 模块的理解。话不多说，上代码。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63

AOP源码实现及分析

Wed, 06 Mar 2024 12:08:00 +0000

理论性的文字，我觉得就没必要再扯一遍咯，大道理讲这么多，越听越迷糊。不如直接看源码加注释来的明白痛快。所以话不多说，直接上源码。 1 主要的接口 1.1 Advice 通知本接口定义了切面的增强方式，如：前置增强 BeforeAdvice，后置增强 AfterAdvice，异常增强 ThrowsAdvice 等。下面看两个主要的子接

Sentinel限流算法的实现

Wed, 06 Mar 2024 12:07:00 +0000

Sentinel 中漏桶算法的实现 Sentinel 中漏桶算法通过 RateLimiterController 来实现，在漏桶算法中，会记录上一个请求的到达时间，如果新到达的请求与上一次到达的请求之间的时间差小于限流配置所规定的最小时间，新到达的请求将会排队等待规定的最小间隔到达，或是直接失败。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

Sentinel时间窗口的实现

Wed, 06 Mar 2024 12:06:00 +0000

获取时间窗口的主要流程在 Sentinel 中，主要是通过 LeapArray 类来实现滑动时间窗口的实现和选择。在 sentinel 的这个获取时间窗口并为时间窗口添加指标的过程中，主要的流程为：根据当前时间选择当前时间应该定位当前时间应该属于的时间窗口 id。根据时间窗口 id 获取时间窗口。这里可能会存在四种情况：时间窗口还未建立，那么

Sentinel底层LongAdder的计数实现

Wed, 06 Mar 2024 12:05:00 +0000

LongAdder 的原理在 LongAdder 中，底层通过多个数值进行累加来得到最后的结果。当多个线程对同一个 LongAdder 进行更新的时候，将会对这一些列的集合进行动态更新，以避免多线程之间的资源竞争。当需要得到 LongAdder 的具体的值的时候，将会将一系列的值进行求和作为最后的结果。在高并发的竞争下进行类似指标数据的收集的时候，Long

redis-sds

Wed, 06 Mar 2024 12:04:00 +0000

深挖 Redis 6.0 源码——SDS SDS（Simple Dynamic Strings, 简单动态字符串）是 Redis 的一种基本数据结构，主要是用于存储字符串和整数。这篇文章里，我们就来探讨一下 Redis SDS 这种数据结构的底层实现原理。学习之前，首先我们要明确，Redis 是一个使用 C 语言编写的键值对存储系统。前置思考我们首先考虑一个问题，如

Redis

Wed, 06 Mar 2024 12:03:00 +0000

Redis Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。在这篇博客中，我们将介绍 Redis 的基本使用和常见操作。 1. 环境准备首先，我们需要在本地安装 Redis。可以从官网下载对应版本的 Redis，这里我们使用的是 6.2.6 版本。下

基于Netty的服务端开发

Wed, 06 Mar 2024 12:02:00 +0000

Netty 服务端创建源码分析当我们直接使用 JDK 的 NIO 类库开发基于 NIO 的异步服务端时，需要用到多路复用器 Selector、ServerSocketChannel、SocketChannel、ByteBuffer、SelectionKey 等，相比于传统的 BIO 开发，NIO 的开发要复杂很多，开发出稳定、

基于Netty的客户端开发

Wed, 06 Mar 2024 12:01:00 +0000

相对于服务端，Netty 客户端的创建更加复杂，除了要考虑线程模型、异步连接、客户端连接超时等因素外，还需要对连接过程中的各种异常进行考虑。本章将对 Netty 客户端创建的关键流程和源码进行分析，以期读者能够了解客户端创建的细节。基于 Netty 创建客户端的流程分析 Netty 为了向使用者屏蔽 NIO 通信的底层细节，

TCP粘拆包问题及Netty中的解决方案

Wed, 06 Mar 2024 12:00:00 +0000

TCP 粘包/拆包熟悉 TCP 编程的都知道，无论是服务端还是客户端，当我们读取或者发送消息的时候，都需要考虑 TCP 底层的粘包/拆包机制。TCP 粘包/拆包问题，在功能测试时往往不会怎么出现，而一旦并发压力上来，或者发送大报文之后，就很容易出现粘包 / 拆包问题。如果代码没有考虑，往往就会出现解码错位或

Java序列化缺点与主流编解码框架

Wed, 06 Mar 2024 11:59:00 +0000

内存池之从内存池申请内存

Wed, 06 Mar 2024 11:58:00 +0000

该文所涉及的 netty 源码版本为 4.1.16。 Netty 内存池申请内存流程在通过 PooledByteBufAllocator 中向内存池中进行内存申请的时候，最先开始的步骤便是从 PooledByteBufAllocator 中一系列 PoolArena 数组中，选择其中一个 PoolArena 进行分配。这时将会从 PoolArena 数组中选取当前使用量最小的 PoolArena 与当前线程通过 ThreadLocal 进行绑定，之后涉及到内存申请将会直接从这个 PoolArena 进行获取，这个做法

内存池之PoolChunk设计与实现

Wed, 06 Mar 2024 11:57:00 +0000

该文所涉及的 netty 源码版本为 4.1.16。在一开始需要明确的几个概念在 Netty 的内存池的 PoolChunk 中，先要明确以下几个概念。 page: page 是 chunk 中所能申请到的最小内存单位。 chunk: 一个 chunk 是一组 page 的集合在 PoolChunk 中，chunkSize 的大小是 2^maxOrder * pageSize，其中 2^maxOrder 是 PoolChunk 中的完全二叉树叶子结点的数量，pageSize 则是

Recycler对象池原理分析

Wed, 06 Mar 2024 11:56:00 +0000

该文所涉及的 netty 源码版本为 4.1.6。 Netty 的对象池 Recycler 是什么 Recycler 是 Netty 中基于 ThreadLocal 的轻量化的对象池实现。既然是基于 ThreadLocal，那么就可以将其理解为当前线程在通过对象池 Recycler 得到一个对象之后，在回收对象的时候，不需要将其销毁，而是放回到该线程的对象池中即可，在该线程下一次用到该对象的时候

MpscLinkedQueue队列原理分析

Wed, 06 Mar 2024 11:55:00 +0000

该文所涉及的 netty 源码版本为 4.1.6。 MpscLinkedQueue 是什么在 Netty 的核心中的核心成员 NioEventLoop 中，其中任务队列的实现 taskQueue 便是 MpscLinkedQueue。MpscLinkedQueue 是 Netty 所实现的一个基于多生产者单消费者的无锁队列，针对 NioEventLoop 中任务队列的特点，其单消费者的场景在一开始就避免了从队列中取数据时加

HashedWheelTimer时间轮原理分析

Wed, 06 Mar 2024 11:54:00 +0000

该文所涉及的 Netty 源码版本为 4.1.6。 HashedWheelTimer 是什么 Netty 的时间轮 HashedWheelTimer 给出了一个粗略的定时器实现，之所以称之为粗略的实现是因为该时间轮并没有严格的准时执行定时任务，而是在每隔一个时间间隔之后的时间节点执行，并执行当前时间节点之前到期的定时任务。当然具体的定时任务的时间执行精度可以通过调节 HashedWheelTimer 构造

HashedWheelTimer&schedule

Wed, 06 Mar 2024 11:53:00 +0000

前言前段时间在给自己的玩具项目设计的时候就遇到了一个场景需要定时任务，于是就趁机了解了目前主流的一些定时任务方案，比如下面这些： Timer（halo 博客源码中用到了） ScheduledExecutorService ThreadPoolTaskScheduler（基于 ScheduledExecutorService） Netty 的 sch

FastThreadLocal源码分析

Wed, 06 Mar 2024 11:52:00 +0000

Netty 的 FastThreadLocal 源码解析该文中涉及到的 Netty 源码版本为 4.1.6。 Netty 的 FastThreadLocal 是什么 A special variant of ThreadLocal that yields higher access performance when accessed from a FastThreadLocalThread. Internally, a FastThreadLocal uses a constant index in an array, instead of using hash code and hash table, to look for a variable. Although seemingly very subtle, it yields slight performance advantage over using a hash table, and it is useful when accessed frequently. To take advantage of this thread-local variable, your thread must be a FastThreadLocalThread or its subtype. By default, all threads created by DefaultThreadFactory are FastThreadLocalThread due to this reason. Note that the fast path is only possible on threads that extend FastThreadLocalThread, because it requires a special field to

ByteBuf的内存泄漏原因与检测原理

Wed, 06 Mar 2024 11:51:00 +0000

该文所涉及的 netty 源码版本为 4.1.6。 Netty 中的 ByteBuf 为什么会发生内存泄漏在 Netty 中，ByetBuf 并不是只采用可达性分析来对 ByteBuf 底层的 byte[] 数组来进行垃圾回收，而同时采用引用计数法来进行回收，来保证堆外内存的准确时机的释放。在每个 ByteBuf 中都维护着一个 refCnt 用来对 ByteBuf 的被引用数进行记录，当 ByteBuf 的 retain() 方法被调用时，

基于自定义协议的Netty开发

Wed, 06 Mar 2024 11:50:00 +0000

基于自定义协议的Netty开发在某些情况下，我们需要基于TCP/IP协议栈开发自己的应用层协议，以满足特定的业务需求。在这篇博客中，我们将使用Netty开发一个基于自定义协议的客户端和服务器。 1. 环境准备首先，我们需要在项目中引入Netty的依赖。在Maven项目中，添加以下依赖：

基于WebSocket协议的Netty开发

Wed, 06 Mar 2024 11:49:00 +0000

基于WebSocket协议的Netty开发 WebSocket是一种在单个TCP连接上进行全双工通信的协议。在这篇博客中，我们将使用Netty开发一个基于WebSocket协议的实时聊天系统。 1. 环境准备首先，我们需要在项目中引入Netty的依赖。在Maven项目中，添加以下依赖： 1

基于HTTP协议的Netty开发

Wed, 06 Mar 2024 11:48:00 +0000

基于HTTP协议的Netty开发 Netty是一个高性能、易于使用的NIO客户端服务器框架，用于快速开发可维护的高性能协议服务器和客户端程序。在这篇博客中，我们将使用Netty开发一个基本的HTTP服务器。 1. 环境准备首先，我们需要在项目中引入Netty的依赖。在Maven项目中，添

Future和Promise组件

Wed, 06 Mar 2024 11:47:00 +0000

Netty 中的 Future 和 Promise 组件是用于处理异步操作结果的两个接口。Future 表示一个异步操作的结果，它可以用于检查操作是否完成、获取操作结果、取消操作等。Promise 是 Future 的子接口，它可以用于设置操作结果、通知操作完成等。以下是 Netty 中 Future 和 Promise 组件的部分代码，并添加了中文注释： 1 2 3 4 5 6 7 8 9 10 11

EventLoop组件

Wed, 06 Mar 2024 11:46:00 +0000

Netty 的线程模型 Netty 线程模型的设计，也是基于 Reactor 模型，尽管不同的 NIO 框架对于 Reactor 模式的实现存在差异，但本质上还是遵循了 Reactor 的基础线程模型。 Reactor 单线程模型 Reactor 单线程模型，是指所有的 I/O 操作都在同一个 NIO 线程上完成。NIO 线程的职责如下。作为 NIO 服务端，接收客户端的 TCP 连接；作为 NIO 客户端，向服务端发起 TCP 连接；

Channel和Unsafe组件

Wed, 06 Mar 2024 11:45:00 +0000

类似于 java.nio 包的 Channel，Netty 提供了自己的 Channel 和其子类实现，用于异步 I/O 操作等。Unsafe 是 Channel 的内部接口，聚合在 Channel 中协助进行网络读写相关的操作，因为它的设计初衷就是 Channel 的内部辅助类，不应该被 Netty 框架的上层使用者调用，所以被命名为 Unsafe。 Channel 组件 Netty 的 Channel 组件是 Netty 对网络操作的封装

ChannelPipeline和ChannelHandler组件

Wed, 06 Mar 2024 11:44:00 +0000

Netty 的 ChannelPipeline 和 ChannelHandler 机制类似于 Servlet 和 Filter 过滤器，这类拦截器实际上是职责链模式的一种变形，主要是为了方便事件的拦截和用户业务逻辑的定制。 Servlet Filter 能够以声明的方式（web.xml 配置文件）插入到 HTTP 请求响应的处理过程中，用于拦截请求和响应，以便能够查看、提取或以某种方式操作正在客户端和服务器之间交换的数

ByteBuf组件

Wed, 06 Mar 2024 11:43:00 +0000

Netty 中的 ByteBuf 组件是一个高性能的字节缓冲区，它可以用于网络通信、文件 IO 等场景。ByteBuf 的实现基于 Netty 的内存管理机制，可以有效地减少内存拷贝和内存分配的开销。以下是 Netty 中 ByteBuf 组件的部分代码，并添加了中文注释： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

详解selector、poll和epoll

Wed, 06 Mar 2024 11:42:00 +0000

Netty 是一个高性能、异步事件驱动的网络应用程序框架，它使用了 NIO 技术来提供高性能的网络通信。在 NIO 中，有三种常用的多路复用器（Multiplexor）：Selector、Poll 和 Epoll。这些多路复用器可以同时监听多个网络连接的 IO 事件，从而提高网络通信的效率。 Selector Selector 是 Java NIO 中的一种多路复

把被说烂的BIO、NIO、AIO再从头到尾扯一遍

Wed, 06 Mar 2024 11:41:00 +0000

网上关于各种 IO 的博文已经多到飞起，如果你是大神，可以跳过我这个菜鸟的拙文，本博文没有什么特别 NB 的东西，只是集百家之长，并且以自己感到简单舒适的方式输出自己的理解，及学习过程中的经验。 IO 及基本概念 1、流的概念和作用流：代表任何有能力产出数据的数据源对象或者是有能力接受数据的接收端对

四种IO编程及对比

Wed, 06 Mar 2024 11:40:00 +0000

传统的 BIO 编程网络编程的基本模型是 Client/Server 模型，也就是两个进程之间进行相互通信，其中服务端提供位置信息(绑定的 IP 地址和监听端口)，客户端通过连接操作向服务端监听的地址发起连接请求，通过三次握手建立连接，如果连接建立成功，双方就可以通过网络套接字(Socket) 进行通信。在基于传统同步阻塞

Selector、SelectionKey及Channel组件

Wed, 06 Mar 2024 11:39:00 +0000

Selector、SelectionKey 和 Channel 这三个组件构成了 Java nio 包的核心，也是 Reactor 模型在代码层面的体现。Selector 能让单线程同时处理多个客户端 Channel，非常适用于高并发，传输数据量较小的场景。要使用 Selector，首先要将对应的 Channel 及 IO 事件（读、写、连接）注册到 Sel

IO模型

Wed, 06 Mar 2024 11:38:00 +0000

Linux 网络 IO 模型简介 Linux 的内核将所有外部设备都看做一个文件来操作，对一个文件的读写操作会调用内核提供的系统命令，返回一个 fd (file descriptor，文件描述符)。而对一个 socket 的读写也会有相应的描述符，称为 socket fd (socket 描述符)，描述符就是一个数字，它指向内核中的一个结构体(文件路径，数据区等一些属

Netty高性能之道

Wed, 06 Mar 2024 11:37:00 +0000

作为一个高性能的 NIO 通信框架，Netty 被广泛应用于大数据处理、互联网消息中间件、游戏和金融行业等。大多数应用场景对底层的通信框架都有很高的性能要求，作为综合性能最高的 NIO 框架之一，Netty 可以完全满足不同领域对高性能通信的需求。本章我们将从架构层对 Netty 的高性能设计和关键代码实现进行

Netty高可靠性设计

Wed, 06 Mar 2024 11:36:00 +0000

简介 Netty 是一个高性能的 NIO 客户端服务器框架，它用于快速开发可维护的高性能协议服务器和客户端程序，例如协议服务器、文件服务器、代理服务器等。Netty 在设计上强调了可扩展性、可复用性和高性能，是一个非常优秀的网络应用程序开发框架。下面，我们将介绍 Netty 的一些高级特性和高可靠性设计。高级特性

Netty架构设计

Wed, 06 Mar 2024 11:35:00 +0000

本博文用于重点分析 Netty 的逻辑架构及关键的架构质量属性，希望有助于大家从 Netty 的架构设计中汲取营养，设计出高性能、高可靠性和可扩展的程序。 Netty 的三层架构设计 Netty 采用了典型的三层网络架构进行设计和开发，其逻辑架构图如下所示。通信调度层 Reactor 它由一系列辅助类完成，包括 Reactor 线程 NioEventLoop 及其父类，NioSock

Mybats-GenericTokenParser

Wed, 06 Mar 2024 11:34:00 +0000

GenericTokenParser Author: HuiFer 源码阅读工程: SourceHot-Mybatis 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 /** * Copyright 2009-2019 the original author or authors. * <p> * Licensed under the

Mybatis-SqlCommand

Wed, 06 Mar 2024 11:33:00 +0000

sqlCommand Author: HuiFer Description: 该文介绍 mybatis sqlCommand 类的源码源码阅读工程: SourceHot-Mybatis org.apache.ibatis.binding.MapperMethod.SqlCommand 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 /** * 核心内容: sql id , Sql 类型 */ public static class SqlCommand { /** * sql id */ private final String name; /** * sql 类型

Mybatis-ParamNameResolver

Wed, 06 Mar 2024 11:32:00 +0000

ParamNameResolver 源码解析 Author: HuiFer Description: 该文介绍 mybatis @Param 注解和ParamNameResolver 源码阅读工程: SourceHot-Mybatis 源码 org.apache.ibatis.reflection.ParamNameResolver 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95

Mybatis-ObjectWrapper

Wed, 06 Mar 2024 11:31:00 +0000

Mybatis ObjectWrapper Author: HuiFer 源码阅读工程: SourceHot-Mybatis 源码位于: org.apache.ibatis.reflection.wrapper.ObjectWrapper‘ 类图： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69

Mybatis-MethodSignature

Wed, 06 Mar 2024 11:30:00 +0000

MethodSignature Author: HuiFer Description: 该文介绍 mybatis MethodSignature 类源码阅读工程: SourceHot-Mybatis org.apache.ibatis.binding.MapperMethod.MethodSignature 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120

Mybatis-MetaObject

Wed, 06 Mar 2024 11:29:00 +0000

Mybatis MetaObject Author: HuiFer 源码阅读工程: SourceHot-Mybatis 源码位于:org.apache.ibatis.reflection.MetaObject 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84

Mybatis-MapperMethod

Wed, 06 Mar 2024 11:28:00 +0000

MapperMethod Author: HuiFer Description: 该文介绍 mybatis MapperMethod 源码源码地址: org.apache.ibatis.binding.MapperMethod,核心方法是execute 源码阅读工程: SourceHot-Mybatis 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 /** * CRUD 不同的执行

Mybatis-DyanmicSqlSourcce

Wed, 06 Mar 2024 11:27:00 +0000

Mybatis DyanmicSqlSourcce Author: HuiFer 源码阅读工程: SourceHot-Mybatis org.apache.ibatis.scripting.xmltags.DynamicSqlSource org.apache.ibatis.scripting.xmltags.DynamicContext.DynamicContext 1 2 3 4 5 6 7 8 9 <select id="list" resultType="com.huifer.mybatis.entity.HsSell"> select * from hs_sell <trim prefix="WHERE" prefixOverrides="AND |OR"> <if test="ID != null"> and ID = #{ID,jdbcType=INTEGER} </if> </trim> </select> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 public class MixedSqlNode implements SqlNode { private final List<SqlNode> contents; public MixedSqlNode(List<SqlNode> contents) { this.contents = contents; } @Override public boolean apply(DynamicContext context) { // 调用 salNode 对象本身的 apply 方法解析 sql contents.forEach(node -> node.apply(context)); return true; } } 根据 mapper.xml 文件中的代码流程需要走 org.apache.ibatis.scripting.xmltags.StaticTextSqlNode#apply org.apache.ibatis.scripting.xmltags.TrimSqlNode#apply org.apache.ibatis.scripting.xmltags.IfSqlNode#apply 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Mybatis-DataSource

Wed, 06 Mar 2024 11:26:00 +0000

Mybatis DataSource Author: HuiFer Description: 该文介绍 mybatis DataSource 源码源码阅读工程: SourceHot-Mybatis org.apache.ibatis.datasource.DataSourceFactory 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 /** * 数据源工厂 * @author Clinton Begin */ public interface DataSourceFactory { /** * 设置 dataSource 属性 * @param props */ void setProperties(Properties props); /** * 获取 dataSource * @return {@link DataSource} */ DataSource getDataSource(); } 类图如下 setProperties会将下列标签放入datasource中 1 2 3 4 5 6 <dataSource type="POOLED"> <property name="driver" value="com.mysql.jdbc.Driver"/> <property name="url" value="jdbc:mysql://localhost:3306/mybatis?useSSL=false"/> <property name="username" value="mybatis"/> <property name="password" value="mybatis"/>

Mybatis-Cursor

Wed, 06 Mar 2024 11:25:00 +0000

Mybatis Cursor Author: HuiFer Description: 该文介绍 mybatis Cursor 源码源码阅读工程: SourceHot-Mybatis Cursor 源码位置:org.apache.ibatis.cursor.Cursor 继承Iterable说明是一个迭代器,继承Closeable说明有一个东西需要关闭 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 public interface Cursor<T> extends Closeable, Iterable<T> { /** * 游标开始从数据库

Mybatis-Alias

Wed, 06 Mar 2024 11:24:00 +0000

Mybatis Alias Author: HuiFer Description: 该文介绍 mybatis Alias 源码源码阅读工程: SourceHot-Mybatis 源码位置 :org.apache.ibatis.type.Alias 与 Alias 相关的一个方法org.apache.ibatis.type.TypeAliasRegistry.registerAlias(java.lang.String, java.lang.Class<?>)(别名注册) 1 2

6、SqlSession组件

Wed, 06 Mar 2024 11:23:00 +0000

SqlSession 是 MyBatis 核心接口之一，也是 MyBatis 接口层的主要组成部分，对外提供 MyBatis 常用的 API。mybatis 提供了两个 SqlSession 接口的实现，分别为 DefaultSqlSession、SqlSessionManager，其中最常用的是 DefaultSqlSession。另外，跟前面分析过的源码 mybatis 的源码一样，my

5、Executor组件

Wed, 06 Mar 2024 11:22:00 +0000

Executor 是 MyBatis 的核心接口之一，其中定义了数据库操作的基本方法。在实际应用中经常涉及的 SqISession 接口的功能，都是基于 Executor 接口实现的。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 public interface Executor { ResultHandler NO_RESULT_HANDLER = null; // 执行update、insert、delete三种类型的SQL语句

4、StatementHandler

Wed, 06 Mar 2024 11:21:00 +0000

StatementHandler 接口是 MyBatis 的核心接口之一，它完成了 MyBatis 中最核心的工作，也是 Executor 接口实现的基础。 StatementHandler 接口中的功能很多，例如创建 Statement 对象，为 SQL 语句绑定实参，执行 select、insert、update、delete 等多种类型的 SQL 语句，批量执行 SQL 语句，将结果集映射成结果对象。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

3、ResultSetHandler

Wed, 06 Mar 2024 11:20:00 +0000

ResultSetHandler 是 MyBatis 中用来处理 JDBC ResultSet 对象的接口。ResultSetHandler 的作用是将 ResultSet 对象转化为用户需要的形式，例如 POJO、Map 或者是自定义的对象。ResultSetHandler 是 MyBatis 中非常重要的一个组件，它负责将数据库查询结果转化为用户需要的 Java 对象。在 MyBatis 中，每次执行数据库查询操作时，

2、SqlNode和SqlSource

Wed, 06 Mar 2024 11:19:00 +0000

MyBatis 是一个优秀的基于 Java 的持久层框架，它使用 XML 或注解来配置和映射原生信息，将接口和 Java 的 POJO(Plain Old Java Objects,普通的 Java 对象)映射成数据库中的记录。在 MyBatis 中，SqlNode 和 SqlSource 是核心处理层的两个重要组件。 SqlNode：SqlNode 是 MyBatis 中用来表示一个 SQL 语句片段的接口。它可以是静态的 SQL 语句

1、MyBatis初始化

Wed, 06 Mar 2024 11:18:00 +0000

和 Spring 框架的 IoC 容器初始化一样，Mybatis 也会通过定位、解析相应的配置文件完成自己的初始化。Mybatis 的配置文件主要有 mybatis-config.xml 核心配置文件及一系列映射配置文件，另外，Mybatis 也会根据注解进行配置。 1 BaseBuilder Mybatis 初始化的主要内容是加载并解析 mybatis-config.xml 配置文件、映射配置文件以及相关的注解信息。M

Mybatis-log

Wed, 06 Mar 2024 11:17:00 +0000

mybatis 日志源码 Author: HuiFer Description: 该文介绍 mybatis 日志相关源码源码阅读工程: SourceHot-Mybatis 核心类 org.apache.ibatis.logging.Log org.apache.ibatis.logging.LogFactory 多个日志实现 org.apache.ibatis.logging.log4j2.Log4j2Impl org.apache.ibatis.logging.slf4j.Slf4jLocationAwareLoggerImpl … 源码流程 mybatis 提供了一个日志接口,内容如下. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 /** * mybatis 的日志接口,提供日志级别 * <ol> * <li>error</li> * <li>debug</li> * <li>trace</li> * <li>warn</li> * </ol> * <p>通过自己定义的接口来实现各大日

Mybatis-Reflector

Wed, 06 Mar 2024 11:16:00 +0000

mybatis 反射 Author: HuiFer Description: 该文介绍 mybatis 反射相关类的源码源码阅读工程: SourceHot-Mybatis addDefaultConstructor mybatis 的反射相关内容在org.apache.ibatis.reflection 下存放. 本片主要讲解org.apache.ibatis.reflection.Reflector类, 先看一下该类的属性 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Mybatis-Cache

Wed, 06 Mar 2024 11:15:00 +0000

mybatis 缓存 Author: HuiFer Description: 该文介绍 mybatis Cache 源码源码阅读工程: SourceHot-Mybatis org.apache.ibatis.cache.Cache 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 public interface Cache { String getId(); /** * 放入数据 */ void putObject(Object key, Object value); /** * 获取数据 */ Object getObject(Object key); /** * 移除数据 */ Object removeObject(Object key); /** * 清空数据 */ void clear(); /** * 有多少缓存数据 */ int getSize(); /** * 重入锁 * @return A ReadWriteLock */ default ReadWriteLock getReadWriteLock() { return null; } } BlockingCache: 阻

4、缓存模块

Wed, 06 Mar 2024 11:14:00 +0000

MyBatis 中的缓存分为一级缓存、二级缓存，但在本质上是相同的，它们使用的都是 Cache 接口的实现。MyBatis 缓存模块的设计，使用了装饰器模式，这里不对此进行过多解析，以后会专门开一篇博文分析常用框架中使用到的设计模式。 1 Cache 组件 MyBatis 中缓存模块相关的代码位于 org.apache.ibatis.cache 包下，其中 Cache 接口是缓存模块中最核心的接

3、binding模块

Wed, 06 Mar 2024 11:13:00 +0000

binding 模块主要为了解决一个历史遗留问题，原先查询一个 VO 对象时需要调用 SqlSession.queryForObject(“selectXXVOById”, primaryKey)方法，执行指定的 sql 语句，第一个参数 selectXXVOById 指定了执行的 sql 语句 id，如果我们不小心写错了参数，Mybatis 是无法在

2、DataSource及Transaction模块

Wed, 06 Mar 2024 11:12:00 +0000

在数据持久层，数据源和事务是两个非常重要的组件，对数据持久层的影响很大，在实际开发中，一般会使用 Mybatis 集成第三方数据源组件，如：c3p0、Druid，另外，Mybatis 也提供了自己的数据库连接池实现，本文会通过 Mybatis 的源码实现来了解数据库连接池的设计。而事务方面，一般使用 Spring 进行事务的管

1、反射工具箱和TypeHandler系列

Wed, 06 Mar 2024 11:11:00 +0000

在 Mybatis 的基础支持层主要看一下支撑 ORM 实现的底层代码。 1 反射工具包 1.1Reflector Reflector 类主要实现了对 JavaBean 的元数据属性的封装，比如：可读属性列表，可写属性列表；及反射操作的封装，如：属性对应的 setter 方法，getter 方法的反射调用。源码实现如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

初级开发者应该从spring源码中学什么

Wed, 06 Mar 2024 11:10:00 +0000

作为一名初入职场的开发者，最开始是在逛 B 站刷视频时看到的一个 Spring 源码阅读解析，当时作为一个只知道 SSH 和 CRUD 的 boy，看完后心里就两个词儿“卧槽！牛 B 啊！”而且在去年秋招面试阿里时几乎每次都会被面试官问道“有阅读过什么开源框架吗？”每次我都只能一脸便秘的“嗯…，呃…，啊…，木得…”。这在

一个程序员的自我修养

Wed, 06 Mar 2024 11:09:00 +0000

本文用于总结《阿里 Java 开发手册》、《用友技术 review 手册》及个人 Java 开发工作经验，并结合这半年来的源码阅读经验进行编写。回顾那些写过的和读过的代码，回顾自己。第一章基础编码规范 1.1 命名规范代码中的命名均不能以下划线或美元符号开始，也不能以下划线或美元符号结束。 tips：JDK 动态代理生成的代

从框架源码中学习设计模式的感悟

Wed, 06 Mar 2024 11:08:00 +0000

从框架源码中学习设计模式是一种非常有效的学习方式，可以帮助我们更好地理解设计模式的应用场景和实现方式。以 Spring 框架为例，它是一个非常成熟的 Java 框架，里面广泛应用了各种设计模式。在学习 Spring 框架源码的过程中，我们可以得到以下一些感悟：单例模式是 Spring 框架中最常用的设计模式之一。Spring 框架中

从Spring及Mybatis框架源码中学习设计模式(行为型)

Wed, 06 Mar 2024 11:07:00 +0000

设计模式是解决问题的方案，从大神的代码中学习对设计模式的使用，可以有效提升个人编码及设计代码的能力。本系列博文用于总结阅读过的框架源码（Spring 系列、Mybatis）及 JDK 源码中所使用过的设计模式，并结合个人工作经验，重新理解设计模式。本篇博文主要看一下行为型的几个设计模式，即

从Spring及Mybatis框架源码中学习设计模式(结构型)

Wed, 06 Mar 2024 11:06:00 +0000

设计模式是解决问题的方案，从大神的代码中学习对设计模式的使用，可以有效提升个人编码及设计代码的能力。本系列博文用于总结阅读过的框架源码（Spring 系列、Mybatis）及 JDK 源码中所使用过的设计模式，并结合个人工作经验，重新理解设计模式。本篇博文主要看一下结构型的几个设计模式，即

从Spring及Mybatis框架源码中学习设计模式(创建型)

Wed, 06 Mar 2024 11:05:00 +0000

设计模式是解决问题的方案，从大神的代码中学习对设计模式的使用，可以有效提升个人编码及设计代码的能力。本系列博文用于总结阅读过的框架源码（Spring 系列、Mybatis）及 JDK 源码中所使用过的设计模式，并结合个人工作经验，重新理解设计模式。本篇博文主要看一下创建型的几个设计模式，即

Java并发编程在各主流框架中的应用

Wed, 06 Mar 2024 11:04:00 +0000

Spring、Netty、Mybatis 等框架的代码中大量运用了 Java 多线程编程技巧。并发编程处理的恰当与否，将直接影响架构的性能。本章通过对这些框架源码的分析，结合并发编程的常用技巧，来讲解多线程编程在这些主流框架中的应用。 Java 内存模型 JVM 规范定义了 Java 内存模型来屏蔽掉各种操作系统、虚拟

详解AbstractQueuedSynchronizer

Wed, 06 Mar 2024 11:03:00 +0000

简介 AbstractQueuedSynchronizer 是 Doug Lea 大师创作的用来构建锁或者其他同步组件的基础框架类。J.U.C 中许多锁和并发工具类的核心实现都依赖于 AQS，如：ReentrantLock、ReentrantReadWriteLock、Semaphore、CountDownLatch 等。 AQS 的源码中方法很多，但主要做了三

Semaphore

Wed, 06 Mar 2024 11:02:00 +0000

Semaphore 信号量，可用于控制一定时间内，并发执行的线程数，基于 AQS 实现。可应用于网关限流、资源限制 (如最大可发起连接数)。由于 release() 释放许可时，未对释放许可数做限制，所以可以通过该方法增加总的许可数量。获取许可支持公平和非公平模式，默认非公平模式。公平模式无论是否有许可，都会先判断是否有线程在

Lock锁组件

Wed, 06 Mar 2024 11:01:00 +0000

类图结构 J.U.C 的锁组件中类相对较少，从 JDK 相应的包中也能看出来，下图标记了其中最主要的几个接口和类，也是本文要分析的重点。下图将这几个接口和类以类图的方式展现出来，其中包含了它们所声明的主要方法。 Lock 组件 Lock 组件的结构很简单，只有一个接口和一个实现类，源码如下。 1 2 3 4 5 6 7 8 9 10 11 12 13 14

JUC并发包UML全量类图

Wed, 06 Mar 2024 11:00:00 +0000

利用 IDEA 整理类图还是蛮不错的，虽然这个功能 BUG 很多。下图是 J.U.C 并发包中所有类组成的类图，源码看多了再去整理这个图，感觉还是很爽的。根据功能，主要划分了六个部分，其中比较重要的是：线程池及其相关类、并发容器、AQS 与锁与同步工具类、原子类。图可能整理的不够细致，但看着这些类，回想一下其中

Executor线程池组件

Wed, 06 Mar 2024 10:59:00 +0000

线程池核心组件图解看源码之前，先了解一下该组件最主要的几个接口、抽象类和实现类的结构关系。该组件中，Executor 和 ExecutorService 接口定义了线程池最核心的几个方法，提交任务 submit ()、关闭线程池 shutdown()。抽象类 AbstractExecutorService 主要对公共行为 submit()系列方法进行了实现，这些 submit()

TreeSet

Wed, 06 Mar 2024 10:58:00 +0000

TreeSet 是 Java 中实现有序集合的一个类，它基于红黑树实现，可以保证集合中的元素按照自然顺序或自定义顺序排序。在本文中，我们将详细介绍 TreeSet 的实现原理，并结合源码和示例代码进行解释。 TreeSet 的底层数据结构 TreeSet 的底层数据结构是红黑树，红黑树是一种自平衡二叉搜索树，它可以保证在插入、删除和查找元素时，时间复

LinkedList

Wed, 06 Mar 2024 10:57:00 +0000

LinkedList LinkedList 是 Java 中实现双向链表的一个类，它实现了 List 接口和 Deque 接口。LinkedList 可以用作栈、队列和双端队列。在本文中，我们将详细介绍 LinkedList 的实现原理，并结合源码和示例代码进行解释。 LinkedList 的结点 LinkedList 的结点是一个静态内部类 Node，它包含三个属性：item 表示结点存储的元素，next 表示下一个结点

LinkedHashMap

Wed, 06 Mar 2024 10:56:00 +0000

HashMap 大家都清楚，底层是数组 + (链表 / 红黑树)，元素是无序的，而 LinkedHashMap 则比 HashMap 多了这一个功能，并且，LinkedHashMap 的有序可以按两种顺序排列，一种是按照插入的顺序，一种是按照访问的顺序（初始化 LinkedHashMap 对象时设置 accessOrder 参数为 true），而其内部是靠建立一个双向链表来维护这个顺序的，在每次插入

HashSet

Wed, 06 Mar 2024 10:55:00 +0000

HashSet 本身并没有什么特别的东西，它提供的所有集合核心功能，都是基于 HashMap 来实现的。如果了解 HashMap 源码的实现，HashSet 源码看起来跟玩一样。我的博客中有专门分析 HashMap 源码的文章，不熟悉的请自行翻阅。 HashSet 的特点如下：内部使用 HashMap 的 key 存储元素，以此来保证元素不重复； HashSet 是无序的，因为 HashMap 的 key 是无序的； HashSet 中

HashMap

Wed, 06 Mar 2024 10:54:00 +0000

作为工作中最重要、最常用的容器之一，当然还是要自己动手写一篇 HashMap 的源码解析来加深对其的印象咯，而且它的设计与实现也有很多值得学习的地方。源码赏析 JDK1.8 的 HashMap 底层使用的是动态数组，数组中元素存放的是链表或红黑树。核心源码如下。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

ConcurrentHashMap

Wed, 06 Mar 2024 10:53:00 +0000

HashMap 源码中主要了解其核心源码及实现逻辑。ConcurrentHashMap 就不再重复那些数据结构相关的内容咯，这里重点看一下它的并发安全实现。源码如下。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65

ArrayList

Wed, 06 Mar 2024 10:52:00 +0000

一文直接带你吃透 ArrayList ArrayList 是日常开发中相当常见、面试也相当常考的一种 JDK 集合类，了解并熟悉、甚至能实现一个 ArrayList 对面试、提升自己编码功底大有益处。一、写给小白 ArrayList 简单使用技巧这部分是 ArrayList 的简单使用技巧，主要是介绍 ArrayList 的几个常见方法。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 /**

ThreadLocal

Wed, 06 Mar 2024 10:51:00 +0000

前面我们分析了 Thread 类的源码，有了前面的铺垫，通过源码理解 ThreadLocal 的秘密就容易多了。 ThreadLocal 类提供了 get/set 线程局部变量的实现，ThreadLocal 成员变量与正常的成员变量不同，每个线程都可以通过 ThreadLocal 成员变量 get/set 自己的专属值。ThreadLocal 实例通常是类中的私有静态变量，常用于将状态与线程关联，例

Thread

Wed, 06 Mar 2024 10:50:00 +0000

本来想看 ThreadLocal 的源码的，但发现其中最重要的 get/set 方法都是操纵的 Thread 类中的 threadLocals 变量 (java.lang.ThreadLocal.ThreadLocalMap)，索性先来看一下 Thread 的源码吧，可以留意一下其中与 ThreadLocal 相关的属性，这样下次阅读 ThreadLocal 的核心 API 时，就能够轻易理解其原理咯。不多 BB，直接上硬菜。实现

String

Wed, 06 Mar 2024 10:49:00 +0000

String 的源码大家应该都能看懂，这里就不一一分析咯，重点讲一下 equals()和 hashcode()方法，然后看一下 String 类常用方法的实现，就当一起温习一下咯。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65

基于Netty实现远程通信

Wed, 06 Mar 2024 10:48:00 +0000

Dubbo Remote 支持多种传输协议，其中之一就是基于 Netty 的远程通信。在 Dubbo Remote 中，基于 Netty 的远程通信是通过 NettyServer 和 NettyClient 两个实现类来完成的。以下是 Dubbo Remote 中基于 Netty 的远程通信的工作原理：服务提供方在启动时创建 NettyServer 对象，并绑定到指定的端口上。服务提供方在 NettyServer 上注册服务处理器，用于处理客户端的请求。服务消费方在调用服务时创

基于HTTP实现远程通信

Wed, 06 Mar 2024 10:47:00 +0000

Dubbo Remote 支持多种传输协议，其中之一就是基于 HTTP 的远程通信。在 Dubbo Remote 中，基于 HTTP 的远程通信是通过 HttpServer 和 HttpClient 两个实现类来完成的。以下是 Dubbo Remote 中基于 HTTP 的远程通信的工作原理：服务提供方在启动时创建 HttpServer 对象，并绑定到指定的端口上。服务提供方在 HttpServer 上注册服务处理器，用于处理客户端的请求。服务消费方在调用服务时创

Transport组件

Wed, 06 Mar 2024 10:46:00 +0000

Dubbo Remote Transport 是 Dubbo 远程通信的基础组件，它提供了基于各种传输协议的通信能力，如 TCP、HTTP 等。Dubbo Remote Transport 的主要作用是负责建立和维护客户端和服务端之间的连接，并进行数据的发送和接收。 Dubbo Remote Transport 的核心接口是 Transporter，它定义了传输协议需要实现的方法，包括创建服务器、连接客户端和

Exchange组件

Wed, 06 Mar 2024 10:45:00 +0000

Exchange组件 Dubbo Remote Exchange 是一个基于 Dubbo 框架的远程通信组件，它提供了一系列的远程通信协议和序列化协议，用于实现微服务之间的通信和数据交换。 Dubbo Remote Exchange 支持多种通信协议，包括 Dubbo 协议、HTTP 协议、WebSocket 协议等，用户可以根据自己的需求选择不同的协议进行通信。同时，Dubbo Remote Exchange 还

Dubbo远程通信模块简析

Wed, 06 Mar 2024 10:44:00 +0000

dubbo-remoting 模块整体结构设计服务治理框架大致可分为 “服务通信” 和 “服务管理” 两部分，前面我们分析了有关注册中心的源码，也就是服务管理，接下来要分析的就是跟服务通信有关的源码，也就是远程通讯模块。该模块中提供了多种客户端和服务端通信的功能，而在对 NIO 框架选型上，dubbo 交由用户选择，它集成了

Buffer组件

Wed, 06 Mar 2024 10:43:00 +0000

Buffer 序列化和反序列化 Dubbo 是一个高性能、轻量级的开源 Java RPC 框架，它提供了许多组件来帮助开发者实现分布式服务调用。其中，Dubbo 的远程通信模块使用了 Netty 作为网络通信框架，而 Netty 中的 Buffer 组件则是 Dubbo 远程通信中非常重要的一个部分。在 Dubbo 中，Buffer 组件主要用于数据的序列化和反序列化。当客户端发送请

注册中心的Zookeeper实现

Wed, 06 Mar 2024 10:42:00 +0000

Dubbo 的注册中心虽然提供了多种实现，但生产上的事实标准基本上都是基于 Zookeeper 实现的。这种注册中心的实现方法也是 Dubbo 最为推荐的。为了易于理解 Zookeeper 在 Dubbo 中的应用，我们先简单看一下 zookeeper。由于 Dubbo 是一个分布式 RPC 开源框架，各服务之间单独部署，往往会出现资源之间数据不一致的问题，比如：某一个服务

Dubbo注册中心模块简析

Wed, 06 Mar 2024 10:41:00 +0000

注册中心在 Dubbo 中的作用服务治理框架可以大致分为服务通信和服务管理两部分，服务管理可以分为服务注册、服务订阅以及服务发现，服务提供者 Provider 会往注册中心注册服务，而消费者 Consumer 会从注册中心中订阅自己关注的服务，并在关注的服务发生变更时得到注册中心的通知。Provider、Consumer 以及 Registry

集群容错

Wed, 06 Mar 2024 10:40:00 +0000

Dubbo 是一款高性能、轻量级的开源 Java RPC 框架，它提供了三种集群模式：失败转移、失败重试和负载均衡，以及多种容错策略：失败重试、失败快速失败、降级和熔断等。本文将详细介绍 Dubbo 集群容错的重点和方案。重点：集群模式：Dubbo 提供了三种集群模式，分别是失败转移、失败重试和负载均衡。其中，失败转移

负载均衡

Wed, 06 Mar 2024 10:39:00 +0000

Dubbo 负载均衡简介负载均衡，无论在常用的中间件及框架中，还是现实生活中，都有所体现。比如，一个团队干活，老大肯定要尽可能把任务均匀合理地分下去，让整个团队能高速运转，能力强的多分点，能力弱的少分点，绝对不能去逮着一个人让他累到死，让其它人闲着。这样的均匀分配任务及压力的思想放在开发领

mock与服务降级

Wed, 06 Mar 2024 10:38:00 +0000

Dubbo Mock 和服务降级是两个不同的概念，但都是用来处理分布式系统中服务调用异常的手段。 Dubbo Mock：Mock 是一种模拟服务的实现方式，当某个服务出现问题或者网络延迟等情况时，消费方可以通过 Mock 来模拟提供方的服务，返回一个默认的或者自定义的结果，以保证消费方的正常运行。Dubbo 中提供了两种 Mock

Dubbo集群模块简析

Wed, 06 Mar 2024 10:37:00 +0000

集群模块简介集群，是指同一个服务被部署在了多个服务器上，每个服务器的任务都相同，能够以较高的性价比，提升系统的性能、可靠性、灵活性，但同时也要面对集群中会出现的负载均衡、容错等问题。dubbo 的集群模块，主要涉及以下几部分内容。负载均衡策略：dubbo 支持的所有负载均衡策略算法；

Dubbo整体架构

Wed, 06 Mar 2024 10:36:00 +0000

项目结构首先从 GitHub 上 clone 下来 Dubbo 项目，我们根据其中各子项目的项目名，也能大概猜出来各个模块的作用。 dubbo-common 公共逻辑子项目，定义了各子项目中通用的组件和工具类，如：IO、日志、配置处理等。 dubbo-rpc 分布式协调服务框架的核心，该模块定义了 RPC 相关的组件，包括服务发布、服务调用代理、远程调用结果、RPC 调用

Dubbo与Java的SPI机制

Wed, 06 Mar 2024 10:35:00 +0000

JDK 的 SPI 思想 SPI，即 Service Provider Interface。在面向对象的设计里面，模块之间推荐基于接口编程，而不是对实现类进行硬编码，这样做也是为了模块设计的可插拔原则。比较典型的应用，如 JDBC，Java 定义了一套 JDBC 的接口，但是 Java 本身并不提供对 JDBC 的实现类，而是开发者根据项目实际使用的数据库来选

RPC模块简析

Wed, 06 Mar 2024 10:34:00 +0000

Dubbo RPC 框架是一个高性能、轻量级的 Java RPC 框架，它提供了一套完整的远程过程调用解决方案。Dubbo RPC 框架由多个模块组成，其中 RPC 模块是其核心模块之一，负责实现远程过程调用的核心功能。以下是 Dubbo RPC 中 RPC 模块的相关内容： RPC 模块的组成 Dubbo RPC 中的 RPC 模块主要包含了以下几个组件： Protocol：协议组件，

Proxy组件

Wed, 06 Mar 2024 10:33:00 +0000

Dubbo RPC 框架中的 Proxy 组件是其核心组件之一，它负责创建服务消费者的代理对象，并通过代理对象将请求发送给服务提供者。Proxy 组件使用了动态代理技术，通过 JDK 动态代理或 CGLIB 动态代理创建服务消费者的代理对象。以下是 Dubbo RPC 中 Proxy 组件的相关内容： Proxy 接口 Proxy 接口是 Dubbo RPC 中的核心接口之一，它定义了 Dubbo RPC 中的代理对

Protocol组件

Wed, 06 Mar 2024 10:32:00 +0000

Dubbo RPC 框架中的 Protocol 组件是其核心组件之一，它负责实现远程通信的协议栈。Protocol 组件包含了 Dubbo RPC 框架中的各种协议实现，如 Dubbo 协议、Hessian 协议、HTTP 协议等。以下是 Dubbo RPC 中 Protocol 组件的相关内容： Protocol 接口 Protocol 接口是 Dubbo RPC 中的核心接口之一，它定义了 Dubbo RPC 中的协议栈应该具有的功能。Protoco

Hessian协议

Wed, 06 Mar 2024 10:31:00 +0000

Dubbo RPC 框架支持多种序列化协议，其中 Hessian 协议是其默认的序列化协议之一。Hessian 协议是一种二进制序列化协议，它具有高性能和低延迟的特点，因此在 Dubbo 中被广泛使用。以下是 Dubbo RPC 中 Hessian 协议的相关内容： Hessian 序列化协议 Hessian 协议是一种二进制序列化协议，它可以将 Java 对象序列化为二进制数据，并将二进制数据反序

Dubbo协议

Wed, 06 Mar 2024 10:30:00 +0000

Dubbo协议 Dubbo 是一种高性能、轻量级的开源 Java RPC 框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。 Dubbo 使用协议是基于长连接和短连接的，支持多种序列化协议，如 Hessian2、Java、JSON 等。其中，Dubbo 默认使用的是 Hessian2 序列化协议，

谈一下你对DDD的理解

Tue, 05 Mar 2024 15:14:05 +0800

DDD(Domain Driven Design)理解领域驱动设计(简称 DDD )历史悠久。 2004年著名建模专家eric evans（埃里克埃文斯）发表的他最具影响力的书籍: 《domain-driven design –tackling complexity in the heart of software》(中文译名：领域驱动设计—软件核心复杂性应对之道)一书。标志着 DDD 这种

PicGo发布2.3.1

Tue, 05 Mar 2024 09:34:46 +0800

经过漫长的 beta 版本测试，终于可以迎来 2.3.1 正式版。感谢在beta版本测试期间积极使用并反馈 issue 提出建议的朋友们！ Feature 新增：macOS arm64 构建版本。如果是intel机型请下载 x64 版本。详情：#654 新增：重命名窗口现在点击取消之后，会使用原始文件名，参考 #791 新增：「使用内置剪贴板上传」功能，可以用

UX 设计：手机型号和尺寸

Wed, 27 Dec 2023 22:14:35 +0800

苹果手机 iPhone手机屏幕尺寸大全设备名称操作系统尺寸 in PPI 纵横比宽 x 高 dp 宽 x 高 px 密度 dpi iPhone 15 Pro Max iOS 6.7 460 19 : 9 430 x 932 1290 x 2796 3.0 xxhdpi iPhone 15 Pro iOS 6.1 460 19 : 9 393 x 852 1179 x 2556 3.0 xxhdpi iPhone 15 Plus iOS 6.7 460 19 : 9 430 x 932 1290 x 2796 3.0 xxhdpi iPhone 15 iOS 6.1 460 19 : 9 393 x 852 1179 x 2556 3.0 xxhdpi iPhone 14 Pro Max iOS 6.7 460 19 : 9 430 x 932 1290 x 2796 3.0 xxhdpi iPhone 14 Pro iOS 6.1 460 19 : 9 393

Stable Diffusion 提示词词缀使用指南（Prompt）

Wed, 27 Dec 2023 10:10:00 +0000

一、基础综述提示词（prompt）由多个词缀构成。提示词分为正向提示词（positive prompt）和反向提示词（negative prompt），用来告诉AI哪些需要，哪些不需要。反向提示词就是我们不想出现什么的描述。例：NSFW 不适合在工作时看的内容，包括限制级，还有低画质相

JavaScript 中压缩数据，然后在 Java 中解压缩

Tue, 26 Dec 2023 09:15:16 +0800

要实现在 JavaScript 中压缩数据，然后在 Java 中解压缩的功能，你可以使用一些通用的压缩库，如 zlib、gzip 或其他。以下是一个基本的实现方法： JavaScript 压缩在 JavaScript 端，你可以使用 pako 库进行压缩。pako 是一个流行的 zlib 库的 JavaScript 版本。首先，你需要在你的 JavaScript 项目中安装 pako： 1 npm install pako 然后，你可以使用以下代码进行压缩

揭秘 Java Record：更好的数据处理

Tue, 26 Dec 2023 09:05:16 +0800

揭秘 Java Record：更好的数据处理介绍 Java 通常被认为是一种冗长的语言，即使是简单的任务也需要大量的代码。为了解决这种冗长的问题，Java 第 14 版引入了一个游戏规则改变者——Record 类。 Java 中 Record 的这种特殊添加旨在简化和简化我们编写代码的方式，特别是对于存储模型数据的类。让我们深入研究

Flink系列-第42讲：Flink 面试-方案设计篇

Sat, 02 Dec 2023 09:42:05 +0800

Flink 的方案设计面试题目在面试中，是面试官了解我们项目的最直接的问题，它通常体现在面试者回答自己的项目整体是如何设计的？Flink 在你的项目中起到什么作用？有没有在应用过程中对 Flink 有一些定制开发等。如何介绍自己的项目，为什么技术选型 Flink 也代表我们对于 Flink 框架的了解程度，我们本课时将介绍 Flink 典

Flink系列-第41讲：Flink 面试-源码篇

Sat, 02 Dec 2023 09:41:05 +0800

Flink 的源码篇包含了 Flink 的核心代码实现、Job 提交流程、数据交换、分布式快照机制、Flink SQL 的原理等考察点。你应该记得，我们在前面近 40个课时中几乎每一课时都有一定的篇幅是源码阅读，源码部分的考察是面试时十分重要的一关，如果你对 Flink 的源码有一定的研究而不仅仅停留在使用阶段，那么你的面试

Flink系列-第40讲：Flink 面试-进阶篇

Sat, 02 Dec 2023 09:40:05 +0800

Flink 面试进阶篇主要包含了 Flink 中的数据传输、容错机制、序列化、数据热点、反压等实际生产环境中遇到的问题等考察点。这一阶段主要考察我们对 Flink 掌握的深度，也是给面试官留下好印象的关键环节。面试题 1：请谈谈你对 Flink Table & SQL 的了解情况？以及 TableEnvironment 这个类有什么样的作用？这道题考察的是对 Flink Table & SQL 的掌握情况，

Flink系列-第39讲：Flink 面试-基础篇

Sat, 02 Dec 2023 09:39:05 +0800

到目前为止，关于 Flink 的学习我们就告一段落了，接下来我们将进入最后一个面试模块的学习。在当前大背景下，面试这一关是求职者必须要面对的，也能从侧面考察对 Flink 的掌握情况，最后一模块将结合部分实际面试中出现的问题，进行详细分析，帮助大家顺利拿到 Offer。最后一个面试模块分为了 4 个课时： Flink 面

Flink系列- 第38讲：Flink 调用 CEP 实现报警功能

Sat, 02 Dec 2023 09:38:05 +0800

在上一课时中，我们详细讲解了 Flink CEP 中 Pattern 的分类，需要根据实际生产环境来选择单个模式、组合模式或者模式组。在前面的课程中我们提到的三种典型场景下，分别根据业务需要实现了 Pattern 的定义，也可以根据自定义的 Pattern 检测到异常事件。那么接下来就需要根据检测到的异常事件发送告警，这一课将从这三种场景入手，

Flink系列- 第37讲：自定义 Pattern 和报警规则

Sat, 02 Dec 2023 09:37:05 +0800

在上一课时提过，PatternStream 是 Flink CEP 对模式匹配后流的抽象和定义，它把 DataStream 和 Pattern 组合到一起，并且基于 PatternStream 提供了一系列的方法，比如 select、process 等。 Flink CEP 的核心在于模式匹配，对于不同模式匹配特性的支持，往往决定相应的 CEP 框架是否能够得到广泛应用。那么 Flink CEP 对模式提供了哪

Flink系列-第36讲：自定义消息事件

Sat, 02 Dec 2023 09:36:05 +0800

我们在上一课时中讲了 CEP 的基本原理并且用官网的案例介绍了 CEP 的简单应用。在 Flink CEP 中存在多个比较晦涩的概念，如果你对于这些概念理解有困难，我们可以把：创建系列 Pattern，然后利用 NFACompiler 将 Pattern 进行拆分并且创建出 NFA，NFA 包含了 Pattern 中的各个状态和各个状态间转换的表达式。这整个过程我们可以把 Flink

Flink系列-第35讲：项目背景和 Flink CEP 简介

Sat, 02 Dec 2023 09:35:05 +0800

从这一课时开始我们将进入“Flink CEP 实时预警系统”的学习，本课时先介绍项目的背景、架构设计。背景我们在第 11 课时“Flink CEP 复杂事件处理”已经介绍了 Flink CEP 的原理，它是 Flink 提供的复杂事件处理库，也是 Flink 提供的一个非常亮眼的功能，当然更是 Flink 中最难以理解的部分之一。 Complex Event Processing

Flink系列-第34讲：Flink 和 Redi 整合以及 Redi Sink 实现

Sat, 02 Dec 2023 09:34:05 +0800

上一课时我们使用了 3 种方法进行了 PV 和 UV 的计算，分别是全窗口内存统计、使用分组和过期数据剔除、使用 BitMap / 布隆过滤器。到此为止我们已经讲了从数据清洗到水印、窗口设计，PV 和 UV 的计算，接下来需要把结果写入不同的目标库供前端查询使用。下面我们分别讲解 Flink 和 Redis/MySQL/HBase 是如何整合实现 Flink Sink 的。 Flink Redis Sink 我们在

Flink系列-第33讲：Flink 计算 PV、UV 代码实现

Sat, 02 Dec 2023 09:33:05 +0800

上一课时我们学习了 Flink 消费 Kafka 数据计算 PV 和 UV 的水印和窗口设计，并且定义了窗口计算的触发器，完成了计算 PV 和 UV 前的所有准备工作。接下来就需要计算 PV 和 UV 了。在当前业务场景下，根据 userId 进行统计，PV 需要对 userId 进行统计，而 UV 则需要对 userId 进行去重统计。下面我们使用不同的方法来统计 PV 和 UV。单窗口内存统

Flink系列-第32讲：Flink 和 Kafka 整合时间窗口设计

Sat, 02 Dec 2023 09:32:05 +0800

我们在第 31 课时中讲过，在计算 PV 和 UV 等指标前，用 Flink 将原始数据进行了清洗，清洗完毕的数据被发送到另外的 Kafka Topic 中，接下来我们只需要消费指定 Topic 的数据，然后就可以进行指标计算了。 Flink 消费 Kafka 数据反序列化上一课时定义了用户的行为信息的 Java 对象，我们现在需要消费新的 Kafka Topic 信息，并且把序列化的消息转化为用

Flink系列-第31讲：Kafka 模拟数据生成和发送

Sat, 02 Dec 2023 09:31:05 +0800

第 29 课时讲过，在计算 PV 和 UV 的过程中关键的一个步骤就是进行日志数据的清洗。实际上在其他业务，比如订单数据的统计中，我们也需要过滤掉一些“脏数据”。所谓“脏数据”是指与我们定义的标准数据结构不一致，或者不需要的数据。因为在数据清洗 ETL 的过程中经常需要进行数据的反序列化解析和 Java 类的映射，

Flink系列-第30讲：Flume 和 Kafka 整合和部署

Sat, 02 Dec 2023 09:30:05 +0800

Flume 概述 Flume 是 Hadoop 生态圈子中的一个重要组件，在上一课时中提过，它是一个分布式的、高可靠的、高可用的日志采集工具。 Flume 具有基于流式数据的简单灵活的架构，同时兼具高可靠性、高可用机制和故障转移机制。当我们使用 Flume 收集数据的速度超过下游的写入速度时，Flume 会自动做调整，使得数据的采集和推送能

Flink系列-第29讲：项目背景和实时处理系统架构设计

Sat, 02 Dec 2023 08:59:05 +0800

从这一课时开始我们进入“Flink 实时统计 PV、UV”项目的学习。本课时先介绍实时统计项目的背景、架构设计和技术选型。背景 PV（Page View，网站的浏览量）即页面的浏览次数，一般用来衡量网站用户访问的网页数量。我们可以简单地认为，一个用户每次打开一个页面便会记录一次 PV，也就

Flink系列-第28讲：TopN 热门商品功能实现

Sat, 02 Dec 2023 08:58:05 +0800

本课时主要讲解 Flink 中的 TopN 功能的设计和实现。 TopN 在我们的业务场景中是十分常见的需求，比如电商场景中求热门商品的销售额、微博每天的热门话题 TopN、贴吧中每天发帖最多的贴吧排名等。TopN 可以进行分组排序，也可以按照需要全局排序，比如若要计算用户下单总金额的 Top 10 时，就需要进行全局排序，然

Flink系列-第27讲：Flink Redi Sink 实现

Sat, 02 Dec 2023 08:57:05 +0800

我们在第 12 课时“Flink 常用的 Source 和 Connector”中提过 Flink 提供了比较丰富的用来连接第三方的连接器，可以在官网中找到 Flink 支持的各种各样的连接器。此外，Flink 还会基于 Apache Bahir 发布一些 Connector，其中就有我们非常熟悉的 Redis。很多人在 Flink 项目中访问 Redis 的方法都是自己进行实现

Flink系列-第26讲：Flink 中的聚合函数和累加器的设计和使用

Sat, 02 Dec 2023 08:56:05 +0800

我们在第 08 课时中提到了 Flink 所支持的窗口和时间类型，并且在第 25 课时中详细讲解了如何设置时间戳提取器和水印发射器。实际的业务中，我们在使用窗口的过程中一定是基于窗口进行的聚合计算。例如，计算窗口内的 UV、PV 等，那么 Flink 支持哪些基于窗口的聚合函数？累加器又该如何实现呢？ Flink 支持的窗口函数我

Flink系列-第25讲：Flink 中 watermark 的定义和使用

Sat, 02 Dec 2023 08:45:05 +0800

第 08 课时我们提过窗口和时间的概念，Flink 框架支持事件时间、摄入时间和处理时间三种。Watermark（水印）的出现是用于处理数据从 Source 产生，再到转换和输出，在这个过程中由于网络和反压的原因导致了消息乱序问题。那么在实际的开发过程中，如何正确地使用 Watermark 呢？使用 Watermark 必知必会 Watermark 和事件时间

Flink系列-第24讲：Flink 消费 Kafka 数据业务开发

Sat, 02 Dec 2023 08:43:05 +0800

在上一课时中我们提过在实时计算的场景下，绝大多数的数据源都是消息系统，而 Kafka 从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；同时也讲了 Flink 作为生产者像 Kafka 写入数据的方式和代码实现。这一课时我们将从以下几个方面介绍 Flink 消费 Kafka 中的数据方式和源码实现。 Flink 如何消费 Kafka Flink 在和 Kafka 对接的过

Flink系列-第23讲：Mock Kafka 消息并发送

Sat, 02 Dec 2023 08:42:05 +0800

本课时主要讲解 Kafka 的一些核心概念，以及模拟消息并发送。大数据消息中间件的王者——Kafka 在上一课时中提过在实时计算的场景下，我们绝大多数的数据源都是消息系统。所以，一个强大的消息中间件来支撑高达几十万的 QPS，以及海量数据存储就显得极其重要。 Kafka 从众多的消息中间件中脱颖而出，主要是

Flink系列-第22讲：项目背景和整体架构设计

Sat, 02 Dec 2023 08:40:05 +0800

从这一课时开始我们进入实战课程的学习。本项目是一个模拟实时电商数据大屏，本课时先介绍该项目的背景、架构设计和技术选型。背景我们在第 01 课时“Flink 的应用场景和架构模型”中提到过，Flink 应用最广的一个场景便是实时计算大屏。每年的双十一、618 电商大促等，各大公司的实时数据战报

Flink系列-第21讲：Flink 在实时计算平台和实时数据仓库中的作用

Sat, 02 Dec 2023 08:39:05 +0800

基于 Flink 的实时计算平台大部分公司随着业务场景的不断丰富，同时在业界经过多年的实践检验，基于 Hadoop 的离线存储体系已经足够成熟。但是离线计算天然时效性不强，一般都是隔天级别的滞后，业务数据随着实践的推移，本身的价值就会逐渐减少。越来越多的场景需要使用实时计算，在这种背景下实时计算平台的需求

Flink系列-第20讲：Flink 高级应用之海量数据高效去重

Sat, 02 Dec 2023 08:38:05 +0800

本课时我们主要讲解 Flink 中的海量数据高效去重。消除重复数据是我们在实际业务中经常遇到的一类问题。在大数据领域，重复数据的删除有助于减少存储所需要的存储容量。而且在一些特定的业务场景中，重复数据是不可接受的，例如，精确统计网站一天的用户数量、在事实表中统计每天发出的快递包裹数量。在传统

Flink系列-第19讲：Flink 如何做维表关联

Sat, 02 Dec 2023 08:37:05 +0800

在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需要根据 ID 去查询外部的维度表补充省名称属性。在 Flink 流式计算中，我们的一些维度属性一般存

Flink系列-第18讲：如何进行生产环境作业监控

Sat, 02 Dec 2023 08:36:05 +0800

本课时主要讲解如何进行生产环境作业监控。在第 15 课时“如何排查生产环境中的反压问题”中提到过我们应该如何发现任务是否出现反压，Flink 的后台页面是我们发现反压问题的第一选择，其后台页面可以直观、清晰地看到当前作业的运行状态。在实际生产中，Flink 的后台页面可以方便我们对 Flink Job

Flink系列-第17讲：生产环境中的并行度和资源设置

Sat, 02 Dec 2023 08:35:05 +0800

在使用 Flink 处理生产实际问题时，并行度和资源的配置调优是我们经常要面对的工作之一，如何有效和正确地配置并行度是我们的任务能够高效执行的必要条件。这一课时就来看一下生产环境的并行度和资源配置问题。 Flink 中的计算资源通常我们说的 Flink 中的计算资源是指具体任务的 Task。首先要理解 Flink 中的计算资源的

Flink系列-第16讲：如何处理生产环境中的数据倾斜问题

Sat, 02 Dec 2023 08:33:05 +0800

这一课时我们主要讲解如何处理生产环境中的数据倾斜问题。无论是对于 Flink、Spark 这样的实时计算框架还是 Hive 等离线计算框架，数据量从来都不是问题，真正引起问题导致严重后果的是数据倾斜。所谓数据倾斜，是指在大规模并行处理的数据中，其中某个运行节点处理的数据远远超过其他部分，这会导

Flink系列-第15讲：如何排查生产环境中的反压问题

Sat, 02 Dec 2023 08:32:05 +0800

这一课时我们主要讲解生产环境中 Flink 任务经常会遇到的一个问题，即如何处理好反压问题将直接关系到任务的资源使用和稳定运行。反压问题是流式计算系统中经常碰到的一个问题，如果你的任务出现反压节点，那么就意味着任务数据的消费速度小于数据的生产速度，需要对生产数据的速度进行控制。通常情况下，反

Flink系列-第14讲：Flink Exactly-once 实现原理解析

Sat, 02 Dec 2023 08:31:05 +0800

这一课时我们将讲解 Flink “精确一次”的语义实现原理，同时这也是面试的必考点。 Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。那么 Flink 是如何实现“端到端的精确一次处理”语义的呢？背景通常情况下，流式

Flink系列-第13讲：如何实现生产环境中的 Flink 高可用配置

Sat, 02 Dec 2023 08:30:05 +0800

我们在第 06 课时“Flink 集群安装部署和 HA 配置”中讲解了 Flink 的几种常见部署模式，并且简单地介绍了 HA 配置。概述事实上，集群的高可用（High Availablility，以下简称 HA）配置是大数据领域经典的一个问题。通常 HA 用来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的

Flink系列-第12讲：Flink 常用的 Source 和 Connector

Sat, 02 Dec 2023 08:29:05 +0800

本课时我们主要介绍 Flink 中支持的 Source 和常用的 Connector。 Flink 作为实时计算领域强大的计算能力，以及与其他系统进行对接的能力都非常强大。Flink 自身实现了多种 Source 和 Connector 方法，并且还提供了多种与第三方系统进行对接的 Connector。我们可以把这些 Source、Connector 分成以下

Flink系列-第10讲：Flink Side OutPut 分流

Sat, 02 Dec 2023 08:28:05 +0800

这一课时将介绍 Flink 中提供的一个很重要的功能：旁路分流器。分流场景我们在生产实践中经常会遇到这样的场景，需把输入源按照需要进行拆分，比如我期望把订单流按照金额大小进行拆分，或者把用户访问日志按照访问者的地理位置进行拆分等。面对这样的需求该如何操作呢？分流的方法通常来说针对不同的场景，

Flink系列-第11讲：Flink CEP 复杂事件处理

Sat, 02 Dec 2023 08:28:05 +0800

你好，欢迎来到第 11 课时，这一课时将介绍 Flink 中提供的一个很重要的功能：复杂事件处理 CEP。背景 Complex Event Processing（CEP）是 Flink 提供的一个非常亮眼的功能，关于 CEP 的解释我们引用维基百科中的一段话： CEP, is event processing that combines data from multiple sources to infer events or patterns that suggest more complicated circumstances. The goal of complex event processing is to identify meaningful events (such as opportunities or threats) and respond to them as quickly as possible. 在我们的实际生产中，随着数据的实时性要求越来越高，实时数据的量也在不断膨胀，在某些业

Flink系列-第09讲：Flink 状态与容错

Sat, 02 Dec 2023 08:27:05 +0800

这一课时我们主要讲解 Flink 的状态和容错。在 Flink 的框架中，进行有状态的计算是 Flink 最重要的特性之一。所谓的状态，其实指的是 Flink 程序的中间计算结果。Flink 支持了不同类型的状态，并且针对状态的持久化还提供了专门的机制和状态管理器。状态我们在 Flink 的官方博客中找到这样一段话，可以认为这是对状态的定义

Flink系列-第08讲：Flink 窗口、时间和水印

Sat, 02 Dec 2023 08:26:05 +0800

本课时主要介绍 Flink 中的时间和水印。我们在之前的课时中反复提到过窗口和时间的概念，Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制

Flink系列-第07讲：Flink 常见核心概念分析

Sat, 02 Dec 2023 08:25:05 +0800

在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或者文件缓存在 HDFS 上，在分布

Flink系列-第06讲：Flink 集群安装部署和 HA 配置

Sat, 02 Dec 2023 08:24:05 +0800

我们在这一课时将讲解 Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。 Flink 常见的部署模式环境准备在绝大多数情况下，我们的 Flink 都是运行在 Unix 环境中的，推荐在 Mac OS 或者 Linux 环境下运行 Fl

Flink系列-第05讲：Flink SQL & Table 编程和案例.md

Sat, 02 Dec 2023 08:23:05 +0800

我们在第 02 课时中使用 Flink Table & SQL 的 API 实现了最简单的 WordCount 程序。在这一课时中，将分别从 Flink Table & SQL 的背景和编程模型、常见的 API、算子和内置函数等对 Flink Table & SQL 做一个详细的讲解和概括，最后模拟了一个实际业务场景使用 Flink Table & SQL 开发。 Flink Table & SQL 概述背景我们在前面的课时中讲过 Flink 的分层模型，Flink 自身提供

Flink系列-第04讲：Flink 常用的 DataSet 和 DataStream API

Sat, 02 Dec 2023 08:22:05 +0800

本课时我们主要介绍 Flink 的 DataSet 和 DataStream 的 API，并模拟了实时计算的场景，详细讲解了 DataStream 常用的 API 的使用。说好的流批一体呢现状在前面的课程中，曾经提到过，Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场

Flink系列-第03讲：Flink 的编程模型与其他框架比较

Sat, 02 Dec 2023 08:21:05 +0800

本课时我们主要介绍 Flink 的编程模型与其他框架比较。本课时的内容主要介绍基于 Flink 的编程模型，包括 Flink 程序的基础处理语义和基本构成模块，并且和 Spark、Storm 进行比较，Flink 作为最新的分布式大数据处理引擎具有哪些独特的优势呢？ Flink 的核心语义和架构模型我们在讲解 Flink 程序的编程模型之前，先

Flink系列-第02讲：Flink 入门程序 WordCount 和 SQL 实现

Sat, 02 Dec 2023 08:20:05 +0800

本课时我们主要介绍 Flink 的入门程序以及 SQL 形式的实现。上一课时已经讲解了 Flink 的常用应用场景和架构模型设计，这一课时我们将会从一个最简单的 WordCount 案例作为切入点，并且同时使用 SQL 方式进行实现，为后面的实战课程打好基础。我们首先会从环境搭建入手，介绍如何搭建本地调试环境的脚手架；然后分别从DataS

Flink系列-第01讲：Flink 的应用场景和架构模型

Sat, 02 Dec 2023 08:19:05 +0800

你好，欢迎来到第 01 课时，本课时我们主要介绍 Flink 的应用场景和架构模型。实时计算最好的时代在过去的十年里，面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。直到 2019 年 1 月底，阿里巴巴内部版本 Flink 正式开源！一石激起千层浪，Flink

Flink系列-开篇词：实时计算领域最锋利的武器 Flink

Sat, 02 Dec 2023 08:18:05 +0800

你好，欢迎来到 Flink 专栏，我是王知无，目前在某一线互联网公司从事数据平台架构和研发工作多年，算是整个大数据开发领域的老兵了。我最早从 Release 版本开始关注 Flink，可以说是国内第一批钻研 Flink 的开发者，后来基于 Flink 开发过实时计算业务应用、实时数据仓库以及监控报警系统，在这个过程中积累了大量宝贵的

软件架构师通讯 2023 年 11 月

Fri, 24 Nov 2023 14:11:33 +0800

C# 12 中的新增功能：主构造函数、集合表达式等作为最近发布的 .NET 8 的一部分，Microsoft 推出了流行的 .NET 编程语言的最新版本 C# 12 的新功能。正如所宣布的，最显着的改进包括集合表达式、所有类和结构的主构造函数、任何类型的别名语法以及 lambda 表达式的默认参数。最新 JDK 22 早期访问版本可用正如 InfoQ 最近

001 专业数据分析研究 - 模型

Fri, 24 Nov 2023 14:10:33 +0800

专业数据分析研究

华为篇-2.2.2 某32位系统下, C++程序，请计算sizeof 的值

Fri, 03 Feb 2023 14:12:33 +0800

题目：某32位系统下, C++程序，请计算sizeof 的值. 参考答案： char str[] = “http://www.ibegroup.com/” char *p = str ; int n = 10; 请计算 sizeof (str ) = ？（1） sizeof ( p ) = ？（2） sizeof ( n ) = ？（3） void Foo ( char str[100]){ 请计算 sizeof( str ) = ？（4） } void *p = malloc( 100 ); 请计算 sizeof ( p ) = ？（5）（1）1

华为篇-2.2.1 用户输入M,N值，从1至N开始顺序循环数数，每数到M输出该数值，直至全部输出。写出C程序

Fri, 03 Feb 2023 14:11:33 +0800

题目：用户输入M,N值，从1至N开始顺序循环数数，每数到M输出该数值，直至全部输出。写出C程序。参考答案：循环链表，用取余操作做

华为篇-2.2.0 IP地址的编码分为哪俩部分？

Fri, 03 Feb 2023 14:10:33 +0800

题目：IP地址的编码分为哪俩部分？参考答案： IP地址由两部分组成，网络号和主机号。不过是要和“子网掩码”按位与上之后才能区分哪些是网络位哪些是主机位。

华为篇-2.1.9. Internet采用哪种网络协议？该协议的主要层次结构？

Fri, 03 Feb 2023 14:09:33 +0800

题目：Internet采用哪种网络协议？该协议的主要层次结构？参考答案： Tcp/Ip协议主要层次结构为：应用层/传输层/网络层/数据链路层/物理层。

华为篇-2.1.8 冒泡排序算法的时间复杂度是什么？

Fri, 03 Feb 2023 14:08:33 +0800

题目：冒泡排序算法的时间复杂度是什么？参考答案：时间复杂度是O(n^2)。

华为篇-2.1.7 什么函数不能声明为虚函数？

Fri, 03 Feb 2023 14:07:33 +0800

题目：什么函数不能声明为虚函数？参考答案： constructor函数不能声明为虚函数。

华为篇-2.1.6 堆栈溢出一般是由什么原因导致的？

Fri, 03 Feb 2023 14:06:33 +0800

题目：堆栈溢出一般是由什么原因导致的？参考答案：没有回收垃圾资源。

华为篇-2.1.5 什么是平衡二叉树？

Fri, 03 Feb 2023 14:05:33 +0800

题目：什么是平衡二叉树？参考答案：左右子树都是平衡二叉树且左右子树的深度差值的绝对值不大于1。平衡二叉树（Balanced Binary Tree），也称为 AVL 树，是一种二叉搜索树，它的左右子树的高度差不超过 1，以保持树的平衡性。平衡二叉树的平衡性使得在树上进行查找、插入、删除等操作的时间复杂度

华为篇-2.1.4 全局变量和局部变量在内存中是否有区别？如果有，是什么区别？

Fri, 03 Feb 2023 14:04:33 +0800

题目：全局变量和局部变量在内存中是否有区别？如果有，是什么区别？参考答案：全局变量储存在静态数据库，局部变量在堆栈。全局变量和局部变量在内存中确实有区别，这是因为它们在程序中的作用域和生命周期不同。作用域：全局变量在整个程序中都是可见的，而局部变量仅在它们定义的函数或代码块中可见

华为篇-2.1.3 描述实时系统的基本特性

Fri, 03 Feb 2023 14:03:33 +0800

题目：描述实时系统的基本特性参考答案：在特定时间内完成特定的任务，实时性与可靠性。实时系统是指必须在规定的时间范围内完成一项任务或响应一项事件的计算机系统。它具有以下几个基本特性：响应性：实时系统必须能够及时响应外部事件或任务请求。它必须在规定的时间范围内完成任务或事件响应，并且

华为篇-2.1.2 引用与指针有什么区别？

Fri, 03 Feb 2023 14:02:33 +0800

题目：引用与指针有什么区别？参考答案：引用必须被初始化，指针不必。引用初始化以后不能被改变，指针可以改变所指的对象。不存在指向空值的引用，但是存在指向空值的指针。引用和指针都是C++语言中用于间接访问数据的机制，但它们有一些重要的区别。操作符：指针使用*和->操作符进行间接

华为篇-2.1.1 static有什么用途？（请至少说明两种）

Fri, 03 Feb 2023 14:01:33 +0800

题目： static有什么用途？（请至少说明两种）参考答案：在函数体，一个被声明为静态的变量在这一函数被调用过程中维持其值不变。在模块内（但在函数体外），一个被声明为静态的变量可以被模块内所用函数访问，但不能被模块外其它函数访问。它是一个本地的全局变量。在模块内，一个被声明为静态的

阿里篇-1.3.9 如何判断两个链表是否相交

Thu, 02 Feb 2023 14:39:33 +0800

题目：如何判断两个链表是否相交出题人：阿里巴巴新零售技术质量部参考答案： $O(n^2)$: 两层遍历，总能发现是否相交 $O(n)$: 一层遍历，遍历完两个链表，如果两个链表的最后一个结点指针相同，则相交，否则不相交

阿里篇-1.3.8 如何测试一辆自行车

Thu, 02 Feb 2023 14:38:33 +0800

题目：如何测试一辆自行车出题人：阿里巴巴新零售技术质量部参考答案：开放性问题，如果联系到测试角度上看的话，可以这么作答：骑车试一试，看有没有问题，对应测试能不能跑通看看车的核心部件，例如车闸，车把等，对应软件的核心功能看看车是否安全，配锁质量如何，对应软件是否有安全问题

阿里篇-1.3.7 请评估一下程序的执行结果？

Thu, 02 Feb 2023 14:37:33 +0800

题目：请评估一下程序的执行结果？ public class SynchronousQueueQuiz { public static void main(String[] args) throws Exception { BlockingQueue<Integer> queue = new SynchronousQueue<>(); System. out .print(queue.offer(1) + " "); System. out .print(queue.offer(2) + " "); System. out .print(queue.offer(3) + " "); System. out .print(queue.take() + " "); System. out .println(queue.size()); } } A. true true true 1 3 B. true true true (阻塞) C. false false false null 0 D. false false false (阻塞) 出题人：阿里巴巴出题专家：桃谷／阿里云中间件技术专家参考答案：D

阿里篇-1.3.6 假如给你一个新产品，你将从哪些方面来保障它的质量？

Thu, 02 Feb 2023 14:36:33 +0800

题目：假如给你一个新产品，你将从哪些方面来保障它的质量？出题人：阿里巴巴出题专家：晨晖／阿里云中间件技术部测试开发专家参考答案：可以从代码开发、测试保障、线上质量三个方面来保障。在代码开发阶段，有单元测试、代码Review、静态代码扫描等；测试保障阶段，有功能测试、性能测试、高可

阿里篇-1.3.5 给定一个整数数组和一个整数，返回两个数组的索引，这两个索引指向的数字的加和等于指定的整数。需要最优的算法，分析算法的空间和时间复杂度

Thu, 02 Feb 2023 14:35:33 +0800

题目：给定一个整数数组和一个整数，返回两个数组的索引，这两个索引指向的数字的加和等于指定的整数。需要最优的算法，分析算法的空间和时间复杂度参考答案： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 public int[] twoSum(int[] nums, int target) { if(nums==null || nums.length<2) return new int[]{0,0}; HashMap<Integer, Integer> map = new HashMap<Integer, Integer>(); for(int i=0; i<nums.length; i++){ if(map.containsKey(nums[i])){ return new int[]{map.get(nums[i]), i}; }else{ map.put(target-nums[i], i); } } return new int[]{0,0}; } 分析：空间复杂度和时间复杂

阿里篇-1.3.4 如果让你来设计一个支持数据库、NOSQL 和大数据之间数据实时流动的数据流及处理的系统，你会考虑哪些问题？如何设计？

Thu, 02 Feb 2023 14:34:33 +0800

题目：如果让你来设计一个支持数据库、NOSQL 和大数据之间数据实时流动的数据流及处理的系统，你会考虑哪些问题？如何设计？出题人：阿里巴巴出题专家：千震／阿里云数据库高级技术专家参考答案：开放性问题，无标准答案。

阿里篇-1.3.3 如果让你设计一个通用的、支持各种数据库秒级备份和恢复的系统，你会如何设计

Thu, 02 Feb 2023 14:33:33 +0800

题目：如果让你设计一个通用的、支持各种数据库秒级备份和恢复的系统，你会如何设计？出题人：阿里巴巴出题专家：千震／阿里云数据库高级技术专家参考答案：开放性问题，无标准答案。

阿里篇-1.3.2 给定一个链表，删除链表的倒数第N个节点，并且返回链表的头结点

Thu, 02 Feb 2023 14:32:33 +0800

题目：给定一个链表，删除链表的倒数第 N 个节点，并且返回链表的头结点。 ◼ 示例：给定一个链表: 1->2->3->4->5, 和 n = 2. 当删除了倒数第二个节点后，链表变为 1->2->3->5. 说明：给定的 n 保证是有效的。要求：只允许对链表进行一次遍历。出题人：阿里巴巴出题专家：屹平／阿里云视频云边缘计算高级技术专家参考答案：我们可以使

阿里篇-1.3.1 最大频率栈

Thu, 02 Feb 2023 14:31:33 +0800

题目：最大频率栈。实现 FreqStack，模拟类似栈的数据结构的操作的一个类。FreqStack 有两个函数： push(int x)，将整数 x 推入栈中。pop()，它移除并返回栈中出现最频繁的元素。如果最频繁的元素不只一个，则移除并返回最接近栈顶的元素。 ◼ 示例： push [5,7,5,7,4,5] pop() -> 返回 5，因为 5 是出现频率最高

阿里篇-1.3.0 在云计算大数据处理场景中，每天运行着成千上万的任务，每个任务都要进行 IO 读写

Thu, 02 Feb 2023 14:30:33 +0800

题目：在云计算大数据处理场景中，每天运行着成千上万的任务，每个任务都要进行 IO 读写。存储系统为了更好的服务，经常会保证高优先级的任务优先执行。当多个作业或用户访问存储系统时，如何保证优先级和公平性。出题人：阿里巴巴出题专家：田磊磊／阿里云文件存储高级技术专家参考答案：开放性问题，无

阿里篇-1.2.9 你理解常见如阿里，和友商大数据平台的技术体系差异以及发展趋势和技术瓶颈，在存储和计算两个方面进行概述

Thu, 02 Feb 2023 14:29:33 +0800

题目：你理解常见如阿里，和友商大数据平台的技术体系差异以及发展趋势和技术瓶颈，在存储和计算两个方面进行概述。出题人：阿里巴巴出题专家：映泉／阿里巴巴高级技术专家参考答案：开放性问题，无标准答案。

阿里篇-1.2.8 对大数据平台中的元数据管理是怎么理解的，元数据收集管理体系是怎么样的，会对大数据应用有什么样的影响

Thu, 02 Feb 2023 14:28:33 +0800

题目：对大数据平台中的元数据管理是怎么理解的，元数据收集管理体系是怎么样的，会对大数据应用有什么样的影响。出题人：阿里巴巴出题专家：映泉／阿里巴巴高级技术专家参考答案：开放性问题，无标准答案。

阿里篇-1.2.7 请分析 MaxCompute 产品与分布式技术的关系、当前大数据计算平台类产品的市场现状和发展趋势

Thu, 02 Feb 2023 14:27:33 +0800

题目：请分析 MaxCompute 产品与分布式技术的关系、当前大数据计算平台类产品的市场现状和发展趋势。出题人：阿里巴巴出题专家：云郎／阿里 MaxCompute 高级产品专家参考答案：开放性问题，无标准答案。

阿里篇-1.2.6 一颗现代处理器，每秒大概可以执行多少条简单的MOV指令，有哪些主要的影响因素

Thu, 02 Feb 2023 14:26:33 +0800

题目：一颗现代处理器，每秒大概可以执行多少条简单的MOV指令，有哪些主要的影响因素？出题人：阿里巴巴出题专家：子团／创新产品虚拟化&稳定性资深技术专家参考答案：及格：每执行一条mov指令需要消耗1个时钟周期，所以每秒执行的mov指令和CPU主频相关。加分：在CPU微架构上

阿里篇-1.2.5 请计算XILINX公司VU9P芯片的算力相当于多少TOPS，给出计算过程与公式

Thu, 02 Feb 2023 14:25:33 +0800

题目：请计算XILINX公司VU9P芯片的算力相当于多少TOPS，给出计算过程与公式。出题人：阿里巴巴出题专家：隐达／阿里云异构计算资深专家参考答案：基于不同的算法，这个值在十几到几百之间。但是，如果只是单纯比算力，FPGA和ASIC、GPU相比并无太大优势，甚至大多时候有较大劣

阿里篇-1.2.4 关于并行计算的一些基础开放问题

Thu, 02 Feb 2023 14:24:33 +0800

题目：关于并行计算的一些基础开放问题。 ◼ 如何定义并计算，请分别阐述分布式内存到共享内存模式行编程的区别和实现（例子代码）？ ◼ 请使用 MPI 和 OpenMP 分别实现 N 个处理器对 M 个变量的求和？ ◼ 请说明 SIMD 指令在循环中使用的权限？向量化优化有哪些手段？ ◼ 请用 Amdahl 定律说明什么是并行效率以及并行算法的扩展性？

阿里篇-1.2.3 如何实现两金额数据相加（最多小数点两位）

Thu, 02 Feb 2023 14:23:33 +0800

题目：如何实现两金额数据相加（最多小数点两位）？出题人：阿里巴巴出题专家：御术／蚂蚁金服数据可视化高级技术专家参考答案：其实问题并不难，就是考察候选人对 JavaScript 数据运算上的认知以及考虑问题的缜密程度，有很多坑，可以用在笔试题，如果用在面试，回答过程中还可以随机加入有很多计算机基础的延伸

阿里篇-1.2.2 有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？

Thu, 02 Feb 2023 14:22:33 +0800

题目：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？出题人：阿里巴巴出题专家：江岚／阿里巴巴数据技术高级技术专家参考答案： A. 通过 shell 或 python 等调用 api，结果先暂存本地，最

阿里篇-1.2.1 现有一批邮件需要发送给订阅顾客，且有一个集群（集群的节点数不定，会动态扩容缩容）来负责具体的邮件发送任务，如何让系统尽快地完成发送？

Thu, 02 Feb 2023 14:21:33 +0800

题目：现有一批邮件需要发送给订阅顾客，且有一个集群（集群的节点数不定，会动态扩容缩容）来负责具体的邮件发送任务，如何让系统尽快地完成发送？请详述技术方案！出题人：阿里巴巴出题专家：江岚／阿里巴巴数据技术高级技术专家参考答案： A. 借助消息中间件，通过发布者订阅者模式来进行任务分配 B. master-slave

阿里篇-1.2.0 请解释下为什么鹿晗发布恋情的时候，微博系统会崩溃，如何解决？

Thu, 02 Feb 2023 14:20:33 +0800

题目：请解释下为什么鹿晗发布恋情的时候，微博系统会崩溃，如何解决？出题人：阿里巴巴出题专家：江岚／阿里巴巴数据技术高级技术专家参考答案： A. 获取微博通过 pull 方式还是 push 方式 B. 发布微博的频率要远小于阅读微博 C. 流量明星的发微博，和普通博主要区分对待，比如在 sharding的时候，也要考虑这

阿里篇-1.1.9 输入 ping IP 后敲回车，发包前会发生什么？

Thu, 02 Feb 2023 14:19:33 +0800

题目：输入 ping IP 后敲回车，发包前会发生什么？出题人：阿里巴巴出题专家：怀虎／阿里云云效平台负责人参考答案： ping目标ip时，先查路由表，确定出接口如果落在直连接口子网内，此时若为以太网等多路访问网络则先查询arp缓存，命中则直接发出，否则在该接口上发arp询问目标ip的mac地址

阿里篇-1.1.8 NFS与SMB的区别？

Thu, 02 Feb 2023 14:18:33 +0800

题目：NFS 和 SMB 是最常见的两种 NAS（Network Attached Storage）协议，当把一个文件系统同时通过 NFS 和 SMB 协议共享给多个主机访问时，以下哪些说法是错误的：（多选） A. 不可能有这样的操作，即把一个文件系统同时通过 NFS 和 SMB协议共享给多个主机访问。 B. 主机 a 的用户通过NFS 协议创建的文件

阿里篇-1.1.7 MySQL的数据如何恢复到任意时间点？

Thu, 02 Feb 2023 14:17:33 +0800

题目：MySQL 的数据如何恢复到任意时间点？出题人：阿里巴巴出题专家：近秋／阿里云数据库产品技术部技术专家参考答案参考答案：恢复到任意时间点以定时的做全量备份，以及备份增量的 binlog 日志为前提。恢复到任意时间点首先将全量备份恢复之后，再此基础上回放增加的 binlog 直至指定的时间点。

阿里篇-1.1.6 从innodb的索引结构分析，为什么索引的 key 长度不能太长

Thu, 02 Feb 2023 14:16:33 +0800

题目：从 innodb 的索引结构分析，为什么索引的 key 长度不能太长？出题人：阿里巴巴出题专家：近秋／阿里云数据库产品技术部技术专家参考答案：key 太长会导致一个页当中能够存放的 key 的数目变少，间接导致索引树的页数目变多，索引层次增加，从而影响整体查询变更的效率。

阿里篇-1.1.5 关于epoll和select的区别，以下哪些说法是正确的

Thu, 02 Feb 2023 14:14:33 +0800

问题：关于 epoll 和 select 的区别，哪些说法是正确的？（多选） A. epoll 和 select 都是 I/O 多路复用的技术，都可以实现同时监听多个 I/O 事件的状态。 B. epoll 相比 select 效率更高，主要是基于其操作系统支持的I/O事件通知机制，而 select 是基于轮询机制。 C. epoll 支持水平触发和边沿触发两种模式。 D. select 能并行支持 I/O 比较小，且无法修改。出题人

阿里篇-1.1.4 LRU缓存机制

Thu, 02 Feb 2023 14:13:33 +0800

题目：LRU 缓存机制设计和实现一个 LRU（最近最少使用）缓存数据结构，使它应该支持一下操作：get 和 put。 get(key) - 如果 key 存在于缓存中，则获取 key 的 value（总是正数），否则返回 -1。 put(key,value) - 如果 key 不存在，请设置或插入 value。当缓存达到其容量时，它应该在插入新项目之前使最近最少使用的

阿里篇-1.1.3 给定一个二叉搜索树(BST)，找到树中第 K 小的节点

Thu, 02 Feb 2023 14:12:33 +0800

题目：给定一个二叉搜索树(BST)，找到树中第 K 小的节点。出题人：阿里巴巴出题专家：文景／阿里云 CDN 资深技术专家参考答案： * 考察点基础数据结构的理解和编码能力递归使用 * 示例 5 / \ 3 6 / \ 2 4 / 1 说明：保证输入的 K 满足 1<=K<=(节点数目）解法1：树相关的题目，第一眼就

阿里篇-1.1.2 已知sqrt(2)约等于1.414，要求不用数学库，求sqrt(2)精确到小数点后10位

Wed, 01 Feb 2023 14:11:33 +0800

题目：已知 sqrt (2)约等于 1.414，要求不用数学库，求 sqrt (2)精确到小数点后 10 位。出题人：——阿里巴巴出题专家：文景／阿里云 CDN 资深技术专家参考答案： * 考察点基础算法的灵活应用能力（二分法学过数据结构的同学都知道，但不一定往这个方向考虑；如果学过数值计算的同学，应该还要能想到牛顿迭

阿里篇-1.1.1 如何实现一个高效的单向链表逆序输出？

Wed, 01 Feb 2023 14:10:33 +0800

问题：如何实现一个高效的单向链表逆序输出？出题人：阿里巴巴出题专家：昀龙／阿里云弹性人工智能负责人参考答案：下面是其中一种写法，也可以有不同的写法，比如递归等。供参考。 typedef struct node{ int data; struct node* next; node(int d):data(d), next(NULL){} }node; void reverse(node* head) { if(head == NULL){ return; } node* pleft = NULL; node* pcurrent = head; node* pright = head->next; while(pright){ pcurrent->next = pleft; node *ptemp = pright->next; pright->next = pcurrent; pleft = pcurrent; pcurrent = pright; pright = ptemp; } while(pcurrent !=

基于Flink-CDC数据同步⽅案

Sat, 03 Sep 2022 09:18:05 +0800

前言在业务数据处理过程中，我们时常会遇到不同业务模块 / 存储系统间实时数据同步需求。比如，报表模块依赖订单模块数据进行增量更新，检索引擎依赖业务数据进行实时同步等。针对这类场景，我们目前采用了Flink-CDC的技术方案用于数据同步。 Flink-CDC（CDC，全称是 Change Data Captu

Doris核心功能介绍——数据模型和物化视图

Sat, 03 Sep 2022 09:09:05 +0800

Doris是什么首先 Doris 是一个有着MPP架构的分析型数据库产品。对于PB数量级、结构化数据可以做到亚秒级查询响应。使用上兼容MySQL协议，语法是标准的SQL。Doris本身不依赖任何其他系统，相比Hadoop生态产品更易于运维。应用场景包括：固定历史报表分析、实时数据分析、交互式

Flink规则引擎实践

Fri, 02 Sep 2022 09:18:05 +0800

一、实时规则引擎架构业务系统产生的行为日志数据被日志采集服务器收集，通过Flume将数据存入Kafka指定topic，由Flink消费Kafka对应的topic来进行用户行为事件分析【通过FlinkKafkaComsumer传入参数(1)topic名称(2)反序列化模式Deser

大数据之初识Doris（一）

Fri, 02 Sep 2022 09:09:05 +0800

一、Doris简介 Apache Doris是一个现代化的基于MPP（大规模并行处理）技术的分析型数据库产品，MPP技术即将同一个任务并行的分散到多个服务器和节点上，每个节点计算完成后，在将各自的结果汇总在一起得到最终的结果，与Hadoop相似，效率很高，亚秒级内即可查询出结果。二、核心特性基

002 Flink 实战案例开发（一）：数据清洗

Thu, 01 Sep 2022 11:18:05 +0800

1、应用场景分析参考徐崴老师Flink项目数据清洗【实时ETL】数据报表 1.1、数据清洗【实时ETL】 1.1.1、需求分析针对算法产生的日志数据进行清洗拆分算法产生的日志数据是嵌套大JSON格式（json嵌套json），需要拆分打平针对算法中的国家字段进行大区转换最后把不同类型的

003 Flink 实战案例开发（二）：数据报表

Thu, 01 Sep 2022 11:18:05 +0800

1、应用场景分析数据清洗【实时ETL】数据报表 1.1、数据报表 1.1.1、架构图 1.1.2、需求分析主要针对直播/短视频平台审核指标的统计统计不同大区每1 min内过审(上架)的数据量统计不同大区每1 min内未过审(下架)的数据量统计不同大区每1 min内加黑名单的数据量 2、Data

001 Flink_CDC搭建及简单使用

Thu, 01 Sep 2022 10:18:05 +0800

Flink_CDC搭建及简单使用 1.CDC简介： CDC （Change Data Capture），在广义的概念上，只要能捕获数据变更的技术，都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库（包括常见的mysql,Oracle, MongoDB等）的变更，是一种用于捕获数据库中数据变更的技术。

000 Flink 第一次接触

Thu, 01 Sep 2022 09:18:05 +0800

Flink 操作场景 # Apache Flink 可以以多种方式在不同的环境中部署，抛开这种多样性而言，Flink 集群的基本构建方式和操作原则仍然是相同的。在这篇文章里，你将会学习如何管理和运行 Flink 任务，了解如何部署和监控应用程序、Flink 如何从失败作业中进行恢复，同时你还会学习如何执行一些日常操作任务，如升级和

004 Apache Doris 数据模型

Thu, 01 Sep 2022 09:16:05 +0800

数据模型本文档主要从逻辑层面，描述 Doris 的数据模型，以帮助用户更好的使用 Doris 应对不同的业务场景。基本概念在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类：

003 Apache Doris 创建表

Thu, 01 Sep 2022 09:14:05 +0800

2.3 建表使用 CREATE TABLE 命令建立一个表(Table)。更多详细参数可以查看: HELP CREATE TABLE; 首先切换数据库: USE example_db; Doris支持支持单分区和复合分区两种建表方式。 2.3.1 单分区建立一个名字为 table1 的逻辑表。分桶列为 siteid，桶数为 10。这个表的 schema 如下： siteid：类型是INT（4字节）, 默认值为10 cit

002 Apache Doris 创建数据库

Thu, 01 Sep 2022 09:12:05 +0800

2.1 创建数据库初始可以通过 root 或 admin 用户创建数据库： CREATE DATABASE example_db; 所有命令都可以使用 ‘HELP command;’ 查看到详细的语法帮助。如：HELP CREATE DATABASE; 如果不清楚命令的全名，可以使用 “help 命令某一字段” 进行模糊查询。如键入 ‘HELP CREATE’，可以匹配到 CREATE DATABASE, CREATE TABLE, CREATE USER 等命令。数据库创建完成

001 Apache Doris 安装

Thu, 01 Sep 2022 09:10:05 +0800

一.编译前准备 1.1 环境准备主机配置: IP 主机名部署 192.168.9.119 hw5 FE FS_Broker 192.168.9.120 hw6 BE FS_Broker 192.168.9.121 hw7 BE FS_Broker,FE Observer 192.168.9.122 hw8 BE FS_Broker 硬件配置：每台主机：CPU4核、内存8G、硬盘150G 软件版本：名称版本操作系统 CentOS release 7.8 (Final) 64位 JDK 1.11 yum install -y java-11-openjdk-devel.x86_64 ln -s /usr/lib/jvm/java-11-openjdk-11.0.13.0.8-1.el7_9.x86_64 /usr/lib/jvm/java11 vi /etc/profile JAVA_HOME=/usr/lib/jvm/java11 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH export CLASSPATH source /etc/profile 1.2 安装Docker 1.2.1 卸载旧版本 yum remove docker docker-common docker-selinux docker-engine 1.2.2 安装需要的软件包

000 Apache Doris 简介

Thu, 01 Sep 2022 09:09:05 +0800

一. Doris简介 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。 Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时

BI-数据仓-数据体系的要义：贴源、规范、建模、标签、设计、建设

Mon, 29 Aug 2022 19:30:00 +0000

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库

Wed, 17 Aug 2022 09:14:05 +0800

版本：1.1 快速开始 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景，这个简短的指南将告诉你如何下载 Doris 最新稳定版本，在单节点上安装并运行它，

4.完全掌握 Next.js 文章系列

Sun, 07 Aug 2022 09:07:31 +0800

社区 GitHub Next GitHub 讨论Next.js 基本会话博客学习韦尔塞尔电视防弹 Next 文章将 Next.js 与 FaunaDB 配合使用：如何从您的应用程序中查询数据库如何使用ButterCMS构建无服务器Next.js博客使用 Next 构建通用 JavaScript 应用.js Next.js — 设置应用 “Next.js — 引入数据如何构建 Next.js React 通用应用 Next到Next.js 在

3.Github1000个顶级组件应对各种业务场景

Sun, 07 Aug 2022 09:05:31 +0800

用户界面组件可编辑的数据网格/电子表格 fortune-sheet - 一种在线spreedsheet组件，提供开箱即用的功能，就像Excel一样。 AG Grid - 高级数据网格/支持Javascript / React / AngularJS / Web Components的数据表。 gigatables-react - 排序，分页/无限滚动，全局/列搜索，AJAX CRUD等。 MUI X 数据网格 - 演

React.js 中以正确的方式创建表单

Wed, 03 Aug 2022 10:00:25 +0800

介绍当创建一个注册表单时，发现自己创建了几十个 useStates，然后为这些 useStates 创建了几十个 onChange 处理程序。像这样的🤮 伙计，即使写这个是为了说明，也感到困倦！此外，不客气，用那可怕的One Light主题代码片段让你大开眼界。一些白色是有利于注意的！😉 所以……

区块链1：让我们构建一个端到端的加密数据存储

Sat, 25 Jun 2022 05:06:00 +0800

当今软件中讨论的最普遍的问题之一是隐私。我们知道这个故事：Facebook/Google/Microsoft/etc 收集了大量关于我们的数据，而大多数用户无法控制这些数据。值得注意的是，所有这些数据收集并不是真正必要的。构建无法访问用户数据的端到端加密产品是可能的，并且长期以来一

前端知识点大全

Fri, 17 Jun 2022 09:05:31 +0800

一、简历简历在找工作过程中是非常非常重要的，无论你是什么途径去面试的，面试你的人一定会看你的简历。 1、重点简历就像高考作文——阅卷时间非常短。内容要简洁。直击重点，表现出自己的优势（只要是符合招人单位要求的都是优势，不是别人不会的你会才叫优势）。 2、简历包含的内容个人信息。专业技

web3.0 全栈 Web3 开发完整指南

Sat, 11 Jun 2022 08:10:00 +0800

使用 Next.js、Polygon、Solidity、The Graph、IPFS 和 Hardhat 构建全栈 web3 应用程序本教程的视频也可在此处获得在这个深入的教程中，您将学习用于构建全栈 web3 应用程序的工具、协议和框架，最重要的是 - 如何将所有内容放在一起为将来构建您自己的任何想法奠定基础。此应用程序的

web3.0 全栈以太坊开发完整指南

Sat, 11 Jun 2022 07:00:00 +0800

使用 React、Ethers.js、Solidity 和 Hardhat 构建全栈 dApp 在本教程中，您将学习一个 web3 技术堆栈，该堆栈将允许您利用以太坊虚拟机 (EVM) 在包括 Ethereum、Polygon、Avalanche、Celo 和许多其他区块链网络在内的数十个区块链网络上构建全栈应用程序。该项目的代码位于

以太坊从零到略懂5：Truffle 快速入门体验智能合约

Sat, 11 Jun 2022 05:05:00 +0800

安装Truffle 在你可以使用 Truffle 之前，你必须使用 npm 安装它。打开终端并使用以下命令进行全局安装。 npm install -g truffle 注意：我们建议您将 npm 与 nvm 之类的节点版本管理器一起使用，这实际上是 npm 本身所推荐的。请参阅npm 的这篇文章，了解如何使用节点版本管理器安装 npm。我们还建议不要sudo在安装 Truffle 时使用

以太坊从零到略懂4： Web3.0 和 Solidity 开发路线图

Sat, 11 Jun 2022 05:04:00 +0800

从完全零编程知识到 Solidity 和区块链专家，这就是我们将从计算机科学基础开始的原因。 1. Web3.0和区块链之前：计算机科学基础摩天大楼需要坚实的基础才能不倒塌。区块链开发这是一个艰难的主题，我不会撒谎。在深入研究节点和块并开始您的路线图之前，请更好地学习计算机科学的基础知识：哈佛大学自己发

web3.0 以太坊从零到略懂3：开发第一个合约

Sat, 11 Jun 2022 05:02:00 +0800

在这篇文章中，如果我们离开并开始开发一个基本的智能合约，并了解更多关于可靠性和合约如何工作的信息，我们将继续学习。以太坊区块链最有趣的品质之一是创建数字代币的能力。代币是可以代表任何事物的数字资产，从硬币、忠诚度积分到物理世界中的实际对象。代币也可用于与其他智能合约进行交互。代币

web3.0 以太坊从零到略懂2：设置开发环境

Sat, 11 Jun 2022 05:01:00 +0800

第 0 步：要求您正在使用MacOS 您对软件开发有基本的了解你知道以太坊是什么并且理解它是基本的用法。您对MacOS 终端的使用有基本的了解。你已经安装了自制软件第一步：设置测试网虽然我们正在学习以太坊开发的来龙去脉，但我们可能不想用真实的以太币来测试真实的生产网络。例如，为此目的，有

web3.0 以太坊从零到略懂1：简介

Sat, 11 Jun 2022 05:00:00 +0800

2017 年可以说是加密货币的一年，比特币成为最受关注的焦点；在比特币的核心，我们有区块链。区块链技术应用远远超出了数字货币，最好的例子之一是以太坊，它是一个运行智能合约的去中心化平台。这允许开发人员构建功能强大的去中心化应用程序，此时围绕区块链和以太坊仍有许多积极的开发和创新。所有这些

css-level-007 CSS不透明度-透明度

Thu, 02 Jun 2022 10:08:00 +0800

该opacity属性指定元素的不透明度/透明度。透明图像该opacity属性的取值范围为 0.0 - 1.0。值越低，越透明：不透明度 0.2 不透明度 0.5 不透明度 1 例子 1 2 3 img { opacity: 0.5; } 透明悬停效果该opacity属性通常与:hover 选择器一起使用以更改鼠标悬停时的不透明度：鼠标经过例子 1 2 3 4 5

css-level-006 CSS 中px、em、rem、%、vw、vh单位之间的区别详解

Thu, 02 Jun 2022 10:07:00 +0800

1 、px px就是pixel（像素）的缩写，相对长度单位，相对于屏幕分辨率。 2、em 参考物是父元素的font-size，具有继承的特点。浏览器默认字体是16px，整个页面内1em不是一个固定的值。字体大小同样都是1.5em，但是效果却截然不同，按照W3C提供的公式，我们可以计算下：

css-level-005 CSS选择器

Wed, 01 Jun 2022 10:07:00 +0800

CSS中，选择器用来指定网页上我们想要样式化的HTML元素。有CSS选择器提供了很多种方法，所以在选择要样式化的元素时，我们可以做到很精细的地步。本文和本文的子篇中，我们将会详细地讲授选择器的不同使用方式，并了解它们的工作原理。学习前提：计算机的基本知识，安装了基础软件，处理文件

css-level-004 CSS颜色体系-HSL

Wed, 01 Jun 2022 10:06:00 +0800

必看颜色工具：调色板 HSL hue 色相 0° Red 60° Yellow 120° Green 180° Cyan 240° Blue 300° Magenta saturation 饱和度饱和度（Saturation）是指色彩的纯度，饱和度越高色彩越纯越浓，饱和度越低则色彩变灰变淡。 lightness 亮度亮度（Lightness）指的是色彩的明暗程度，亮度值越高，色彩越白，亮度越低，色彩越黑

css-level-003 CSS颜色体系

Wed, 01 Jun 2022 10:05:00 +0800

<颜色> CSS 数据类型表示一种颜色。A 还可以包括 Alpha 通道透明度值，指示颜色应如何与其背景复合。<color> 可以通过以下任一方式定义 A：<color> 使用关键字（如或）。所有现有关键字都指定 sRGB 色彩空间中的颜色blue``transparent 使用 RGB 三

css-level-002 CSS基础

Tue, 31 May 2022 10:05:00 +0800

一、 CSS组成部分 <p>Lorem ipsum dolor sit amet.</p> <style> p{ color: red; } </style> p : selector 选择器 {}: 放在在大括号内 color: property 属性 red: value 值；：每行结尾分号二、三种方式添加CSS 外部样式表保持.css link 引入到html 最常用内部样式表 html文件内 style 包裹偶热使用内联样式仅影响一个元素 html元素的style属性中添加不推荐使用三、选择器 1

nexp-level-002 01 Next.js + NextUI 完美组合，引入CSS组件库

Mon, 30 May 2022 10:05:00 +0800

React + NextUI 安装安装在 React 项目目录中，通过运行以下任一命令安装 NextUI： yarn add @nextui-org/react # or npm i @nextui-org/react 设置为了让 NextUI 正常工作，您需要NextUIProvider在应用程序的根目录下设置。 React 转到应用程序的根目录并执行以下操作： import * as React from 'react'; // 1. import `NextUIProvider` component import { NextUIProvider } from '@nextui-org/react'; function App({ Component }) { // 2. Use at the root of your app return ( <NextUIProvider> <Component /> </NextUIProvider> );

Sharding JDBC 分片策略四：Hint强制路由HintShardingStrategy

Mon, 23 May 2022 15:45:00 +0800

一、Hint强制路由HintShardingStrategy 在分库分区中，有些特定的SQL，Sharding-jdbc、Mycat、Vitess都不支持（可以查看相关文档各自对哪些SQL不支持）,例如：insert into table1 select * from table2 where ….这种SQL 路由很麻烦，需要解析ta

css-level-001 学习 TailwindCSS：制作个人资料卡

Mon, 23 May 2022 10:05:00 +0800

Tailwind 是一个 CSS 框架 Tailwind 是一个 CSS 框架，可让您轻松构建出色的响应式 UI。如果您正在学习 TailwindCSS，此博客可以帮助您通过在 5 分钟内创建一个带有按钮的迷你配置文件卡来构建更强大的概念。首先，您需要在项目中安装 Tailwind。现在有以下3种方法。访问您喜欢的那个。由于这是一张简单的

nexp-level-001 06 添加组件级 CSS

Sat, 21 May 2022 10:05:00 +0800

Next.js 通过 [name].module.css 文件命名约定来支持 CSS 模块。 CSS 模块通过自动创建唯一的类名从而将 CSS 限定在局部范围内。这使您可以在不同文件中使用相同的 CSS 类名，而不必担心冲突。此行为使 CSS 模块成为包含组件级 CSS 的理想方法。 CSS 模块文件可以导入（import）到应用程序中的任何位置。例如，假设 components/ 目录下有一个可重用 Button 组件

nexp-level-001 05 学习 Next.js 使用共享组件

Sat, 21 May 2022 10:04:00 +0800

使用共享组件我们知道 Next.js 是和页面相关的. 通过导出一个 React组件创建一个页面, 然后把它放到 pages 目录中, 基于这个文件名, Next.js存在一个固定的URL. 因为导出的页面是Javascript模块, 我们当然也能够导入其他组件进来. 在这节课中, 我们会创建一个共享的页头组件, 并在多个页面

nexp-level-001 04 Next 的最佳样式选项

Sat, 21 May 2022 10:03:00 +0800

鲜为人知的是，Next.js提供了许多在应用程序中支持CSS的方法。无论你喜欢实用程序CSS及其类还是更喜欢CSS-in-JS，Next.js都能满足您的需求。在本教程中，您将发现在 Next.js 应用程序中实现样式设置的几种方法。让我们实现一个样式文本，当用户将其悬停在一起时，该文本将变为红

nexp-level-001 03 服务器端渲染与客户端渲染

Sat, 21 May 2022 10:02:00 +0800

最近在准备技术面试时，我偶然发现了服务器端渲染 (SSR) 和客户端渲染 (CSR) 的概念，我并不清楚它的含义，也不知道它们之间的区别是什么两种方法。在我的研究中，我意识到在选择在您的网站上实施哪种方法时，这不是一个简单的决定。出于所有这些原因，我决定写一篇关于什么是 SSR 和 SCR 以及它们的优缺点的博文。长期

nexp-level-001 02 Next.js 与 React：差异和最佳前端框架

Sat, 21 May 2022 10:01:00 +0800

随着每年都有新的 JavaScript 框架和库出现，很难跟上不断变化的 JS 生态系统的步伐。但即使在JavaScript 框架和库的汪洋大海中，React 和 Next.js 也能脱颖而出。React 是最受前端开发人员欢迎的 JavaScript 库。Next.js 虽然比 React 小，但多年来一直在稳步增长，并有望成为最常用的 JavaScript 框架。 React 的 UI 库非常健壮，

nexp-level-001 01 Next.js 功能及介绍

Sat, 21 May 2022 10:00:00 +0800

介绍在设定一个 React 项目时候，通常会使用 create-React-app 这个套件来快速产出开发样板环境，而另外一个选择 Next.js 则包好了许多功能，例如Server Side Render （SSR），Webpack，Router…. 不需要额外再多花时间在设定方面，但同时又有弹性可以扩充，非常的快速可以马上开发项目，在使用next

带有 Netflix DGS 和 Spring Boot 的 GraphQL 服务器

Wed, 18 May 2022 11:29:08 +0800

*定义*： GraphQL 是一种用于 API 的查询语言，也是一种使用现有数据完成这些查询的运行时。GraphQL 为您的 API 中的数据提供了完整且易于理解的描述，使客户能够准确地询问他们需要什么，仅此而已，使 API 更容易随着时间的推移而发展，并支持强大的开发人员工具。什么是 Netflix DGS？ Netflix DGS (Domain Graph Service) 是一个基于 Spring Boot 用

Docker部署gitlab(避坑版)

Tue, 17 May 2022 13:49:56 +0800

1 下载docker 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 # 安装依赖 yum install -y yum-utils device-mapper-persistent-data lvm2 # 设置yum源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 安装docker yum install -y docker-ce # 设置开机启动 systemctl enable docker # 启动 Docker systemctl start docker # 查看版本 docker version 2 下载gitlab镜像 1 docker pull gitlab/gitlab-ce:latest 3 运行 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 mkdir gitlab gitlab/etc gitlab/log gitlab/opt docker run -id -p 3000:80 -p 9922:22 -v /root/gitlab/etc:/etc/gitlab

用户画像-方法论与工程化解决方案

Tue, 17 May 2022 09:14:05 +0800

2. React 很棒的组件

Mon, 16 May 2022 09:23:02 +0800

react-select - React 的选择组件 react-beautiful-dnd - 使用 React 的列表的漂亮且可访问的拖放 react-dnd - React 的拖放 react-grid-layout - 具有响应断点的可拖动和可调整大小的网格布局 react-table - 用于 React 的轻量级、快速且可扩展的数据网格 react-data-grid - 使用 React 构建的类似 Excel 的网格组件 react-draggable - React可拖动组件 react-resizable-and-movable - React 的可调整大小和可拖动组件 react-resizable - 一个简单的 React 组件，可以通过句柄调整大小

1.初学者的 React

Mon, 16 May 2022 09:23:01 +0800

首先安装npm install create-react-app -g. 这样您就可以为您机器上的任何文件夹创建或运行 react 应用程序。创建反应项目create-react-app react-starter运行命令空间并提供您的应用程序名称。所以这个命令创建了反应应用程序。并自动设置必要的开发服务器 babel 和 webpack。开发服务器帮助我们在

2.3 拓展知识了解 TypeScript 中的高级概念

Sat, 14 May 2022 23:22:10 +0000

什么是打字稿？ TypeScript 由 Microsoft 创建和维护，是 JavaScript 的超集，这意味着所有功能性 JavaScript 代码在 TypeScript 下都是有效的。该语言可以理解为“用于应用程序级开发的 JavaScript”，主要关注两个方面：提供从未来 JavaScript 引擎到当前 JavaScript 引擎的功能为 JavaScript 提供类型系统 TypeScript 的组件通常是语言本身，本质上是 JavaScript 加上附加的功能和语法，将代码转

2.3 拓展知识学习 TypeScript 指南

Sat, 14 May 2022 22:22:10 +0000

什么是 Typescript？ Typescript是JavaScript的类型化超集，由Microsoft于2012年创建，旨在帮助Javascript开发人员使用大规模应用程序。Typescript旨在作为大型代码库的结构机制提供帮助，因为它有助于避免会减慢您速度的常见错误。它使

2.2 拓展知识构建自己的 UI 组件库

Sat, 14 May 2022 21:22:10 +0000

UI 组件库是一组现成的 UI 组件，例如按钮、输入、对话框等。它们用作布局的构建块。由于它们的模块化特性，我们可以以多种不同的方式排列组件以实现独特的效果。每个库都有独特的外观和感觉，但它们中的大多数都提供主题，并且它们的组件是可定制和可重用的。我将引导您完成创建自己的 UI 组件库的过程： React

2.1 拓展知识_document.js 如何在 Next.js 中改进 SEO

Sat, 14 May 2022 20:22:10 +0000

首先，我们需要创建 Next.js 应用程序。如果您是 Next.js 新手，请按照这篇文章生成 Next.js 应用程序脚手架。你在这里。公平地假设您已经设置了 Next.js 框架，并且您的应用程序正在http://localhost:300上运行。此时，如果您查看源代码页面，那么您会看到 HTML 和 CSS。您还可以看到元标记、标题和元描述。但是

2.搭建 Next.js 应用程序

Sat, 14 May 2022 19:22:10 +0000

在本文中，我们将介绍如何配置故事书配置 TailwindCSS 添加 SEO 友好的 _document.js 创建基本组件配置故事书在上一篇文章中，我们在 Next.js 应用程序中安装和设置了故事书。安装过程会创建一个名为 stories 的文件夹。并且，在该文件夹下，有安装过程中附带的 JavaScript 文件。删除 stories 文件夹下的所有文件。它会在 6006 端口打破故事书。安装以下内容： npm install @storybook/addon-postcss

1.使用 Storybook、Tailwindcss 和 Apollo 客户端设置 Next.Js

Sat, 14 May 2022 18:22:10 +0000

要使用的技术堆栈前端作为 CSS 框架的 Tailwind NextJS storybook GraphQL 后端作为 Perl 爱好者，我将使用 Mojolicious (Mic Drop)。设置项目前端在本文的这一部分，我们将设置 NextJs 项目安装 Tailwind CSS 框架设置storybook 使用 Apollo 客户端设置 GraphQL 一个 Git 存储库设置 Next.js 项目要在 Next.js 中创建新项目，请执行以下命令： npx create-next-app 在下一步中，它将询问应用程序名称，我们

CSS 特性的完整指南

Wed, 11 May 2022 09:05:31 +0800

将样式应用于 HTML 的基础知识 CSS 为您的网站提供了颜色和设计。我们可以通过 3 种主要方式将样式应用于 HTML。这些都是：内联样式：内联样式正是顾名思义，它们是与 HTML 元素内联编写的。例如 <div class="button-link" style="color: white; border: none; font-size: 16px; background-color: blue; width: 20%; padding: 1rem">Button Text</div> 这导致 div 如下所示，并应用了内联样式：内部样式：内部样式基本上意味着要应用的样式

Web 3.0：开发者路线图、指南和入门资源

Wed, 11 May 2022 09:04:31 +0800

区块链仍然很突出，该行业现在迫切需要工程师。这不仅是一个有利可图的领域，而且也是一个令人着迷的领域。如果您想成为其中的一员并提升您作为 Web 3.0 开发人员的职业生涯，您将需要专注于您的学习。我将提供一个路线图和一些我在学习如何开始之后发现的很棒的在线资源。在本文中，您将从没有编程经验成为

开始使用Apollo Graphql服务器

Wed, 04 May 2022 11:29:08 +0800

本教程可帮助您：获得对 GraphQL 原理的基本理解定义一个表示数据集结构的 GraphQL 模式运行 Apollo Server 实例，该实例允许您针对架构执行查询本教程假定您熟悉命令行和 JavaScript，并且您安装了最新版本的 Node.js （12+）。本教程将引导您完成阿波罗服务器的安装和配置。如果您刚刚开始使用 GraphQL 或 Apollo 平台，我们建议您先完

Netty那点事（八）理解Netty中的异步

Sun, 01 May 2022 20:07:57 +0800

理解Netty中的异步首先，事件驱动的Handler机制本身就是异步的。其次，ChannelFuture为异步操作提供了同步的方式。与Future对应的还有ChannelListener。 Future可以理解为化异步为同步的一个方式。JDK里的Future就是如此。异步的概念和同

Netty那点事（七）层层分析Netty中的Channel(下)

Sun, 01 May 2022 20:06:57 +0800

层层分析Netty中的Channel(下) 上篇文章讲到了Netty的Channel内部的运作机制和生命周期。这篇文章会走进Netty处理的内部，结合NIO，讲讲Netty中是如何实现Reactor模式的。上篇文章讲到了Netty的Channel内部的运作机制，这篇文章详细分析Ch

Netty那点事（六）使用netty构建一个socks proxy

Sun, 01 May 2022 20:05:57 +0800

【netty实战】使用netty构建一个socks proxy 最近在做的项目，需要自己搭建一个socks代理。netty4.0附带了一个socks代理的样例，但是3.x就没有这个东西了，碰巧使用的又是3.7，就只能自己摸索并实现一遍，也算是对netty和socks协议的一个熟悉。 socks

Netty那点事（五）讲讲Handler

Sun, 01 May 2022 20:02:57 +0800

Netty那点事（五）讲讲Handler 至上部分为止，我觉得Netty的架构部分已经差不多说完了，还有些细节，可以在实践中慢慢掌握。但是对于实践来说，Netty还有不容忽视的一部分：Netty提供了大量的ChannelHandler，可以完成不同的任务。用好它们，会使Netty在

Netty那点事（四）Netty与Reactor模式

Sun, 01 May 2022 20:01:57 +0800

Netty那点事（四）Netty与Reactor模式一：Netty、NIO、多线程？时隔很久终于又更新了！之前一直迟迟未动也是因为积累不够，后面比较难下手。过年期间@李林锋hw发布了一个Netty5.0架构剖析和源码解读 http://vdisk.weibo.com/s/C9LV9

Netty那点事（三）Channel中的Pipeline

Sun, 01 May 2022 19:57:57 +0800

Netty那点事（三）Channel中的Pipeline Channel是理解和使用Netty的核心。Channel的涉及内容较多，这里我使用由浅入深的介绍方法。在这篇文章中，我们主要介绍Channel部分中Pipeline实现机制。为了避免枯燥，借用一下《盗梦空间》的“梦境”概念

Netty那点事（二）Netty中的buffer

Sun, 01 May 2022 19:56:57 +0800

Netty那点事（二）Netty中的buffer 上一篇文章我们概要介绍了Netty的原理及结构，下面几篇文章我们开始对Netty的各个模块进行比较详细的分析。Netty的结构最底层是buffer机制，这部分也相对独立，我们就先从buffer讲起。 What：buffer二三事 buf

Netty那点事（一）概述

Sun, 01 May 2022 19:55:57 +0800

Netty那点事（一）概述起：Netty是什么大概用Netty的，无论新手还是老手，都知道它是一个“网络通讯框架”。所谓框架，基本上都是一个作用：基于底层API，提供更便捷的编程模型。那么"通讯框架"到底做了什么事情呢？回答这个问题并不太容易，我们不妨反过来看

更快学习编程的 10 个关键技巧

Sun, 01 May 2022 18:55:57 +0800

1.从基础开始，花更多时间在那里许多学生在任何学习过程中犯的一个错误是尝试跳过基础知识或花更少的时间学习一门学科的基础知识，而是立即跳到第 3 章或第 4 章——忽略或略读前几章。虽然这可能适用于某些知识领域，但在学习计算机编程时，您必须花更多时间充分掌握编码的基础知识。如果你是通过导师

如何使用 MySQL 构建 Node.js REST API

Sun, 01 May 2022 18:50:57 +0800

在本教程中，您将构建一个用于添加、更新和删除待办事项的简单数据库，本教程将向您展示如何使用 Express 和 MySQL 创建 REST API。可以克隆此项目的 GitHub 存储库以进行跟进。让我们开始吧，好吗？入门本教程是一个动手演示。在开始之前，请确保您已准备好以下内容：已安装 MySQL 数据库安装了 Node.js 什么是 MySQL 数据库 MySQL 是一个开源的

无需离开 IDE 即可部署您的第一个网站

Wed, 27 Apr 2022 11:29:08 +0800

我为什么建造它我构建了一个 VS Code Extension，将代码部署到 GitHub Pages。我一直想构建一个 VS 代码扩展，但我从来没有理由或足够的时间。现在我在 GitHub 的 DevRel 工作，我终于有机会这样做了！Microsoft VS Code 团队举办了一个简历网站研讨会，参与者将使用 HTML 和 CSS 构建的简历部署到 GitHub Pages。我与

知乎的用户画像与实时数据的架构与实践

Mon, 25 Apr 2022 09:14:05 +0800

一、前言知乎业务中，随着各业务线业务的发展，逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面，期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面，期望拥有可以实时响应的用户行为流，同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的

React 18 - 新功能和改进策略

Sun, 24 Apr 2022 16:41:52 +0800

3 月 8 日，React 团队发布了 React 18 RC（Release Candidate）。最新版本带来了许多新功能，可以改变许多应用程序中的编码模式。它带来了一些性能改进，我将在本博客中介绍这些改进。并发并发是系统的一种属性，其中多个进程同时执行，并且可能会或可能不会相互交互。太复杂了？让我们

DOM 和虚拟 DOM 的区别

Sun, 24 Apr 2022 16:08:57 +0800

在本文中，我们将尝试找出什么是 DOM 及其存在的问题。什么是 Virtual DOM，并解释它是如何解决真实 DOM 的问题的。介绍 Facebook 开发人员创建的 React 引入了一个新术语，虚拟 DOM。虚拟 DOM 在大幅提高使用该库创建的应用程序的性能方面发挥着重要作用。在下文中，我们将定义虚拟 DOM 和真实 DOM，并解释虚拟 DOM 如何解决真实 DOM

GlideIM - Golang 实现的高性能的分布式 IM

Sun, 24 Apr 2022 13:08:57 +0800

GlideIM 是一款真正的完全开源, Golang 实现的高性能分布式 IM 服务, 有完整的安卓 APP 示例, JAVA SDK, Web 端示例, 持续更新迭代中. GlideIM 支持单实例, 分布式部署. 支持 WebSocket, TCP 两种连接协议, 内置 JSON, ProtoBuff 两种消息交换协议, 并支持添加其他协议, 消息加密等. 还实现了智能心跳保活机制, 死链接检测, 消息送达机制等功能. 这个项目自 2020 年

浏览器的工作原理 - 获取数据（第 2 部分，附插图）🚀

Sun, 24 Apr 2022 13:08:56 +0800

在上一篇文章中，我们谈到navigation了浏览器显示网站的第一步。今天我们将进入下一步，看看如何resources get fetched。 2. 数据获取 HTTP 请求在我们与服务器建立安全连接后，浏览器将发送一个初始的HTTP GET request. 首先，浏览器将请求HTML页面的标记 ( ) 文档。它将使用 HTTP 协议执行

Flutter教程开坑篇 001

Sun, 24 Apr 2022 12:31:56 +0800

在开始之前，我们先来了解下Flutter的架构和渲染机制可以看到Flutter的架构主要分为三层:Framework，Engine和Embedder。 1.Framework使用dart实现，包括Material Design风格的Widget,Cupertino(针对iOS)风格的

如果 Javascript 是单线程的，它是如何异步的

Sun, 24 Apr 2022 12:31:56 +0800

Javascript 是一种单线程语言。这意味着它有一个调用栈和一个内存堆。正如预期的那样，它按顺序执行代码，并且必须在执行下一段代码之前完成一段代码。它是同步的，但有时可能是有害的。例如，如果一个函数需要一段时间才能执行或必须等待某事，它会同时冻结所有内容。发生这种情况的一个很好的例子是窗口警报功

为什么 Flutter 使用 Dart

Sun, 24 Apr 2022 11:31:56 +0800

以下是 Dart 功能的快速列表，它们共同使 Flutter 不可或缺： Dart 是 AOT（Ahead Of Time）编译成快速、可预测的原生代码，它允许几乎所有 Flutter 都可以用 Dart 编写。这不仅使 Flutter 速度更快，而且几乎所有东西（包括所有小部件）都可以自定义。 Dart 也可以进行 JIT（及时）编译，以实现极快的开发周期和改变游戏规则的工

浏览器的工作原理 - 导航（第 1 部分，带插图）⚙️💥

Sun, 24 Apr 2022 10:08:55 +0800

Browsers（也称为web browsers或Internet browsers）是安装在我们设备上的软件应用程序，允许我们访问万维网。您在阅读本文时实际上正在使用一个。今天有许多浏览器在使用，截至 2021 年，最常用的浏览器是：Google Chrome、、Apple's Safari和。

DDD-十、通过预定作业的最终一致性

Sat, 23 Apr 2022 15:16:05 +0800

如何从单个域事件处理程序失败或整个系统在事务提交后但在所有域事件处理程序处理事件之前崩溃的情况中恢复。与软件中的大多数（如果不是全部？）问题一样，这里没有万能的解决方案。相反，您必须找到最能满足您的特定系统要求的解决方案。在这篇博文中，我们将研究一种保证最终一致性的简单（ish）

DDD-九、使用 Spring Data 发布领域事件

Sat, 23 Apr 2022 15:14:15 +0800

从 Spring 的角度来看，域事件只是另一个应用程序事件，可以使用内置的ApplicationEventPublisher. 换句话说，我们不需要担心构建事件总线或其他一些基础设施来发布域事件：您将事件发布者注入到您的域服务中并发布事件。但是，在大多数情况下，您希望直接从聚合中发布域事件，而不

DDD-八、使用 Spring 处理领域事件

Sat, 23 Apr 2022 15:14:05 +0800

Spring Data 使用标准发布域事件ApplicationEventPublisher。这意味着我们也可以使用标准的 Spring 方式处理事件，@EventListener所以让我们先来看看。处理事件@EventListener 使用的域事件处理程序（我有时也使用术语域事件侦听器 - 它们的意思相同）@Even

DDD-七、在 Hibernate 中使用值对象作为聚合标识符

Sat, 23 Apr 2022 15:13:05 +0800

如果您使用的是除 Hibernate 之外的其他 JPA 实现，则必须查看该实现的文档以了解如何创建自定义类型。属性转换器不会做第一个想法可能是使用简单的值对象和属性转换器。不幸的是，这是不可能的，因为 JPA 不支持对@Id字段使用属性转换器。您可以做出妥协并为您的@Id字段和简单的值对象使用“原始”ID 以从其他

DDD-六、使用 Spring Data 构建存储库

Sat, 23 Apr 2022 15:12:05 +0800

使用 Spring Data 构建存储库非常容易。您需要做的就是声明您的存储库接口并让它扩展 Spring Data 接口JpaRepository。但是，这也很容易意外地为本地实体创建存储库（如果您的开发人员不熟悉 DDD 但熟悉 JPA，则可能会发生这种情况）。因此，我总是像这样声明自己的基础存储库接口： @NoRepositoryBean // <1> public interface BaseRepository<Aggregate extends BaseAggregateRoot<ID>, ID extends Serializable> //

DDD-五、使用 Spring Data 构建聚合

Sat, 23 Apr 2022 15:11:05 +0800

JPA 有自己的@Entity概念，但远没有 DDD 中的实体概念那么严格。这既是优点也是缺点。优点是使用 JPA 实现实体和聚合非常容易。缺点是同样容易做 DDD 不允许的事情。如果您与以前广泛使用过 JPA 但不熟悉 DDD 的开发人员一起工作，这可能会特别成问题。而值对象只是实现了一个空的标记接口，实体和聚合根将需要更

DDD-四、在 JPA 中使用值对象

Sat, 23 Apr 2022 15:09:05 +0800

在战术设计中，我们了解了值对象是什么以及它有什么用处。我们从未真正研究过如何在实际项目中使用它。现在是时候卷起袖子，仔细看看一些实际的代码了！值对象是领域驱动设计中最简单和最有用的构建块之一，因此让我们从了解在 JPA 中使用值对象的不同方式开始。为此，我们将从 XML Schema 规范中窃取简单类型和复

DDD-三、领域驱动设计和六边形架构

Sat, 23 Apr 2022 15:08:05 +0800

在前两篇文章中，我们了解了战略和战术领域驱动设计。现在是学习如何将领域模型转化为工作软件的时候了——更具体地说，是如何使用六边形架构来实现。尽管代码示例是用 Java 编写的，但前两篇文章非常通用。虽然本文中的很多理论也可以应用到其他环境和语言中，但我在编写时明确考虑了 Java 和 Vaadin。同

DDD-二、战术领域驱动设计

Sat, 23 Apr 2022 14:53:28 +0800

与战略领域驱动设计相比，战术设计更加亲力亲为，更接近实际代码。战略设计处理抽象的整体，而战术设计处理类和模块。战术设计的目的是将域模型细化到可以转换为工作代码的阶段。设计是一个迭代过程，因此将战略设计和战术设计结合起来是有意义的。你从战略设计开始，然后是战术设计。最大的领域模型设

DDD-一、战略领域驱动设计

Sat, 23 Apr 2022 14:36:17 +0800

领域驱动设计(DDD) 自_Eric Evans_于 2003 年出版他的有关该主题的书以来就一直存在。几年前，当我加入一个遭受数据一致性问题困扰的项目时，我自己就接触了 DDD。重复出现在数据库中，一些信息根本没有保存，你可能随时随地遇到乐观锁定错误。我们设法通过使用战术领域驱动设计的构建块来

你必须准备的 50 个 React 面试问题

Fri, 22 Apr 2022 22:06:02 +0800

截至今天，Github 上有大约 1000 名贡献者。Virtual DOM 和可重用组件等独特功能吸引了前端开发人员的注意。尽管只是 MVC（模型-视图-控制器）中的“视图”库，但它与 Angular、Meteor、Vue 等成熟的框架竞争激烈。查看下面的图表，它显示了流行的 JS 框架的趋势： React面试

React 初学者：教程：React 简介五

Fri, 22 Apr 2022 21:42:11 +0800

什么是React？ React 是一个用于构建用户界面的声明式、高效且灵活的 JavaScript 库。它使您可以从称为“组件”的小而孤立的代码组成复杂的 UI。 React 有几种不同类型的组件，但我们将从React.Component子类开始： class ShoppingList extends React.Component { render() { return ( <div className="shopping-list"> <h1>Shopping List for {this.props.name}</h1> <ul> <li>Instagram</li> <li>WhatsApp</li> <li>Oculus</li> </ul> </div> ); } } // Example usage: <ShoppingList name="Mark" /> 我们很快就会谈到有趣

React 初学者： JSX 简介四

Fri, 22 Apr 2022 15:31:39 +0800

React 是一个用于构建用户界面的声明性、高效和灵活的 JavaScript 库。但不是使用常规的 JavaScript，React 代码应该用一种叫做 JSX 的东西来编写。 **让我们看一个示例 JSX 代码： ** const ele = <h1>This is sample JSX</h1>; 上面的代码片段有点像 HTML，它也使用了类似 JavaScript 的变量，但既不是 HTML 也不是 JavaScript，它是 JSX

React 初学者：学习 ReactJS 之前必须了解的 5 大技能三

Thu, 21 Apr 2022 14:25:43 +0800

在进入 React 之前，你对 JavaScript 有足够的了解吗？你知道如何使用 map() 方法在 javascript 或 ReactJS 中循环遍历数组吗？如果你在学习 React 并且遇到上述这些问题，那么你肯定在学习过程中犯了错误。毫无疑问，ReactJS 是前端开发者中最受欢迎的库，并且它的受欢迎程度与日俱增。在 ReactJS 上运行的网站看起来很漂亮，大多数开发初学者也被

React 初学者：如何学习 ReactJS 二

Thu, 21 Apr 2022 14:21:52 +0800

每个前端开发人员和 Web 开发人员都知道在多个地方编写相同的代码是多么令人沮丧和痛苦。如果他们需要在多个页面上添加一个按钮，他们将被迫编写大量代码。即使在制作经常更改的组件时，使用其他框架的开发人员也面临着返工大多数代码的挑战。开发人员想要一个框架或库，允许他们分解复杂的组件并重用代码

React 初学者：创建新的 React 应用一

Thu, 21 Apr 2022 14:10:33 +0800

使用集成的工具链，以实现最佳的用户和开发人员体验。本页将介绍一些流行的 React 工具链，它们有助于完成如下任务：扩展文件和组件的规模。使用来自 npm 的第三方库。尽早发现常见错误。在开发中实时编辑 CSS 和 JS。优化生产输出。本页推荐的工具链无需配置即可开始使用。你可能不需要工具链如果你没有碰到上述

下一代样式走势组件驱动式Web设计

Sun, 17 Apr 2022 19:22:10 +0000

自从著名设计师 Ethan Marcotte（@beep）在 A List Apart 上发表了一篇名为《 Responsive Web Design 》的文章之后，响应式网页设计（RWD，即 Responsive Web Design）的身影就出现在了公众面前。自此就有了响应式 Web 设计这个概念。从提出这个概念到今天已经有十多年的时间了。在这十多年来，CSS 也发生了巨大的变化，新增

深入理解Go的GC回收机制

Wed, 23 Mar 2022 21:50:17 +0800

GC：Garbage Collection（垃圾回收是编程语言中提供的自动的内存管理机制，自动释放不需要的内存对象，让出存储器资源。）GC过程中无需程序员手动执行，GC机制在现代很多编程语言都支持，GC能力的性能与优劣也是不同语言之间对比度指标之一。关于Golang的GC在演进过程

起步：如何为您的Next.js项目构建可扩展的架构

Tue, 22 Mar 2022 18:22:10 +0000

什么是Next.js？ “Next.js为您提供了最佳的开发人员体验，其中包含生产所需的所有功能：混合静态和服务器渲染，TypeScript支持，智能捆绑，路由预取等。无需配置。正如他们上面所说的那样，Next.js是一个多合一的全栈现代应用程序构建解决方案。它包括对T

DDD实战：20 总结（二）：分布式架构关键设计10问

Tue, 22 Mar 2022 17:22:10 +0000

前面我们重点讲述了领域建模、微服务设计和前端设计方法，它们组合在一起就可以形成中台建设的整体解决方案。而中台大多基于分布式微服务架构，这种企业级的数字化转型有很多地方值得我们关注和思考。我们不仅要关注企业商业模式、业务边界以及前中台的融合，还要关注数据技术体系、微服务设计、多活等

DDD实战：19 总结（一）：微服务设计和拆分要坚持哪些原则

Tue, 22 Mar 2022 16:22:10 +0000

我们前面已经讲了很多 DDD 的设计方法和实践案例。虽然 DDD 的设计思想和方法很好，但由于企业发展历程以及企业技术和文化的不同，DDD 和微服务的实施策略也会有差异。那么面对这种差异，我们应该如何落地 DDD 和微服务呢？今天我们就来聊聊微服务的设计原则和演进策略。微服务的演进策略在从单体向微服务演进

DDD实战：18 知识点串讲：基于DDD的微服务设计实例

Tue, 22 Mar 2022 15:22:10 +0000

为了更好地理解 DDD 的设计流程，今天我会用一个项目来带你了解 DDD 的战略设计和战术设计，走一遍从领域建模到微服务设计的全过程，一起掌握 DDD 的主要设计流程和关键点。项目基本信息项目的目标是实现在线请假和考勤管理。功能描述如下：请假人填写请假单提交审批，根据请假人身份、请假类型和请假天数进行校

DDD实战：17 从后端到前端：微服务后，前端如何设计

Tue, 22 Mar 2022 14:22:10 +0000

微服务架构通常采用前后端分离的设计方式。作为企业级的中台，在完成单体应用拆分和微服务建设后，前端项目团队会同时面对多个中台微服务项目团队，这时候的前端人员就犹如维修电工一样了。面对如此多的微服务暴露出来的 API 服务，如何进行正确的连接和拼装，才能保证不出错？这显然不是一件很容易的事情

DDD实战：16 视图：如何实现服务和数据在微服务各层的协作

Tue, 22 Mar 2022 13:22:10 +0000

在 DDD 分层架构和微服务代码模型里，我们根据领域对象的属性和依赖关系，将领域对象进行分层，定义了与之对应的代码对象和代码目录结构。分层架构确定了微服务的总体架构，微服务内的主要对象有服务和实体等，它们一起协作完成业务逻辑。那在运行过程中，这些服务和实体在微服务各层是如何协作的呢？今天

DDD实战：15 边界：微服务的各种边界在架构演进中的作用

Sun, 20 Mar 2022 13:22:10 +0000

前几讲我们已经介绍过了，在用 DDD 进行微服务设计时，我们可以通过事件风暴来确定领域模型边界，划定微服务边界，定义业务和系统运行边界，从而保证微服务的单一职责和随需而变的架构演进能力。那重点落到边界的时候，总结一下就是，微服务的设计要涉及到逻辑边界、物理边界和代码边界等等。那么这些边界

DDD实战：‎使用事件风暴和域驱动设计对反应式系统进行建模‎

Sun, 20 Mar 2022 13:22:10 +0000

一个成功的事件风暴会议——以及一个成功的软件项目——需要同等的艺术、知识和技术技能。此外，对便笺进行更改比对生产代码进行更改要便宜得多。通过编写代码来了解您的系统是理解和完善所涉及的业务流程的一种非常昂贵的方法。‎ ‎本文中的任何内容都不需要技术专业知识或以前使用反应式事件驱动系统

DDD实战：14 代码模型（下）：如何保证领域模型与代码模型的一致性

Sat, 19 Mar 2022 15:22:10 +0000

在 [第 12 讲] 中，我们了解了如何用事件风暴来构建领域模型，在构建领域模型的过程中，我们会提取出很多的领域对象，比如聚合、实体、命令和领域事件等。到了 [第 13 讲]，我们又根据 DDD 分层架构模型，建立了标准的微服务代码模型，为代码对象定义好了分层和目录结构。那要想完成微服务的设计和落地，这之

DDD实战：13 代码模型（上）：如何使用DDD设计微服务代码模型

Sat, 19 Mar 2022 14:22:10 +0000

上一讲我们完成了领域模型的设计，接下来我们就要开始微服务的设计和落地了。那微服务落地时首先要确定的就是微服务的代码结构，也就是我今天要讲的微服务代码模型。只有建立了标准的微服务代码模型和代码规范后，我们才可以将领域对象所对应的代码对象放在合适的软件包的目录结构中。标准的代码模型可

DDD实战：12 领域建模：如何用事件风暴构建领域模型

Sat, 19 Mar 2022 13:22:10 +0000

还记得我在 [第 01 讲] 中说过，微服务设计为什么要选择 DDD 吗？其中有一个非常重要的原因，就是采用 DDD 方法建立的领域模型，可以清晰地划分微服务的逻辑边界和物理边界。可以说，在 DDD 的实践中，好的领域模型直接关乎微服务的设计水平。因此，我认为 DDD 的战略设计是比战术设计更为重要的，也正是这个原因，我

让你更懂 JavaScript：13 JavaScript 启动性能瓶颈分析与解决方案

Tue, 15 Mar 2022 15:22:10 +0000

JavaScript Start-up Performance|JavaScript 启动性能瓶颈分析与解决方案 Chrome 插件 Console Importer 推荐：Easily import JS and CSS resources from Chrome console. （可以在浏览器控制台安装 loadsh、moment、jQuery 等库，在控制台直接验证、使用这些库。）参考资料： v8 官方文档图解 Google V8 浏览器工作原理与实践 V8、Chrome、Node.js【知乎专栏】 JavaScript 引擎 V8

让你更懂 JavaScript：12 在 V8 引擎里 5 个优化代码的技巧

Tue, 15 Mar 2022 14:24:10 +0000

对象属性的顺序: 在实例化你的对象属性的时候一定要使用相同的顺序，这样隐藏类和随后的优化代码才能共享；动态属性: 在对象实例化之后再添加属性会强制使得隐藏类变化，并且会减慢为旧隐藏类所优化的代码的执行。所以，要在对象的构造函数中完成所有属性的分配；方法: 重复执行相同的方法会运行的比不

让你更懂 JavaScript：11 13 个 JavaScript 性能提升技巧

Tue, 15 Mar 2022 14:22:10 +0000

Daniel Clifford 在 Google I/O2012 上做了一个精彩的演讲 “Breaking the JavaScript Speed Limit with V8”。在演讲中，他深入解释了 13 个简单的代码优化方法，可以让你的 JavaScript 代码在 Chrome V8 引擎编译 / 运行时更加快速。在演讲中，他介绍了怎么优化，并解释了原因。下面简明的列出了 13 个 JavaScript 性能提升技巧：在构造函数里初始化所有对象的成员 (所以这些

让你更懂 JavaScript：10 机器码、字节码

Tue, 15 Mar 2022 13:22:10 +0000

1、字节码早期的 V8 为了提升代码的执行速度，直接将 JavaScript 源代码编译成了没有优化的二进制机器代码，如果某一段二进制代码执行频率过高，那么 V8 会将其标记为热点代码，热点代码会被优化编译器优化，优化后的机器代码执行效率更高。随着移动设备的普及，V8 团队逐渐发现将 JavaScript 源码直接编译成二进制代码存在两

与

Tue, 15 Mar 2022 13:48:48 +0800

来源： Microstrong 文章主要内容概览： 1. Seq2Seq 以及注意力机制 Seq2Seq 任务指的是输入和输出都是序列的任务。例如说英语翻译成中文。 1.1 Encoder-Decoder 模型与 Seq2Seq 的关系？答：编码器-解码器（Encoder-Decoder）模型最初是由 Cho 等提出应用在机器翻译中。由于在机器翻译中是文本到文本的转换，比如将法语翻译成英语，Suts

排得更好估得更准搜的更全推荐广告搜索算法间到底有什么区别

Tue, 15 Mar 2022 13:46:42 +0800

文 | 王喆源 | 王喆的机器学习笔记作为互联网的核心应用“搜广推”，三个方向基本都是互联网公司的标配。各头部公司的搜广推系统也都各自发展成了集成了多种模型、算法、策略的庞然大物，想一口气讲清楚三者的区别并不容易。不过万事总有一个头绪，对于一个复杂问题，直接深入到细节中去肯定是不明智的，

机器学习的可解释性因果推理和稳定学习

Tue, 15 Mar 2022 13:43:19 +0800

分享嘉宾：况琨浙江大学助理教授编辑整理：有感情的打字机、闫建飞 DataFunTalk 导读：机器学习方法已经在许多领域取得了巨大的成功，但是其中大多数都缺乏可解释性和稳定性。其主要原因是目前机器学习方法是关联驱动的，且没有区分数据中的因果关联和虚假关联。因果推理是用于解释分析的强大建模工具，可以帮助恢

同城同镇下沉市场中的推荐技术实践

Tue, 15 Mar 2022 12:10:57 +0800

分享嘉宾：闫文昌 58同城算法架构师编辑整理：GYH 出品平台：DataFunTalk、AI启蒙者导读： 58同镇是58同城进军下沉市场最重要的战略性业务，58同镇推荐系统面向下沉市场用户群，以Feed流方式提供基于地域分发的多品类信息融合推荐。本次分享重点聚焦58本地版APP首页Fe

有赞搜索系统的架构演进

Tue, 15 Mar 2022 12:06:56 +0800

转载自有赞技术博客有赞搜索平台是一个面向公司内部各项搜索应用以及部分 NoSQL 存储应用的 PaaS 产品，帮助应用合理高效的支持检索和多维过滤功能，有赞搜索平台目前支持了大大小小一百多个检索业务，服务于近百亿数据。在为传统的搜索应用提供高级检索和大数据交互能力的同时，有赞搜索平台还需要为其他比如商

实时计算在微博的应用

Tue, 15 Mar 2022 12:05:50 +0800

摘要：微博机器学习研发中心数据计算负责人，高级系统工程师曹富强为大家带来 Flink 实时计算在微博的应用介绍。一、微博介绍本次给大家带来的分享是 Flink 实时计算在微博的应用。微博是中国领先的社交媒体平台，目前的日活跃用户是 2.41 亿，月活跃用户是 5.5 亿，其中移动用户占比超过了 94%。二、数据计算平台介绍

个性化推荐技术

Tue, 15 Mar 2022 11:54:47 +0800

文章作者：姚凯飞 Club Factory 推荐算法负责人内容来源：作者授权发布出品社区：DataFun 注：欢迎转载，转载请注明出处。在这个时代背景下，信息爆炸与长尾问题普遍发生，而解决方案之一是个性化推荐技术，那具体什么是个性化推荐，怎么去实现这一过程呢？这一章读者朋友需要做到的是读完以后，对个性化推

细粒度实体分类论文综述二

Tue, 15 Mar 2022 11:52:40 +0800

作者：龚俊民(昵称：除夕) 学校：新南威尔士大学单位：Vivo AI LAB 算法实习生方向：自然语言处理和可解释学习知乎： https://www.zhihu.com/people/gong-jun-min-74 前言：把分类粒度变细是亚里士多德在《形而上学》中的“给世间万物的存在基于语言来分层和分类”的进一步体现。我们只把世间万物的存在划分成人名，机构，位置，时间这些类别远远不

搜索相关性算法在中的探索

Tue, 15 Mar 2022 11:50:07 +0800

李明阳滴滴技术导读：今天给大家分享的主题是搜索匹配问题在 DiDi Food 中的一些探索与应用。本文首先介绍了搜索相关性的一些背景，之后介绍了业界常见的三种匹配模型，以及在 DiDi Food 业务中的模型效果对比。匹配模型包括：1. 基于表征的深度匹配模型；2. 基于交互的深度匹配模型；3. 同时基于表征与交互的深度

深度学习在同城首页推荐中的应用

Tue, 15 Mar 2022 11:50:07 +0800

作者：王连臣来源：58技术导读 58同城作为国内最大的生活信息服务提供商，涵盖招聘、房产、车辆、兼职、黄页等海量的生活分类信息。随着各个业务线业务的蓬勃发展，用户在网站上可获取的分类信息是爆炸性增长的。如何解决信息过载，帮助用户快速找到关注的信息，已经成为用户体验提升的关键点与服务

机器学习概述机器学习的发展

Tue, 15 Mar 2022 11:47:54 +0800

1.1 机器学习概述——机器学习的发展目前人工智能的三大学派：符号主义(symbolicism)，又称为逻辑主义、心理学派或计算机学派，其原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理。连接主义(connectionism)，又称为仿生学派或生理学派，其主要原理为神经网络

同城本地服务场景下的流量分发算法实践

Tue, 15 Mar 2022 11:46:10 +0800

分享嘉宾：陈琳 58同城算法架构师编辑整理：Duoli 出品平台：DataFunTalk 导读： 58本地服务由数百个细分品类、多个创新业务和国际业务组成，如何构建智能化的流量分发体系是一项挑战，我们通过整合搜索和推荐场景构建了一套统一的流量分发系统，本次分享将主要介绍系统中的算法实践，

网易严选全能选手召回表征算法实践

Tue, 15 Mar 2022 11:45:55 +0800

分享嘉宾：潘胜一网易严选算法专家 ,严选人工智能部搜索推荐负责人。团队负责的业务包括搜索、推荐、内外部广告、用户模型等。编辑整理：许建军出品平台：DataFunTalk 导读：本文主要分享 “全能选手” 召回表征算法实践。首先简单介绍下业务背景：网易严选人工智能部

网站日志实时分析之处理实时热门和统计

Tue, 15 Mar 2022 11:44:52 +0800

实时热门统计操作步骤：先从Kafka读取消费数据使用map算子对数据进行预处理过滤数据，只留住pv数据使用timewindow，每隔10秒创建一个20秒的window 然后将窗口自定义预聚合，并且兹定于窗口函数，按指定输入输出case操作数据上面操作时候返回的是DataStream

多目标排序模型在腾讯看点推荐系统中的应用实践

Tue, 15 Mar 2022 11:44:21 +0800

作者：zhongzhao，腾讯 PCG 应用研究员在推荐系统中，最常用的排序模型是以用户点击为目标的CTR预估模型，它没有考虑用户点击后的消费深度，也没有考虑用户的多种互动行为带来的生态方面的收益。为了取得CTR以外的更多收益，QQ看点团队在深度学习框架下，对推荐系统中的多目标建模做了一

百度搜索中台新一代内容架构化和智能化实战

Tue, 15 Mar 2022 11:44:11 +0800

导读：百度搜索中台内容计算架构为在线提供了数十亿的异构且有丰富特征和信号的优质原材料。我们以 Serverless 理念为指引，通过FaaS化和智能化的系统性建设，构建了新一代内容数据计算系统，实现了业务研发效率、资源成本和架构稳定性维护性的显著提升。本文从搜索中台内容架构演进过程中遇到的问题入手, 分

贝壳找房深度语义匹配模型原理篇一表示型

Tue, 15 Mar 2022 11:43:43 +0800

深度语义匹配模型系列文章会向大家介绍几种经典的表示型和交互型模型原理及其优缺点，同时后续的实践篇将会介绍匹配模型在智能客服中的实践应用。一、背景工业界的很多应用都有在语义上衡量本文相似度的需求，直接目标就是判断两句话是否表达了相同或相似意思，我们将这类需求统称为“语义匹配”，nl

国际信息流推荐中的多语言内容理解

Tue, 15 Mar 2022 11:43:33 +0800

分享嘉宾：汪昆阿里巴巴编辑整理：Hoh Xil 内容来源：大鱼技术沙龙出品社区：DataFun 导读：本次分享的题目是 UC 国际信息流推荐中的多语言内容理解，讲一下我们在国际信流推荐场景下的多语言内容理解方面的一些工作和思考，主要分为：多语言内容理解的需求和挑战多语言内容结构化信号建设方法总结

倒排索引缓冲池的细节

Tue, 15 Mar 2022 11:43:29 +0800

文章来源： https://github.com/zzboy/lucene/blob/master/lucene%E5%80%92%E6%8E%92%E7%B4%A2%E5%BC%95%E7%BC%93%E5%86%B2%E6%B1%A0%E7%9A%84%E7%BB%86%E8%8A%82.md 倒排索引要存哪些信息提到倒排索引，第一感觉是词到文档列表的映射，实际上，倒排索引需要存储的信息不止词和文档列表。为了使用余弦相似度计算搜索词和文档的相似度，需要计算文档中每个词的 TF-IDF 值，这样就需要记录词在每个文档中出现的频率以及包含这个词的文档数量，前者需要对应每个文档

算法工程师必须要知道的面试技能雷达图

Tue, 15 Mar 2022 11:41:47 +0800

原文地址： https://zhuanlan.zhihu.com/p/54089811 今年是我作为算法工程师工作的第七个年头，期间拿到过hulu，阿里巴巴，腾讯，美团以及一些startup的算法工程师offer，也作为面试官面试过清北，海外，北邮，以及一些二本学校等不同背景的百余位candidates，作为面试者和面试官的经验还比较丰富。所以希望自己的

淘宝如何拥抱短视频时代视频推荐算法实战

Tue, 15 Mar 2022 11:41:12 +0800

阿里机器智能 1. 前言 1.1 迅猛发展的短视频业务短视频一般指长度在5分钟以内的视频内容。由于用户时间碎片化、移动互联网和智能手机的快速普及、制作门槛低等原因，短视频最近几年引起广泛关注。从2011年的萌芽，到2015年快手、美拍等异军突起，到2016年抖音、火山小视频等迅猛发展，短视频正

无监督算法在虎牙风控的探索实践

Tue, 15 Mar 2022 11:40:52 +0800

分享嘉宾：吴淑媛博士虎牙编辑整理：李菲神州数码出品平台：DataFunTalk 导读：本文的主题为无监督算法在虎牙风控的探索实践，首先会简单介绍虎牙主要的业务场景以及存在的风险，其次是黑产常见的攻击技术手段以及传统应对方法的不足。第二部分会分享无监督算法在虎牙风控中的落地实践，详细

技术在金融资管领域的落地实践

Tue, 15 Mar 2022 11:39:46 +0800

分享嘉宾：李渔熵简科技联合创始人编辑整理：Hoh 内容来源：DataFunTalk 导读：在数字化浪潮的大背景下，金融资管行业的先行者正在积极探索将人工智能、大数据等先进技术用于构建面向未来的智能化投资研究平台。本文将从金融资管领域对于数据智能的需求入手，详细介绍自然语言处理技术在金

阿里文娱优酷视频搜索算法应用实践与思考

Tue, 15 Mar 2022 11:39:30 +0800

分享嘉宾：若仁阿里文娱高级算法专家编辑整理：秋林津渡内容来源：阿里文娱技术出品平台：DataFunTalk 导读：视频搜索是涉及信息检索，自然语言处理 ( NLP )，机器学习以及计算机视觉 ( CV ) 等多领域的综合应用场景，随着深度学习在这些领域的长足进展以及用户对视频生产和消费的广泛需求，视频

阿里飞猪搜索技术的应用与创新

Tue, 15 Mar 2022 11:39:29 +0800

分享嘉宾：林睿阿里飞猪编辑整理：杜正海、Hoh 出品平台：DataFunTalk 导读：旅行场景的搜索起初是为了满足用户某种特定的强需求而出现的，如机票、火车票、酒店等搜索。这些需求有着各自不同的特点，传统的旅行搜索往往会对不同业务进行定制化搜索策略。随着人工智能技术的不断发展，用户

滴滴实时数仓在滴滴的实践和落地

Tue, 15 Mar 2022 11:39:23 +0800

桔妹导读：随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。 1. 实时数仓建设目的随着互

技术人生专题第篇什么是技术一号位

Tue, 15 Mar 2022 11:39:17 +0800

作者 | 贺科学（晨末）来源 | 阿里巴巴中间件团队前言绝大多数的人都有自己的思维定式，都有无形的枷锁束缚着自己的思维，从而导致行为也被束缚，所以在他人看来会有这样的现象：有些事情该做却没有做，有些事情不该做却做了很多。我们抛开公序良俗、社会道德、法律法规等等这些约束人在社会活动中必须遵

多标签分类中的损失函数与评估指标

Tue, 15 Mar 2022 11:39:12 +0800

各位朋友大家好，欢迎来到月来客栈。由于推文不支持后续修订，所以本文将同步推送至网站 www.ylkz.life，欢迎关注，谢谢大家！ 1 引言各位朋友大家好，欢迎来到月来客栈。在前面的一篇文章[1]中笔者介绍了在单标签分类问题中模型损失的度量方法，即交叉熵损失函数。同时也介绍了多分类任

深度预估模型中的特征自动组合机制演化简史

Tue, 15 Mar 2022 11:34:41 +0800

作者：杨旭东 96 人赞同了该文章众所周知，深度学习在计算机视觉、语音识别、自然语言处理等领域最先取得突破并成为主流方法。但是，深度学习为什么是在这些领域而不是其他领域最先成功呢？我想一个原因就是图像、语音、文本数据在空间和时间上具有一定的内在关联性。比如，图像中会有大量的像素与周围的

五年磨一剑滴滴顺风车服务端之稳定性规范

Tue, 15 Mar 2022 11:32:49 +0800

桔妹导读：本文给出其中稳定性相关的规范，这些规范都是顺风车成立五年来，对大量真实线上故障复盘、总结得到的，希望对大家服务的稳定性提升有所帮助。服务端作为顺风车技术部内最大的工程团队，随着人员的扩张和迭代，流程规范在其中扮演着原来越重要的角色。一方面规范化可以提高我们的交付质量、交

的优秀变体论文图解介绍

Tue, 15 Mar 2022 11:32:45 +0800

作者：amitness 编译：ronghuaiyang 导读: ALBERT作为BERT的一个变体，在保持性能的基础上，大大减少了模型的参数，使得实用变得更加方便，是经典的BERT变体之一。 BERT 的 youxiu 变体：ALBERT 论文图解介绍考虑下面给出的句子。作为人类，当我们遇到“ apple”这个词

对的深入解读

Tue, 15 Mar 2022 11:31:20 +0800

作者：Madison May 编译：ronghuaiyang 导读 Reformer 之前已经提过几次，这次带大家更加深入的了解一下这个方法的思想及背后的动机。自从最初的"Attention is All You Need"论文在 NLP 社区掀起了 Transformer 热潮，似乎我们一直在不懈地追求更大的模型。在 2019 年夏天，英伟达发

腾讯入选篇论文含篇

Tue, 15 Mar 2022 11:31:16 +0800

被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单，此次为第32届会议，将于 12 月 3 日至 8 日在加拿大蒙特利尔举办。腾讯AI Lab第三次参加NIPS，共有20篇论文入选，其中2篇被选为亮点论文（Spotlight），涵盖迁移学习、模仿学习、半监督学习等多个研

基于内容的推荐算法

Tue, 15 Mar 2022 11:30:19 +0800

作者丨gongyouliu 欢迎关注他的公众号gongyouliu 作者在上篇文章《推荐系统产品与算法概述》中对推荐算法做了比较全面的概述，本篇开始我们来详细讲解各类推荐算法。这篇文章我们主要关注的是基于内容的推荐算法，它也是非常通用的一类推荐算法，在工业界有大量的应用案例。本文会从

搜索中的理解及应用

Tue, 15 Mar 2022 11:29:57 +0800

作者：joelchen，腾讯 PCG 应用研究员全面理解搜索Query 1. 前言 Query理解（QU，Query Understanding），简单来说就是从词法、句法、语义三个层面对query进行结构化解析。这里query从广义上来说涉及的任务比较多，最常见的就是我们在搜索系统中输入的查询词

算法

Tue, 15 Mar 2022 11:29:51 +0800

本次课程的主题包括： Web structure Pagerank 推导和计算方式应用：Graph Search（个人认为反而是重要的部分） 1. Web Structure 1.1 定义：有向图 : 所有能够到达 v 的节点集合：所有 v 能够到达的节点集合有向图的两种类别： strongly connected：节点间是互通的，能够通过有向路径实现互达（） directed acyclic graph：有向无环图，

深入理解推荐系统算法

Tue, 15 Mar 2022 11:29:20 +0800

深入理解推荐系统：召回深入理解 YouTube 推荐系统算法深入理解推荐系统：排序去年天池-安泰杯跨境电商智能算法大赛是我初次接触推荐相关的比赛，通过比赛让我对推荐系统有了较为浅显的认识，赛后也是打算系统的学习这方面的内容，此后我也会将【推荐系统】作为一个系列板块进行更新，主打经典推荐算法的原理

技术推荐算法在商业化场景中的探索实践

Tue, 15 Mar 2022 11:29:19 +0800

分享嘉宾：祝凯文 58集团算法架构师编辑整理：陆云卓出品平台：DataFunTalk 导读： 58招聘业务商业化流量主要集中在推荐场景，招聘业务面向的C端求职者群体广泛，B端企业招聘职位类型丰富，由于蓝领招聘具备门槛低的特点，求职者求职意向普遍跨度较大，如何基于有限的商业候选职位做好B

知识图谱万条三元组生成方法一

Tue, 15 Mar 2022 11:28:22 +0800

作者：谓之小一本篇文章接《Python爬虫|Get豆瓣电影与书籍详细信息》，学习如何利用爬取的数据，构建知识图谱所需的三元组。主要内容包括如何从Json类型的数据，转换成RDF数据，并最终存储到Jena之中，然后利用SPARQL进行查询。数据链接: https://pan.baidu.com/s/1cLdsAXLGH2akJqMIsGdoig 提取码: n97y。实践之前，请

丁香园图表示学习实践与思考

Tue, 15 Mar 2022 11:27:57 +0800

丁香园大数据NLP 引言结合了表示学习和深度学习的图模型已经成为近些年人气最高的研究方向之一，然而令其服务于应用场景并不简单，即便线上业务能产生大量数据，如何根据数据构建符合需求的图结构依然是强业务相关，难以总结通用经验的问题。在这方面，医疗信息行业有先天优势，首先从医学文献资料中

打造工业级推荐系统一推荐算法工程师的成长之道

Tue, 15 Mar 2022 11:27:30 +0800

导读：个性化推荐系统，简单来说就是根据每个人的偏好推荐他喜欢的物品。互联网发展到现在，推荐系统已经无处不在，在各行各业都得到普遍都应用。亚马逊号称 40% 的收入是来自个性化推荐系统的，淘宝的个性化推荐系统也带来非常大的收益，新闻媒体的个性化推荐系统典型的是今日头条，直播平台给用户推荐喜

在腾讯应用宝的推荐实践

Tue, 15 Mar 2022 11:27:28 +0800

作者：carloslin，腾讯 PCG 应用研究员 Embedding 技术目前在工业界以及学术界中应用非常广泛，关于 Embedding 的探索和应用从未停歇。Embedding 的训练方法主要分成 DNN 的端到端的方法以及序列学习的非端到端的方法，其中最经典的 word2vec 以及由此衍生出 sentence2vec，doc2vec，item2ve

详文解读微信看一看多模型内容策略与召回

Tue, 15 Mar 2022 11:27:11 +0800

nevinzhang 微信AI 导读：在微信AI背后，技术究竟如何让一切发生？关注微信AI公众号，我们将为你一一道来。今天我们将放送**微信AI技术专题系列“微信看一看背后的技术架构详解”**的第二篇——《微信看一看内容召回》。第一篇：微信「看一看」推荐排序技术揭秘看一看介绍相信对于不少人而言微信已经

京东搜索排序在线学习的优化实践

Tue, 15 Mar 2022 11:27:09 +0800

摘要：本文由京东搜索算法架构团队分享，主要介绍 Apache Flink 在京东商品搜索排序在线学习中的应用实践。文章的主要大纲如下：一、背景在京东的商品搜索排序中，经常会遇到搜索结果多样性不足导致系统非最优解的问题。为了解决数据马太效应带来的模型商品排序多样性的不足，我们利用基于二项式汤普森采样建模，

文本相关性在蘑菇街搜索推荐排序系统中的应用

Tue, 15 Mar 2022 11:27:03 +0800

作者：美丽联合集团算法工程师琦琦，公众号关注：诗品算法 0、引言好久不见。十月最后一天，居然也是十月的第一篇，脸疼。今天我们来聊聊相关性吧。如何巧妙地将NLP相关知识应用于搜索推荐系统呢？且往下看。 PS：笔者在本篇文章中所提及的算法，全部在真实的生产环境中实践过，均有收益，且全部落

阿里飞猪林睿从核心因子预估实体识别如何实现文本和空间的搜索相关性

Tue, 15 Mar 2022 11:27:01 +0800

分享嘉宾：林睿阿里巴巴算法专家编辑整理：李鹏重庆邮电大学出品平台：DataFunTalk 导读：随着人们生活质量不断提高，出门旅行逐渐成为大众喜爱的消遣方式，酒店预定则是出游必不可少的一环。为了让用户拥有更好的体验，满足用户各种个性化地搜索，从而让用户在最短时间内找到心仪的酒店，文

干货中文分词技术详解

Tue, 15 Mar 2022 11:26:55 +0800

作者：李rumor 虽然现在大家都用字粒度的BERT隐式地进行词法分析，但分词依旧是很多系统中重要的一环，BERT之前的经典浅层模型大都以词向量作为输入。今天就再把分词拿出来聊聊，如果有一天大家做了面试官，不妨把这些细节拿出来问一哈。 NLP的底层任务由易到难大致可以分为词法分析、句

塔勒布反脆弱读后感

Tue, 15 Mar 2022 11:26:50 +0800

关于作者作者纳西姆·尼古拉斯·塔勒布的两部超级畅销书《随机漫步的傻瓜》和《黑天鹅》，已经成为华尔街投资人士必读的经典著作。其本人也曾因成功预测金融危机，做空美股而名声大噪。他一生专注于研究运气、不确定性、概率和知识。之前在樊登一个演讲中，听他给了《反脆弱》这本书极高的评价，只好百

陌陌模型化召回在陌陌社交推荐的应用和探索

Tue, 15 Mar 2022 11:25:54 +0800

分享嘉宾：吴保鑫陌陌科技高级算法专家编辑整理：揭萍出品平台：DataFunTalk 导读：在陌陌的社交推荐体系中，模型化Recall在召回模块中起到了重要作用。本文主要介绍模型化Recall在陌陌社交推荐中的技术探索和具体落地应用，重点介绍基于用户场景行为驱动、用户社交关系网络和动

携程深耕内容背景下携程如何做景酒优质内容的挖掘

Tue, 15 Mar 2022 11:25:50 +0800

作者简介：莱灵图髯客，携程高级算法工程师，主要负责自然语言处理领域相关工作，对半监督学习、自然语言生成、实体识别、文本分类及检索等领域有浓厚兴趣。一、背景介绍伴随信息时代的快速发展，消费者的消费观念趋于理性、客观，对产品本身的质量要求也越来越高。在用户难以直接接触到产品的情况下，

腾讯音乐多模态音乐匹配技术与应用

Tue, 15 Mar 2022 11:25:50 +0800

分享嘉宾：Moyan 腾讯音乐高级算法研究员编辑整理：吴祺尧出品平台：DataFunTalk 导读： QQ音乐和全民K歌的各种技术需求驱动了多模态学习的研究。在总结归纳业务需求时，我们总结了MMatch，一系列模态匹配技术。提出多模态技术的想法很自然，因为不同模态之间的描述可以补充知识

美团一站式机器学习平台建设实践

Tue, 15 Mar 2022 11:25:34 +0800

本文根据美团配送资深技术专家郑艳伟在2019 SACC（中国系统架构师大会）上的演讲内容整理而成，主要介绍了美团配送技术团队在建设一站式机器学习平台过程中的经验总结和探索，希望对从事此领域的同学有所帮助。 0. 写在前面 AI是目前互联网行业炙手可热的“明星”，无论是老牌巨头，还是流量新贵

个你应该用用看的用于文本分类的最新开源预训练模型

Tue, 15 Mar 2022 11:25:15 +0800

作者：PURVA HUILGOL 编译：ronghuaiyang 英文原文： https://www.analyticsvidhya.com/blog/2020/03/6-pretrained-models-text-classification/ 导读: 文本分类是 NLP 的基础任务之一，今天给大家介绍 6 个最新的预训练模型，做 NLP 的同学一定要用用看。介绍我们正站在语言和机器的交汇处。我对这个话题很感兴趣。机器能写得和莎士比亚一样好吗？如果一台机器可以提高我自己的写作技能呢？

医疗搜索中的词权重算法探索

Tue, 15 Mar 2022 11:24:54 +0800

来源：丁香园大数据前言计算query词权重（术语权重，也称作Term Necessity，Query Term Weight）是IR研究中的一个基本问题，属于Query解析的一部分。熟悉倒排索引的同学都知道，文档通常以词的粒度建立索引。所以对于词的解析，在Query解析中属于非常重要的工作。

百度短视频推荐系统的目标设计

Tue, 15 Mar 2022 11:24:24 +0800

作者：玉奇导读：短视频产品最近两年蓬勃发展，百度旗下的短视频品牌-好看视频，人均使用时长70分钟，短视频播放量已超30亿，从推荐系统的角度考虑，如何设计一个推荐系统的目标，以及短视频迭代过程中沉淀的思考。全文2433字，预计阅读时间 8分钟。《2020年中国网络视听发展研究报告》显

深入理解推荐系统排序

Tue, 15 Mar 2022 11:22:30 +0800

深入理解推荐系统：召回深入理解 YouTube 推荐系统算法深入理解推荐系统：排序作为【推荐系统】系列文章的第三篇，将以“排序”作为今天的主角，会从四个方面来介绍推荐系统中的排序模块，即建模目标、样本与特征、常见模型和粗排与精排的方法。最近正好在做 KDD Cup：Debiasing 赛道，不同于其它类型

电商知识图谱

Tue, 15 Mar 2022 11:22:28 +0800

文章作者：阿里CBU技术部内容来源：《阿里巴巴B2B电商算法实战》导读：发展是平台永恒的话题，以电商平台为例，在基于用户身份、历史行为挖掘偏好，以实现精准搜索和推荐结果展示之外，为了激励用户在平台进行更多采购，需要专门构建强化采购激励、拓宽采购品类的场景。本文以知识图谱为切入点，

浅谈微视推荐系统中的特征工程

Tue, 15 Mar 2022 11:22:04 +0800

本文作者：hannahguo，腾讯 PCG 推荐算法工程师在推荐系统中，特征工程扮演着重要的角色。俗话说数据和特征决定了机器学习算法的上限，而模型、算法的选择和优化只是在不断逼近这个上限。特征工程的前提是收集足够多的数据，使用数据学习知识，从大量的原始数据中提取关键信息并表示为模型所需要

深入理解推荐系统超长用户行为序列建模

Tue, 15 Mar 2022 11:22:04 +0800

【推荐系统】专栏历史文章：深入理解 YouTube 推荐系统算法深入理解推荐系统：召回深入理解推荐系统：排序深入理解推荐系统：Fairness、Bias 和 Debias 深入理解推荐系统：推荐系统中的 attention 机制作为【推荐系统】系列文章的第七篇，将以CIKM2020中的一篇论文“Search-based User Interest Modeling with Lifelong Sequential

机器学习中如何处理不平衡数据

Tue, 15 Mar 2022 11:21:54 +0800

准确率高达 96.2% 的模型跑在真实数据上却可能完全无法使用。一个可能的原因是：你所使用的训练数据是不平衡数据集。本文介绍了解决不平衡类分类问题的多种方法。假设老板让你创建一个模型——基于可用的各种测量手段来预测产品是否有缺陷。你使用自己喜欢的分类器在数据上进行训练后，准确率达到了 96.2%! 你的老

用实现可扩展快速且高效的部署

Tue, 15 Mar 2022 11:21:01 +0800

文 / 由特邀作者 SAP Concur Labs 的高级机器学习工程师 Hannes Hapke 发布。由 Robert Crowe 代表 TFX 团队编辑。 Transformer 模型（尤其是 BERT 模型）为 NLP 带来巨大的变革，并且在情感分析、实体提取和问答问题等任务的处理上也均有新的突破。BERT 模型让数据科学家站在了巨人的肩膀上。各公司已经通过大型语料库对模型进行预训练，数据科学家可以对

微众银行在联邦推荐算法上的探索及应用

Tue, 15 Mar 2022 11:20:56 +0800

分享嘉宾：谭奔微众银行高级研究员编辑整理：王少华内容来源：微众·AI 出品平台：DataFunTalk 导读：现如今推荐系统已经得到了广泛的应用，其性能通常是随着数据量的增加而提高。但现实中，数据往往分散在各个提供方手上，且随着数据监管政策趋严，以及数据隐私保护问题越来越受到重视，导

干货推荐系统中的深度匹配模型

Tue, 15 Mar 2022 11:20:32 +0800

辛俊波腾讯 | 高级研究员推荐系统概述 1.1 推荐系统本质推荐系统就是系统根据用户的属性 ( 如性别、年龄、学历、地域、职业 )，用户在系统里过去的行为 ( 例如浏览、点击、搜索、购买、收藏等 )，以及当前上下文环境 ( 如网络、手机设备、时间等 )，从而给用户推荐用户可能感兴趣的物品 ( 如电商的商品、fee

技术在推荐系统中的实践总结

Tue, 15 Mar 2022 11:20:30 +0800

作者：minwxwang，腾讯 PCG 应用研究员当前主流的推荐系统中，embedding 无处不在，从一定意义上可以说，把 embedding 做好了，整个推荐系统的一个关键难题就攻克了。因此，本文总结了移动腾讯网推荐系统中的 embedding 技术实践，力图达到娱人娱己的目的。什么是 embedding embedding 其实就是一种稠密向量的表示形式。在 embedding

在度小满征信解读中的应用

Tue, 15 Mar 2022 11:20:03 +0800

分享嘉宾：正兴度小满金融算法高级专家编辑整理：张春越哈尔滨金融学院出品平台：DataFunSummit 导读：本文的主题是AI技术在征信解读中的应用，主要介绍我们针对金融征信数据以及面向信贷领域模型在技术上的优化实践。 01 背景 1. 征信数据介绍征信数据主要指的是人民银行征信中心给出的个人

向量召回在阿里躺平的实践

Tue, 15 Mar 2022 11:20:02 +0800

作者：陈雷慧（豆苗）背景躺平APP是“躺平”这个大生态中生活记录社区，记录生活记录家。该业务场景中，个性化推荐在充分利用流量实现精细化运营、促进信息流动方面有着不可或缺的地位。在业务成长初期，其内容推荐也面临着如下两个问题：用户冷启动：对于无任何行为或行为稀疏的用户，难以有效的捕

搭建企业级平台实践

Tue, 15 Mar 2022 11:19:36 +0800

什么是AB测试？在现实的产品迭代场景中，我们经常会遇到多个方案的选择的问题，在这里迭代的可以是UI界面，可以是算法策略。简单来说就是为同一个产品目标制定两个方案，一部分用户走A方案，另一部分走B方案，然后通过日志记录用户的使用情况，并通过结构化的日志数据分析相关指标，如点击率、转

领域驱动设计核心知识梳理笔记

Tue, 15 Mar 2022 11:19:36 +0800

本书是毕业后读的第二本偏专业书，刚工作读的第一本教的是代码层面的如何让具体实现更优雅，而这本书旨在提升抽象能力、顶层设计、领域建模能力。看书的过程中，书里解答了之前工作中很多的困惑，比如团队间，项目模块间如何界定边界？有没有好的方式让项目代码摆脱越来越不可控的结局？另外更重要的是

干货篇神策帮你发现分析数据异常指标智能预警实践

Tue, 15 Mar 2022 11:19:14 +0800

浏览器不支持该媒体的播放 :( 导读：传统的指标预警方式通常基于规则实现，存在不够灵活和容易误报等问题。报警发生后，往往还需要大量的人工分析，才能定位到触发报警的真正原因。神策推出的智能预警功能，旨在帮助用户精准触发指标预警，并自动分析出触发报警的真正原因。本文分享机器学习方法在智能预

分布式追踪系统概述及主流开源系统对比

Tue, 15 Mar 2022 11:19:12 +0800

搜狐技术产品导读分布式追踪系列文章来了！本周推送为该系列的上篇，主要介绍了分布式追踪系统的原理、“可观察性” 的三大支柱、OpenTracing标准，同时对当前主流的开源分布式追踪系统进行简单对比。图片来源: Dapper, a Large-Scale Distributed Systems Tracing Infrastructure 随着应用容器化和微服务的兴起，借由 Docker 和 Kubernetes 等工具，服务的快速开

网络图模型知识点综述

Tue, 15 Mar 2022 11:19:12 +0800

文章作者：王浩微博算法工程师编辑整理：Hoh Xil 内容来源： https://zhuanlan.zhihu.com/p/86181013 导读：网络图模型综述，网络图模型知识点，看这一篇就够啦~主要结合韩家炜及崔鹏的相关工作以及我个人理解阐述网络图模型的各方向知识点，用通俗的话把每个知识点的关键写出来，帮大家高效理解这个领域。另附个人 Blog： https://chmx0929.gitbook.io/machine-learning/ 主要内容包括

亿年天猫双成交总额是这样预测的

Tue, 15 Mar 2022 11:16:51 +0800

基于机器学习方法对销售预测刚刚过去的双十一，大家可能更关心的是双十一的折扣，什么商品打了什么折扣。但是对于天猫而言，他们可能更关心的是双十一当天的销售额是多少，因为知道销售额，他就能提前做一个准备，做到未雨绸缪。 2016年我们这边有三组数据，第一组是在双十一的前十天，网上有一个专

百度技术短视频个性化工程精进之路

Tue, 15 Mar 2022 11:16:50 +0800

作者 Mr_miao 稿导读：短视频Push系统是一套支持百度内多款app及多业务场景的分布式Push系统，目前支撑着好看视频，直播，度小视，好看大字版等app的推送业务，提供基于用户基本特征的个性化推送，热门活动和热点事件的运营推送，基于关注关系或订阅关系的业务实时推送等场景的支持。旨在通过个

腾讯智能批改技术实践与探索

Tue, 15 Mar 2022 11:15:32 +0800

分享嘉宾：李超腾讯高级研究员编辑整理：席建文西南民族大学出品平台：DataFunSummit 导读：这次我们主要介绍智能批改相关的技术探索与实践，更多的分享实际场景、问题和解决方案。在作业和试卷的批改技术部分会重点讲解，其他地方会相对的简略介绍。主要内容包括：① 背景介绍；② 典型问题

网易云音乐数据服务之路

Tue, 15 Mar 2022 11:15:24 +0800

大数据平台网易有数数据服务作为统一数据中台建设的最上层，能够将数据仓库数据以服务化、接口化的方式提供给数据使用方，屏蔽底层数据存储、计算的诸多细节，简化和加强数据的使用；同时避免烟囱式建设、加强数据API的开发和交付效率，提升数据利用率。云音乐数据团队与网易有数进行了数据服务平台

阿里是如何应对超大规模集群资源管理挑战的

Tue, 15 Mar 2022 11:14:58 +0800

文章作者：丁海洋（临石）本篇文章来自微信公众号阿里系统软件技术：独家解密：阿里是如何应对超大规模集群资源管理挑战的？欢迎原链接转发，转载请前往 @留德华叫兽的主页获取信息，盗版必究。敬请关注和扩散本专栏及同名公众号，会邀请全球知名学者陆续发布运筹学、人工智能中优化理论等相关干货、知

优酷广告投放系统架构实践

Tue, 15 Mar 2022 11:09:50 +0800

文章作者：鸿雁阿里文娱技术专家编辑整理：Hoh Xil 内容来源：阿里文娱技术文章出品：DataFun 导读：随着 RTB 网络在线展现广告交易模式的兴起，各大公司都纷纷搭建自己的 DSP ( Demand-Side Platform ) 广告投放系统进行获客。优酷在近几年也搭建 DSP 系统，并且在持续迭代。在这一过程中，经历哪些技术探索？趟过哪些坑？

基于内容和上下文的音乐推荐

Tue, 15 Mar 2022 11:08:58 +0800

文章作者：弗朗西斯科·里奇等内容来源：《推荐系统：技术、评估及高效算法》& DataFunTalk 导读：随着在线音乐商城及流媒体音乐服务的出现，数字音乐分发已经使得音乐触手可及。然而，面对突然出现的海量可收听内容，听众很容易面临信息过载的问题。因此，本次分享的主题音乐推荐系统，将为那些面临海量

张一鸣如何应对公司变大之后的管理挑战

Tue, 15 Mar 2022 11:08:49 +0800

文章整理自一鸣在“源码资本2017年码会”上的演讲。演讲主题是：如何应对公司变大之后的管理挑战。一鸣认为，“Context，not Control”是一种比较好的管理解决方案。Context指决策所需要的信息集合，Control则是追求控制感的各种流程。 Context有5点优势：1

深入浅出搜索架构引擎方案与细节上

Tue, 15 Mar 2022 10:58:05 +0800

一、缘起《 100亿数据1万属性数据架构设计》文章发布后，不少朋友对58同城自研搜索引擎E-search比较感兴趣，故专门撰文体系化的聊聊搜索引擎，从宏观到细节，希望把逻辑关系讲清楚，内容比较多，分上下两期。主要内容如下，本篇（上）会重点介绍前三章：（1）全网搜索引擎架构与流程（2

汽车之家电商平台秒杀系统架构实现

Tue, 15 Mar 2022 10:56:45 +0800

作者：方利前言秒杀作为一种营销工具，利用限时限量，先到先得的用户心理，刺激购买或制造机会吸引用户关注，不仅能短时间带动商品的销量提升，还可以聚集大量的人气，是各大平台的运营人员和商家在活动期间最常用的营销工具。汽车之家电商平台厂商旗舰店业务主要服务于各大汽车主机厂商，主机厂商的车

技术分布式搜索引擎的架构分析

Tue, 15 Mar 2022 10:56:18 +0800

一、写在前面 ES（Elasticsearch下文统一称为ES）越来越多的企业在业务场景是使用ES存储自己的非结构化数据，例如电商业务实现商品站内搜索，数据指标分析，日志分析等，ES作为传统关系型数据库的补充，提供了关系型数据库不具备的一些能力。 ES最先进入大众视野的是其能够实现全

基础学习

Tue, 15 Mar 2022 10:56:11 +0800

什么是React 什么是React？React是用于构建用户界面的 JavaScript 库。 React的特点：声明式编程：它允许我们只需要维护自己的状态，当状态改变时，React可以根据最新的状态去渲染我们的UI界面；组件化开发：组件化开发页面目前是前端的流行趋势，通常会将复杂的界面拆分成一个个小的组

一猜一个准详解电商的推荐系统的召回策略

Tue, 15 Mar 2022 10:56:05 +0800

梁唐 TechFlow 大家好，好久没有写推荐系统了，今天和大家聊聊推荐系统当中的召回策略。在之前的文章当中曾经提到过，无论是推荐、广告还是搜索，基本上都可以简单分为召回和排序两个阶段。召回阶段也就是选出候选的内容，而排序阶段则是调用模型对候选的内容进行预测打分。最后排序系统根据模型的打分对内容进

基于的优化与实践

Tue, 15 Mar 2022 10:55:26 +0800

分享嘉宾：周晖栋 bilibili 编辑整理：宋灵城贝壳找房/东南大学出品平台：DataFunTalk 导读：本文主要介绍Flink实时计算在bilibili的优化，将从以下四个方面展开：① Flink-connector稳定性优化；② Flink sql优化；③ Flink-runtime优化；④ 对未来的展望。 01

腾讯音乐全民歌推荐系统架构及粗排设计

Tue, 15 Mar 2022 10:54:14 +0800

分享嘉宾：kevinshuang、fivenwu 编辑整理：张振、于洋出品平台：DataFunTalk 导读：腾讯音乐娱乐集团 ( TME ) 目前有四大移动音乐产品：QQ音乐、酷狗音乐、酷我音乐和全民K歌，总月活超8亿。其中，全民K歌与其他三款产品有明显的差异，具体表现如下：以唱为核心，在唱歌

技术人生第篇技术业务组织的一般规律及应对策略

Tue, 15 Mar 2022 10:52:47 +0800

作者 | 贺科学（晨末）来源 | 阿里巴巴中间件团队背景本期文章将接上期《「技术人生」第3篇：解决问题的规律总结》继续探讨技术、业务、组织的一般规律及应对策略。需要注意的是，以下内容为个人实践结果的总结和分析，受限于个人能力和经验有限，在描述规律的过程中，可能会存在维度的缺失；或者当前描

论文笔记结合叶节点嵌入的可解释推荐模型

Tue, 15 Mar 2022 10:51:11 +0800

“ 本文主要介绍了发表在 WWW2018 的论文《TEM: Tree-enhanced Embedding Model for Explainable Recommendation》，利用 GBDT 叶子节点进行嵌入表示来获得一个具有解释性的推荐模型” 本文来源：RecLismCat https://zhuanlan.zhihu.com/p/96124874 3 TREE-ENHANCED EMBEDDING METHOD 首先提出 TEM，它结合 MF 用于稀疏数据建模和 GBDTs 用于交叉特征学习的优点。还讨论了可解释性，分析了其复杂性

张俊林对比学习在微博内容表示的应用

Tue, 15 Mar 2022 10:51:08 +0800

分享嘉宾：张俊林博士新浪微博编辑整理：李桂荣中南财经政法大学出品平台：DataFunTalk 导读：深度学习的成功往往依赖于海量数据的支持，根据训练数据标记与否，可以分为有监督学习和无监督学习/自监督学习。监督学习技术已相对成熟，但是对海量的数据进行标记需要花费大量的时间和资源。自

同城技术在房产推荐中的应用

Tue, 15 Mar 2022 10:51:07 +0800

分享嘉宾：周彤 58同城资深算法工程师编辑整理：吴雪松内容来源：58 推荐系统技术沙龙出品平台：DataFunTalk 导读：在深度学习的应用过程中，Embedding 这样一种将离散变量转变为连续向量的方式为神经网络在各方面的应用带来了极大的扩展，有"万物皆可 Embeddin

年月份道伴鱼算法岗面试题

Tue, 15 Mar 2022 10:51:04 +0800

合并重叠区间，也就是那个最大不重叠区间的题目的变种。面试官会让你看题先整理思路，然后分析复杂度，最后面试官觉得你的思路OK就放你在远程连接上手撕代码链接： https://leetcode-cn.com/problems/merge-intervals/ 1.过拟合和欠拟合。 2.python多进程 3.python深浅拷贝 ~ 文末有福利 ~ 解题思路：先对输入数组按照区间左边的值进行升

滴滴在性能与可用性上的探索与实践

Tue, 15 Mar 2022 10:50:13 +0800

桔妹导读：HBase作为Hadoop生态中表现较为突出的分布式在线数据存储产品，在滴滴有着非常广泛的应用，但同样存在比较突出的短板问题——例如可用性较弱、毛刺严重等，一定程度上限制了它的业务边界。本文主要介绍在此背景下，HBase团队近期进行的一些探索工作。 1. 背景 HBase 是一个基于 HDFS 的

有赞搜索中台的探索与实践

Tue, 15 Mar 2022 10:50:11 +0800

作者：王爷团队：搜索中台概述有赞搜索中台作为有赞企业级搜索能力复用平台，在解决各个业务域搜索问题时是如何探索与实践的，这个过程中有哪些心得，本文与大家一起分享探讨下。一、问题域跟绝大多数烟囱式架构面临的问题是相似的，业务自建搜索，独立选型往往会遇到以下问题：技术选型单一或跟风，比

京东商品知识图谱构建与实体对齐实践

Tue, 15 Mar 2022 10:49:42 +0800

分享嘉宾：赵学敏博士京东科技编辑整理：蔡丽萍 TRS 出品平台：DataFunTalk 导读：在电商企业采购和运营过程中，如果要想掌握商品的实时价格等行情信息，就需要对齐各个电商网站的商品。由于各个电商网站的运营体系不同，网站的类目体系、商品属性等等往往存在很大差异，需要将这些实体信息进行

微软小冰如何构建人格化的对话系统

Tue, 15 Mar 2022 10:49:36 +0800

导读：微软小冰是领先的跨平台人工智能系统，本次分享将介绍微软小冰最新的对话技术框架，以及在这套框架的基础之上，如何一步步构建人格化的对话系统，并且在社交娱乐及实用场景当中的具体运用。主要包括：如何构建基本的对话系统？人格化的定义及如何部分实现人格化如何构建基本的对话系统？广义对话

机器学习一文理解的原理

Tue, 15 Mar 2022 10:49:06 +0800

https://zhuanlan.zhihu.com/p/29765582 现在网上介绍gbdt算法的文章并不算少，但总体看下来，千篇一律的多，能直达精髓的少，有条理性的就更稀少了。我希望通过此篇文章，能抽丝剥茧般的向初学者介绍清楚这个算法的原理所在。如果仍不清楚可以在文后留言。 1、如何在不改变原有模型的结构上提升模型的拟合能力假设现在你有样本集，然后

大数据离线计算平台架构演进

Tue, 15 Mar 2022 10:49:03 +0800

1 前言 OPPO的大数据离线计算发展，经历了哪些阶段？在生产中遇到哪些经典的大数据问题？我们是怎么解决的，从中有哪些架构上的升级演进？未来的OPPO离线平台有哪些方向规划？今天会给大家一一揭秘。 2 OPPO大数据离线计算发展历史 2.1 大数据行业发展阶段一家公司的技术发展，离不开整个行业的

同城智能问答机器人问答引擎架构实践

Tue, 15 Mar 2022 10:47:59 +0800

高茂雨 58技术导读: 58智能问答机器人是由58AI Lab自研的一套人工智能问答系统，结合自然语言处理、深度学习、语义理解、智能推荐等多种人工智能技术，通过自主学习，精确识别用户意图，实现与用户进行智能问答。实现了QABot业务咨询问答、TaskBot任务多轮对话、问答推荐等多种能

万物皆从经典的到深度学习基本操作

Tue, 15 Mar 2022 10:44:03 +0800

这里是王喆的机器学习笔记的第四篇文章，之前我们一起讨论了阿里的DIN，YouTube的深度学习推荐系统，本来今天想再分享另一篇科技巨头的业界前沿文章， Airbnb的Embedding方法但因为文章中涉及word2vec的技术细节，为了保证一些初学者的知识是自洽的，我还是想在此之前

技术广义多目标算法探索实践

Tue, 15 Mar 2022 10:43:18 +0800

分享嘉宾：周建斌 58同城算法高级架构师编辑整理：吴雪松小米出品平台：DataFunTalk 导读： 58部落是面向58同城同镇用户的内容社区，主要产品形态为PGC、UGC的信息流，样式丰富。基于业务和背景，如何提升定义信息流价值内容占比，提升点击率、留存率、互动率等多个目标？今天就和

详解图表示学习经典算法

Tue, 15 Mar 2022 10:43:18 +0800

16KDD node2vec node2vec 是斯坦福男神教授 Jure Leskovec 的代表作之一，网上有非常多关于这篇论文的讨论和解析，所以这里我不再累述。 node2vec 中提出的网络的 “ 同质性” 和 “ 结构性” 是两个比较抽象的概念，之前看论文的时候没有仔细斟酌，但看了王喆大佬的文章之后，惊觉一直以来对 node2vec 理解有误。为了搞清楚这两个概念，我写了一份简单的 node2vec

医疗健康领域的短文本解析探索二

Tue, 15 Mar 2022 10:42:30 +0800

丁香园大数据 NLP 文章发表于： 2019-12-31 医疗健康领域的短文本解析探索（一）谈谈医疗健康领域的 Phrase Mining 前言再来简单回顾一下之前内容，上一篇《医疗健康领域的短文本解析探索（一）》我们简单的介绍了目前工业界常用的 concept/phrase 的自动化抽取和评估的方法，之后我们又介绍了两种结构化电子病历的方法，第一种构建 MeSH 语义树，

的教程

Tue, 15 Mar 2022 10:40:19 +0800

原文作者：章立本站授权首发 checkpoint 主要的目的有两个：如果训练过程中出现的意外情况，可以通过checkpoint快速恢复通过checkpoint可以 stop early，这样使得算法效果更好 keras 在keras中使用 Model.save_weights 方法来生成checkpoint. 但是如果使用这个方法的话，Model的layer必须

原理与实践原来如此简单

Tue, 15 Mar 2022 10:39:40 +0800

目录一、介绍 1.1 LSTM介绍 LSTM全称_Long Short-Term Memory_，是1997年就被发明出来的算法，作者是谁说了估计也记不住干脆就不说了（主要是我记不住，逃…）经过这么多年的发展，基本上没有什么理论创新，唯一值得说的一点也就是加入了Dropout来对抗过拟合。真的是应了那句话呀： Deep

字节技术火山引擎测试的思考与实践

Tue, 15 Mar 2022 10:39:40 +0800

康康字节跳动技术团队稿本文整理自火山引擎开发者社区 Meetup 第四期同名演讲，主要为大家介绍了为什么要做 A/B 测试、火山引擎 A/B 测试系统架构及最佳实践。为什么要做 A/B 测试首先我们看一个案例。字节跳动有一款中视频产品叫西瓜视频，最早它叫做头条视频。为了提升产品的品牌辨识度，团队想给它起个更好的名字。

贝壳找房知识图谱系列开篇基于的经纪人咨询助手

Tue, 15 Mar 2022 10:39:36 +0800

今天给大家介绍一个知识图谱在贝壳找房的实践案例，一款基于KBQA（knowledge base question answering, KB-QA）的经纪人咨询助手应用。7月份我们图谱团队代表贝壳参加了知识图谱技术国家标准的制定研讨会《知识图谱国家标准研讨会暨团体标准启动会成功召开》，之后受邀参与撰写知识图谱实践案例，这个案

基于的纠错

Tue, 15 Mar 2022 10:38:35 +0800

分享嘉宾：魏天闻小米人工智能部编辑整理：李淑娜内容来源：DataFunTalk 导读：小爱同学是小米公司开发的智能语音系统，已广泛应用在手机、手环、音箱、电视等电子产品中，并支持闲聊、问答、语音控制等多种语音交互场景。语音系统中语音内容识别 ( ASR ) 的精准性，是影响智能语音产品发展的关

阿里飞猪的猜你喜欢如何排序

Tue, 15 Mar 2022 10:37:21 +0800

引言俗话说有多少米，就下多大锅。在特征体系构建上，我们已经准备了很多米了，并且在线性模型 FTRL 上拿到了一些甜头。下一阶段我们换了锅，对模型进行了升级，从线性模型转为 end-to-end 的深度模型，并进行了多个版本的迭代，包括 pure deep 模型（Pure Adaptive L2 Model，PALM），引入实时点击和实时未点击行为（F

解析基本概念

Tue, 15 Mar 2022 10:37:16 +0800

前言 Apache Lucene是一个开源的高性能、可扩展的信息检索引擎，提供了强大的数据检索能力。Lucene已经发展了很多年，其功能越来越强大，架构也越来越精细。它目前不仅仅能支持全文索引，也能够提供多种其他类型的索引方式，来满足不同类型的查询需求。基于Lucene的开源项目有很多，最知名

源码系列索引文件的生成九之

Tue, 15 Mar 2022 10:36:02 +0800

上一篇文章中，我们介绍了在索引（index）阶段，Lucene 收集了跟点数据相关的信息，这些信息在 flush 阶段会被读取，用于生成索引文件。dim&&.dii，从本文开始介绍索引文件。dim&&.dii 生成的详细过程，如图 1 所示，另外阅读本文中需要前置知识

爱奇艺数据中台的建设实践

Tue, 15 Mar 2022 10:36:02 +0800

分享嘉宾：马金韬爱奇艺数据中台负责人编辑整理：陈国梅出品平台：DataFunTalk 导读：随着市场对数据价值的认可，促进了数据在各行各业的爆发式增长，以及大数据设施的快速演化，同时也带来了不少新的数据问题；解决这些问题，发挥更大的数据价值，成为了各大公司的重点工作。爱奇艺通过数据

腾讯万亿级内存效率提升技术解密

Tue, 15 Mar 2022 10:36:02 +0800

作者：morningchen，腾讯 TEG 后台开发工程师答疑问题链接： https://elasticsearch.cn/article/13768 Elasticsearch（ ES ）是一款功能强大的开源分布式实时搜索引擎，在日志分析（主要应用场景）、企业级搜索、时序分析等领域有广泛应用，几乎是各大公司搜索分析引擎的开源首选方案。 Tencent ES 是内核级深度优化的 ES 分支，持续

招聘推荐系统介绍实验框架

Tue, 15 Mar 2022 10:34:21 +0800

58招聘智能推荐系统推荐的概念早已渗透进我们的日常生活中，我们欣赏过各类电影、音乐、游戏榜单，沉迷过电商节日层出不穷的百货商品，甚至钻研过如何选择投资理财，如何购房置业，如何开启更好的职业生涯。在这样一个信息爆炸的时代，我们永远不缺少选项，如果没有推荐发挥作用，在海量的数据面前，

腾讯技术自动化接口测试实践经验

Tue, 15 Mar 2022 10:34:18 +0800

作者：faithchen，腾讯 PCG 测试开发工程师一、背景自动化测试对于我们提升研发效能、CI/CD(持续集成/持续交付)是不可或缺的部分。在后台自动化测试中，接口测试尤为重要，它能够保证被测后台服务的质量，以及接口逻辑的正确性等，帮助我们快速测试功能、提高测试覆盖率、把控质量风险等

闲鱼技术如何实现卖家增长任务的实验

Tue, 15 Mar 2022 10:33:58 +0800

逸初，远悠闲鱼技术背景闲鱼是国内最大的二手闲置交易平台，卖家承担着商品供给的重要任务，对平台dau的影响也更大，所以我们会探索不同策略对卖家增长的影响与帮助。但接下来，如何借助AB实验对这些策略作科学的评估，就成了另一个挑战。本文提出了"全流量AB实验"这一设

有赞领域建模在有赞客户领域的实践

Tue, 15 Mar 2022 10:33:57 +0800

作者：Joker 部门：有赞美业一、What’s DDD? 从定义入手： DDD全称Domain-Driven Design，即领域驱动设计，由Eric Evans于2003年提出。那既然是一种设计方法，ddd的作用对象是什么呢？这个问题光从定义是看不出来的，我们再往下看看。换一个更高

如何构建测试系统其核心功能有哪些

Tue, 15 Mar 2022 10:33:28 +0800

文章作者：贺园、刘扬编辑整理：Hoh Xil 内容来源：《数据产品经理：实战进阶》出品平台：DataFun 导读：不管在精益创业还是增长黑客理论中，A/B 测试作为一种成熟的数据驱动产品优化的科学方法，其核心意义并不在于某一次试验的成功或者失败，而是这种通过试验和数据驱动的产品不断进化过程。

流式数据处理在百度数据工厂的应用与实践

Tue, 15 Mar 2022 10:32:21 +0800

本文整理自百度李俊卿在 QCon 上的演讲：《流式数据处理在百度数据工厂的应用与实践》。百度数据工厂最原先用 Hive 引擎，进行离线批量数据分析和 PB 级别的查询，处理一些核心报表数据。但是在我们推广过程中发现，用户其实还是有复杂分析、实时处理、数据挖掘的请求，我们在 Spark1.0 推出的时候，就开始跟进 Spark

线程池实现原理及其在美团业务中的实践

Tue, 15 Mar 2022 10:28:52 +0800

阅读原文随着计算机行业的飞速发展，摩尔定律逐渐失效，多核 CPU 成为主流。使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器。J.U.C 提供的线程池：ThreadPoolExecutor 类，帮助开发人员管理线程并方便地执行并行任务。了解并合理使用线程池，是一个开发人员必修的基本

百度信息流和搜索业务中的存储实践

Tue, 15 Mar 2022 10:28:05 +0800

百度技术稿导读：近年来，云原生化、全用户态、软硬协同等技术对KV存储服务产生了巨大的影响，上述技术在极大提升了服务的性能和降低服务成本的同时，也对系统的架构和实现提出了新的要求。百度在信息流和搜索业务中大量使用了KV存储服务，服务每天响应近千亿次各类访问请求，如何运用上述技术提升

基于多视角学习和个性化注意力机制的新闻推荐

Tue, 15 Mar 2022 10:27:59 +0800

微软研究院AI头条编者按：个性化新闻推荐是新闻行业必然的发展方向，在其实现过程中面临着三个关键问题，即分析用户兴趣、根据新闻内容建模和新闻排序。本文将这三个问题划归为新闻信息与用户兴趣的多样性问题，并由此出发，提出了基于多视角学习和个性化注意力机制的解决方案，相关论文发表在 IJCAI 20

吴恩达关于机器学习职业生涯以及阅读论文的一些建议

Tue, 15 Mar 2022 10:27:04 +0800

作者：Mohamed Ali Habib 本文由AI公园授权转载。编译：ronghuaiyang 介绍既然你已经在阅读这篇文章了，那么你可能已经知道该领域的先驱之一Andrew Ng是谁，并且你可能对会对他关于如何建立机器学习职业生涯的建议感兴趣。本博客总结了斯坦福大学CS230深度学习课程在YouT

滴滴数据仓库指标体系建设实践

Tue, 15 Mar 2022 10:26:33 +0800

桔妹导读：指标体系是什么？如何使用OSM模型和AARRR模型搭建指标体系？如何统一流程、规范化、工具化管理指标体系？本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分析。 1. 什么是指标体系 ▍1.1 指标体系定义指标体系是将零散单点的具有相互联系的指标，系统化的组织起来，通过单

大规模图算法在京东广告的实践

Tue, 15 Mar 2022 10:25:57 +0800

分享嘉宾：张泽华京东算法工程师编辑整理：王文婧出品平台：DataFunTalk 导读：京东的9N算法框架已经被广泛应用于推荐广告、搜索广告、以及其他的站内外广告场景。本文将为大家介绍如何实现大规模的图算法在京东广告场景的落地实践，主要内容包括：基础介绍 9N GRAPH工业化End2En

构造对象三

Tue, 15 Mar 2022 10:25:08 +0800

查看原文系列文章：构造 IndexWriter 对象（二）构造 IndexWriter 对象（一）构造一个 IndexWriter 对象的流程总体分为下面三个部分：设置索引目录 Directory 设置 IndexWriter 的配置信息 IndexWriterConfig 调用 IndexWriter 的构造函数大家可以查看文章构造 IndexWriter 对象（一）、构造 IndexWriter 对象（二）来了解前两部分的内容，我们接着继续介绍最后一个部分，即调用 IndexWriter 的构造函数。 IndexWriter 类有且仅有一个有

京东优化与技术实践

Tue, 15 Mar 2022 10:24:21 +0800

分享嘉宾：付海涛京东高级技术专家编辑整理：刘明明出品平台：DataFunTalk 导读： Flink是目前流式处理领域的热门引擎，具备高吞吐、低延迟的特点，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+K8s深入打造高性能、稳定、可靠、易

系统架构系列三业务架构实战上篇

Tue, 15 Mar 2022 10:23:53 +0800

作者：高福来引言业务架构一般不被开发重视，开发人员喜欢追求新技术，而技术是服务于业务的，现在没有一项技术是自娱自乐的，一定要支撑业务，否则没有场景。设计好业务架构要考虑的方面比较多，要做到业务彼此隔离、业务与技术 (平台) 隔离，从业务架构中能看得出整体业务的流程运转、业务产品的能力

预估在动态样式建模和特征表达学习方面的进展

Tue, 15 Mar 2022 10:22:32 +0800

分享嘉宾：秀武阿里高级算法专家编辑整理：Hoh Xil 内容来源：大鱼技术沙龙出品平台：DataFun 导读：富媒体时代，广告的样式需要千人千面，广告产品形态呈现多样式、多物料组合形态，对 CTR 预估提出了巨大的挑战；针对这个问题，我们提出了一种动态样式组合优选加 DSA 模型，并结合分位置拍卖技术，较

算法在岗一年的经验总结

Tue, 15 Mar 2022 10:21:46 +0800

来自：CS 的陋室说起来今天还是一个有意思的日子，去年在美团实习，离职的时间也是 12 月 7 日。算起来，自己的算法在岗应该也有一年了，在美团担任算法工程师大概有 7 个月，OPPO 加上实习，估计也一年多吧，时间过的好快，这周末给大家谈谈我的感想吧，相比各位大佬，我的经验尚属稚嫩，但是也希望能

解读为什么要做特征归一化标准化

Tue, 15 Mar 2022 10:21:25 +0800

Datawhale干货作者：shine-lee，编辑：极市平台本文解读了一项数据预处理中的重要技术——特征归一化，提出并解答了5个相关问题，同时分析了相关方法和适用场景。写在前面 Feature scaling，常见的提法有“特征归一化”、“标准化”，是数据预处理中的重要技术，有时甚至决定了算法

来也自监督学习在计算机视觉中的应用

Tue, 15 Mar 2022 10:20:22 +0800

文章作者：摄影师王同学编辑整理：刘桐烔导读：在机器学习中，我们最常遇到的一个难题就是：缺少优质的标注数据。自监督学习让我们能够没有大规模标注数据也能获得优质的表征，它利用数据自身的关系来做为标注样本进行训练并且优化预定义的 pretext 任务。来也科技作为一家优秀的 RPA + AI 企业，对各种机器学习方

何会会有赞数据地图实践

Tue, 15 Mar 2022 10:19:57 +0800

https://img.6aiq.com/e/89996d3bd04946939b59dd609a09e303.webp) 分享嘉宾：何会会有赞数据开发工程师编辑整理：xiaomei 出品平台：DataFunTalk 导读：今天和大家分享一下数据地图相关知识，以及有赞在数据地图方面的实践。主要分为4个部分：数据地图的背景数据地图是什么有赞数据地图实践总结和展望 01 数据地图的背景 1. 数据地图背景每个企业都有和

敏捷实践经验分享企业如何在敏捷开发中实施

Tue, 15 Mar 2022 10:19:53 +0800

一、什么是DoD？当你有两个或更多的人参与同一个事情的时候，我们的“团队”就产生了，这时我们最重要的事情，就是要设定和统一团队的期望值，在本文中，这就是**“完成标准”**。一个迭代做完后，团队要进行验收，来决定本个迭代是否完成。但每个团队对于是否完成无法达成统一，有的认为编码完

深度学习在花椒直播中的应用推荐系统冷启动算法

Tue, 15 Mar 2022 10:19:21 +0800

檀亚峰-智能工程引言推荐系统是依据用户的个人喜好尽可能推荐用户喜爱的物品（视频、新闻、商品、直播等），而用户的兴趣偏好则通过过往的行为数据体现出来。当没有历史记录可循时，就存在推荐冷启动问题。本文在接下来的篇幅首先讲述冷启动的相关概念，然后介绍一些业界常规的解决方法，最后会着重阐

一文了解阿里一站式图计算平台

Tue, 15 Mar 2022 10:18:32 +0800

导读：随着大数据的爆发，图数据的应用规模不断增长，现有的图计算系统仍然存在一定的局限。阿里巴巴拥有全球最大的商品知识图谱，在丰富的图场景和真实应用的驱动下，阿里巴巴达摩院智能计算实验室研发并开源了全球首个一站式超大规模分布式图计算平台GraphScope，并入选中国科学技术协会“

以论文学习如何在推荐场景应用强化学习

Tue, 15 Mar 2022 10:18:29 +0800

作者：吴海波蘑菇街整理：Hoh Xil 来源：误入机器学习的码农@知乎专栏导读：近期，业界开始流传 YouTube 成功将 RL 应用在了推荐场景，并且是 YouTube 近几年来取得的最显著的线上收益。放出了两篇论文： [1] Top-K Off-Policy Correction for a REINFORCE Recommender System https://arxiv.org/pdf/1812.02353.pdf [2] Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology https://arxiv.org/pdf/1905.12767.pdf 个人建议两篇论文都仔细读读，TopK 的篇幅较短，重点突出，

阿里妈妈深度树检索技术及应用框架的探索实践

Tue, 15 Mar 2022 10:18:04 +0800

分享嘉宾：何杰阿里妈妈高级算法专家编辑整理：孙锴内容来源：DataFun AI Talk 出品社区：DataFun 导读：阿里妈妈是阿里巴巴集团旗下数字营销的大中台，2018年广告营收超过1500亿，近乎占据中国广告市场收入的半壁江山。如何驱动这艘商业航母不断前行，阿里妈妈技术团队始终坚持技术创

知识增强信息流推荐在保险行业的应用

Tue, 15 Mar 2022 10:16:58 +0800

作者：深度学习应用组平安寿险PAI 全文框架概览一、背景介绍信息流推荐是当今互联网中AI能力的一个重要应用领域，相关的推荐技术也经历了从简单的协同过滤和关联规则、特征工程加集成学习、FM算法直到深度学习推荐系统的过程。优秀的信息流推荐系统需要充分利用待推荐文章中的文本信息，通过表示

年网易云音乐实时计算平台发展和挑战

Tue, 15 Mar 2022 10:16:57 +0800

以下文章来源于网易有数，作者大愚摘要：网易云音乐从 2018 年开始搭建实时计算平台，经过几年的发展已经渗透到云音乐的各个业务当中。本文是大愚老师的一篇实践分享，将从一个日常运维问题出发，带领大家了解云音乐实时计算平台的一些工作进展和未来规划。网易云音乐实时数仓平台上线以后，经过一年半的发

蚂蚁金服核心技术百亿特征实时推荐算法揭秘

Tue, 15 Mar 2022 10:16:56 +0800

阿里妹导读：本文来自蚂蚁金服人工智能部认知计算组的基础算法团队，文章提出一整套创新算法与架构，通过对TensorFlow底层的弹性改造，解决了在线学习的弹性特征伸缩和稳定性问题，并以GroupLasso和特征在线频次过滤等自研算法优化了模型稀疏性，在支付宝核心推荐业务获得了uvc

蘑菇街广告实践

Tue, 15 Mar 2022 10:16:55 +0800

蘑菇街广告投放技术负责人腾哲一、业务背景无论哪个APP每天都会有不同程度的用户流失，为了保障站内GMV、UV稳定持续增长，拓展蘑菇街其他业务，需要庞大的用户量作为支撑，我们需要每天向外部进行广告投放，于是我们搭建了自己的广告投放系统，进行流量的获取。二、DSP广告投放建设 2.1、

掌握它才说明你真正懂

Tue, 15 Mar 2022 10:15:47 +0800

Elasticsearch 基于 Lucene，隐藏其复杂性，并提供简单易用的 Restful API接口、Java API 接口。所以理解 ES 的关键在于理解 Lucene 的基本原理。 Lucene 简介 Lucene 是一种高性能、可伸缩的信息搜索（IR）库，在 2000 年开源，最初由鼎鼎大名的 Doug Cutting 开发，是基于 Java 实现的高性能的开源项目。 Lucene 采用了基于倒排表的设计原理，可以非常高效

搜索系统中的意图识别

Tue, 15 Mar 2022 10:15:47 +0800

CS 的陋室搜索系统中的纠错问题浅谈搜索系统中 Query 理解和分析为什么要做意图识别意图识别算是 query 理解中比较上有的位置，对 query 进行意图识别，是指分析用户的核心搜索需求，例如是要找电影、找小说，还会想问百科知识，还有查快递、市政办公等需求，这些需求在底层的检索策略会有很大的不同，错误的识别几乎可

阿里深度召回模型实践

Tue, 15 Mar 2022 10:15:32 +0800

文章作者：韩宇、张跃伟阿里巴巴内容来源：阿里云开发者导读：召回结果的好坏对整个推荐结果有着至关重要的影响，最近的一系列实践和研究表明，基于行为序列的深度学习推荐模型搭配高性能的近似检索算法可以实现既准又快的召回性能；与此同时，用户在天猫精灵上还可以进行实时指令操控，利用丰富的反馈

美团点评集群管理实践

Tue, 15 Mar 2022 10:14:15 +0800

以下文章来源于美团技术团队，作者国梁背景作为国内领先的生活服务平台，美团点评很多业务都具有非常显著、规律的“高峰”和“低谷”特征。尤其遇到节假日或促销活动，流量还会在短时间内出现爆发式的增长。这对集群中心的资源弹性和可用性有非常高的要求，同时也会使系统在支撑业务流量时的复杂度和成

去哪儿网平台建设演进与实践

Tue, 15 Mar 2022 10:13:38 +0800

作者介绍张杰，2015年1月加入去哪儿网，致力于数据为业务赋能，前期主要做离线、实时数仓建设，后期主要做数据平台建设，目前是数据建设-数据平台组负责人。杜峻辰，2018年11月加入去哪儿网，参与过酒店大数据系统相关的开发/运维工作，现负责公司数据平台的开发与维护工作。 1. 引言通过 BI

同城中文分词技术深度学习篇

Tue, 15 Mar 2022 10:13:36 +0800

在之前的《中文分词技术及在58搜索的实践》一文中，我们沿着分词技术的发展介绍了几种有代表性的分词方法，主要包括词典分词、词典和统计结合的分词和基于统计模型的分词（CRF）。本篇将继续之前的脉络，介绍NLP领域当前更流行的一些方法，它们能处理NLP领域的大部分问题而并不局限于中文分

陌陌直播如何做到推荐系统的从到

Tue, 15 Mar 2022 10:13:32 +0800

作者：李波本文根据李波老师DTCC大会分享内容整理而成，将首先介绍陌陌直播业务和推荐系统的整体架构，然后对用户及主播的多角度 Embedding 表征学习、多预估目标的 Rank 策略研发进行重点介绍，希望能够给对陌陌直播产品以及推荐策略分发算法感兴趣的同学起到抛砖引玉的效果。陌陌成立于2011年，2014年

贝壳找房贝壳搜索平台实时流总体架构设计

Tue, 15 Mar 2022 10:13:06 +0800

2018-12-01 原创：孙要飞背景：2017 年底到 2018 年初，公司战略调整，业务量及业务复杂度预期会有较大增长；面对新的挑战，搜索团队对整个搜索平台进行了重写，针对旧系统的一些问题，主要从可配置，异步化，并发，可扩展，全链路追踪，业务隔离等方面进行了设计。 1. 总体架构如下图所示，新的实时流重度依赖 ka

深度度量学习中的损失函数

Tue, 15 Mar 2022 10:12:37 +0800

文章作者：杨旭东阿里算法工程师编辑整理：Hoh Xil 内容来源：杨旭东@知乎出品社区：DataFun 导读：度量学习 ( metric learning ) 研究如何在一个特定的任务上学习一个距离函数，使得该距离函数能够帮助基于近邻的算法 ( kNN、k-means 等 ) 取得较好的性能。深度度量学习 ( deep metric learning ) 是度量学习的一种方

微博广告策略工程架构体系演进

Tue, 15 Mar 2022 10:11:34 +0800

分享嘉宾：李铁牛新浪微博编辑整理：崔媛媛内容来源：DataFun AI Talk 出品社区：DataFun 导读：本次分享的主题为微博广告策略工程架构体系演进，将介绍微博广告在从0到1，从1到 N 的过程中，微博广告架构是如何支持策略、算法、模型迭代的，包括以下几部分：概述微博广告策略工程架构体系演

爱奇艺智能内容中台无人值守的应用与实践

Tue, 15 Mar 2022 10:11:31 +0800

本文为爱奇艺智能内容中台系列稿件的第一弹，接下来我们还会陆续为大家带来爱奇艺在智能内容生产、运营上的一系列探索，敬请期待。无人值守系统是爱奇艺内容中台的一个重要智能化组件。首先，对于业务密度大、流程长、依赖服务多的业务系统而言，在实际运行当中，故障的出现是一种常见现象，某种程度上

平安寿险团队文本纠错技术探索和实践

Tue, 15 Mar 2022 10:11:29 +0800

平安寿险AI团队全文框架概览一、背景与意义中文纠错技术是实现中文语句自动检查、自动纠错的一项重要技术，其目的是提高语言正确性的同时减少人工校验成本。纠错模块作为自然语言处理最基础的模块，其重要程度不言而喻。在日常生活中，我们经常会在微信、微博等社交工具或公众号文章中发现许多错别字

理解在美团搜索中的应用

Tue, 15 Mar 2022 10:11:28 +0800

分享嘉宾：刘亮美团资深算法工程师编辑整理：吴雪松出品社区：DataFunTalk 导读：在过去的20年中，搜索过程中处理查询的方式以及向用户显示结果的方式已完全改变。该过程已经从仅基于文本匹配的检索发展到现阶段——尝试基于对查询的真实语义理解以及上下文，位置，时间，用户的先前短期和

九章云极公司深度参编中国金融科技发展报告蓝皮书

Tue, 15 Mar 2022 10:11:05 +0800

12月18日，由北京区块链技术应用协会（BBAA）主办的“2021金融科技·监管科技·区块链蓝皮书发布会”成功举行。《中国金融科技发展报告（2021）》蓝皮书（以下简称“报告”）在会上正式发布。该报告作为每年更新出版的金融科技领域专业著作，极具前瞻性和行业影响力，备受业界瞩目。九

性能调优

Tue, 15 Mar 2022 10:11:05 +0800

原文：： http://elasticsearch.cn/article/6202 因为总是看到很多同学在说elasticsearch性能不够好，集群不够稳定，询问关于elasticsearch的调优，但是每次都是一个个点的单独讲，很多时候都是case by case的解答，今天简单梳理下日常的elasticsearch使用调优，以下仅为自己日常经验之谈，如

知识图谱辅助的个性化推荐系统

Tue, 15 Mar 2022 10:11:05 +0800

分享嘉宾：王鸿伟斯坦福大学博士后编辑整理：秋林津渡内容来源：将门线上直播 188 期出品平台：将门、DataFun 导读：互联网产业蓬勃发展的今天，个性化推荐系统是所有面向用户的互联网平台的关键技术。**知识图谱作为一种新的知识载体，为推荐系统提供了额外的辅助信息来源，并有助于提升推荐结果

北京后厂村折叠月薪追赶五万生活低于五千

Tue, 15 Mar 2022 10:11:03 +0800

来源：看客inSight（ID： pic163） “中国硅谷”的生存困境。说起后厂村，也许是老北京人的知识盲区，但它还有其他相对气派的名字 —— “中关村软件园2.0”，或“中国硅谷”。位于五环外的后厂村。这块位于五环外的飞地，面积仅2.6平方公里，却坐拥了中国互联网行业的半壁江山。途径

贝壳找房语言模型系列原理篇一从到

Tue, 15 Mar 2022 10:11:03 +0800

这次的系列文章将会介绍 NLP 领域语言模型及词向量表示的发展史，原理篇会从远古时代的 one-hot 出现讲到时代新星 bert 及其改进，同时后续的实践篇将会介绍预训练模型在房产领域的工业实践应用，带你填上一个个的大坑。话不多说，操练起来~ 语言模型及词向量何为语言模型？这是一个要贯穿整篇文章的问题。所谓语言模

金融场景下的模型可解释性应用探索

Tue, 15 Mar 2022 10:11:03 +0800

融慧金科 AI Lab团队稿 1.背景介绍书籍推荐首先，想向各位读者推荐一本电子书籍《Interpretable Machine Learning》，其原因有两个： 1.该书作者从2017年首次在网络发布本书之后至今一直在持续更新，在github上可以看到其最新的更新时间是今年的6月30日。作者这样的科研

一文剖析区块链现状丛林法则下的胜者

Tue, 15 Mar 2022 10:11:00 +0800

在诸多新技术付诸应用之后，越来越多的技术从业者开始发现，似乎摩尔定律已经开始失灵了，两年的周期远远跟不上技术和信息爆炸的速度。但与此同时，我们却发现另一个定律出乎意外的开始在科技圈里盛行，那就是丛林法则。狼性文化也好，剩者为王也好，云计算、人工智能、再到区块链等技术无不在彰显一个

前员工揭内幕年了为何谷歌还搞不定知识图谱

Tue, 15 Mar 2022 10:11:00 +0800

Manish Rai Jain 2019 年 2 月 26 日转载自： https://infoq.cn/article/CdYJLgPbEF-MqMIE9Cf7 近日，前谷歌开发者、现 Dgraph 创始人 Manish Rai Jain 撰文揭秘了谷歌内部在知识图谱领域的探索和发展。他以一个开发和技术前驱者的视角论述了“为什么谷歌需要一个知识图谱系统”，并详细披露了知识图谱在谷歌的探索尝试的历程。虽然由于种种原因，他当时的知识图谱项目最终被放弃，但整

同城深度召回在招聘推荐系统中的挑战和实践

Tue, 15 Mar 2022 10:11:00 +0800

分享嘉宾：李祖定 58 同城算法架构师编辑整理：郭嘉伟内容来源：58 推荐系统技术沙龙出品平台：DataFunTalk 导读：招聘业务是多行为场景，用户需求和交互周期短、行为稀疏。本次分享基于业务挑战，将介绍代价敏感、向量检索等技术在招聘深度召回中的应用，最后总结实践中的教训与心得。主要内

级大规模集群运维与调优实践

Tue, 15 Mar 2022 10:10:59 +0800

作者：bellen，腾讯云大数据研发工程师。腾讯云 Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。背景某中型互联网公司的游戏业务，使用了腾讯云的

对象存储构建数据湖方案

Tue, 15 Mar 2022 10:10:57 +0800

孙伟@Dell Flink 中文社区摘要：本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》。内容包括：数据湖和 Iceberg 简介未来规划演示方案存储优化的一些思考一、数据湖和 Iceberg 简介 1. 数据湖生态如上图所示，对于一个成熟的数据湖生态而言：首先我们认

多业务建模在美团搜索排序中的实践

Tue, 15 Mar 2022 10:10:56 +0800

来源：美团点评技术团队导读：美团搜索排序是一个典型的多业务混合排序建模问题，这种多业务场景搜索存在很多挑战。本文聚焦到店商家多业务场景的多业务排序建模优化工作，希望能对从事相关工作的同学有帮助。引言排序流程简介多业务建模实践多业务配额模型多业务排序模型总结和展望参考资料作者简介引

淘系技术端智能技术体系概述

Tue, 15 Mar 2022 10:10:56 +0800

相比云侧智能，端智能具有低延时、保护数据隐私、节省云端计算资源等显著优势。背景近年来，以深度学习为代表的新一代人工智能技术得到了快速发展和广泛应用，模型训练和模型推断基本都在云侧完成。但随着移动设备算力的提升、模型压缩技术的成熟，模型推断在终端设备运行成为可能，端智能（On-De

淘系技术淘宝视频的跨模态检索

Tue, 15 Mar 2022 10:10:55 +0800

本系列将介绍在淘宝内容电商生态业务中，对短视频直播这类多媒体内容的识别理解工作。其中包括多媒体内容标签结构化、内容多模态融合识别、超大规模视频标签理解、跨模态语义检索、实时流媒体内容数字化、视频highlight提取及创意生产、多模态内容标签图谱建设等方面的工作成果。本篇是淘宝视

百度技术千亿级模型在离线一致性保障方案详解

Tue, 15 Mar 2022 10:10:55 +0800

导读：在模型的全链路测试过程中，模型的问题统一定义成广义一致性性问题，一致性问题也是模型稳定性的基础保障，落地到具体点上从维度上划分可以分为数据不一致、延时不一致、策略机制不一致、性能不一致等几个方向，在后果衍生上都会导致模型稳定性指标抖动，预估效果不符合预期，所以一致性测试在当

源码系列索引文件的生成二之

Tue, 15 Mar 2022 10:10:53 +0800

生成索引文件。tim、.tip、.doc、.pos、.pay 的流程图图 1：我们继续介绍流程点生成索引文件.doc、.pos、.pay。生成索引文件.doc、.pos、.pay 的流程图图 2：记录位置信息 position、payload、偏移信息 offset 图 3：当前 term 在一篇文档中的所有位置信

贝壳找房一站式大数据开发平台实践

Tue, 15 Mar 2022 10:10:53 +0800

分享嘉宾：仰宗强编辑整理：刘春龙出品平台：DataFunTalk 导读：本次分享嘉宾是来自贝壳大数据部门的仰宗强，详细介绍了针对贝壳的业务数据与需求的增长，逐步升级数据开发平台的探索实践过程，包括三次数据开发平台架构升级的细节。本次主题分享，主要从下面4个方面进行介绍：背景介绍探索

构建可解释的推荐系统

Tue, 15 Mar 2022 10:10:52 +0800

原文来自： gongyouliu [大数据与人工智能] 推荐系统的目标是为用户推荐可能会感兴趣的标的物。通过算法推荐达到节省用户时间、提升用户满意度、为公司创造更多的商业价值的目的。要想达到这个目的就需要让用户信任你的推荐系统，只有信任了，用户才会经常使用推荐系统。那么我们怎样做到让用户信任呢？一种比较

同城本地服务虚拟类目标签体系构建

Tue, 15 Mar 2022 10:10:51 +0800

来源：孙锐 58技术导读: 本文介绍了58本地服务《虚拟类目-标签》体系构建的相关工作，包括虚拟类目生成、标签筛选及挂载、同义去重等内容，我们将实际业务需求转化成机器学习问题，并调研实践相关算法模型完成构建工作。通过逐步上线《虚拟类目-标签》内容，方便用户找到所需服务以提高转化率，实

滴滴司机调度系统实践

Tue, 15 Mar 2022 10:10:51 +0800

门畅徐哲刘春阳滴滴技术桔妹导读：如何解决供需不平衡问题呢？一个自然的想法就是调度空闲的在线司机到需求较多的区域。滴滴网约车团队近期发表在万维网大会WWW 2020 Research Track的Oral长文《When Recommender Systems Meet Fleet Management: Practical Study in Online Driver Repositioning System》提出了在线司机调度系统的一种有效的解决方案。本文是对该

开源项目精选基于的算法库及高性能分析等

Tue, 15 Mar 2022 10:10:50 +0800

文末免费送电子书：七月在线干货组最新升级的《名企AI面试100题》免费送！本书涵盖计算机语⾔基础、算法和⼤数据、机器学习、深度学习、应⽤⽅向 (CV、NLP、推荐、⾦融风控)等五⼤章节。项目一：pytorchOCR — 基于pytorch的ocr算法库已完成模型: DBnet PSEnet PANnet SASTnet CRNN 检测模型效果

阿里边缘计算在推荐系统中的应用

Tue, 15 Mar 2022 10:10:49 +0800

分享嘉宾：龚禹阿里巴巴编辑整理：刘玉志出品平台：DataFunTalk 导读：推荐系统在今天互联网产品和应用中起着举足轻重的地位。一般的推荐系统是基于云端计算中心到边缘 ( 比如手机、平板电脑等 ) 的结构，这其中会由于网络带宽和延迟等导致结果的延迟。边缘的实时计算可以利用用户的实时信息提

毕业年才懂解决问题的能力原来这么重要

Tue, 15 Mar 2022 10:10:47 +0800

作者：张荣华编辑：陶家龙、孙淑娟从学生开始老师就教导我们什么是问题？如何找出标准答案。然而，经过十几年的学习，大多数人依然没有理解问题的本质。正确定义问题是成功的开始，更是成功架构师的必要条件。今天，阿里资深技术专家张荣华从问题的本质入手，用“升层思维”解决问题，告诉我们创新的核

阿里算法专家谈大规模推荐系统粗排层的设计与实现

Tue, 15 Mar 2022 10:10:47 +0800

这里是「王喆的机器学习笔记」的第三十七篇文章。今天我们「 AI大咖谈」邀请的大咖是阿里的算法专家王哲，所以今天是一次王喆对王哲的访谈。王哲是上一届 DLP-KDD workshop Best Paper Award 的获得者，获奖paper COLD: Towards the Next Generation of Pre-Ranking System 深入探讨了阿里大规模推荐系统粗排层的设计和实现，是我非常推崇的业界实践文章。所以今天我

从算法到应用滴滴端到端语音技术实践

Tue, 15 Mar 2022 10:09:56 +0800

分享嘉宾：李先刚滴滴出行文章整理：李淑娜内容来源：DataFunTalk 出品平台：DataFun 导读：随着AI科技的发展，智能语音交互技术正在被国内外巨头公司逐步落地和规模化应用。滴滴出行作为移动出行领域的一家领先的移动互联网企业，也正积极布局和利用智能语音交互相关技术，如语音识

端到端特性概览翻译

Tue, 15 Mar 2022 10:09:54 +0800

原文地址： https://my.oschina.net/u/992559/blog/1819948 作者： moyiguke Apache Flink 端到端（end-to-end）Exactly-Once特性概览本文是flink博文的翻译，原文链接 https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html 2017年12月份发布的Apache Flink 1.4版本，引进了一个重要的特性：TwoPhaseCommitSinkFunction （关联Jira https://i

丁香园基于的向量召回应用

Tue, 15 Mar 2022 10:08:57 +0800

丁香园大数据NLP 丁香园大数据背景随着BERT，GNN等模型在NLP领域的发展，DNN类模型的语义提取能力又得到进一步提升，我们对文本语义向量也有了更高的期待，期望语义向量或其他模型特征向量可以在召回段发挥更大作用；约2019年初，我们就尝试在推荐业务中引入基于Faiss的向量召

信息流视频标签识别技术

Tue, 15 Mar 2022 10:07:34 +0800

分享嘉宾：雪萌阿里巴巴编辑整理：Hoh Xil 内容来源：大鱼技术沙龙出品社区：DataFun 导读：本次分享的主题为 UC 信息流视频标签识别技术，主要介绍标签识别整体架构以及基于多模态信息的视频标签识别方法，实现让机器理解海量的视频中的关键信息。包括以下几部分：标签使用场景标签识别系统架构标

本地服务少无结果场景下的推荐算法实践

Tue, 15 Mar 2022 10:07:12 +0800

01 背景 58同城APP是一个生活服务信息平台，用户可以在平台上寻找自己所需要的服务，商家可以在平台上展示自己可提供的服务。58本地服务主要为用户提供生活中的基础服务信息，58本地服务推荐场景主要包括大类页推荐、猜你喜欢和猜你想找等，本文主要介绍猜你想找的技术迭代。58本地服务大部分

好未来暑期算法实习面试题道

Tue, 15 Mar 2022 10:06:40 +0800

文末彩蛋：七月在线干货组最新升级的《名企AI面试100题》免费送！问题1 ：讲一下xgb与lgb的特点与区别 xgboost采用的是level-wise的分裂策略，而lightGBM采用了leaf-wise的策略，区别是xgboost对每一层所有节点做无差别分裂，可能有些节点的增益非

美团搜索中查询改写技术的探索与实践

Tue, 15 Mar 2022 10:06:10 +0800

杨俭宗宇谢睿等美团技术团队稿 1. 引言在搜索场景中，由于用户搜索词Query和检索文本Document之间存在大量表述不一的情况，在文本检索框架下，此类文本不匹配导致的漏召回问题严重影响着用户的体验。对这类问题业界一般有两种方案：用户端拓展用户的查询词——即查询改写，或Documen

关于数据驱动的重新思考

Tue, 15 Mar 2022 10:06:08 +0800

作者：Cassie Kozyrkov 编译：ronghuaiyang 转载自： AI公园这篇文章介绍了大多数人缺乏的心理习惯，以及为什么你不能指望没有数据就能有效地指导你的行为。企业正在大量雇佣数据科学家，以做出严格、科学、公正、数据驱动的决策。现在，坏消息来了：这些决定通常不是。要想做出数据驱动的决

线上广告用户营销触达的重要渠道与手段移动端

Tue, 15 Mar 2022 10:06:07 +0800

“ 互联网广告，大家都耳熟能详。今天看看移动端广告全景图。 ” 关于用户增长，我们之前有分享过《京东GOAL模型增长策略》、《阿里AIPL模型》等等文章，都是着重在用户洞察或者用户增长策略的层面。要真正实现用户增长、生意增长，是需要在洞察与策略的基础上进行具体行动的。这就是用户的营销与

贝壳找房平台建设实践

Tue, 15 Mar 2022 10:06:04 +0800

分享嘉宾：李世昌贝壳资深工程师编辑整理：申新兴出品平台：DataFunTalk 导读： DMP是一个大家讨论已久的话题，尤其广告领域，是以DMP为基础来展开工作的。由于每个公司所面临的业务场景不同、问题不同，所以在具体落地时的做法也不尽相同。今天主要和大家分享贝壳如何进行DMP落地。

亿展宏图第一篇两张图入门图算法

Tue, 15 Mar 2022 10:05:22 +0800

供稿|eBay支付风控团队作者|赵扬（Kevin Zhao）编辑|林颖 “凡两个物体接触，必会产生转移现象” ——罗卡定律。引子: 在老牌TVB剧《法证先锋》中，法证部的高sir（欧阳震华饰）经常说的一句话：“ 凡两个物体接触，必会产生转移现象”。这就是罗卡定律，指的是：在犯罪现场调查中，

干货篇基于的机器学习工作流平台在站的应用

Tue, 15 Mar 2022 10:05:18 +0800

分享嘉宾: 张杨，B站资深开发工程师整理出品: AICUG人工智能社区浏览器不支持该媒体的播放 :( 导读 : 整个机器学习的过程,从数据上报,到特征计算,到模型训练,再到线上部署,最终效果评估,整个流程非常冗长,在b站,多个团队都会搭建自己的机器学习链路,来完成各自的机器学习需求,工程效率和

通用的图像文本语言表征学习多模态预训练模型

Tue, 15 Mar 2022 10:04:35 +0800

分享嘉宾：李琳婕微软研究工程师编辑整理：付一韬内容来源：将门线上直播 177 期出品平台：将门、DataFun 导读：联合图像-文本的表征学习为大多数视觉 + 语言 ( V+L ) 任务的基础，一般通过联合处理多模态输入，得到用于实现对视觉和文本的理解。但是，这种特征通常是针对特定任务的。在本文将介绍一种

个机器学习开放性面试题没有明确答案

Tue, 15 Mar 2022 10:03:32 +0800

机器学习有非常多令人困惑及不解的地方，很多问题都没有明确的答案。但在面试中，如何探查到面试官想要提问的知识点就显得非常重要了。在本文中，作者给出了 25 个非常有意思的机器学习面试问题，这些问题都没有给出明确的答案，但都有一定的提示。读者也可以在留言中尝试。许多数据科学家主要是从一个数

下深度学习推荐系统的十大工程问题

Tue, 15 Mar 2022 10:03:09 +0800

转载自王喆的机器学习笔记因为这篇文章主要介绍了YouTube深度学习系统论文中的十个工程问题，为了方便进行问题定位，我们还是简单介绍一下背景知识，简单回顾一下 Deep Neural Networks for YouTube Recommendations 中介绍的YouTube深度学习推荐系统的框架。 YouTube推荐系统架构简单讲，YouTube的同学们构建了两

年月份阿里蚂蚁金服算法岗实习面试题道

Tue, 15 Mar 2022 10:03:09 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！ 1.使用Word2vec算法计算得到的词向量之间为什么能够表征词语之间的语义近似关系？参考答案： word2vec是一种高效实现word embedding的算法，word2ve

想读研究生你发过几篇一作

Tue, 15 Mar 2022 10:02:44 +0800

转载自机器之心公众号人工智能早已不再是博士专属的学科，很多国内外大学，如卡耐基梅隆大学（CMU）和南京大学已经开办了本科人工智能专业。对于计算机科学的学生而言，AI 方向的研究生也是一个热门方向。然而，最近很多北美本科生在申请学校的时候发现，众多高校已经把 NIPS、ICML 等顶会论

重叠实验框架更多更好更快地实验

Tue, 15 Mar 2022 10:02:44 +0800

Introduction Google是一个数据驱动型公司，这意味着所有对用户的改动的发布，都要决策者以相应的经验数据作为依据。这些数据大部分是由在线流量上的实验产生的。在web的语境下，一个实验是由一股流量（比如，用户的请求）和在这股流量上进行的相对对比实验的修改组成的。修改包括用户可见的修改（比如，

淘宝从几百到千万级并发的十四次架构演进之路

Tue, 15 Mar 2022 10:02:43 +0800

原文地址： https://segmentfault.com/a/1190000018626163 1. 概述本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 2. 基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下

源码系列索引文件的生成十二之

Tue, 15 Mar 2022 10:02:42 +0800

本文承接索引文件的生成（十一），继续介绍剩余的内容，为了便于下文的介绍，先给出生成索引文件.dim&&.dii 的流程图以及流程点构建BKD树的节点值（node value）的流程图：图1：图2：在前面的文章中，我们介绍了图2中处理内部节点的所有流程点，在介绍处理叶子

为推荐系统生成高质量的文本解释基于互注意力机制的多任务学习模型

Tue, 15 Mar 2022 10:02:16 +0800

转自：微软研究院AI头条编者按：在个性化推荐系统中，如果能在提高推荐准确性的同时生成高质量的文本解释，将更容易获得用户的“芳心”。然而，现有方法通常将两者分开优化，或只优化其中一个目标。为了同时兼顾二者，微软亚洲研究院社会计算组结合认知科学的相关理论，提出了基于互注意力的多任务模

普渡大学李攀好的图表示到底是什么

Tue, 15 Mar 2022 10:02:15 +0800

分享嘉宾：李攀博士普渡大学助理教授编辑整理：吴祺尧加州大学圣地亚哥分校出品平台：DataFunTalk 导读：图数据在现实生活中无处不在，社交媒体、互联网、生物科学领域以及知识图谱中都存在它的身影。图表示学习是最近一个相对而言比较热门并且重点研究的方向。今天，我想从信息理论的角度来

贝壳找房一镜到底们的原理及在贝壳搜索的实践

Tue, 15 Mar 2022 10:02:14 +0800

一、背景在推荐系统、搜索排序、效果广告等场景中，点击率预估是十分重要的部分，CTR 算法也被誉为镶嵌在互联网技术上的明珠。在深度学习火热之前，除了简单的 LR 以外常用的算法类有：以决策树为主的 Boosting 算法；以因子分解为基础的 FM 算法。相对而言，树模型比较适合学习数值类的连续特征，而后者更适合学

微服务架构之事件驱动架构

Tue, 15 Mar 2022 10:02:13 +0800

前言为了解决传统的单体应用（Monolithic Application）在可扩展性、可靠性、适应性、高部署成本等方面的问题，许多公司（比如Amazon、eBay和NetFlix等）开始使用微服务架构（Microservice Architecture）构建自己的应用。微服务架构（维

一概述什么样的产品推荐效果明显

Tue, 15 Mar 2022 10:02:12 +0800

▌2.1数据层面 ▏2.1.1「稀疏性」：稳定的流量与稳定的交互比例(pv/uv) 稳定的「流量」与稳定的「交互」「比例」保证了数据的「稠密性」，单用户和单商品有「足够的数据」可以完成机器学习，并且保证一定的「置信度」。当有「新用户(新商品)」加入系统时，由于系统中缺乏用户(商品)历

数据湖的体验

Tue, 15 Mar 2022 10:02:12 +0800

以下文章来源于Flink 中文社区，作者余东@去哪儿 2021年加入Qunar，主要负责数据平台Flink的运维与平台开发。本文导读背景及特点 1. 背景在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了

知识结构化在阿里小蜜中的应用

Tue, 15 Mar 2022 10:02:12 +0800

分享嘉宾：李凤麟阿里巴巴算法专家文章整理：付一韬内容来源：2019知识图谱前沿技术论坛出品社区：DataFun 导读：阿里小蜜是阿里巴巴服务领域的重要人工智能产品，是服务于阿里巴巴经济体、商家、企业和政府的对话机器人家族，包括阿里小蜜、店小蜜、云小蜜。小蜜机器人是基于大数据和人工智

词元过滤器

Tue, 15 Mar 2022 10:02:12 +0800

本文禁止转载 word_delimiter_graph 使用非字母字符切分 tokens，并可以根据规则执行一些可选的 token 正则化。默认情况下， word_delimiter_graph 会使用以下规则：使用非字母字符作为切分点。比如 Super-Duper → Super, Duper 移除每个 token 前置和后置分隔符。比如 XL---42+'Autocoder' → XL, 42, Autocoder 在单词大小写过度位置做切分。比如 PowerShot → Power, Shot 在单词字母和数字过度位置切分。比如 XL500 → XL, 500 移除

蘑菇街增量学习番外篇三的动态正则实践

Tue, 15 Mar 2022 10:02:09 +0800

作者：美丽联合集团算法工程师琦琦，公众号关注：诗品算法 0、引言这篇文章仍是在蘑菇街增量学习背景下的实践，增量学习的理论很简单，但实践起来，还是有很多细节和trick的。比如，针对不同的模型结构，我们可以设计不同的优化器承接，其对应的动态正则设计方案也会有所差异。这篇文章是已受理的

如何提升会议效率

Tue, 15 Mar 2022 10:01:47 +0800

在阅读本文前，请读者统计一下，你近期参与及主持会议的时长，并计算出会议在你工作总时长中的比重。会议本身并不产生价值，而执行会后达成的结论并成功拿到结果，则会创造价值。本文的目的不是帮读者消灭会议，而是希望通过探究会议的目的及合理的组织形式，试图把你从冗长低效的会议中解放出来，让会

在推送平台的应用与优化实践

Tue, 15 Mar 2022 10:01:43 +0800

作者：vivo互联网服务器团队-Yu Quan 一、推送平台特点 vivo推送平台是vivo公司向开发者提供的消息推送服务，通过在云端与客户端之间建立一条稳定、可靠的长连接，为开发者提供向客户端应用实时推送消息的服务，支持百亿级的通知/消息推送，秒级触达移动用户。推送平台的特点是并发高、消息

美团点评智能搜索模型预估框架的建设与实践

Tue, 15 Mar 2022 10:00:54 +0800

朱敏紫顺乐钦等美团技术团队 1. 背景搜索优化问题，是个典型的AI应用问题，而AI应用问题首先是个系统问题。经历近10年的技术积累和沉淀，美团搜索系统架构从传统检索引擎升级转变为AI搜索引擎。当前，美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线AI服务及实验平台三大体

来也技术向量检索使用场景和关键技术

Tue, 15 Mar 2022 10:00:52 +0800

深度学习可以对物理世界的人/物/场景所产生各种非结构化数据（如语音、图片、视频，语言文字、行为等）进行抽象，变成多维的表示向量。物理世界的关系可以通过表示向量的距离数学运算得到。一.向量检索的意义深度学习最重要的作用就是“表示学习”【1】，简单来说，就是把对象通过深度模型表示成一

贝壳找房面向技术的贝壳一站式大数据开发平台实践

Tue, 15 Mar 2022 10:00:08 +0800

仰宗强@贝壳找房本文根据贝壳找房资深工程师仰宗强老师在2020年"面向AI技术的工程架构实践"大会上的演讲速记整理而成。 1 开场大家下午好,很荣幸来到这跟大家一起分享贝壳一站式大数据开发平台的落地实践。今天的分享主要分为以下四个部分：贝壳的数据业务背景。数据开发

同城多样性算法在部落的实践和思考

Tue, 15 Mar 2022 10:00:06 +0800

文章作者：刘发帅、周建斌 58同城内容来源：公众号“58技术” 导读：本文在明确“推荐系统个体多样性优化”主题后，由整体架构出发，清楚阐述了在召回层、规则层、多样性层的优化细节。在MMR和DPP算法部分既有原理也有实践，最后用图表方式展示出了效果对比，并且结合自身业务特点做了针对性的

融智能风控模型的自动化迭代

Tue, 15 Mar 2022 10:00:06 +0800

分享嘉宾：高博文融360 风控算法专家编辑整理：许瑞出品平台：DataFunTalk 导读：本文主要分享在智能风控体系下模型如何做到全流程自动化的迭代。将介绍融360如何搭建落地整套系统的方法和经验，以及有哪些环节是需要考虑的，会面临哪些困难。最后，希望大家有所收获，能够了解自动化模

贝壳网贝壳搜索为什么能知道你想住哪

Tue, 15 Mar 2022 10:00:04 +0800

在NLP（自然语言处理）中，NER（命名实体识别）是很多应用的关键一步，江湖地位毫无争议,它的研究主体一般包括3大类(实体类、时间类和数字类)和7小类(人名、地名、机构名、时间、日期、货币和百分比)命名实体。贝壳找房作为中国最大的居住服务平台，有丰富的数据和合适的场景，所以该技术

揭秘微信看一看如何精准挖掘你感兴趣的内容

Tue, 15 Mar 2022 09:59:40 +0800

作者：maricoliao，腾讯 WXG 应用研究员一、背景随着自媒体时代的蓬勃发展，各类自媒体平台每天涌现出海量信息。微信作为最优质的自媒体平台，每天新发表文章数百万篇。汹涌而来的信息，极大地丰富了人们的精神和娱乐生活，但同时也存在着信息繁杂无序、内容同质化、质量参差不齐等问题，而用户

干货篇观远数据可解释机器学习原理及应用

Tue, 15 Mar 2022 09:59:38 +0800

分享嘉宾: 周远，观远数据联合创始人，首席科学家整理出品: 张劲，AICUG人工智能社区 PPT下载： http://www.aicug.cn/#/docs 浏览器不支持该媒体的播放 :( 导读: 在商业领域的机器学习应用中，让业务方理解模型逻辑，提升对预测结果的信心，对于算法项目的推进与落地起着关键的推动K作用。因此模型与预测输出的可解释性也日

写给开发者的谷歌技术面试终极通关指南

Tue, 15 Mar 2022 09:59:37 +0800

通过谷歌面试是所有工程师的梦想。技术面试谷歌招聘流程必不可少的一环，它是对应聘者技术能力的终极测试，以评价你是否具备开发最优秀软件所需的编程与算法能力。谷歌面试是评价技术能力的关键衡量标准，可以说是决定是否聘用候选人的最重要决定因素。想要顺利通过谷歌面试的话，你需要为面试中的重点

同城平台应用实践

Tue, 15 Mar 2022 09:59:34 +0800

58数据平台部 58技术导读： 58同城大数据团队，鉴于目前线上大数据集群各个组件GC方面的问题，考虑逐步在适合的大数据组件上应用高版本JDK上的ZGC，目前已经在HBase集群上成功落地，在某些场景上有比较明显的效果。58同城HBase集群应用的JDK为腾讯公司开源的Tencent

从技术到体验机器翻译落地实践

Tue, 15 Mar 2022 09:59:08 +0800

分享嘉宾：李方圆 vivo 机器翻译组负责人编辑整理：甘雨鑫上海财经大学出品平台：DataFunTalk 导读：无论是在工作还是生活中，人们每天都离不开手机。研究表明，截止2020年底，人均使用手机的时长已经高达6-7小时。其实，手机上的很多应用都蕴含着大量的翻译需求。例如：看美剧、和外国友

测试中我们都会犯的十个常见错误

Tue, 15 Mar 2022 09:59:08 +0800

作者：Romain AYRES 本文由AI公园授权转载，转载请联系出处编译：ronghuaiyang 导读这篇博客文章的目的不是告诉你在运行A/B测试时应该做什么，而是告诉你不应该做什么。 “没有数据，你只是一个有观点的人。” 这个著名的_W. Edwards Deming_引用说明了 A/B测试对于做出好的商业决

独家揭秘微博深度学习平台如何支撑亿用户愉快吃瓜

Tue, 15 Mar 2022 09:59:08 +0800

作者：于翔 2019 年 2 月 21 日随着深度学习在微博业务场景中的广泛使用，深度学习平台也遇到一些挑战：在离线训练方面，各业务方需求丰富多样，任务管理纷繁复杂，大数据与大模型带来训练时长的压力；在线推理方面，基于模型服务的特殊性，如何在满足微博大流量高性能的在线业务需求同时，保证服务的高可用与

为什么机器学习项目非常难管理

Tue, 15 Mar 2022 09:59:07 +0800

英文原文： https://medium.com/@l2k/why-are-machine-learning-projects-so-hard-to-manage-8e9b9cf49641 作者：Lukas Biewald 编译：ronghuaiyang 导读我看到过很多公司尝试使用机器学习 —— 有些大获成功，有些惨败。一个不变的事实是，机器学习团队很难设定目标和期望。这是为什么呢？ 1. 很难预先分辨出什么是难的，什么是容易的是在国际象棋中击败卡斯帕罗夫更困难，还是捡起棋子并移

算法工程师必知必会的经典模型系列一模型串讲

Tue, 15 Mar 2022 09:59:07 +0800

章立美团点评算法工程师未经许可禁止转载这是本系列的第一篇文章，期待大家关注我，跟进后续哦～注意力机制与 Transformer 模型分享注意力机制什么是注意力注意力的原型很容易理解，例如图片 👇 这张图里的要素很多，对于抱有不同目的或者习惯的人。会有注意到不同的内容。如果我是对色彩比较敏感的人，那么可能 CSDN 的

如何扩充知识图谱中的同义词

Tue, 15 Mar 2022 09:59:06 +0800

来源：丁香园大数据 2019-12-02 前言在之前的文章中，我们介绍了数据驱动的上下位三元组抽取、关系抽取、实体属性值抽取、名词短语抽取的算法思路。这些工作的目的都是为了使实体词在知识库中更加丰满，能够更好地为语义搜索推荐、智能问答等场景做支撑。以上这些工作多以考虑挖掘更多的知识数据，而我们还未讨论

深度学习时代的图模型

Tue, 15 Mar 2022 09:59:06 +0800

他们将现有方法分为三个大类：半监督方法，包括图神经网络和图卷积网络；无监督方法，包括图自编码器；近期新的研究方法，包括图循环神经网络和图强化学习。然后按照这些方法的发展史对它们进行系统概述。该研究还分析了这些方法的区别，以及如何合成不同的架构。最后，该研究简单列举了这些方法的应用

美团大脑知识图谱的建模方法及其应用

Tue, 15 Mar 2022 09:59:06 +0800

作者：仲远 ·2018-11-01 19:58 作为人工智能时代最重要的知识表示方式之一，知识图谱能够打破不同场景下的数据隔离，为搜索、推荐、问答、解释与决策等应用提供基础支撑。美团大脑围绕吃喝玩乐等多种场景，构建了生活娱乐领域超大规模的知识图谱，为用户和商家建立起全方位的链接。我们美团希望能

实时计算引擎在贝壳的应用与实践

Tue, 15 Mar 2022 09:59:04 +0800

导读：本次分享的主题为实时计算引擎在贝壳的应用与实践。主要内容包括：背景介绍流式计算平台实时分析监控平台-FAST 后续规划 ——背景介绍—— 贝壳找房由链家网升级而来，是以技术驱动的品质居住服务平台，聚合和赋能全行业的优质服务者，打造开放的品质居住服务生态，致力于为两亿家庭提供包括二

深度学习在高德鲜活度提升中的演进

Tue, 15 Mar 2022 09:59:04 +0800

文章作者：懿林内容来源：高德技术导读：高德地图拥有着数千万的 POI ( Point of Interest ) 兴趣点，如学校、酒店、加油站、超市等。其中伴随着众多 POI 创建的同时，会有大量的 POI 过期，如停业、拆迁、搬迁、更名。这部分 POI 对地图鲜活度和用户体验有着严重的负面影响，需要及时有效地识别并处理。由于实地采集的方式成本

为什么正则化能够缓解模型过拟合并使得模型更简单

Tue, 15 Mar 2022 09:58:42 +0800

公众号：月来客栈，欢迎关注！微信： nulls8 模型产生过拟合的现象表现为：在训练集上误差较小，而在测试集上误差较大。并且笔者还说到，之所以产生过拟合现象是由于训练数据中存在一定的噪音，而我们为了尽可能的做到拟合每一个样本点（包括噪音），往往就会使用复杂的模型。最终使得训练出来的模型很大程度

所有机器学习项目都适用的检查清单

Tue, 15 Mar 2022 09:58:41 +0800

作者：Harshit Tyagi 编译：ronghuaiyang 导读构建端到端机器学习项目的任务检查清单。 Image for post我正在创建一系列有价值的项目，我想到了将我从别人那里学到的或在工作中开发的实践记录下来。在本博客中，我整理了在处理端到端ML项目时经常提到的任务清单。为什么我需要一个清单？因

优酷视频元素内容召回系统多级多模态引擎探索

Tue, 15 Mar 2022 09:57:38 +0800

分享嘉宾：崇懿阿里文娱技术专家编辑整理：李沛欣内容来源：阿里文娱技术出品平台：DataFunTalk 导读：多级多模态引擎是为推荐搜索定制的专业化的召回引擎。优酷视频搜索在基础的文本Query搜索系统的基础上，不断探索视频搜索的特色，在多模态输入、多级多模态索引、跨模态检索上积累很

深度学习在同城租房搜索排序的应用

Tue, 15 Mar 2022 09:57:10 +0800

导读：深度学习得益于良好的深层特征表达性，目前在视觉、文本、语音等领域获得了广泛的应用。搜索领域紧贴用户需求，作为深度学习商业变现最成功的路径之一，众多头部企业发展出了许多优秀的应用。58同城是国内最大的生活信息服务平台，涵盖房产、招聘、黄页、二手车等多个业务，在多个业务线的搜索

基于的深度学习在线预估

Tue, 15 Mar 2022 09:56:49 +0800

转载自：美团点评技术团队博客一、前言随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[1]、DeepCross Network[2]、DeepFM[3]、xDee

机器学习中的特征工程总结

Tue, 15 Mar 2022 09:56:49 +0800

译者：张峰，Datawhale成员特征工程传统编程的关注点是代码。在机器学习项目中，关注点变成了特征表示。也就是说，开发者通过添加和改善特征来调整模型。“Garbage in, garbage out”。对于一个机器学习问题，数据和特征往往决定了结果的上限，而模型、算法的选择及优化则是在逐步接近这个上

阿里技术主流推荐与垂类推荐技术的发展与延伸

Tue, 15 Mar 2022 09:56:47 +0800

分享嘉宾：温鸿阿里巴巴高级算法专家编辑整理：孙彬太原理工大学出品平台：DataFunSummit 导读：本文的主题为阿里飞猪推荐算法探索实践，首先会介绍电商背景下主流推荐技术的发展，例如基于全空间的CVR预估技术的发展历程等 ( ESMM / ESM^2 / HM^3 )；接着会重点结合旅行行业的特色，进一步介绍飞

我在亚马逊学到的三样东西为我的机器学习职业之路做好了准备

Tue, 15 Mar 2022 09:56:22 +0800

亚马逊是一家伟大的公司，其中有很多值得学习的地方，这篇文章的作者在亚马逊待了5年，这三点是他感受最深的。我在亚马逊工作了5年，只差几天就能拿到梦寐以求的“黄色徽章”。值得注意的是，亚马逊的平均任期在一到两年之间。虽然有很多关于在亚马逊工作的故事，但我觉得那里的文化比任何教程都更能

最完整的Markdown基础教程

Tue, 15 Mar 2022 09:56:22 +0800

基础语法标题 Markdown支持6种级别的标题，对应html标签 h1 ~ h6 1 2 3 4 5 6 # h1 ## h2 ### h3 #### h4 ##### h5 ###### h6 以上标记效果如下： h1 h2 h3 h4 h5 h6 除此之外，Markdown还支持另外一种形式的标题展示形式，其类似于 Setext 标记语言的表现形式，使用下划线进行文本大小的控制这是一级标题 === 这是二级标题

时代的创新应用篇在各领域的应用进展

Tue, 15 Mar 2022 09:55:22 +0800

Bert 给人们带来了大惊喜，不过转眼过去大约半年时间了，这半年来，陆续出现了与Bert相关的不少新工作。最近几个月，在主业做推荐算法之外的时间，我其实一直比较好奇下面两个问题：问题一：Bert原始的论文证明了：在GLUE这种综合的NLP数据集合下，Bert预训练对几乎所有类型的NLP任

如何高效的进行多项目管理

Tue, 15 Mar 2022 09:55:17 +0800

大部分人在日常的工作当中，都或多或少的会参与项目，而项目要能顺利执行其实并不简单，如果又渉及多个单位合作，困难程度又大增。对项目经理来说，从他们的工作日志片段可以看出每个人都有自己悲惨的故事，程度恐怕只有过之而无不及。那我们该如何做好项目管理呢？一、什么是项目管理在日常工作中开发

可解释机器学习发展和常见方法

Tue, 15 Mar 2022 09:54:43 +0800

来源：新智元，编辑：数据派THU 本文介绍IML领域的历史，给出了最先进的可解释方法的概述，并讨论了遇到的挑战。近年来，可解释机器学习（IML）的相关研究蓬勃发展。尽管这个领域才刚刚起步，但是它在回归建模和基于规则的机器学习方面的相关工作却始于20世纪60年代。最近，arXiv上的

回顾如何让广告投放进入自动驾驶

Tue, 15 Mar 2022 09:54:13 +0800

配套PPT下载，请识别底部二维码关注社区公众号，后台回复【 1220 】 _ _ 分享嘉宾：郑晓东** ** 360 技术经理编辑整理：王杰内容来源： DataFun AI Talk**《 AI，让广告投放进入“自动驾驶”》** 出品社区： DataFun 注：欢迎转载，转载请注明出处。 _ _ 一、背景和问题当我们的客户在谈论广告投放的时候，是在谈论

去哪儿网深度学习在酒店售后智能问答场景实践

Tue, 15 Mar 2022 09:54:11 +0800

李兆海胡智 Qunar技术沙龙 1、项目背景去哪儿网作为全球领先的旅游搜索引擎，每天有成千上万的用户在这里买到了低价的机票、酒店等产品，这其中有着庞大的客服团队在背后支持着售后服务工作，用户可以随时随地通过电话或者 chat 找到客服解决行中和行后的问题。随着人工智能在各个领域的应用，客服领域

冗余数据一致性到底如何保证

Tue, 15 Mar 2022 09:35:15 +0800

一，为什么要冗余数据互联网数据量很大的业务场景，往往数据库需要进行水平切分来降低单库数据量。水平切分会有一个patition key，通过patition key的查询能够直接定位到库，但是非patition key上的查询可能就需要扫描多个库了。此时常见的架构设计方案，是使用数据冗余

回顾知识图谱在贝壳找房的从到实践

Tue, 15 Mar 2022 09:35:15 +0800

本文转载自 DataFunTalk 公众号本文根据贝壳找房王贺青老师在DataFun Talk人工智能技术沙龙中分享的《知识图谱在贝壳找房的从0到1实践》编辑整理而成，在未改变原意的基础上稍做整理。今天分享的内容有四个方面，第一个介绍下知识图谱，第二个讲为什么 “可以&要”在贝壳找房中落地知识图谱。

腾讯信息流内容理解技术实践

Tue, 15 Mar 2022 09:35:15 +0800

分享嘉宾：郭伟东腾讯高级研究员文章整理：李传勇内容来源：DataFunTalk 出品社区：DataFun 导读：目前信息流推荐中使用的内容理解技术，主要有两部分构成：1. 门户时代和搜索时代遗留的技术积累：分类、关键词以及知识图谱相关技术；2. 深度学习带来的技术福利：embedding

字节跳动单点恢复功能实践

Tue, 15 Mar 2022 09:35:11 +0800

字节跳动技术团队背景在字节跳动的实时计算场景中，我们有很多任务（数量 2k+）会直接服务于线上，其输出时延和稳定性会直接影响线上产品的用户体验，这类任务通常具有如下特点：流量大，并发高（最大的任务并行度超过 1w）拓扑类似于多流 Join，将各个数据源做整合输出给下游，不依赖 Checkpoint 没有使用

疫情黑天鹅让企业管理数字化转型迫在眉睫

Tue, 15 Mar 2022 09:35:11 +0800

前言一场毫无征兆的疫情袭来，从 12 月到现在，很多企业可能还没有反应过来就已经倒下了。“幸存者”也都在悬崖的边缘，苦苦挣扎。大部分企业面临的窘境是资金不足，需要裁减人员。但是裁员后，有没有足够的人力来获取更大的效益来维持周转。这样的悖论，把无数的企业推向了不可逆转的深渊。大家都急切的

万物皆为向量爱奇艺在线向量召回工程服务化实践

Tue, 15 Mar 2022 09:34:48 +0800

作者：爱奇艺推荐中台随着深度学习浪潮的兴起，embedding技术也随之快速发展。embedding自身表达能力的增强使得直接利用embedding生成推荐列表成了可行的选择。因此，利用embedding向量的相似性，将embedding作为推荐系统召回层的方案逐渐被推广开来。我

在美团搜索核心排序的探索和实践

Tue, 15 Mar 2022 09:34:48 +0800

美团点评技术团队引言美团搜索是美团App上最大的连接人和服务的入口，覆盖了团购、外卖、电影、酒店、买菜等各种生活服务。随着用户量快速增长，越来越多的用户在不同场景下都会通过搜索来获取自己想要的服务。理解用户Query，将用户最想要的结果排在靠前的位置，是搜索引擎最核心的两大步骤。

知识图谱在第四范式金融场景的应用及研究

Tue, 15 Mar 2022 09:34:48 +0800

分享嘉宾：张永祺博士第四范式编辑整理：万碧佳百度出品平台：DataFunTalk 导读：大家好，我是来自第四范式科学技术部的资深算法研究员张永祺。本文将给大家分享知识图谱在第四范式金融场景的应用及研究。共分为两个部分：第1部分介绍我们第四范式的知识图谱产品内容，并且以金融舆情风险分

程序员面试最常见问题

Tue, 15 Mar 2022 09:34:47 +0800

同学，你会手写二叉树吗？近来正值秋招季节，很多编程面试都要求手写数据结构手推机器学习算法。各位同学为了面试也会刷各种编程题，其中数据结构与排序搜索算法又是最为基础的内容。在本文中，我们为各位读者准备了 48 道基础面试题，它可以帮助我们更深地理解数据结构。本文所有面试题都提供了 Java 解决方

高精准低成本九章云极突破难题

Tue, 15 Mar 2022 09:34:47 +0800

2021 年世界人工智能大会（WAIC）于 7 月 8 日在上海世博中心拉开帷幕。九章云极DataCanvas董事长方磊受邀参加由世界人工智能大会组委会主办、机器之心承办的“2021 WAIC·AI开发者论坛”，并发表“Hypernets：自动化机器学习的基础框架”主题演讲。本次论坛以「后深度学习

值的解释以一种你期望的方式解释给你听

Tue, 15 Mar 2022 09:34:46 +0800

作者：Samuele Mazzanti 编译：ronghuaiyang 正文共：3096 字 13 图英文原文： https://towardsdatascience.com/shap-explained-the-way-i-wish-someone-explained-it-to-me-ab81cc69ef30 导读：上一篇文章我们说到 SHAP 值可以用来对黑盒模型进行解释，具备比简单的逻辑回归更好的实际意义，那么 SHAP 值到底是什么？有什么实际意义？如何计算？揭开神秘的面纱在上次的文章中，我们看到 SHAP 值可以用来解释机

我的认证工程师之路

Tue, 15 Mar 2022 09:34:46 +0800

铭毅天下 1、引子我是 2020 年 4 月 30 日通过的认证，应群主之邀，写一篇经验分享，也是给我的认证之路做一个小结。其实和很多群友想的不一样，我平常在工作中要写 DSL 的机会不多，和 ES 相关的，更多的是评估容量和成本，决定一个场景到底要不要用，要设计哪些功能。虽然平时零零碎碎地看了很多 ES 相关的知识，但

阿里电商搜索算法技术的演进

Tue, 15 Mar 2022 09:34:46 +0800

阿里妹导读：2018年9月28日，阿里电商搜索事业部迎来了一场以“搜·荐未来”为主题的技术峰会。搜索与推荐算法经过多年的发展，从最初简单的统计模型，机器学习到形成完整的离线在线与实时的深度学习与智能决策体系，每年都有新的算法突破，帮助搜索与推荐的体验与效果取得大幅提升，成为驱动电

究竟什么是图数据库它有哪些应用场景

Tue, 15 Mar 2022 09:34:44 +0800

随着社交、电商、金融、零售、物联网等行业的快速发展，现实社会织起了了一张庞大而复杂的关系网，传统数据库很难处理关系运算。大数据行业需要处理的数据之间的关系随数据量呈几何级数增长，亟需一种支持海量复杂数据关系运算的数据库，图数据库应运而生。世界上很多著名的公司都在使用图数据库。比如

实时性提升倍图数据库在腾讯业务中的应用实践

Tue, 15 Mar 2022 09:34:19 +0800

分享嘉宾：李晓森腾讯大数据专家工程师编辑整理：王彦磊出品平台：DataFunTalk 导读：现实中的人和人、人和物、物和物构成了各种复杂多样的关系，这些关系可以通过图进行建模和表达：比如转账网络、社交网络等。对图（图模型）的理解和应用尤为重要。今天分享的主题整体比较发散，除了图数据

腾讯从零开始了解推荐系统全貌

Tue, 15 Mar 2022 09:34:17 +0800

作者：yijiapan，腾讯 WXG 数据分析师有幸参与了几个业务推荐系统搭建的全流程，本文将从实际经验出发，为大家解构如何从从零搭建推荐系统，希望跟大家能够相互交流，如有错误之处烦请指正。一、推荐算法的理解如果说互联网的目标就是连接一切，那么推荐系统的作用就是建立更加有效率的连接，推荐

技术人生第篇学会分析事物的本质

Tue, 15 Mar 2022 09:33:51 +0800

作者 | 贺科学（晨末）来源 | 阿里巴巴中间件团队背景生活中每时每刻都在发生着各种各样的事情，有些与己相关，有些看似毫无瓜葛，不论事情大小，总需要分出一部分精力，或多或少，对事情进行处理解决。在处理这些事情的过程中，在和某些人接触时，总能感觉到他们对事物的认知要更深刻，更全面，听其言如

蘑菇街首页推荐视频流增量学习与实践工程算法

Tue, 15 Mar 2022 09:33:17 +0800

作者：美丽联合集团算法工程师琦琦，公众号关注：诗品算法阅读原文： https://zhuanlan.zhihu.com/p/212647751 一、楔子害，写个这么严肃的技术话题还需要楔子么？这不是让大家放松一下嘛！毕竟是我的处女作，还是要来个看似一本正经的开场白和自我介绍的。大家好，我是混迹于奋斗X之都——杭州的互联网大龄脱发女程序员一枚，大家可以关注我

腾讯信息流热点挖掘技术实践

Tue, 15 Mar 2022 09:33:08 +0800

分享嘉宾：罗锦文腾讯研究员编辑整理：Jane Zhang 出品平台：DataFunTalk 导读：当前各大资讯社交类APP都在显著的版面展示或者推荐热点相关内容，信息流应用能否快速发现热点、引导用户阅读热点，是影响用户体验的重要因素。本次分享主要介绍腾讯在热点挖掘方面的工作。基于搜索数据和自媒

机器学习加持的体验搜索排序实践

Tue, 15 Mar 2022 09:33:06 +0800

作者：Mihajlo Grbovic 编译：ronghuaiyang 导读: 我们是如何为一个全新的双边市场来迭代的构建机器学习的搜索平台的，我们是如何帮助其成长的。 Airbnb 体验是由专业房东精心设计和引导的活动，提供不一样的当地场景和文化品味。每一次体验都要经过编辑团队的质量审查，然后才会发布到平台上。我

干货携程推理性能的自动化优化实践

Tue, 15 Mar 2022 09:32:16 +0800

度假AI 携程技术投稿一、背景近年来，人工智能逐渐在安防，教育，医疗和旅游等工业和生活场景中落地开花。在携程旅游业务上，AI技术同样广泛覆盖了多个旅游产品和旅游服务领域，携程度假AI研发根据旅游的特定场景和业务需求，将自然语言处理，机器翻译，计算机视觉，搜索排序等主流AI技术成功应

微信看一看推荐系统用户画像构建指南

Tue, 15 Mar 2022 09:32:15 +0800

导语 | 推荐系统无论在工业界还是学术界都被广泛研究，有不少关于召回和排序的工作，但是对于用户画像的研究少之又少。下文将就微信看一看推荐系统中如何构建用户兴趣标签展开讨论，希望与大家一同交流。文章作者：闫肃，微信搜索应用部研发工程师。一、背景用户画像是推荐系统中非常重要的一环，用户画

信息流推荐模型在多目标和模型优化方面的进展

Tue, 15 Mar 2022 09:32:12 +0800

分享嘉宾：语露阿里高级算法工程师编辑整理：Hoh Xil 内容来源：大鱼技术沙龙出品社区：DataFun 导读：短视频已经成为信息流行业的风口，成为拉动规模增长的主要驱动力。短视频天然具有信息能量高、用户粘性大、内容丰富等优点，也有视频帧内容难以分析提取、结构化的缺点。如何提高短视频的分发

深度强化学习在滴滴路径规划中的探索实践

Tue, 15 Mar 2022 09:31:50 +0800

桔妹导读：滴滴的路线引擎每天要处理超过400亿次的路线规划请求，路径规划是滴滴地图输出的核心服务之一。不同于传统的路径规划算法，本文主要介绍的是一次深度强化学习在路径规划业务场景下的探索，目标是为用户规划出最符合司乘双方习惯的路线，降低偏航率。当我们打开滴滴使用网约车服务时，出发

在推荐系统中的应用

Tue, 15 Mar 2022 09:31:31 +0800

今天，推荐系统的模型和应用已经相当成熟，然而部署一套全新的推荐系统，甚至仅在已有系统上添加数据维度和模型优化依然是非常耗时耗力的事情。这是由于不同数据源的分布不尽相同，要达到满意的建模效果，每个建模的环节，包括数据处理、特征工程、模型的选择和超参数选择等都需要随之变动和优化。以往

深度学习在省钱快报推荐排序中的应用与实践

Tue, 15 Mar 2022 09:31:31 +0800

文章作者：省钱快报算法团队编辑整理：Hoh Xil 内容来源：作者授权出品平台：DataFun 导读：省钱快报是一家中小型综合类电商 APP，近 2 年平台规模有了较大增长，AI 在平台业务发展中发挥了巨大作用。本文以推荐场景优化在省钱快报的发展为脉络，对于中小型电商公司在资源有限的客观条件下，对

滴滴千万级写入性能翻倍技术剖析

Tue, 15 Mar 2022 09:31:31 +0800

桔妹导读：滴滴ElasticSearch平台承接了公司内部所有使用ElasticSearch的业务，包括核心搜索、RDS从库、日志检索、安全数据分析、指标数据分析等等。平台规模达到了3000+节点，5PB 的数据存储，超过万亿条数据。平台写入的峰值写入TPS达到了2000w/s，每

菜鸟网络实时数仓进阶之路

Tue, 15 Mar 2022 09:31:30 +0800

分享嘉宾：张庭菜鸟数据工程师文章整理：comn 出品平台：DataFunTalk 导读：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致ETL流程特别复杂，还有海量

阿里定向广告新一代技术

Tue, 15 Mar 2022 09:31:30 +0800

分享嘉宾：周国睿阿里高级算法专家编辑整理：崔媛媛出品平台：DataFunTalk 导读：本文的主题为新一代Rank技术，由来自阿里巴巴定向广告团队的周国睿老师分享，主要介绍当前团队在排序算法方面的新工作和新想法。 01 新一代Rank技术背景介绍在分享之前先介绍下阿里巴巴整个淘系内部的定

京东电商搜索中的语义检索与商品排序

Tue, 15 Mar 2022 09:31:29 +0800

文章作者：王松林、唐国瑜京东算法工程师编辑整理：Hoh 内容来源：作者授权出品平台：DataFunTalk 导读：本文将介绍京东搜索场景中的两块技术，语义检索与商品排序。在业界检索算法基础上，我们提出一系列更适用于电商场景的检索排序算法，在业务上取得了显著收益。其中的多篇论文已被 KDD/SIGIR 等

标星最后还有什么想问的么对面试官的灵魂问

Tue, 15 Mar 2022 09:31:29 +0800

网上铺天盖地的都是面试官面试候选人的面试问题，而针对面试过程面试官的最后一问：“最后还有什么想问的么？”，没有问题，略显尴尬。发现github上有位叫 viraptor 的小哥反向思维，整理了一份求职反问手册，从岗位职责、基础设施、团队情况、公司技术发展、公司变现途径、是否坐班、办公室情况等角度，

岗位精选面试题

Tue, 15 Mar 2022 09:31:27 +0800

添加微信：julyedufu77，回复 “ 7 ”，领取最新升级版《名企AI面试100题》电子书！！ 11、当参数量 » 样本量时候, 神经网络是如何预防过拟合? 正则化 2. Early Stopping 3. Dropout 4. 数据增强过拟合即在训练误差很小,而泛化误差很大，神经网络时避免过拟合的方法：正则化正则化的思想十分简单明了。由于模

黑盒模型实际上比逻辑回归更具可解释性

Tue, 15 Mar 2022 09:31:27 +0800

作者：Samuele Mazzanti 编译：ronghuaiyang 导读：如何让复杂的模型具备可解释性，SHAP 值是一个很好的工具，但是 SHAP 值不是很好理解，如果能将 SHAP 值转化为对概率的影响，看起来就很舒服了。在可解释性和高性能之间的永恒的争斗从事数据科学工作的人更了解这一点：关于机器学习的一个老生常

腾讯基于预训练模型的文本内容理解实践

Tue, 15 Mar 2022 09:31:26 +0800

分享嘉宾：赵哲博士腾讯高级研究员编辑整理：张书源爱丁堡大学出品平台：DataFunTalk 导读：预训练已经成为自然语言处理任务的重要组成部分，为大量自然语言处理任务带来了显著提升。本文将围绕预训练模型，介绍相关技术在文本内容理解方面的应用。更具体的，本文会首先对已有的经典预训练工

供应链十张图帮你理解供应链名词上篇

Tue, 15 Mar 2022 09:31:25 +0800

文章作者：冯维清华大学博士责任编辑：钱蕊本篇文章来自微信公众号智慧的流动：十张图帮你理解供应链IT名词！（上篇）欢迎原链接转发，转载请前往 @留德华叫兽的主页获取信息，盗版必究。敬请关注和扩散本专栏及同名公众号，会邀请全球知名学者陆续发布运筹学、人工智能中优化理论等相关干货、知乎L

腾讯技术交互式分析领域为何能够杀出重围

Tue, 15 Mar 2022 09:31:25 +0800

姜国强腾讯云加社区导语 | 在百花齐放的交互式分析领域，ClickHouse 绝对是后起之秀，它虽然年轻，却有非常大的发展空间。本文将分享 PB 级分析型数据库 ClickHouse 的应用场景、整体架构、众多核心特性等，帮助理解 ClickHouse 如何实现极致性能的存储引擎，希望与大家一起交流。文章作者：姜国强，腾讯实时检索研发

图像检索在高德地图数据生产中的应用

Tue, 15 Mar 2022 09:31:24 +0800

作者 | 灵笼、怀迩高德技术稿一背景 POI 是 Point of Interest 的缩写。在电子地图上，POI 代表餐厅、超市、政府机关、旅游景点、交通设施等等。POI是电子地图的核心数据。对普通用户而言，POI 数据包含的名称和位置信息，能够满足其使用电子地图“查找目的地”，进而唤起导航服务的基本需求；对电子地图而言，通

源码系列倒排表

Tue, 15 Mar 2022 09:31:24 +0800

原文： https://www.amazingkoala.com.cn/Lucene/Index/2019/0222/36.html 本篇文章介绍如何生成倒排表，通过一个简单的例子来讲解倒排表的底层存储结构。文章中不会给出详细的源码介绍，只有一些必要的对象，感兴趣的朋友可以看我的 GitHub，对构建倒排表的源码给出了详细的注释： https://github.com/luxugang/Lucene-7.5.0/blob/master/solr-7.5.0/lucene/core/src/java/org/apache/lucene/index/DefaultIndexingChain.java ，此类中的该方法是开始构建倒排表的入口。另外如果某些域使用了词向量(Ter

一个更好更快更强的序列标注成分句法分析器

Tue, 15 Mar 2022 09:31:22 +0800

韦阳华东师范大学计算机科学与技术硕士在读原文链接： Better, Faster, Stronger Sequence Tagging Constituent Parsersgodweiyang.com 为了看懂论文里的策略梯度，又去把强化学习看了一遍。。。论文地址： Better, Faster, Stronger Sequence Tagging Constituent Parsersarxiv.org 介绍这篇论文主要是在之前的那篇论文 Constituent Parsing as Sequence Labelinggo

腾讯大幅降低存储成本可搜索快照是如何办到的

Tue, 15 Mar 2022 09:31:22 +0800

作者：腾讯高斌龙导语 | Elasticsearch 7.10 版本最近发布，该版本有一个重磅特性：Searchable snapshots （可搜索快照功能），可以大幅度地降低存储成本。那么 Searchable snapshots 的使用方式和实现效果是怎样的呢，下面就让我们来一探究竟吧！本文作者：高斌龙，腾讯云大数据研发工程师。一、功能介绍在 Searchable snapshots 可搜索快照功能发布之前，

搜索引擎背后的经典数据结构和算法

Tue, 15 Mar 2022 09:31:21 +0800

原文：码海喜欢请关注文末公众号前言我们每天都在用 Google, 百度这些搜索引擎，那大家有没想过搜索引擎是如何实现的呢，看似简单的搜索其实技术细节非常复杂，说搜索引擎是 IT 皇冠上的明珠也不为过，今天我们来就来简单过一下搜索引擎的原理，看看它是如何工作的，当然搜索引擎博大精深，一篇文章不可能完全介

主流预估模型的演化及对比

Tue, 15 Mar 2022 09:31:19 +0800

学习和预测用户的反馈对于个性化推荐、信息检索和在线广告等领域都有着极其重要的作用。在这些领域，用户的反馈行为包括点击、收藏、购买等。本文以点击率（CTR）预估为例，介绍常用的CTR预估模型，试图找出它们之间的关联和演化规律。数据特点在电商领域，CTR预估模型的原始特征数据通常包括

的查询毛刺问题原因分析

Tue, 15 Mar 2022 09:31:19 +0800

如果业务对查询延迟很敏感，Elasticsearch 查询延迟中的毛刺现象就是比较困扰的一类问题，由于出现毛刺的时间点已经过去，无法稳定复现，对于根因的分析比较困难，无法用系统化调试的思想，从现象出发逐步推理，定位问题，能做的通常就是看一下监控系统对应时间点的指标情况，而在 es 中，导

从看实时搜索排序中的技巧

Tue, 15 Mar 2022 09:30:53 +0800

这里是「王喆的机器学习笔记」的第八篇文章，今天我们聊一聊KDD 2018的Best Paper，Airbnb的一篇极具工程实践价值的文章 Real-time Personalization using Embeddings for Search Ranking at Airbnb 。相信大家已经比较熟悉我选择计算广告和推荐系统相关文章的标准：工程导向的；阿里、facebook、google等一线互联网公司出品

汽车之家如何构建用户画像

Tue, 15 Mar 2022 09:30:51 +0800

谈到用户画像，大体可以用俩个词概述"persona" 和 “profile”。两者区别在于使用者的差异。Persona 也叫做用户角色，是描绘抽象一个自然人的属性，主要是讨论产品、需求、场景、用户体验的时候使用。Profile 是和数据挖掘、大

快手基于构建实时数仓场景化实践

Tue, 15 Mar 2022 09:30:50 +0800

李天朔@快手 Flink 中文社区摘要：本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》一、快手实时计算场景快手业务中的实时计算场景主要分为四块：公司级别的核心数据：包括公司经营大盘，实时核心日报，以及移动版数据。相当于团队会有公司的大盘指标

线下涨线上跌的原因和解决办法

Tue, 15 Mar 2022 09:30:26 +0800

“ 这两年深度模型大火之后，各个团队都卯足了劲把网络规模做大做深，花了很大力气好不容易离线 auc 涨了不少，上线一看效果 ctr 和 cpm 反而下降。本文例举几种可能的原因和解决办法。 ” 作者：辛俊波腾讯高级研究员专注推荐/广告/深度学习原文链接： https://www.zhihu.com/question/32218407/answer/1172781649 1. 特征/数据出现穿越一般就是使用了和 label 强相关的特征导致

网易云音乐推荐中的用户行为序列深度建模

Tue, 15 Mar 2022 09:30:23 +0800

分享嘉宾：章莺网易云音乐资深算法工程师编辑整理：汪方野出品平台：DataFunTalk 导读：近年来，网易云音乐作为一匹黑马迅速在移动音乐APP占据市场，2016年用户量就突破了2亿，而这与它优质的推荐系统必不可分。网易云音乐推荐系统致力于通过AI算法的落地，实现千人千面的个性化音

同城算法平台的演进与实践

Tue, 15 Mar 2022 09:30:20 +0800

陈兴振：TEG技术工程平台群AI Lab架构师，AI平台部负责人；目前主要负责AI算法平台及周围子系统的建设工作背景 AI浪潮正引领行业变革，为加速AI应用的落地，58同城TEG共享服务线AI Lab研发设计了58AI算法平台（以下简称WPAI）以提升集团各产品业务部门的AI研发效率。

和的批流融合

Tue, 15 Mar 2022 09:28:49 +0800

作者：翟佳@Pulsar 摘要： StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar，并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础，以及 Apache Pulsar 如何与 Flink 结合，实现批流一体的计算。 Apache Pulsar 相对比较新，它于 2017 年加入 Apache 软件基金会，2018 年才从 Apache 软件基金会毕业并

开源项目分享时间序列预测模型图像监督的库

Tue, 15 Mar 2022 09:28:47 +0800

项目一：modeltime — 时间序列预测模型和机器学习框架时间序列在变化。企业现在每天需要10,000多个时间序列预测。这就是我所说的高性能时间序列预测系统（HPTSF）-准确，稳健和可扩展的预测。高性能预测系统将为公司节省数百万美元。特点与优势： Modeltime在一个框架中解

微服务高可用利器熔断降级原理实践总结

Tue, 15 Mar 2022 09:28:47 +0800

前言最近在工作中参与组内服务稳定性建设，梳理我们目前服务现状并接入公司自研稳定性保障平台。对公司内自研组件以及业界流行的Hystrix做了学习，Netflix Hystrix 里面大量RxJava响应式实现，实在看着有点绕。所以在这里梳理一些实践以及Hystrix知识点。为什么要做这个事情服务的

深度好文年应用和商业化调查报告

Tue, 15 Mar 2022 09:28:47 +0800

近年来，自然语言处理技术已经取得了长足进步，成为应用范围最广泛，也是最为成熟的 AI 技术之一。但实际上，自然语言处理技术在商业化应用上却鲜有突破性进展，真正成功或者能够完美满足人们日常生活需求的产品并不多。回首 2018 年，自然语言处理领域不乏进展和惊喜，比如谷歌提出的 BERT 模型打破 11 项世界纪录

构造对象七

Tue, 15 Mar 2022 09:28:46 +0800

构造 IndexWriter 对象（五）构造 IndexWriter 对象（四）构造 IndexWriter 对象（三）构造 IndexWriter 对象（二）构造 IndexWriter 对象（一）本文承接构造 IndexWriter 对象（六），继续介绍调用 IndexWriter 的构造函数的流程。调用 IndexWriter 的构造函数的流程图图 1：生成对象 IndexFileDeleter 在文章构造 IndexWriter 对象（六）中，我们简单介绍了 IndexFileDeleter 作用，即用来删除索引目录中的索引文件，本文根据 IndexFileDeleter 的构造函数的

深度学习在阿里电商推荐系统中的实践

Tue, 15 Mar 2022 09:28:44 +0800

分享嘉宾：卡本阿里高级算法专家文章整理：刘金鑫内容来源：DataFunTalk 出品平台：DataFun 导读：推荐导购场景在电商中是重要的满足用户"逛"和"买"的场景，本次分享我们聚焦深度学习在阿里 B2B 电商 ( 1688 ) 推荐系统中的应用，其中包括商品推

如何破解组合使用遇到的难题

Tue, 15 Mar 2022 09:28:42 +0800

一.背景介绍 HBase与ElasticSearch是现代应用在处理海量数据的技术架构会经常被使用的两款产品，其中HBase是一个分布式KV系统，具有灵活Schema、水平扩展、低成本、高并发的优势，但在复杂查询、分析能力方面相对比较弱，特别适合海量半结构化、结构化数据的低成本存储

美团配送交付时间轻量级预估实践

Tue, 15 Mar 2022 09:28:20 +0800

导读：在本文中，我们介绍了交付时间预估迭代的三个版本，分别为基于地址结构的树模型、向量召回方案以及轻量级的End-to-End的深度学习网络。同时介绍了如何在性能和指标之间取舍，以及模型策略迭代的中间历程，希望能给从事相关工作的同学们有所启发和帮助。 1. 背景可能很多同学都不知道，从

汽车之家机器学习平台的架构与实践

Tue, 15 Mar 2022 09:28:15 +0800

文章作者：田董涛、王若愚、方矩编辑整理：Hoh 内容来源：作者授权出品平台：DataFunTalk 导读：汽车之家机器学习平台是为算法工程师打造的一站式机器学习服务平台，集数据导入、数据处理、模型开发、模型训练、模型评估、服务上线等功能于一体，提供一站式全方位的机器学习建模流程，快速

番外篇索引流程与倒排索引实现

Tue, 15 Mar 2022 09:28:13 +0800

前两篇文章主要围绕Lucene的底层索引文件结构方面介绍了倒排索引原理： http://www.6aiq.com/article/1564413040138 http://www.6aiq.com/article/1564413209435 在Lucene中，写数据的基本单元称之为Document，本文将介绍一个Document写入Lucene后的索引全流程。基础概念 ** ** 如下几个概念，Lucene的Document中给出了明确的定义，在这里先

广告分析常用的广告效果评估指标大全广告主媒体

Tue, 15 Mar 2022 09:27:51 +0800

“ 今天分享一下广告投放后，常见的效果评估指标及逻辑。 ” 关于广告投放，上次发表了《线上广告：营销触达的重要渠道》。文中我们详细分享了关于线上广告的基础知识，包括广告平台、CPC等广告结算方式等。相信各位对广告也有了基本认识。今天，在上次分享的基础上，聚焦一下广告效果评估相关的指标。

贝壳找房基于的引擎应用实践

Tue, 15 Mar 2022 09:27:51 +0800

分享嘉宾：王啸@贝壳找房资深研发工程师编辑整理：王建新出品平台：DataFunTalk 导读：贝壳作为全国领先的房产交易和租赁在线服务平台，有很多业务场景会产出大量实时和离线数据，针对这些数据进行查询分析，对于企业发展和业务拓展至关重要。不同业务线不同查询场景下，单一技术手段很难满

借助与打造实时消息处理系统

Tue, 15 Mar 2022 09:27:49 +0800

陈航@BIGO Flink 中文社区摘要：本文整理自 BIGO Staff Engineer 陈航在 Flink Forward Asia 2020 分享的议题《借助 Flink 与 Pulsar，BIGO 打造实时消息处理系统》。一、关于 BIGO 借助于大数据和人工智能技术，BIGO 基于视频的服务和产品获得了广泛的欢迎，在 150 多个国家和地区获得了大量的用户。BIGO 主要有两款非常流行的产品，

机器学习在二手车估价系统实践

Tue, 15 Mar 2022 09:27:45 +0800

背景近年来随着国内二手车市场交易量逐年攀升，线上交易越来越受到二手车商与个人的关注，随着58二手车帖子量跨越式增长，更需要严格的线上发帖审核机制来防止低价帖吸引正常用户的流量，那么一车一况的精准估价成为重要问题。58估车价是58集团二手车技术部自主研发车型价格预测系统。可用于信息

理解和语义召回在知乎搜索中的应用

Tue, 15 Mar 2022 09:27:20 +0800

分享嘉宾：方宽知乎算法工程师文章整理：艺饭饭内容来源：DataFunTalk 出品平台：DataFun 导读：随着用户规模和产品的发展，知乎搜索面临着越来越大的 query 长尾化挑战，query 理解是提升搜索召回质量的关键。本次分享将介绍知乎搜索在 query term weighting，同义词扩展，query

在汽车之家的应用与实践

Tue, 15 Mar 2022 09:26:56 +0800

Flink 中文社区邸星星稿摘要：本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2020 分享的议题《Apache Flink 在汽车之家的应用及实践》。一、背景及现状 1. 第一阶段在 2019 年之前，汽车之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎，凭借简单的 Spout 和 Bolt 编程模型以及集群本

头条美团滴滴京东及其它公司面试经验分享

Tue, 15 Mar 2022 09:26:56 +0800

作者：Bella酱，来自：Bella的技术轮子自序这次面试的公司有一点点多，主要是因为毕业后前两份工作找的都很草率，这次换工作就想着，emm，毕业三年了，该找个工作好好沉淀几年了。先说下这次面试的结果吧：到hr 面的：阿里、美团、滴滴、金山云、每日一淘、火币、宜信、旺店通、黄包车、

首席决策师告诉你数据科学究竟是什么

Tue, 15 Mar 2022 09:26:56 +0800

来自： CDA数据分析师（微信号：cdacdacda），作者：Cassie Kozyrkov，编译：Mika 关于作者： Cassie Kozyrkov，Google首席决策师。致力于统计学, 机器学习 /人工智能、数据、决策科学。，原文链接数据科学是让数据变得有用的学科。在本文中我将对数据科学中以下三

腾讯音乐全民歌内容挖掘与召回

Tue, 15 Mar 2022 09:26:55 +0800

分享嘉宾：timmyqiu 腾讯音乐应用研究编辑整理：郭真继出品平台：DataFunTalk 系列文章：腾讯音乐：全民 K 歌推荐系统架构及粗排设计导读：推荐系统一般分为两部分，召回阶段和排序阶段。召回阶段是从全量数据中挑选出用户可能感兴趣的一部分数据，供后面的排序阶段使用。全民K歌作为

百度智能时代的多模搜索技术

Tue, 15 Mar 2022 09:26:54 +0800

分享嘉宾：李国洪百度资深研发工程师编辑整理：李斌出品平台：DataFunTalk 导读： 2010年随着iphone4的发布，智能手机被广泛使用，从大学生到老人小孩，移动互联网的发展如火如荼。近两年，5G技术让下载速度变得越来越快，相较于传统的文本搜索技术，语音搜索和图片搜索等新型搜

远程办公适应时代的工作模式

Tue, 15 Mar 2022 09:26:53 +0800

前防疫形势进入攻坚期，远程办公是在停工不停产、停课不停学新要求下抗击疫情的关键措施，也是防范集中办公可能引发疫情传播的重要手段。根据新型冠状病毒的特性隔离 14 天需求以及全国范围内复工时间普遍延后的情况，大部分企业均开始推进远程办公。可以预见，远程办公将逐渐成为我国企业、组织、个人乃

信息流推荐在凤凰新闻的业务实践

Tue, 15 Mar 2022 09:26:28 +0800

分享嘉宾：马迪凤凰网技术总监文章整理：吴雪松内容来源：DataFunLive 出品平台：DataFun 导读：作为资讯阅读的用户产品，凤凰新闻一直在探索将 AI 赋能到内容生产和消费的全链路上。不断尝试调和 AI 算法与人的智慧相互约束和补位，将"人"的价值发挥到最大，让推荐

理解计算机视觉中的损失函数

Tue, 15 Mar 2022 09:26:27 +0800

作者：Sowmya Yellapragada 编译：ronghuaiyang 导读: 损失函数在模型的性能中起着关键作用。选择正确的损失函数可以帮助你的模型学习如何将注意力集中在数据中的正确特征集合上，从而获得最优和更快的收敛。计算机视觉是计算机科学的一个领域，主要研究从数字图像中自动提取信息。在过去的十年中

阿里技术时代下大规模微服务应用运维的最佳实践

Tue, 15 Mar 2022 09:26:27 +0800

作者 | 陈涛文章来源 | 阿里巴巴云原生团队微服务架构的优点和痛点 1、微服务架构的诞生背景回到互联网早期时代，也就是web1.0时代，当时主要是一些门户网站，单体应用是当时的主流应用，研发团队相对较小，这时候的挑战在于技术的复杂度，以及技术人员的匮乏。到了新世纪互联网时代，出现了较大规

阿里广告预估中用户行为学习和记忆建模

Tue, 15 Mar 2022 09:26:26 +0800

分享嘉宾：擎苍阿里巴巴算法专家编辑整理：陈晟内容来源：大鱼技术沙龙出品平台：DataFun 导读： CTR 预估是计算广告的底层通用技术，在 CPC/OCPC 营销模式下，预估准确性对广告主流量采买成本和平台变现效率有着非常重要的作用。我们在业界常用解法基础上，纳入时间维度和空间维度信息，基于模型学习用户历

敏捷开发的那些事

Tue, 15 Mar 2022 09:26:25 +0800

“敏捷”这个词近几年非常火，经常会有人问：“我们应该怎样开始做敏捷？”或者：“能不能来帮我们推一下敏捷？敏捷有很多实践，管理的、工程的都有，但敏捷绝非我们看到的站会、持续集成、TDD 等那么简单，真正的敏捷体系是从理念到文化的一次变革。敏捷作为一种快速应对需求变化的新兴软件开发模式

在爱奇艺视频广告中的探索

Tue, 15 Mar 2022 09:26:21 +0800

分享嘉宾：刘祁跃爱奇艺科学家编辑整理：李婷婷内容来源：爱奇艺技术沙龙出品社区：DataFun 导读：本次分享的主题为 AI 在爱奇艺视频广告中的探索。AI 可以对视频内容、广告素材进行理解和加工，并应用于视频广告，尤其在广告的点位挖掘和生成、点位分析、素材创作等方面已产生价值，进而有益于广

如何只使用标签来构建一个简单的电影推荐系统

Tue, 15 Mar 2022 09:26:21 +0800

作者：Johnson Kuan 编译：ronghuaiyang 导读使用基于内容的方法来找到最相似的电影。介绍假设你正在推出下一个非常大的订阅视频点播(SVOD)流媒体服务，并且你已经获得了过去 100 年里发行的所有主要电影的流媒体权。祝贺你，这是不可思议的壮举！现在你有了很多电影。如果没有推荐系

五八同城智能客服系统帮帮技术揭秘

Tue, 15 Mar 2022 09:25:31 +0800

本文根据58同城AI Lab负责人詹坤林在DataFunTalk人工智能技术沙龙所分享的《五八同城智能客服系统“帮帮”技术揭秘》编辑整理而成，在未改变原意的基础上稍做整理。首先简单介绍一下58同城，58同城是一个生活服务平台，平台连接着B端商户和C端用户，B端商户在平台发布帖子信息

深度语义模型在同城搜索的实践

Tue, 15 Mar 2022 09:25:23 +0800

分享嘉宾: 熊威，58同城TEG搜索排序部资深算法工程师整理出品: 张劲， AICUG人工智能社区 PPT下载： http://www.aicug.cn/#/docs 浏览器不支持该媒体的播放 :( （视频回放）导读传统基于Term-Match检索技术可以较好的解决Query-Doc字面匹配问题，而对于没有词命中时的Query-Doc语义匹配问题

汽车之家离线计算平台建设实践

Tue, 15 Mar 2022 09:25:02 +0800

分享嘉宾：陈天明汽车之家编辑整理：徐焱森中经惠众出品平台：DataFunTalk 导读：本文主要介绍汽车之家离线计算平台的建设过程，如何应对集群大规模增长带来的性能和稳定性的挑战，如何解决多租户情况下集群面临的运维难题以及如何提升服务器资源利用率问题等问题。 01 汽车之家离线计算平台现

从阿里核心场景看实时数仓的发展趋势

Tue, 15 Mar 2022 09:25:00 +0800

作者：果贝，阿里云资深技术专家，实时数仓Hologres负责人 2022年1月7日，阿里云实时数仓Hologres举行了年度发布会，在发布会上，来自阿里的资深技术专家从阿里的核心场景出发，为大家解读了实时数仓的新发展趋势“在线化、敏捷化、一站式”。通过本文，我们将会深入解读实时数仓

数据智能在二手车业务场景中的探索与沉淀业务标签挖掘

Tue, 15 Mar 2022 09:25:00 +0800

导语：标签为用户提供了一种新的检索方式，用户和信息通过标签进行关联，信息的标签化、行为的标签化，在提供个性召回能力的同时，也有助于帮我梳理和挖掘业务品类的特征，做相关业务属性的聚合。背景当下全连接的信息场景，所有对于有助于连接转化效率提升的内容和考虑尤为重要，这就要求我们在实际业

贝壳找房中工作流程解析

Tue, 15 Mar 2022 09:25:00 +0800

本文主要介绍 TNonblockingServer 服务模型，这是thrift框架提供的一种非阻塞式IO服务模型，目前是thrift框架中最好的模型，这也是我们重点介绍的模型。 thrift是Facebook开源的一款开源跨语言的RPC通信框架，主要提供三种服务模型：1）TThreadPoolServer 服务模型，这是

基于打造的伴鱼实时计算平台的设计与实现

Tue, 15 Mar 2022 09:24:59 +0800

摘要：去年开始着手打造伴鱼公司级的实时计算平台，平台代号 Palink，由 Flink + Palfish 组合而来。在伴鱼发展早期，出现了一系列实时性相关的需求，比如算法工程师期望可以拿到用户的实时特征数据做实时推荐，产品经理希望数据方可以提供实时指标看板做实时运营分析。这个阶段中台数据开发工程师主要是基于

源码系列去重编码

Tue, 15 Mar 2022 09:24:58 +0800

原文： https://www.amazingkoala.com.cn/Lucene/yasuocunchu/2019/0130/29.html 去重编码是 Lucene 中对 int 类型数据的一种压缩存储方式，在 FacetsConfig 类中用到此方法来处理 int 类型数据。其优点在于，存储一个原本需要固定 4 个字节空间大小的 int 类型的数据，最好的情况下只要 1 个字节，最差的情况下需要 5 个字节。处理过程去重编码的过程主要分三步：排序去重差值存储关系图根据 int 数值的大小，

腾讯揭秘微信看一看是如何为你推荐的

Tue, 15 Mar 2022 09:24:57 +0800

文章作者：harryzhong 腾讯研究员内容来源：腾讯技术工程一、看一看介绍 1.1 看一看的场景微信作为国内最大用户群体的应用，在人们的生活，工作，学习中提供社交功能的同时，还提供了工具，游戏，购物，支付，内容，搜索，小程序等服务。看一看作为微信的重要组成部分，在原有公众平台资讯阅读的

万字长文推荐系统算法岗校招面试经验学习心得

Tue, 15 Mar 2022 09:24:55 +0800

本文总结了百度，华为，京东，360，vivo等接近20家公司的推荐算法校招面试经验和个人心得，以及若干学习资料和方法，相信无论是在校生还是从业人员读后都会有所收获～作者：Taylover1314 编辑：happyGirl 0、写在前面秋招已经渐行渐远，休养生息（吊儿郎当）了一个多月，

工作中组内遇到的使用上的踩坑总结

Tue, 15 Mar 2022 09:24:55 +0800

嵌套索引的坑场景：一个spu doc下有多个内嵌的csu，csu内有上下架状态，前台操作某csu上下架，在商城界面看起来未生效。坑1： mysql binlog消息监控组件dbus 通知服务端B多台机器消息变更时，未考虑spu下csu消息的消费顺序性，导致同一spu的多个csu上下架变更消息被多

源码系列索引文件的生成三之跳表

Tue, 15 Mar 2022 09:24:55 +0800

在文章索引文件的生成（一）中我们说到，在生成索引文件.doc、 .pos、.pay 的过程中，当处理了 128 篇文档后会生成一个 PackedBlock，并将这个 PackedBlock 的信息写入到跳表 skipList 中，使得在读取阶段能根据文档号快速跳转到目标 PackedBlock，提高查询性能。将 PackedBlock 的信息写入到跳表 skipList 的时机

技术在微博流中的应用

Tue, 15 Mar 2022 09:24:54 +0800

分享嘉宾：董兴华新浪微博文章整理：凌铭内容来源：DataFunTalk 导读：新浪微博截止2019.9统计的数据，月活跃用户数为4.97亿，日活跃用户数为2.16亿，其中约94%为移动端用户，今天会和大家分享新浪微博在 feed 流中遇到的 NLP 问题和解决思路。主要包括： ❶ 难点与现存问题 ❷ 标签系

图解半监督学习只用张标注图片训练

Tue, 15 Mar 2022 09:24:52 +0800

作者：amitness 编译：ronghuaiyang 导读: 仅使用 10 张带有标签的图像，它在 CIFAR-10 上的中位精度为 78％，最大精度为 84％，来看看是怎么做到的。深度学习在计算机视觉领域展示了非常有前途的结果。但是当将它应用于实际的医学成像等领域的时候，标签数据的缺乏是一个主要的挑战。在实际

怎样评价推荐系统的结果质量

Tue, 15 Mar 2022 09:24:50 +0800

来源：达观数据推荐系统是互联网发展至今最常见也重要的技术之一。如今各类 APP、网站、小程序等所有提供内容的地方，背后都有推荐系统在发挥作用。开发好一套真正优秀的推荐系统非常有价值，但也非常艰巨。达观数据是国内推荐系统主要第三方供应商，一直在摸索中前进。**在想办法开发出强大的推荐

淘系技术极简而高效的沟通管理法

Tue, 15 Mar 2022 09:24:50 +0800

作者：鲁佳(鹿迦) 世界上有两件最难的事：把别人的钱装进自己的口袋；把自己的思想装进别人的脑袋。为什么沟通那么重要谁都知道在工作中沟通是非常重要的，那大家有没有真正想过为什么沟通这么重要呢？首先我们想想看，在你的日常工作时间分配上，“沟通”所用的时间占比多少呢？日常的会议、在钉钉上

精选开源项目构建向量应用程序存储库多语言语料库

Tue, 15 Mar 2022 09:24:50 +0800

文末免费送电子书：七月在线干货组最新升级的《2021最新大厂AI面试题》免费送！项目一： vectorai 一个用于构建基于向量的应用程序的平 Vector AI是一个框架，旨在使构建基于生产级矢量的应用程序的过程尽可能快速，轻松地进行。与json文档一起创建，存储，操纵，搜索和分析向量，以增强神经搜索，语义搜

算法工程师肩上扛是脑子不是皮球最新面试题

Tue, 15 Mar 2022 09:24:26 +0800

文末彩蛋：七月在线干货组最新升级的《名企AI面试100题》免费送！ 01 个人情况本人是非计算机专业，毕业之后机缘巧合进入算法岗位，跟七月结缘是计算机专业的学长推荐的七月的题库。原工作中主要接触的是传统的机器学习算法，NLP也只是浅层了解，面试时发现仅有传统机器学习算法是不够的，所以报

翻译存储揭秘

Tue, 15 Mar 2022 09:24:02 +0800

原文地址: http://oldblog.antirez.com/post/redis-persistence-demystified.html 我在Redis的部分工作是阅读博客，论坛消息以及推特上关于Redis的搜索。对于一个开发者来说，社区用户以及非用户的对他开发的产品的看法非常重要。我的感触是Redis的持久化被人误解非常多。在这篇博客中，我会努力的做到公正：不安利Redis，不跳过可能让Redis有负

深入剖析源码设计一深入理解机制

Tue, 15 Mar 2022 09:23:58 +0800

前言打算输出一系列 Netty 源码分析与实践的文章，也作为后端开发学习过程中的沉淀，此文章为第一篇，从操作系统底层的IO讲起，为 Netty 的出场做下知识准备。一些概念文件描述符文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现

短视频如何做到千人千面排序模型深度解析

Tue, 15 Mar 2022 09:23:55 +0800

背景信息流短视频以算法分发为主，人工分发为辅，依赖算法实现视频的智能分发，达到千人千面的效果。整个分发流程分为：触发召回、排序与重排三个阶段。排序层在其中起着承上启下的作用，是非常重要的一个环节。在排序层优化的过程中，除了借鉴业界前沿的经验和做法，我们也做了模型上的一些创新。信息

字节跳动是怎么做全链路压测的

Tue, 15 Mar 2022 09:23:06 +0800

以下文章来源于字节跳动技术质量，作者GML 背景全链路压测指的是基于实际的生产业务场景、系统环境，模拟海量的用户请求和数据对整个业务链进行压力测试，并持续调优的过程。常用于复杂业务链路中，基于全链路压力测试发现服务端性能问题。随着公司业务的不断扩张，用户流量在不断提升，研发体系的规

知识蒸馏如何用一个神经网络训练另一个神经网络

Tue, 15 Mar 2022 09:21:52 +0800

作者：Tivadar Danka 编译：ronghuaiyang 导读: 知识蒸馏的简单介绍，让大家了解知识蒸馏背后的直觉。如果你曾经用神经网络来解决一个复杂的问题，你就会知道它们的尺寸可能非常巨大，包含数百万个参数。例如著名的BERT模型约有1亿1千万参数。为了说明这一点，参见下图中的NLP中

构造对象十

Tue, 15 Mar 2022 09:21:49 +0800

构造 IndexWriter 对象（九）构造 IndexWriter 对象（八）构造 IndexWriter 对象（七）构造 IndexWriter 对象（六）构造 IndexWriter 对象（五）构造 IndexWriter 对象（四）构造 IndexWriter 对象（三）构造 IndexWriter 对象（二）构造 IndexWriter 对象（一）本文承接构造 IndexWriter 对象（九），继续介绍调用 IndexWriter 的构造函数的流程。调用 IndexWriter 的构造函数的流程图图 1：生成对象 IndexFileDeleter 我们紧接上一篇文章，继续介绍剩余的流程

同城搜索引擎实时索引实现和重构

Tue, 15 Mar 2022 09:21:44 +0800

作者：卢克 58同城高级架构师导读：倒排索引是搜索引擎的核心技术，主要于解决海量数据下的快速检索问题。同数据库技术中索引原理一样，在搜索引擎中创建了倒排索引后，查询性能非常好，但是数据的快速/大量更新却是个棘手的问题。在实际应用中，往往优先保证检索性能而牺牲了更新的时效性。本文主要

网易游戏基于的流式建设

Tue, 15 Mar 2022 09:21:41 +0800

网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括：业务背景专用 ETL EntryX 通用 ETL 调优实践未来规划一. 业务背景网易游戏 ETL 服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成 ETL 才可以入库至实时或离线的数据仓库。此后

微博推荐算法实践与机器学习平台演进

Tue, 15 Mar 2022 09:21:21 +0800

分享嘉宾：申恩兆、李志然新浪微博编辑整理：赵文娇、Hoh 出品平台：DataFunTalk 导读：微博作为全球领先的中文广场社交平台，拥有海量用户与数据。在从海量数据中挖掘有价值的信息，为业务赋能的过程中，微博的推荐算法经历了数次升级换代，积累了许多经验。今天跟大家分享下，在此过程中

效果工具链之算法迭代篇

Tue, 15 Mar 2022 09:21:20 +0800

来源：贝壳智搜作为效果优化系列的第二篇，第一篇，本篇旨在从工程角度介绍算法迭代系统重塑模型迭代流程的实施思路。此系统作为效果工具链的其中一部分，主要功能使算法工程师不用离开算法迭代系统，即可完成数据处理、模型训练、模型评估到服务部署工作。 1.背景介绍近些年来，人工智能已成为当今社

有赞为什么技术同学需要有更多的业务思考

Tue, 15 Mar 2022 09:20:52 +0800

作者：方军 & 菲克 & 可乐 & 大勋部门：有赞电商移动技术同学的三个阶段首先，根据技术同学对业务的理解程度，可以划分为3个阶段。第一阶段 PRD翻译机这一阶段的技术同学，PRD说什么做什么，只要验收通过，那么他们就觉得任务就算圆满完成了。不关心需求背景，不关心需求价值，不关心背后业务逻辑。

源码系列索引文件的生成一之

Tue, 15 Mar 2022 09:20:52 +0800

在执行 flush()的过程中，Lucene 会将内存中的索引信息生成索引文件，其生成的时机点如下图红色框标注：图 1：图一中的流程是 flush()阶段的其中一个流程点，完整的 flush()过程可以看系列文章文档提交之 flush，索引文件的生成系列文章将会介绍图一中红框标注的每一个流程

展示广告召回系统的演进

Tue, 15 Mar 2022 09:20:51 +0800

文章作者：王华呈 360 资深算法工程师编辑整理：杨辉之内容来源：爱奇艺技术沙龙出品社区：DataFun 导读：随着展示广告业务数据量的日益增长，360展示广告召回系统也随之也进行不断升级改进。本次介绍主要从召回系统演进的角度详细阐述工程实践中的算法应用、技术难点以及解决方案。主要分成三块

爱奇艺大数据生态的实时数仓建设

Tue, 15 Mar 2022 09:20:51 +0800

作者：爱奇艺技术产品团队数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类：发掘数据中的信息来指导决策，如产品运营、用户增长相关的 BI 报表依托数据优化用户体验和变现效率，如信息分发场景下的个性化推荐、效果广告等基于

论文的实践和思考

Tue, 15 Mar 2022 09:20:51 +0800

以下文章来源于搜索与推荐Wiki ，作者Thinkgamer 其实在19年初的时候大概看了一下这篇论文，但当时其实理解的并不深，今天再读的时候发现这里边其实包含了很多东西，不仅是学术性的目标函数优化，也包括工程性的取舍和特征的构造。本文分为两部分，第一部分主要介绍论文，第二部分谈从中

十年技术老兵总结的自我修炼之路

Tue, 15 Mar 2022 09:20:50 +0800

赵健博，快手大数据架构团队的负责人工作十年，跳槽三次，四份工作毕业后加入百度我是在北京邮电大学就读的本科，毕业后被保送到了中国科学院计算技术研究所，硕士期间主要从事的是计算机系统结构与操作系统的相关研究。上学时对 Linux Kernel 非常痴迷，也做些有意思的小项目，研究生毕业后，还想着继续做这块的

半监督深度学习小结类协同训练和一致性正则化

Tue, 15 Mar 2022 09:20:50 +0800

作者丨陈家铭学校丨中山大学硕士生研究方向丨半监督深度图像分类本文来源： PaperWeekly 协同训练 Co-training Co-training 是基于分歧的方法，其假设每个数据可以从不同的角度（view）进行分类，不同角度可以训练出不同的分类器，然后用这些从不同角度训练出来的分类器对无标签样本进行分类，再选出认为可信的无标签样本加入训练集

技术人生第篇解决问题的规律总结

Tue, 15 Mar 2022 09:20:50 +0800

作者 | 贺科学（晨末）来源 | 阿里巴巴中间件团队一、背景 1. 从事物的本质说起事物本质就是内部的主要矛盾次要矛盾的演变过程，同时该演变过程受外界环境其他事物的相互关联和相互影响。在普遍的情况下，一个事物的生命周期，是它的主要矛盾、次要矛盾被解决的过程体现。如何分析问题本质，我们已经在《「

技术揭秘百度搜索中台低代码的探索与实践

Tue, 15 Mar 2022 09:20:50 +0800

导读：据Gartner调研，应用开发需求的市场增长至少超过IT交付能力的5倍，预计到2025年，70%的新应用开发将使用低代码技术。我们需要在需求迭代越来越高频、创新能力要求越来越高的背景下，探索如何通过技术手段为业务开发降本增效提质做出突破，更高效的实现产品创新。百度搜索中台支

老大难的原理及调优这下全说清楚了

Tue, 15 Mar 2022 09:20:50 +0800

本文介绍 GC 基础原理和理论，GC 调优方法思路和方法，基于 Hotspot jdk1.8，学习之后你将了解如何对生产系统出现的 GC 问题进行排查解决。内容主要如下： GC 基础原理，涉及调优目标，GC 事件分类、JVM 内存分配策略、GC 日志分析等。 CMS 原理及调优。 G1 原理及调优。 GC 问题排查和解决思路。 GC 基础原理 GC 调

京东超大规模联邦学习探索实践

Tue, 15 Mar 2022 09:20:48 +0800

分享嘉宾：杜宝坤京东资深算法专家编辑整理：侯雅新出品平台：DataFunTalk 导读：对于AI飞速发展的今天来说，大规模的多维度、高质量的数据是其成功的关键要素，也是制约其进一步发展的重要瓶颈。随着大家对数据的重要性与隐私性的认知程度的不断提升，跨组织的数据的合作越来越谨慎，相关

使用嵌入来做个性化的搜索推荐来自

Tue, 15 Mar 2022 09:20:48 +0800

作者：Mihajlo Grbovic 编译：ronghuaiyang 英文原文： https://medium.com/airbnb-engineering/listing-embeddings-for-similar-listing-recommendations-and-real-time-personalization-in-search-601172f7603e 导读：这是Airbnb的一篇经典文章的解读，使用房屋的嵌入来做搜索推荐，这篇文章也是KDD2018的best paper，思路很清楚：把房屋用嵌入向量来表示，两个技巧：全局正样本和市场内负采样，很有效，离线评估指标：预

分布式高性能集群线上常见问题

Tue, 15 Mar 2022 09:20:48 +0800

转载自：杉枫量变引起质变，这个情况在分布式redis集群下发生的极其明显，当用redis集群规模很小、存取数据很小时，基本上不会遇到任何问题，但是当我们集群规模为数T，并且存在很多业务读写集群各种各样问题都会发生。线上遇到过一个业务突然tp99飙升，并且性能持续变差，性能看着一点

同城搜索引擎中相似字符串查找那些事儿

Tue, 15 Mar 2022 09:20:48 +0800

来源： 58技术丁斌导读本文主要介绍如何基于Levenshtein和Damerau Levenshtein自动机技术高效地解决在搜索引擎系统中相似字符串快速查找问题的技术原理和操作实践。文中创造性地提出一种Damerau Levenshtein自动机的有效构建算法，并创造性地给出了利用

大规模特征向量检索算法总结

Tue, 15 Mar 2022 09:20:48 +0800

编辑整理梁尔舒向量检索基本概念向量从表现形式上就是一个一维数组。我们需要解决的问题是使用下面的公式度量距离寻找最相似的 K 个向量。欧式距离：两点间的真实距离，值越小，说明距离越近；余弦距离：就是两个向量围成夹角的 cosine 值，cosine 值越大，越相似；汉明距离：一般作用于二值化向量，二值

沈剑分布式事务原来可以这么玩

Tue, 15 Mar 2022 09:20:48 +0800

多个数据要同时操作，如何保证数据的完整性，以及一致性？答：事务，是常见的做法。举个栗子：用户下了一个订单，需要修改余额表，订单表，流水表，于是会有类似的伪代码： start transaction; CURD table t_account; any Exception rollback; CURD table t_order; any Exception rollback; CURD table t_flow; any Exception rollback; commit; 如果对余额表，订单表，流水表的SQL操作全部成功，则全部提交如果任何一个出现问

如何支持亿级用户分流实验实验平台在爱奇艺的实践

Tue, 15 Mar 2022 09:20:47 +0800

作者：数据智能团队爱奇艺技术产品团队 01 背景随着互联网公司的产品和业务越来越多样，利用数据来驱动业务决策成为必然，而AB实验正是以数据指标来判断产品功能和运营策略迭代效果的方法和工具，其可以在保证样本同时性和同质性基础上，对比两个或多个实验组在同一应用场景下的效果。以上边的实验为例

史上最全面总结预训练模型

Tue, 15 Mar 2022 09:20:45 +0800

作者： JayLou 娄杰预训练模型(Pre-trained Models,PTMs) 的出现将 NLP 带入了一个全新时代。2020 年 3 月 18 日，邱锡鹏老师发表了关于 NLP 预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》, 这是一篇全面的综述，系统地对 PTMs 进行了归纳分类。本文以此篇综述论文为主要参考，通过借鉴不同的归

腾讯内容平台系统的架构实践

Tue, 15 Mar 2022 09:20:45 +0800

作者 | 孙子荀（授权）编辑 | 小智随着云结合微服务架构切实的提高了生产效率；深度学习不断深入内容处理的各个领域促进生产力的发展。在消息系统，数据仓库，计算框架，存储系统等基础架构层建设逐步提升的基础上，大型互联网公司进一步提出了业务基础设施的需求。在基础架构和上层业务之间急需一个中台

滴滴技术数据挖掘技术在轨迹数据上的应用实践

Tue, 15 Mar 2022 09:20:44 +0800

桔妹导读：每天滴滴都会为上千万人提供出行服务，在这一过程中积累了海量轨迹数据。这些轨迹数据来自于公共服务，本文介绍如何利用这些数据回馈大众，改善出行体验。一背景首先简要介绍一下什么是数据挖掘。数据挖掘（Data Mining）是指从大量数据中发现特定信息和模式的过程，也有很多人将这

阿里全链路压测体系建设方案的思考与实践

Tue, 15 Mar 2022 09:20:44 +0800

作者 | 周博文章来源 | 阿里巴巴中间件团队在阿里淘宝双11 的过程中，长期以来都是在生产环节做全链路压测的，通过实践我们发现在生产环境中做压测，实际上会和一个 IT 组织的结构、成熟度、流程等紧密相关，所以我们把全链路压测从简单的制作范围内脱离出来，变成整个业务连续性的方案。本文分四个方面为

干货内容型产品流的生成效果评估及优化

Tue, 15 Mar 2022 09:20:43 +0800

本篇文章属于超级干货方法论，不论是产品、运营还是数据分析从业者，只要是内容型产品形态，便都会需要接触到 Feed 流，且整个工作几乎都围绕着内容优化这一主题。本篇我将讲述自己对这方面方法论的理解总结，相信读完本篇文章会对你有所帮助。一、Feed 流是什么？ Feed 流是将若干消息源组合在一起，帮助用

腾讯搜你所想从意图识别到类目识别的演变

Tue, 15 Mar 2022 09:20:43 +0800

作者： jackhan 微信AI 导语在如今搜索领域中，简单的关键词匹配已经无法胜任全量的query，如果能够识别出query的意图，对于返回类型多样性，提升相关资源占比以及关联相关结果更加有效。所以Query的意图识别尤为重要，在一些垂直领域中，query意图识别也演变为类目识别。借着近期工作内

饿了么外卖推荐算法中有哪些机制与手段

Tue, 15 Mar 2022 09:20:43 +0800

转载自 DataFunTalk 公众号本文由DataFun社区根据饿了么研发总监马尧老师在2018AI先行者大会中分享的《外卖推荐算法中的市场机制和调控手段》编辑整理而成。提到市场机制和调控手段，大家可能会想起某些中央机构，而在流量的分发方面，我们的角色是类似的，搜索推荐是饿了么的核心流量入口，我们通过

深入互联网广告中的出价模式再谈中的双出价

Tue, 15 Mar 2022 09:20:42 +0800

稿：申探社公众号 gh_ed2d1dba4f53 在《申探社：深入互联网广告中的出价模式》（深入互联网广告中的出价模式 (上中下完整版)，补充篇）系列文章中，我们初步探讨了双出价这种产品形式（本文的讨论建立在读者已经读过这一系列文章的基础之上，如果没有看过的同学，推荐先阅读一下）。双出价是指广告主可以出两个价格，

那些事儿下数据跟踪和效果评估

Tue, 15 Mar 2022 09:20:40 +0800

作者：沈国阳上一篇文章，我们通过一个八卦了解了abtest在产品功能及策略迭代过程中的重要价值，并且介绍了abtest的一个简单框架，以及多层abtest框架里面，层与层之间关系的定义。本篇将讨论数据跟踪方法和效果评估方法相关的话题。本文部分内容结合过往工作中学习到的知识进行了自

从高可用架构看高可用架构设计

Tue, 15 Mar 2022 09:20:15 +0800

选自架构文摘公众号高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系

快手基于的实时计算持续优化与实践

Tue, 15 Mar 2022 09:19:50 +0800

摘要：本文由快手实时计算负责人董亭亭分享，主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括： Flink 稳定性持续优化 Flink 任务启动优化 Flink SQL 实践与优化未来的工作一、Flink 稳定性持续优化第一部分是 Flink 稳定性的持续优化。该部分包括两个方面，第一个方面，主要介绍快手在 Flink Kafka Connector 方面做的一些高可用，是

简单阐述下决策树回归神经网络等算法各自的优缺点

Tue, 15 Mar 2022 09:19:48 +0800

正则化算法（Regularization Algorithms）集成算法（Ensemble Algorithms）决策树算法（Decision Tree Algorithm）回归（Regression）人工神经网络（Artificial Neural Network）深度学习（Deep Learning）支持

腾讯基于兴趣点图谱的内容理解

Tue, 15 Mar 2022 09:19:27 +0800

分享嘉宾：洪婉玲腾讯高级研究员编辑整理：周江兵 360 出品平台：DataFunTalk 导读：本文将介绍我们如何使用大规模的UGC数据挖掘用户真实的阅读意图，构建兴趣点图谱，并将图谱用于内容理解。最终，使大家了解如何通过构建用于信息流的兴趣点图谱，来提升信息流推荐效果。 01 兴趣点图谱背景介

大众点评搜索基于知识图谱的深度学习排序实践

Tue, 15 Mar 2022 09:19:26 +0800

1. 引言挑战与思路搜索是大众点评App上用户进行信息查找的最大入口，是连接用户和信息的重要纽带。而用户搜索的方式和场景非常多样，并且由于对接业务种类多，流量差异大，为大众点评搜索（下文简称点评搜索）带来了巨大的挑战，具体体现在如下几个方面：意图多样：用户查找的信息类型和方式多样。信

如何增强推荐系统模型更新的实时性

Tue, 15 Mar 2022 09:19:25 +0800

以下文章来源于王喆的机器学习笔记，作者王喆的机器学习笔记推荐系统“模型”的实时性与“特征”的实时性相比，推荐系统模型的实时性往往是从更全局的角度考虑问题。特征的实时性力图用更准确的特征描述一个人，从而让推荐系统给出更符合这个人的推荐结果。而模型的实时性则是希望更快的抓住全局层面的

基于实现万亿级多维检索与实时分析

Tue, 15 Mar 2022 09:19:24 +0800

录信数软发布 01 活动回顾在活动开始后，郑其华首先介绍了自己以往的任职经历和项目经验，随后正式进入了主题分享。本次的分享主要分为三个部分。第一部分郑其华阐述了目前大数据行业存在的技术痛点和数据的价值，郑其华以比特币“挖矿”这一行为举例，阐明了数据在当前时代的价值。同时也分析了当前大数

深度学习之表示学习理论结合实践的思考

Tue, 15 Mar 2022 09:19:22 +0800

作者：美丽联合集团算法工程师琦琦，公众号关注：诗品算法阅读原文： https://zhuanlan.zhihu.com/p/234224652 楔子你们的算法小可爱又来了！听大佬说，发个照骗可以增加曝光？害！今天我们来聊聊有趣的表示学习。表示学习为何倍受关注？让我们来回顾一下机器学习的步骤，首先，从数据中提取特征，特征的好坏决定了模型的上限，即，算法效果的

算法工程师也会遇到岁这道坎么

Tue, 15 Mar 2022 09:19:02 +0800

文章作者：辛俊波腾讯高级研究员编辑整理：Hoh 内容来源：作者授权出品平台：DataFunTalk 导读：这个问题其实对于大多数程序员都是适用的，国内的互联网公司，始终奋斗在一线写代码、跑算法模型的工程师实在是太少了。每年的高校毕业生，持续不断地在为这个行业输入更年轻更新鲜的血液，对

谈一谈中语言模型的发展

Tue, 15 Mar 2022 09:19:02 +0800

作者：章立美团算法工程师未经作者允许严禁转载！问题定义一段文字，例如：今夜月色真美。代表的是什么含义？如果在春天温度适宜的 9、10 点站在阳台的人对你脱口而出地说出这句话，你会怎么理解这句话，亦或者你会怎么回应他(她)呢？这句话是十九世纪末的文学家夏目漱石对 I love you 的英译日标注结果（

阿里优酷大数据技术选型

Tue, 15 Mar 2022 09:19:01 +0800

分享嘉宾：五羖阿里文娱技术专家编辑整理：汤志敏出品平台：DataFunTalk、AI启蒙者导读：数据驱动的方法论已深入人心，无论是开发、产品还是运营，根据数据进行决策是必备环节。你是否好奇过，在优酷这样海量数据的场景下，是什么样的引擎在支撑着业务上林林总总的分析需求？大数据领域中

实体链接在小布助手和的实践应用

Tue, 15 Mar 2022 09:19:00 +0800

OPPO数智技术稿 1 问题背景精准直达的知识问答能力对营造小布“懂知识、更懂你”的形象非常重要。在语音助手场景，经常会出现一词多义或者口语化表达等问题。例如:李白出装，李白的诗，播放李白。第一李白是指游戏角色，第二个是指诗人李白，第三个是指歌曲李白。如何精确识别用户所指、给出正确的

源码系列索引文件的生成十一之

Tue, 15 Mar 2022 09:19:00 +0800

本文承接索引文件的生成（十），继续介绍剩余的内容，为了便于下文的介绍，先给出生成索引文件.dim&&.dii 的流程图以及流程点构建BKD树的节点值（node value）的流程图：图 1：图 2：第一次更新 parentSplits 数组图 3： parentSplits 数组的数组元素数量跟点数据的维度数量相同，下标值为

滴滴技术小白也能懂的因果推断科普

Tue, 15 Mar 2022 09:19:00 +0800

桔妹导读：在网约车行业中，有很多场景中都有着因果推断的相关应用，不仅仅是算法同学等在因果建模时运用到相关知识，很多业务同学在做相关决策时也经常用到。因此采用日常生活中常见的例子以及行业中的常见问题，对因果推断方向进行科普。 1. 因果推断科普介绍本文大概从两个方面展开介绍：因果性和相关

特征存储及计算在商机智能分配中的实践

Tue, 15 Mar 2022 09:19:00 +0800

导读：本文介绍的是在CRM智能推荐场景中，所用到的机器学习和推荐技术的模型训练及线上预测的特征数据推送部分，我们应用此套特征推送流程而上线的模型多达几十种，获得了可观的收益。目前特征自动化推送广泛应用于黄页、招聘、创新、转转等业务场景中。本文收益：了解58CRM商机智能分配场景中

阿里飞猪个性化搜索排序探索实践

Tue, 15 Mar 2022 09:19:00 +0800

分享嘉宾：素数阿里飞猪编辑整理：饶水涛出品平台：DataFunTalk 导读：旅行类商品 ( 如机票、火车票、汽车票 ) 相对实物电商更加标品，用户决策因素更加单一，而行业内大多基于简单规则排序，如时间、价格或业务逻辑加权，难以满足用户的个性化出行需求。飞猪在过去一段时间中，不断探索交通搜

丁香园搜索中的扩展技术二

Tue, 15 Mar 2022 09:18:59 +0800

搜索中的 Query 扩展技术丁香园大数据NLP 一、前言这一期我们继续来聊 Query扩展的问题，在上一期我们梳理了目前Query扩展技术可以大致分为相关性建模和翻译模型建模两种思路。（传送门：搜索中的Query扩展技术) 在介绍现有Paper工作的同时，结合我们自身场景，如果对文档能够构建概述

开源项目分享增强图像数据实现

Tue, 15 Mar 2022 09:18:57 +0800

文末免费送电子书：七月在线干货组最新升级的《名企AI面试100题》免费送！项目一：igel — 无需编写代码即可训练，测试和使用模型一个令人愉悦的机器学习工具，可让您无需编写代码即可训练/拟合，测试和使用模型。该项目的目标是为技术用户和非技术用户提供机器学习。有时我需要一个工具，可以

阿里基于的机器学习平台

Tue, 15 Mar 2022 09:18:53 +0800

分享嘉宾：杨旭阿里巴巴资深算法专家编辑整理：朱荣导读： Alink是基于Flink流批一体的机器学习平台，提供一系列算法，可以帮助处理各种机器学习任务，比如统计分析、机器学习、实时预测、个性化推荐和异常检测。除了提供Java API也提供了PyAlink，可以轻松部署到单机及集群环境

年月中旬腾讯算法面试题道

Tue, 15 Mar 2022 09:18:08 +0800

文末免费送电子书：七月在线干货组最新升级的《名企AI面试100题》免费送！问题1：SVM 的优化函数公式怎么写，代价函数是什么？线性可分支持向量机的最优化问题函数公式：引入拉格朗日乘子，由拉格朗日对偶性可得代价函数如下：问题2：随机森林是怎么回事，为什么树模型好用，为什么要发明随机

趣头条基于的实时数据分析平台

Tue, 15 Mar 2022 09:18:08 +0800

分享嘉宾：王金海趣头条编辑整理：王彦内容来源：Flink Forward Asia 出品平台：DataFunTalk 导读：趣头条一直致力于使用大数据分析指导业务发展。目前在实时化领域主要使用 Flink+ClickHouse 解决方案，覆盖场景包括实时数据报表、Adhoc 即时查询、事件分析、漏斗分析、留存分析等精细化运营策略，整体响应 80%

展示广告智能化演进

Tue, 15 Mar 2022 09:18:07 +0800

分享嘉宾：刘斌 360 资深算法工程师编辑整理：赵勇出品平台：DataFunTalk 导读： 360展示广告平台始终关注广告投放效果，围绕广告后续优化问题先后开发了多款产品。随着产品规模的不断扩张，有关效果优化的新需求新问题不断产生。本文主要介绍了效果优化系统随业务发展的演进过程，聚焦如何使

技术的实践之路

Tue, 15 Mar 2022 09:18:07 +0800

导读在数据量日益增长的当下，传统数据库的查询性能已满足不了我们的业务需求。而Clickhouse在OLAP领域的快速崛起引起了我们的注意,于是我们引入Clickhouse并不断优化系统性能，提供高可用集群环境。本文主要讲述如何通过Clickhouse结合大数据生态来定制一套完善的

爱奇艺短视频软色情识别技术解析

Tue, 15 Mar 2022 09:18:07 +0800

原文：爱奇艺产品技术团队随着 UGC 内容爆发式增长，信息流产品占领越来越多的用户时间。爱奇艺作为国内领先的互联网视频媒体，承担了正确引导用户价值观的社会责任。所以识别和屏蔽低俗内容、做好风险内容控制、净化短视频生态是一项非常值得重视的工作。下面我们从技术的角度，以“软色情识别”为例，介

再评中国机器学习开发平台市场九章云极位列三甲

Tue, 15 Mar 2022 09:18:06 +0800

近日，国际数据公司（IDC）发布《中国人工智能软件及应用（2019下半年）跟踪》报告，对中国机器学习开发平台厂商进行持续跟进研究，并对该市场份额进行排序。九章云极作为一个中立的软件提供商，凭借具有能够适用多架构、多环境、零锁定的DataCanvas数据科学平台位列三甲。图片来源：

知识图谱与语义分析技术介绍附前沿论文解读

Tue, 15 Mar 2022 09:18:06 +0800

原文自：达观数据什么是知识图谱？知识图谱是一种基于图数据结构的语义网络，由节点(Point)和边(Edge)组成，每个节点表示现实中存在的实体(entity)，每条边表示实体和实体之间的关系(relationship)。日常生活中很多场景都可以用知识图谱来表示。比如在一个社交网络

腾讯技术工程推荐系统技术实践总结

Tue, 15 Mar 2022 09:18:06 +0800

图解一种高效的

Tue, 15 Mar 2022 09:18:05 +0800

作者：Alireza Dirafzoon 编译：ronghuaiyang 导读在单 GPU 上就可以运行的 Transformer 模型，而且几乎不损失精度，了解一下？如果你一直在开发机器学习算法用于处理连续数据 —— 例如语言处理中的文本，语音信号，或视频 —— 你可能听说过或使用过 Transformer，你可能知道这和是推特中认为的不同

腾讯建模过程中的实践总结

Tue, 15 Mar 2022 09:18:05 +0800

作者：coreyzhong，腾讯 IEG 应用研究员本文分为三个部分： Part1 是前菜，帮助没接触过相关内容的同学快速了解我们要做什么、为什么做； Part2 适合刚刚接触 pCTR 建模想要完成项目的算法同学； Part3 适合正在做 CTR 建模项目且想要进一步优化效果的算法同学。 Part1 计算广告广告是互联网流量变现的重要手段，也是互联网

淘系技术首次面向端展开全链路压测淘系高难度压测实践方案公开

Tue, 15 Mar 2022 09:18:04 +0800

达海、追溯淘系技术背景 “今年的双11是全球极大内容电商场的超级爆发，消费者、技术、内容与商业生态之间每一秒都在产生激烈共振，实时性、复杂性和持续峰值的叠加令其成为全球技术顶峰。2020年双11，阿里巴巴峰值交易达到了58.3万笔/秒，其背后的商家链路也承受着史无前例的压力”阿里巴

漫谈语义相似度与语义向量表征

Tue, 15 Mar 2022 09:18:04 +0800

除了我之前讲的命名实体识别和文本分类，语义相似度应该是自然语言理解（NLU）里面又一大核心拼图，无论是机器翻译、搜索、对话等，都有很大的应用空间，之前其实或多或少也提到过，包括对一篇SIGIR论文的讲解： R&S[18] | SIGIR2018：深度学习匹配在搜索与推荐中的应用。这次给大家掰开揉碎

在十几亿的数量级下如何提升查询效率

Tue, 15 Mar 2022 09:18:03 +0800

一、ES写入数据（选择协调节点—>根据文件进行路由转发给对应的节点—>节点的主分片处理请求—>数据同步到副本分片—>返回响应）客户端选择一个 node 发送请求过去，这个 node 就是 coordinating node（协调节点）。 coordinating node 对 document 进行路由，将请求转发给对应的 node（有 primary shard）。实

这可能是人工智能机器学习和大数据领域覆盖最全的一份速查表

Tue, 15 Mar 2022 09:18:01 +0800

作者：Stefan Kojouharov 译者：郝毅 2018 年 11 月 27 日话题：AI语言 & 开发大数据深度学习 2018 年 11 月 27 日话题：AI语言 & 开发大数据深度学习机器学习本文是根据 Stefan Kojouharov 发表在 Medium 上的文章整理而成的一份人工智能、神经网络、机器学习、深度学习和大数据方面的速查表。为了便于查找与使用，本文对每个主题进行了分类，

阿里自然语言处理在开放搜索中的应用

Tue, 15 Mar 2022 09:17:59 +0800

阿里云云栖社区自然语言智能（NLP）自然语言智能研究实现人与计算机之间用语言进行有效通信。它是融合语言学、心理学、计算机科学、数学、统计学于一体的科学。它涉及到自然语言和形式化语言的分析、抽取、理解、转换和产生等多个课题。人工智能可以分为几个阶段计算智能，指依靠计算强大的算力和海

在线学习在爱奇艺信息流推荐业务中的探索与实践

Tue, 15 Mar 2022 09:17:42 +0800

2019 年 11 月 16 日 08:00 奇文概述爱奇艺的信息流推荐业务每天会产生数十亿规模的 feed 浏览，如此大规模的数据给模型训练带来了很大的挑战。同时，信息流这类用户与推荐系统的强交互场景也引入了很多有趣的研究课题。对于信息流推荐产品来说，用户和产品交互性高，用户兴趣变化也很快。若模型不能及时更新，排序模型

搜索引擎新架构与不得不说的故事

Tue, 15 Mar 2022 09:17:41 +0800

阿里巴巴搜索引擎平台 Ha3 揭秘 10 年 +，阿里沉淀出怎样的搜索引擎？阿里巴巴搜索引擎HA3架构 1.HA3架构分为在线和离线两部分在线是一个传统的2层服务架构，分别叫做QRS和search。QRS负责接受用户请求，做一些简单处理之后把请求发给下面的search节点，search节点负责加载

救火必备问题排查与系统优化手册

Tue, 15 Mar 2022 09:17:41 +0800

楚衡阿里技术阿里妹导读：软件工程领域存在一个共识：维护代码所花费的时间要远多于写代码。而整个代码维护过程中，最惊心动魄与扣人心弦的部分，莫过于问题排查（Trouble-shooting）了。特别是那些需要 7x24 小时不间断维护在线业务的一线服务端程序员们，大大小小的问题排查线上救火早已

李茶虎牙直播推荐系统架构详解

Tue, 15 Mar 2022 09:17:41 +0800

分享嘉宾：李茶虎牙直播编辑整理：罗壮 Soul 出品平台：DataFunTalk 导读：大家好，我叫李茶，来自虎牙直播的推荐工程组，主要负责虎牙直播的推荐架构工作。直播推荐是一个头部主播比较集中的场景，比较注重关系链、词语以及长期的价值，业务诉求可能和其他推荐场景有所不同，这一点在工程架构上

干货业界实时数据体系架构

Tue, 15 Mar 2022 09:17:40 +0800

刘大龙@唯品会导读：随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息，对企业的决策运营策略调整有很大帮助。此外，随着 5G 技术的成熟、广泛应用，对于工业互联网、物联网等数据时效性要求非常高的行

在有赞实时计算的实践

Tue, 15 Mar 2022 09:17:38 +0800

转载自：有赞技术团队博客一、前言这篇主要由五个部分来组成：首先是有赞的实时平台架构。其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。第三个就是比较重点的内容，Flink 在有赞的实践。这其中包括了我们在使用 Flink 的过程中碰到的一些坑，

梁宁万字长文美团的破局与开局

Tue, 15 Mar 2022 09:17:38 +0800

编者按：本文所有内容仅代表梁宁个人观点，不代表任何机构观点。今天成立了八年的美团在香港上市，市值4000亿港币，约为510亿美元，成为国内前五大上市互联网公司。借美团上市之机，梁宁在得到App直播间，独家解析美团的公司基因，带你看美团是如何找到破局点，后发先至的。以下是梁宁直播的

毕玄我在阿里的十年技术感悟

Tue, 15 Mar 2022 09:17:38 +0800

阿里妹导读：在阿里，我们习惯尊称毕玄老师为“毕大师”。他2007年加入阿里，一手打造了HSF，十多年来更见证、参与了阿里在基础技术上的演进与发展：如淘宝在2007-2009年的分布式应用架构升级、2013-2016年的阿里电商异地多活架构升级等。但很少有人知道，他大学读的是生物专

随机变量统计学核心方法及其应用

Tue, 15 Mar 2022 09:17:38 +0800

随机变量概述统计学的本质是从具有不可预测性的数据中提取信息，随机变量则是为这种可变性建立模型的数学工具. 在每一次观测中，随机变量随机取不同的值. 我们无法提前预测随机变量的精确取值，但是可以对可能的取值做出概率性的刻画. 也就是说，我们可以描述随机变量的取值的分布. 本章简要回顾应用随

基于的出色多语言工具包钢琴数据集

Tue, 15 Mar 2022 09:17:37 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！项目一：GiantMIDI-Piano — 钢琴MIDI数据集钢琴转谱是一项将钢琴录音转为音乐符号（如 MIDI 格式）的任务。在人工智能领域，钢琴转谱被类比于音乐领域的语音识别任务。然而

干货搜索引擎技术资料整理

Tue, 15 Mar 2022 09:17:37 +0800

这篇博客意图是收集市面上质量不错的搜索引擎技术资料，内容来源包括开源项目官网（Lucene、Solr、Elastic）、综合技术网站（infoQ、Stackoverflow、github 等）、专业技术网站（我爱自然语言处理等）、国内外知名互联网公司技术博客（阿里中间件团队博客、美

年月底字节推荐算法面试题道

Tue, 15 Mar 2022 09:17:37 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！ 1、分词方法BPE和WordPiece的区别 BPE与Wordpiece都是首先初始化一个小词表，再根据一定准则将不同的子词合并。词表由小变大 BPE与Wordpiece的最大区

机器学习平台实践

Tue, 15 Mar 2022 09:17:37 +0800

作者：伴鱼技术团队陈易生前言本文是「算法工程化实践调研」系列的第 2 篇，介绍来自 Uber 在 2017 年 9 月发布的技术博客 Meet Michelangelo: Uber’s Machine Learning Platform [1]。它介绍了机器学习平台 Michelangelo（意大利文艺复兴时期伟大的绘画家、雕塑家、建筑师和诗人）的各个组件的职能，第一次细致地向大家描述了机器

算法工程师如何应对业务方和老板的灵魂拷问

Tue, 15 Mar 2022 09:17:36 +0800

文章作者：姚凯飞编辑整理：Hoh 内容来源：作者授权出品平台：DataFunTalk 导读：你是否有过来自用户、业务和老板们的 badcase “灵魂拷问”：我运营的首页频道入口不可用，怎么回事呢？为什么推送的消息，点进去是空白页面？为何这个商品的排序是这样的？这个前端改版为

网易严选在严选供应链复杂业务系统的落地实践

Tue, 15 Mar 2022 09:17:34 +0800

复杂业务系统长期迭代，难免会逐渐腐化，如何治理腐化，并设计出能够延缓腐化，保持长期高效能的方案是一个开发同学难免要遇到的问题，本文旨在介绍一套基于DDD的落地实施方案，提供另外一种解决问题的思路。系统背景 Teddy出入库系统，是进销存概念里的进和销，核心能力是仓库货物的出库和入库

源码系列索引文件的生成八之

Tue, 15 Mar 2022 09:17:33 +0800

在前面的文章中，我们介绍了在 Lucene7.5.0 中索引文件.dim&&.dii 的数据结构，从本篇文章开始介绍其生成索引文件。dim&&.dii 的内容，注意的是，由于是基于 Lucene8.4.0 来描述其生成过程，故如果出现跟 Lucene7.5.0 中不一致的地方会另外指出，最后建议先阅读下文章 Bkd-Tree 简单的了解下 Lucene

沟通的重要工具乔哈里视窗

Tue, 15 Mar 2022 09:17:08 +0800

写在前面今年最大的成长之一就是对沟通的理解和认知，包括沟通的意义，如何更好的去沟通，毕竟因为沟通踩了不少坑。但就在最近从樊登的一个演讲中，听到了“沟通视窗”的模型，感觉特别惊艳，它将沟通这个抽象高维的事情映射到更多人可以理解的二维上去讨论，不同场景不同个体的沟通都可以套用的框架。

上的用命名实体识别任务来解释

Tue, 15 Mar 2022 09:17:04 +0800

作者：CreateMoMo 编译：ronghuaiyang 前几篇文章： BiLSTM 上的 CRF，用命名实体识别任务来解释 CRF（1） BiLSTM 上的 CRF，用命名实体识别任务来解释 CRF（2）损失函数 BiLSTM 上的 CRF，用命名实体识别任务来解释 CRF（3）推理导读：今天给大家介绍一下具体的代码实现。 3 Chainer 实现在

开源项目分享的语义分割及最快的非结构化数据集等

Tue, 15 Mar 2022 09:16:44 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！项目一：semantic-segmentation-tutorial-pytorch使用Cityscapes进行语义分割的PyTorch代码库项目地址： https://github.com/hoya012/semantic-segmentation-tutorial-pytorch 使用PyTorch的

应用于实时视频通信的深度学习算法研究

Tue, 15 Mar 2022 09:16:16 +0800

众所周知，深度学习在实时视频通信端到端系统里有很多的应用，比如说我们用它做超分辨率，能取得比较好的效果；我们用它做图像恢复，也能取得比较好的效果。如果说提及挑战的话，在支持移动端的应用里，我们必须考虑复杂性的限制，必须要以一个小的模型，能够在移动平台上实时运行，而且功耗、CPU 占

洋码头推荐系统重排算法实践

Tue, 15 Mar 2022 09:16:16 +0800

作者介绍马超群, 洋码头高级算法工程师具有多年数据挖掘、算法、机器学习的研究与实践经验，负责洋码头推荐等系统的算法研究与开发。传送门： http://www.6aiq.com/article/1537369469861 本文约4500字，可参阅下面的大纲阅读。 1. 第一阶段 2. 第二阶段 3. 第三阶段 4. 算法模型实践小结 5. 关于未来 6. 参考文献 2016年之前，洋码头的推荐系统主要还

携程技术为什么我们要从迁移到

Tue, 15 Mar 2022 09:16:14 +0800

导读：ElasticSearch 是一种基于 Lucene 的分布式全文搜索引擎，携程用 ES 处理日志，目前服务器规模 500+，日均日志接入量大约 200TB。图片来自 Pexels 随着日志量不断增加，一些问题逐渐暴露出来：一方面 ES 服务器越来越多，投入的成本越来越高。另一方面用户的满意度不高，日志写入延迟、查询慢

腾讯技术数据分析利器算法最佳解析

Tue, 15 Mar 2022 09:15:33 +0800

作者：熊先明，腾讯 CDG 应用研究员 XGBoost是一种经典的集成式提升算法框架，具有训练效率高、预测效果好、可控参数多、使用方便等特性，是大数据分析领域的一柄利器。在实际业务中，XGBoost经常被运用于用户行为预判、用户标签预测、用户信用评分等项目中。XGBoost算法框架涉及到比

用户画像实践神策数据标签生产引擎架构

Tue, 15 Mar 2022 09:15:32 +0800

分享嘉宾：王琛@神策数据编辑整理：冯露出品平台：DataFunTalk 导读：用户画像是建立在数据基础之上的用户模型，是产品改进、精准营销等业务场景中不可或缺的重要基础。而构建用户画像的过程就是要给用户打上各种维度的标签，并基于标签进行定性或定量分析。这其中，建设灵活、全面、高效的

视频内容理解在手淘逛逛中的应用与落地

Tue, 15 Mar 2022 09:15:28 +0800

内容来源：淘系技术作者：李晓波（篱悠）随着多媒体技术的发展，直播、短视频、AR等多媒体内容表现形式层出不穷，异彩纷呈。视频内容的理解在视频生产感知，理解分发中有哪些应用，为淘宝电商带来哪些影响？这几年，手淘商品展示模式一直在变化。1998年做文本，2005年进入图文时代，2017

基本算法小结

Tue, 15 Mar 2022 09:14:35 +0800

“ 本文主要介绍了Learning To Rank(LTR)中的一些基本方法，评价指标和相关算法模型(LambdaMART,RankNet,LambdaRank&FTRL)！ ” 作者：felix 来源：知乎专栏有意思的数据挖掘。最近工作中需要调研一下搜索排序相关的方法，这里写一篇总结

基于多任务学习和负反馈的深度召回模型

Tue, 15 Mar 2022 09:14:34 +0800

韩宇，张跃伟导读：召回结果的好坏对整个推荐结果有着至关重要的影响，最近的一系列实践和研究表明，基于行为序列的深度学习推荐模型搭配高性能的近似检索算法可以实现既准又快的召回性能；与此同时，用户在天猫精灵上还可以进行实时指令操控（歌名点播：“播放七里香”、风格流派推荐点播：“来点摇滚

腾讯技术浏览器智能问答技术探索实践

Tue, 15 Mar 2022 09:14:23 +0800

分享嘉宾：常景冬腾讯高级研究员编辑整理：高同学中国科学院大学出品平台：DataFunTalk 导读：近年来随着搜索、语音交互、智能客服等场景的不断进化，问答技术的应用越来越丰富，本文将会介绍智能问答在QQ浏览器搜索引擎上的相关工作，通过精准、快速满足用户检索意图帮助搜索引擎的智能化

微信搜索引擎中索引的分布式演进

Tue, 15 Mar 2022 09:14:19 +0800

一、引言提起分布式，不少人能很清晰的阐述paxos、CAP等理论，但我们在遇到一个具体的分布式问题时，很少有人能知道如何做出一个“好”的设计。对于当前的很多分布式数据系统，包括开源的HBase、ElasticSearch等，我们一般只知其然，很少能够知其所以然。因为几乎所有的分布

美团配送评估体系建设与实践

Tue, 15 Mar 2022 09:14:16 +0800

导读： 2019 年 5 月 6 日，美团正式推出新品牌“美团配送”，发布了美团配送新愿景：“每天完成一亿次值得信赖的配送服务，成为不可或缺的生活基础设施。”现在，美团配送已经服务于全国 400 多万商家和 4 亿多用户，覆盖 2800 余座市县，日活跃骑手超过 70 万人，成为全球领先的分钟级配送网络。本文从评估体系建设的

为什么已有我们还要重造实时分析引擎

Tue, 15 Mar 2022 09:14:13 +0800

Uber工程博客 2019 年 2 月 24 日作者 | Jian Shen, Ze Wang, David Wang, Jeremy Shi, and Steven Chen AresDB 在 Uber 被广泛使用，为我们的实时数据分析仪表盘提供支持，使我们能够针对业务的各个方面大规模制定数据驱动的决策。通过开源这个工具，我们希望社区中的其他人可以利用 AresDB 分析自己的数据。在 Uber，我们能够利用实时分析技术获得商业洞察力

年阿里沉淀出怎样的搜索引擎

Tue, 15 Mar 2022 09:14:13 +0800

简介：阿里妹导读：搜索引擎是阿里的10年+沉淀，具有很高的技术/业务/商业价值。1688很多场景都借助了搜索中台的能力，基于此，以1688主搜为例介绍搜索全链路知识点，希望对你有所借鉴，有所启发。一、整体架构搜索引擎分为数据源聚合(俗称dump)、全量/增量/实时索引构建及在线服

用户画像番外篇之用户活跃用户价值度分析

Tue, 15 Mar 2022 09:14:10 +0800

超人赵，人工智能爱好者社区专栏作者知乎： https://www.zhihu.com/people/chao-ji-sai-ya-ren/posts 传送门： http://www.6aiq.com/article/1536068531959 用户活跃、用户价制度分析的在数据分析师的日常工作中经常会碰到，如何根据公司的业务情况对本公司的用户做活跃和价制度的划分是一种常规化的分析工作。在用户生命周期中，对每个用户进行群体划分，有针对性地做分群分层运营，可以更高地提高营收

深入搜索引擎原理

Tue, 15 Mar 2022 09:14:08 +0800

之前几段工作经历都与搜索有关，现在也有业务在用搜索，对搜索引擎做一个原理性的分享，包括搜索的一系列核心数据结构和算法，尽量覆盖搜索引擎的核心原理，但不涉及数据挖掘、NLP等。文章有点长，多多指点~~ 一、搜索引擎引题搜索引擎是什么？这里有个概念需要提一下。信息检索 (Information Retrieval 简称 IR) 和搜索 (Search)

遇上使用和构建搜索引擎

Tue, 15 Mar 2022 09:14:06 +0800

作者：Hironsan 编译：ronghuaiyang 导读：强强联合，看看是否能有1+1＞2的效果。在这篇文章中，我们使用一个预先训练好的BERT模型和Elasticsearch来构建一个搜索引擎。Elasticsearch最近发布了带有矢量字段的文本相似性搜索。另一方面，你可以使

同城多目标排序算法

Tue, 15 Mar 2022 09:14:02 +0800

分享嘉宾：孙启明@58同城内容来源：58技术导读: 2020年9月，AI Lab、营销平台部（CRM）、LBG黄页业务方三方联合启动了商机智能分配项目，将CRM商机分配流程抽象为推荐/搜索场景，将传统机器学习以及深度学习算法应用于CRM系统，为每个销售人员分配适合其跟进的商机，优化成

计算广告中主要模块策略及其场景上篇

Tue, 15 Mar 2022 09:14:00 +0800

Vency不二本文是我最近学习的一个总结，之前的文章多是和功能特别是广告主界面有关，而本篇文章则是和策略有关。在文章会讲述计算广告（主要是DSP）中的主要模块、用到的策略及其场景。希望大家能和我一样，在了解广告业务的同时，还能对策略的设计有一定了解，总结出一些通用的方法。本文分三

互联网架构究竟为啥要做服务化

Tue, 15 Mar 2022 09:13:57 +0800

本文转载自架构师之路公众号最近留言问“微服务”的朋友颇多，找历史文章又找不到，故重新优化发布，希望大家有收获，不要被“微服务大潮”误导。 “微服务架构”的话题非常之火，很多朋友都在小窗我，说怎么做服务化？解答“怎么做”之前，先得了解“为什么做”。画外音：做技术千万不能是这种思路，“

京东搜索在线学习探索实践

Tue, 15 Mar 2022 09:13:57 +0800

文章作者：刘露、张颖、段学浩、王东旭内容来源：京东算法架构出品平台：DataFunTalk 导读：随着京东零售搜索业务的快速发展，对数据的时效性要求越来越高，要求搜索模型有捕捉更实时信号的能力，在线学习体现了业务对模型时效性的追求，希望能根据在线系统反馈的数据实时得对模型进行调整，

浅谈有赞搜索质量保障体系

Tue, 15 Mar 2022 09:13:57 +0800

作者：张家瑜部门：业务中台/测试开发前言有赞搜索中台的前身是ES中间件，并没有一个中台的概念，相应的就会有一个问题，业务接入搜索场景的时候还需要为此投入开发资源同步搜索设计，一个需求上线往往耗时很久，重复性工作较多，所以就有了后来的搜索中台的成立，将搜索完整链路的复杂性折叠成一个

机器学习模式识别数据挖掘常用学习资源链接

Tue, 15 Mar 2022 09:13:56 +0800

国际顶级会议 AAAI CIKM 2010 CIKM 2011 COLT 2010 COLT 2011 Computer Vision Resource ICJIA ICML NIPS SIGIR 2010 SIGIR 2011 SIGKDD SIGKDD2010 论文搜索 CV顶级会议论文下载 google 学术搜索超全计算机视觉资源汇总联合参考文献学术牛人主页 feifei li -computer vision Googlers in Machine Learning Michael I. Jordan Microsoft Research mit leozhu cv pff cv Yahoo! Research zhangzhang si 国外人工智能界牛人主页计算机视觉相关资源牛人（周志华）推荐的人工智能网站数据挖掘牛人一览谈机器学习

融金融风控系统开发实践

Tue, 15 Mar 2022 09:13:56 +0800

分享嘉宾：贺鹏融360 高级技术经理编辑整理：安然出品平台：DataFunTalk 导读：在我们的风控工作中，风控系统解决的问题是什么？比如我们常见的监管要求、反欺诈、信用风险、黑产对抗、支付安全等。风控系统就是在大数据支撑下，根据风控专家经验制定规则策略、以及机器学习/深度学习/A

下一个拐点图神经网络带来哪些机遇

Tue, 15 Mar 2022 09:13:55 +0800

2012年至今，随着深度神经网络理论与计算设备的发展，卷积神经网络（CNN）得到了快速发展，并被大量应用于计算机视觉、自然语言处理等领域。尤其是在图像分类、目标检测等主要的计算机视觉任务中，CNN一直都是最主流的方法。图1：端到端的学习卷积神经网络的行与不行卷积神经网络，虽然取得

大数据凉了流式计算浪潮才刚刚开始

Tue, 15 Mar 2022 09:13:55 +0800

大数据凉了？No，流式计算浪潮才刚刚开始！原创： AI前线小组译 AI前线 1周前策划编辑 | Natalie 翻译｜巴真编辑｜Debra **AI 前线导读：**本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming Sy

手机产品化实践与思考

Tue, 15 Mar 2022 09:13:55 +0800

分享嘉宾：邵浩博士 vivo 算法专家编辑整理：于薇出品平台：DataFunTalk 导读：目前AI技术受到了各大手机和智能设备应用厂商的广泛关注，尤其是基于深度学习的自然语言处理（NLP）因其丰富的应用场景，带动了大量快速增长的应用落地，如机器翻译，搜索推荐，问答系统，聊天机器人等。如何将

源码系列查询原理下

Tue, 15 Mar 2022 09:13:55 +0800

本文承接 Lucene 源码系列——查询原理（上）。第三小节是否使用多线程图 2：在生成 IndexSearcher 对象时，用户可以提供参数 ExecutorService，调用下面的构造函数，来实现多线程搜索： 1 2 3 public IndexSearcher(IndexReader r, ExecutorService executor) { ... ... } 当索引目录中有多个段时，把对一个段的搜索（search by segment）作为一个任务（t

蘑菇街首页推荐多目标优化之实践一把双刃剑

Tue, 15 Mar 2022 09:13:55 +0800

作者：美丽联合集团算法工程师琦琦，公众号关注：诗品算法 0、引言我曾经也秉承着“技术至上”的信条，但随着工作年限的日益增长，在我变成一个老白兔后，观点慢慢发生了转变。作为一个算（调）法（参）工程师，理解业务才是最重要的。有些技术看起来很高大上，但它不可能适用于所有场景。算法工程师的

阿里如何实现秒级百万搜索离线大数据平台架构解读

Tue, 15 Mar 2022 09:13:55 +0800

2018-09-17 阿里技术背景什么是搜索离线？一个典型的商品搜索架构如下图所示，本文将要重点介绍的就是下图中的离线数据处理系统（Offline System）。何谓离线？在阿里搜索工程体系中我们把搜索引擎、在线算分、SearchPlanner等ms级响应用户请求的服务称之为“在线”服务；与之相对应

网易有数机器学习平台批调度与调度系统的深度解析

Tue, 15 Mar 2022 09:13:53 +0800

问君，网易有数机器学习平台研发工程师本文主要介绍了网易有数机器学习平台在深度学习任务批调度的一些实践探索，并对k8s调度机制的原理做部分解析。 1 背景介绍近几年来，AI和大数据异常火热，伴随着AI经常出现的一个词就是机器学习平台，作为一个机器学习平台，平台提供训练所需要的硬件资源，

亿级用户腾讯看点信息流推荐系统的架构挑战

Tue, 15 Mar 2022 09:13:49 +0800

导语 | 看点信息流每天为亿级用户提供海量实时推荐服务，除了大并发/低延迟/高性能等传统架构挑战以外，还有哪些推荐系统特有的架构挑战难题，又是如何解决的？本文是对腾讯看点独立端推荐研发中心总监——彭默在云＋社区沙龙online的分享整理，希望与大家一同交流。一、看点信息流在 QQ 浏览器的

网易严选用户画像建设实践

Tue, 15 Mar 2022 09:13:47 +0800

文章作者：卢若浩网易严选内容来源：作者授权出品平台：DataFunTalk 导读：在数字化转型的浪潮下，企业越来越重视自身数据资产的沉淀和应用。画像作为一种重要的数据资产形式，受到了越来越多的关注。网易严选作为一家自营电商，业务链路长、场景多，所涉及的核心业务实体也多，如用户、商品

机器学习模型线上线下效果一致性杂谈

Tue, 15 Mar 2022 09:13:46 +0800

作者：杨辉之，新浪微博推荐广告算法工程师，个人知乎专栏（推荐机器学习模型&架构随笔）欢迎交流讨论前言在实际工作（炼丹）过程中，总会遇到线下指标相对base有提升，但一到线上就发现收益丢了，是换种配方继续“炼丹”还是“改换门庭”拿着相同的配方继续“炼丹”？本文结合笔者曾经也

腾讯游戏实时计算应用平台建设实践

Tue, 15 Mar 2022 09:13:46 +0800

作者：许振文@腾讯游戏 Flink 中文社区摘要：本文由腾讯游戏增值服务部数据中心许振文分享，主要介绍腾讯游戏实时计算应用平台的建设实践。内容包括： PPT下载： https://flink-learning.org.cn/developers/flink-forward-asia-2020/ 建设背景统一实时大数据开发 OneData 统一大数据接口服务 OneFun 数据服务微服务化 & ServiceMesh 管理一、建设背景首先介绍一下相关背景，很早之前我们就开始做游戏

腾讯音乐全民歌推荐后台架构

Tue, 15 Mar 2022 09:13:46 +0800

分享嘉宾：davidwwang 腾讯音乐 | 基础开发组副组长编辑整理：梁尔舒出品平台：DataFunTalk 系列文章：腾讯音乐：全民 K 歌内容挖掘与召回腾讯音乐：全民 K 歌推荐系统架构及粗排设计导读：首先介绍一下我们业务背景，腾讯音乐集团，于2018年是从腾讯拆分独立上市，目前涵盖了四大

机器学习在美团配送系统的实践用技术还原真实世界

Tue, 15 Mar 2022 09:13:45 +0800

何仁清 ·2018-12-13 20:00 在2018 AI开发者大会（AI NEXTCon）上，美团配送AI方向负责人何仁清，分享了美团在即时配送领域中机器学习技术的最新进展，以及如何通过大数据和机器学习手段，建立对线下真实世界各种场景的感知能力，还原并预测配送过程各个细节，从而提升整体配送系统

伴鱼用户画像平台设计篇

Tue, 15 Mar 2022 09:13:44 +0800

作者：应京含 1. 背景在伴鱼，我们努力了解我们的用户，旨在为用户提供更好的服务。APP 内容推荐，需要根据用户特征来决定推送内容；促销活动，需要针对不同的用户群体设计不同的活动方案；线上产品售卖，也需要了解用户喜好，才能更好地把产品卖给用户。为此，我们搭建了用户画像平台。本文将首先探讨

年月初深圳图像算法工程师面试题分享

Tue, 15 Mar 2022 09:13:39 +0800

问题一：Batch-norm作用和参数 batch norm的作用 batch norm对于输入数据做了零均值化和方差归一化过程，方便了下一层网络的训练过程，从而加速了网络的学习。不同batch的数据，由于加入了batch norm，中间层的表现会更加稳定，输出值不会偏移太多。各层之间受之前层的影响降低，

技术韩伟黄页商家智能聊天助手用户体验深度优化

Tue, 15 Mar 2022 09:13:39 +0800

2021年9月10日-9月13日，2021世界机器人大会在北京举行，本届大会以“共享新成果，共注新动能”为主题，全面展示机器人领域新技术、新产品、新模式、新业态，围绕机器人研究、应用领域及人工智能的创新发展开展高水平交流活动。本届大会包括论坛、博览会、机器人大赛等活动，论坛由3天

斗鱼风控算法体系建设

Tue, 15 Mar 2022 09:13:39 +0800

分享嘉宾：龚灿斗鱼算法负责人编辑整理：王彦磊灵数科技出品平台：DataFunTalk 导读：直播行业在业务上面临运营安全、活动安全、流量安全、账号安全、交易安全、内容安全等风险问题，智能风控在技术方面主要有高频对抗、场景繁多、解释性弱等挑战。本文将分享斗鱼算法团队针对以上问题，如何

大脑爆发背后是年互联网架构重大变革

Tue, 15 Mar 2022 09:13:36 +0800

前言：面对即将到来的2019年，互联网诞生50年，将是诸多纪念活动中重要的一个，经过50年的发展，互联网究竟发生什么重要的变化，通过这篇文章试图进行一次总结，也作为提前向互联网50年的致敬。作者：刘锋计算机博士，《互联网进化论》作者 _ _ 21世纪以来，眼花缭乱的前沿科技喷薄而出，从

有赞系统数据驱动增长实践

Tue, 15 Mar 2022 09:13:36 +0800

作者：子固部门：数据中台一、背景有赞是一个商家服务公司，致力于帮助每一位重视产品和服务的商家成功。随着移动互联网的流量增长红利渐渐褪去，商家获得新的流量越来越困难，帮助商家实现更有效的流量转化与长期目标的增长是有赞SaaS服务的应有之义；同时，随着有赞SaaS功能的不断完善，服务

秋招报告届互联网校招薪资出炉后社招被薪酬倒挂

Tue, 15 Mar 2022 09:13:34 +0800

转载自 100 offer公众号金九银十校招季，国庆假期前后，部分一线互联网公司已经争分夺秒地发出了第一批校招 offer。一个残酷的事实是：还未跨出校门的 95 后，已开始用惊人的高薪，碾压在职场上「头秃」的 90 后了。校招是企业抢夺高潜人才的黄金时期，校招薪资也会逐步影响社招市场的薪资走向。值此

在京东的实践与优化

Tue, 15 Mar 2022 09:13:33 +0800

来源：付海涛@京东 Flink 中文社区摘要：本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》一、业务演进和规模业务演进京东在 2014 年基于 storm 打造了第一代流式处理平台，可以较好的满足业务对于数据处理实时性的要求。不过它有一些局限性，对于那些数据量特别大，但是

独家解读滴滴机器学习平台架构演进之路

Tue, 15 Mar 2022 09:13:33 +0800

滴滴机器学习平台技术团队现在很多互联网公司都有自己的机器学习平台，冠以之名虽然形形色色，但就平台所要解决的问题和技术选型基本还是大同小异。所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用 GPU 集群、采用 Spark 或 K8s 平台等。所谓小异是指各家规模不同，各家都在结合自

美团算法平台在线服务体系的演进与实践

Tue, 15 Mar 2022 09:13:33 +0800

来源：美团技术团队图灵平台是美团配送技术团队搭建的一站式算法平台，图灵平台中的在线服务框架——图灵OS主要聚焦于机器学习和深度学习在线服务模块，为模型和算法策略的线上部署和计算提供统一的平台化解决方案，能够有效提升算法迭代效率。本文将与大家探讨图灵OS在建设和实践中的思考和优化思

阿里妈妈是如何做品牌风险管理的

Tue, 15 Mar 2022 09:13:33 +0800

作者：阿里妈妈风控团队品牌风险管理是阿里妈妈风险管理中最核心的风险之一，一直备受商家和消费者关注。商家在没有品牌资质的情况下售卖假冒或山寨的品牌商品，会侵犯品牌商及消费者的权益。本文将主要介绍，阿里妈妈品牌风险识别体系是如何一步步炼成的。 ▐ 一、背景 1.1 阿里妈妈品牌风险简介在阿里妈妈

分布式机器学习平台架构设计

Tue, 15 Mar 2022 09:13:30 +0800

文章作者：赵喜生机器学习平台架构师导读：用户数据大规模积累、用户体验需求升级、算力革新和计算模型的演进，这三大核心要素及其相互作用成为现在和未来基于网络互联用户活动的主要组成部分。机器学习平台作为使数据、计算和用户体验三者相互作用的关键基础设施发挥着作用。 ▶ 数据用户在APP上每个

前深度学习时代预估模型的演化之路

Tue, 15 Mar 2022 09:13:30 +0800

转载自：王喆在互联网永不停歇的增长需求的驱动下，CTR预估模型（以下简称CTR模型）的发展也可谓一日千里，从2010年之前千篇一律的逻辑回归（Logistic Regression，LR），进化到因子分解机（Factorization Machine，FM）、梯度提升树（Gradie

推送平台架构演进

Tue, 15 Mar 2022 09:13:30 +0800

作者：vivo互联网服务器团队-Li Qingxin 本文根据Li Qingxin老师在“ 2021 vivo开发者大会 “现场演讲内容整理而成。一、vivo推送平台介绍 1.1 从产品和技术角度了解推送平台推送平台是做什么的？有的小伙伴可能了解过，有的可能是第一次接触到。无论您是哪一种情况都希望通过今天

百分点认知智能实验室智能校对的技术原理和实践

Tue, 15 Mar 2022 09:13:30 +0800

认知智能实验室百分点科技稿编者按: 大数据时代下各种文本信息爆炸，传统的文本分析处理工作逐渐被计算机取代。文本数据量越大，其中所包含的错误的总数也越多，通过校对工作来纠正文本中的错误显得尤其重要。传统的校对主要依赖人工，通过人来发现和纠正文本中的错误，人工校对效率低、强度大、周期长

项目经理必备的项目管理工具

Tue, 15 Mar 2022 09:13:30 +0800

现在的在线项目管理工具越来越多了，但是大多数是一些协同工具或轻量项目管理工具。如果是多团队、跨部门使用或者企业级的项目管理，由于管理涉及面比较广，一般涵盖项目管理的五大过程组十大知识领域，从管理思想到工具运用需要适应企业的业务流程体系，并涉及企业高层战略决策和监控、中层运营管理和

完全解析使用进行海量特征的相似度匹配

Tue, 15 Mar 2022 09:13:28 +0800

背景我们不妨想象下面的几个例子：输入一张商品的图片，从商品库中匹配出相似的商品，这是以图搜图的一个例子；输入一小段音乐，从音乐库中匹配出对应的音乐出，这是MIR的一个例子；输入一张人脸，从人脸底库中匹配出对应的人，这是1:N 人脸识别的一个例子；像这样的例子还有很多，事实上，以神经

读影响力这本书

Tue, 15 Mar 2022 09:13:28 +0800

书籍作者: [美] 罗伯特·西奥迪尼文：VChar 写了为什么有些人极具说服力，而我们总是容易上当受骗。隐藏在冲动地顺从他人行为背后的心理秘笈，正是这一切的根源。前言凡选择必有歧视。凡竞争必有成本。凡政策必遭遇对策。凡争夺必有妥协。 ….. 嗯～，凡不看此文，必成为不了小坏蛋。咔哒，毕在说动物

爱奇艺内存泄漏优化实践

Tue, 15 Mar 2022 09:13:25 +0800

稿深度学习平台团队 TensorFlow Serving 由于其便捷稳定的特点在 CTR(Click-through Rate，点击率) 预估业务场景被广泛的使用，但是其运行时会出现内存不断增长的问题，也不断有相关issue 被提交到 Github 社区，且目前都是 Open 状态。本文分享了爱奇艺深度学习平台在实践中发现的两个 TensorFlow Serving内存泄漏问题，并修复和提交了 PR 到社

网易云音乐大任务优化实践

Tue, 15 Mar 2022 09:13:25 +0800

导读：最近接了一个大flow优化任务，这个任务是用来做新用户的归属，属于比较重要的任务，但是任务产出时间比较晚，一般要到15点之后才能完成，非常影响数据分析。和这个任务有关联的flow有4个，主flow有67个节点和其他flow加在一起超过了100+节点。 Flow优化过程包括：长

在爱奇艺广告业务的实践

Tue, 15 Mar 2022 09:13:23 +0800

**简介：**5 月 22 日北京站 Flink Meetup 分享的议题。本文整理自爱奇艺技术经理韩红根在 5 月 22 日北京站 Flink Meetup 分享的议题《Flink 在爱奇艺广告业务的实践》，内容包括：业务场景业务实践 Flink 使用过程中的问题及解决未来规划一、业务场景实时数据在广告业务的使用场景主要可以分为四个方面：数据大屏：包括曝光

爱奇艺数仓平台建设实践

Tue, 15 Mar 2022 09:13:21 +0800

文章作者：i技术会内容来源：爱奇艺技术产品团队导读：本文主要介绍如何通过数仓平台进行数据建模，从而构建统一、规范化、标准化的数据仓库体系，以及围绕核心数据仓库元数据中心建设数据图谱等方面的实践和心得，来解决实际场景中遇到的各种问题，学习数据仓库整体建设思想以及元数据应用服务搭建。

跨境电商如何使用交互行为类型进行可解释推荐

Tue, 15 Mar 2022 09:13:21 +0800

浅梦的学习笔记关注专栏写文章 “ 本文介绍了跨境电商Etsy如何利用用户历史交互行为的类型(如浏览，喜欢，收藏，加购，购买等)来完善物品的embedding表示，并进行可解释推荐。在离线和在线实验中均验证了引入交互类型信息后对于建模用户行为的准确性有提升。 ” 背景和介绍工业级的推荐系统

原理流程以及常见失败原因分析

Tue, 15 Mar 2022 09:13:19 +0800

作者：沈磊团队：大数据前言目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 Flink Chec

洋码头推荐系统技术架构

Tue, 15 Mar 2022 09:13:18 +0800

作者介绍马超群, 洋码头高级算法工程师具有多年数据挖掘、算法、机器学习的研究与实践经验，负责洋码头推荐等系统的算法研究与开发 | 电子商务网站的推荐系统是根据用户的兴趣特点和购买行为，向用户推荐其感兴趣的信息和商品的一个系统，在主流电商平台均具有广泛应用。从16年开始，洋码头根据自己的

项目管理软件这么多为什么我只推荐它

Tue, 15 Mar 2022 09:13:17 +0800

在新型冠性肺炎的侵袭下，似乎那一夜之间，国内大多数企业都接受了在线办公，云端协同的理念。其中，在线项目协作需求激增，根据媒体调查报告显示，疫情在家办公期间，在线项目管理工具每天应用的平均时长达 5.89 小时，成为疫情期间远程办公的最热 SaaS 应用 Top 5。如今，企业已陆续复工，越来越多企业都意识到

中最大的个机器学习数据集

Tue, 15 Mar 2022 09:11:27 +0800

作者： Limarc Ambalina 编译：ronghuaiyang 导读: 包括图像，视频，音频，文本，非常的全。由谷歌Brain的研究人员创建的TensorFlow是机器学习和数据科学领域最大的开源数据库之一。它是一个端到端的平台，适用于初学者和有经验的数据科学家。TensorFlow库包括工具、预训练模型

复杂语境下的实体关系抽取

Tue, 15 Mar 2022 09:11:27 +0800

嘉宾：曾道建湖南师范大学助理教授整理：盛泳潘重庆大学助理研究员出品：DataFunTalk 导读：实体关系抽取是知识图谱构建过程中的一个重要环节，同时也是信息抽取中的一个主要任务。近年来，该课题受到了学术界与工业界研究者们的广泛关注，其主要包含多个子任务，如关系分类、远程监督关系抽

同城深度学习在商业排序的应用实践

Tue, 15 Mar 2022 09:11:22 +0800

文章作者：覃然斌、王科 58同城内容来源：58技术导读：在互联网商业变现场景中，广告变现占有主导地位。2012年随着深度学习网络AlexNet在ImageNet夺冠开始，深度学习迅速席卷图像、语音、NLP等领域，并逐步在互联网商业化最成功的搜索、推荐和广告领域获得突破并成为主流。作

技术王焱同城流式语音识别引擎应用实践

Tue, 15 Mar 2022 09:11:20 +0800

导读： 5月20日-5月22日，第十三届中国系统架构师大会(SACC2021)在云端以网络直播的形式成功举行。会议的主题为“数字转型、架构重塑”，聚焦业务架构演进、分布式存储、音视频技术、云技术、信息安全等多个领域，云集了国内CTO、研发总监、高级系统架构师、开发工程师和IT经理等

解密淘宝推荐实战打造比你还懂你的个性化

Tue, 15 Mar 2022 09:10:50 +0800

阿里云云栖号以下内容根据演讲视频以及PPT整理而成。手淘推荐简介手淘推荐的快速发展源于2014年阿里“All in 无线”战略的提出。在无线时代，手机屏幕变小，用户无法同时浏览多个视窗，交互变得困难，在这样的情况下，手淘借助个性化推荐来提升用户在无线端的浏览效率。经过近几年的发展，推荐

白话条件随机场

Tue, 15 Mar 2022 09:10:48 +0800

阅读原文在了解条件随机场的时候，一开始被各种各样的定义和公式吓倒，抽象晦涩。查阅了一些资料也任然很困惑。废了很多功夫终于算是明白了一些，希望这篇文章能帮一些人少走一点弯路，哪怕一个也是极好的。自然，这文章也是错误百出的。 CRF 综述简单而又直白的讲，线性条件随机场，是只考虑概率图中相邻

高级调优方法论之根治慢查询

Tue, 15 Mar 2022 09:10:48 +0800

1、引言 Elasticsearch是非常灵活且功能丰富的搜索引擎，它提供了许多不同查询数据的方法。在实战业务场景中，经常会出现远远低于预期查询速度的慢查询。作为分布式系统的Elasticsearch，可能有各种影响查询性能的因素，包括外部因素，如负载均衡设置，网络延迟（带宽，NI

统一预估引擎的设计与实现

Tue, 15 Mar 2022 09:10:46 +0800

1. 背景随着互联网的快速发展，互联网上出现了各种海量的信息。怎么样为用户推荐感兴趣的信息是个很大的挑战？各种各样的推荐算法、系统都涌现出来。而预估引擎可以说是推荐系统中比较重要的一环，预估引擎效果的好坏严重影响了算法效果。结合oppo的业务场景，我们的预估引擎需要解决几个问题：（1

语义分割江湖的那些事儿从旷视说起

Tue, 15 Mar 2022 09:10:45 +0800

今天的主题是 Face++ Detection 组近两年持续在做的 Semantic Segmentation相关工作，代表性成果主要有 1）GCN (CVPR2017)、2）DFN (CVPR2018)、3）BiSeNet (ECCV2018)。我们先来看一段演示 Demo： CVPR2018 DFN算法结果展示回顾介绍算法之前，我们先简单回顾一下语义分

同城帮帮商家版智能问答模型优化实践

Tue, 15 Mar 2022 09:10:44 +0800

来源：郭宗沂 58技术导读： 58同城是国内最大的生活服务信息服务平台，连接着数千万C端用户和数百万B端商家，为了提升B端商家和C端用户的有效连接，基于智能对话机器人我们构建了帮帮智能客服商家版，其中一项功能为在微聊中对用户问题进行智能回复。背景智能回复流程由QABot机器人和Tas

效果工具链之运营平台篇

Tue, 15 Mar 2022 09:10:44 +0800

来源：贝壳智搜在数据驱动、智能化浪潮中，工程和算法往往并行不悖。效果工具链贯穿了所有效果优化类业务，做到对优化流程的追踪、作业行为管控。作为效果优化系列的开篇文章，本篇旨在从工程角度介绍运营平台重塑作业流程的实施思路。除此篇之外，还包含算法迭代系统篇、搜索策略篇。 1.业务背景随着

干货的实现多视图人体数据集等开源项目

Tue, 15 Mar 2022 09:10:43 +0800

— 文末200本AI纸质书、机械键盘、硬盘、VIP会员，来就送~ — 项目一：YOLOv5-PyTorchYOLOv5的PyTorch实现项目地址： https://github.com/Okery/YOLOv5-PyTorc YOLOv5的PyTorch实现。该存储库具有两个功能：纯python代码，无需构建即可立即使用PyTorch 1.4运行简化构造并易于理

腾讯布隆过滤器原理与应用

Tue, 15 Mar 2022 09:10:42 +0800

导语 | 开通微信时，系统如何判断你输入的手机号没被注册？如何使用更少的存储空间、更快的速度解决这个问题？对于这个问题，腾讯微信支付数据开发工程师杭天梦带来了她利用Bloom过滤器解决此类问题的思考，向大家分享。本文分享的主要内容为Bloom过滤器的简介、原理、应用和结论等。 “开通微

阿里飞猪推荐算法探索实践

Tue, 15 Mar 2022 09:09:46 +0800

百度技术图数据库在百度汉语中的应用

Tue, 15 Mar 2022 09:09:05 +0800

揽月百度Geek说导读：随着各行业的快速发展，数据间的关联性越来越高，但是传统数据库很难处理层次深、种类多的关系运算，由此图数据库应运而生。而本文则是介绍了图数据库在百度汉语中种类多样的场景下的应用。一、前言百度汉语业务包含字、词、古诗、成语、歇后语等10多种分类，共涉及实体数据

亿展宏图第二篇图算法在支付风控领域的应用

Tue, 15 Mar 2022 09:08:45 +0800

作者|闵薇&董文彧编辑|林颖供稿|eBay支付风控团队导读: “亿展宏图”是eBay 支付风控团队推出的系列文章，分享了eBay风控团队工作在图算法方面的一些理解和研究。在上期的亿展宏图第一篇|两张图入门图算法里，我们介绍了什么是图、图算法的应用和演化过程三个方面，从中可以看

在的多元化探索与实践

Tue, 15 Mar 2022 09:08:44 +0800

摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。本次分享主要围绕以下四个方面： B 站实时的前世与今生 Flink On Yarn 的增量化管道的方案 Flink 和 AI 方向的一些工程实践未来的发展与思考一、B 站实时的前

人半年打造语音识别引擎同城语音识别自研之路

Tue, 15 Mar 2022 09:08:42 +0800

导读：大多数人会认为研发语音识别技术是一条艰难的道路，投入会巨大，道路会很漫长。我们于2019年11月组建了3人团队自主研发语音识别技术，包括2名算法工程师和1名后端工程师，历经半年，自研语音识别引擎效果超过第三方采购厂商，成功打造了58语音识别引擎。本文将分享我们自研语音识别技

华为云细粒度文本情感分析及应用

Tue, 15 Mar 2022 09:08:42 +0800

分享嘉宾：李明磊博士华为云 NLP算法专家编辑整理：付一韬出品平台：DataFunTalk 导读：随着移动互联网的普及，网络上每天产生大量的文本数据，蕴含着巨大的有价值信息。情感分析作为自然语言处理中的一个重要研究方向。在实践中有着广泛的应用，如商品评论分析、政治、金融、旅游等领域中

如何支持特征工程在线学习在线预测等场景

Tue, 15 Mar 2022 09:08:42 +0800

分享嘉宾：陈戊超、高赟阿里技术专家文章整理：有感情的打字机内容来源：Flink Forward ASIA 出品平台：DataFun 导读：Flink 是一个分布式计算引擎，支持批流一体的数据处理。在实际生产中的人工智能使用场景中，Flink 在包括特征工程，在线学习，在线预测等方面都有一些独特优势，为了更好的

字节跳动混沌工程实践总结

Tue, 15 Mar 2022 09:08:42 +0800

本文选自“字节跳动基础架构实践”系列文章。 “字节跳动基础架构实践”系列文章是由字节跳动基础架构部门各技术团队及专家倾力打造的技术干货内容，和大家分享团队在基础架构发展和演进过程中的实践经验与教训，与各位技术同学一起交流成长。混沌工程是通过故障注入的方式帮助系统寻找薄弱点，从而提高

百度技术云原生架构下的持续交付实践

Tue, 15 Mar 2022 09:08:42 +0800

乌拉百度技术稿导读：随着虚拟化技术的成熟和分布式框架的普及，在容器技术、可持续交付、编排系统等开源社区的推动下，以及微服务等开发理念的带动下，应用上云已经是不可逆转的趋势。云原生带来了标准化、松耦合、易观测、易扩展的特性，为交付基建与业务解耦、更灵活的环境管理和无损发布带来新机遇

腾讯技术揭秘信息流推荐背后的系统设计

Tue, 15 Mar 2022 09:08:42 +0800

作者：徐宁，腾讯应用开发工程师，腾讯学院讲师导语 | 本文将总结一下常用的基于时间线Feed流的后台存储设计方案。结合具体的业务场景，讲述一下根据实际需求，在基本设计思路上做一些灵活运用。一、背景 Feed流产品在我们手机APP中几乎无处不在，常见的Feed流比如微信朋友圈、新浪微博、

机器学习比赛大杀器模型融合

Tue, 15 Mar 2022 09:08:41 +0800

_怎样赢得机器学习比赛：你拿别人的结果和你自己的结果与做集成。 _ —— Vitaly Kuznetsov NIPS2014。集成模型是一种能在各种的机器学习任务上提高准确率的强有力技术。在这篇文章中，我会分享我在Kaggle比赛中的集成方法。在第一部分中，我们会讨论从提交文件中建立集成。主要包括：投票集成平均排名

海量日志实时收集系统架构设计与语言实现

Tue, 15 Mar 2022 09:08:41 +0800

日志收集系统应该说是到达一定规模的公司的标配了，一个能满足业务需求、运维成本低、稳定的日志收集系统对于运维的同学和日志使用方的同学都是非常nice的。然而这时理想中的日志收集系统，现实往往不是这样的…本篇的主要内容是：首先吐槽一下公司以前的日志收集和上传；介绍新的实

消息中间件消息消费三消息消费重试

Tue, 15 Mar 2022 09:08:41 +0800

摘要：如果Consumer端消费消息失败，那么RocketMQ是如何对失败的异常情况进行处理？前面两篇RocketMQ消息消费（一）/（二）篇，主要从Push/Pull两种消费模式的简要流程、长轮询机制和Consumer端负载均衡这几点内容出发，介绍了RocketMQ消息消费的正

从到模型自然语言处理中的预训练技术发展史

Tue, 15 Mar 2022 09:08:40 +0800

Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能

一文让你彻底理解准确率精准率召回率真正率假正率

Tue, 15 Mar 2022 09:08:39 +0800

ROC/AUC作为机器学习的评估指标非常重要，也是面试中经常出现的问题（80%都会问到）。其实，理解它并不是非常难，但是好多朋友都遇到了一个相同的问题，那就是：每次看书的时候都很明白，但回过头就忘了，经常容易将概念弄混。还有的朋友面试之前背下来了，但是一紧张大脑一片空白全忘了，导

伴鱼技术机器学习预测服务设计篇

Tue, 15 Mar 2022 09:08:39 +0800

作者：陈易生原文： https://tech.ipalfish.com/blog/2021/08/24/palfish-prediction-service-design/ 前言在伴鱼，我们在多个在线场景使用机器学习提升用户的使用体验。例如，在伴鱼绘本中，我们根据用户的帖子浏览记录，为用户推荐他们感兴趣的帖子。在线预测是机器学习模型发挥作用的临门一脚，重要性不言而喻。在伴鱼，我们搭建了机器学习预测服务（以下简称预测服务），统一地处

几十亿数据查询秒返回性能优化实战

Tue, 15 Mar 2022 09:08:39 +0800

公司的数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有时间整理一些完善的文档，在此分享以供所需的朋友。在此篇幅中偏重于 ES 的优化，关于 HBase，Hadoop 的设计优化有很多文章可以参考，不再赘述。需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业

卷积有多少种一文读懂深度学习中的各种卷积

Tue, 15 Mar 2022 09:08:39 +0800

作者: Kunlun Bai 机器之心编译参与：熊猫我们都知道卷积的重要性，但你知道深度学习领域的卷积究竟是什么，又有多少种类吗？研究学者 Kunlun Bai 近日发布一篇介绍深度学习的卷积文章，用浅显易懂的方式介绍了深度学习领域的各种卷积及其优势。鉴于原文过长，机器之心选择其中部分内容进行介绍，2、4、5、9、11

程序员必知必会的零拷贝技术

Tue, 15 Mar 2022 09:08:39 +0800

写在前面本篇文章我们学习Linux IO中的零拷贝技术，最后的参考链接中介绍的非常好，大家都可以看一下传统IO过程考虑这样一个过程：我们从磁盘中读取一个文件数据，然后将数据通过网络传输到另一个机器。对用户来说可能就是简单的理解为两步操作。 File.read(fileDesc, buf, len); Socket.send(socket, buf, len); 但是，如果我们看传输中涉及的内核

今日头条搜索品质优化端到端篇

Tue, 15 Mar 2022 09:08:38 +0800

叶航字节跳动技术质量稿导览为了提升头条端上的搜索性能体验，我们从19年3/4双月开始投入专门的人力做品质优化，通过这段时间的持续投入，搜索整体的性能体验有了明显的提升，基本上与竞品对齐。中间踩过很多坑，也收获了一些经验，这里做一个总结分享，欢迎大家拍砖交流～为了方便阅读，整体的介

去哪儿网库存搜索在高并发场景下的探索

Tue, 15 Mar 2022 09:08:38 +0800

作者介绍：李佳奇 2014年加入去哪儿网机票事业部，担任Java工程师；曾负责旅行交通技术工作，完成了基于库存的搜索交易系统的全流程打通和改造；现从事机票主系统技术开发工作，致力于完善系统模型，改进开发流程，落地推广优秀技术等；一、背景 1.1系统功能 Qunar 机票作为 Qunar 的核心业务之一，每天

微信看一看内容理解与推荐

Tue, 15 Mar 2022 09:08:38 +0800

第一篇：微信「看一看」推荐排序技术揭秘第二篇：详文解读微信「看一看」多模型内容策略与召回在微信AI背后，技术究竟如何让一切发生？我们将为你一一道来。今天我们将放送微信AI技术专题系列“微信看一看背后的技术架构详解” 的第三篇——《微信看一看内容理解》。内容理解与推荐相信对于不少人而

机器学习特征工程全过程

Tue, 15 Mar 2022 09:08:38 +0800

1 特征工程是什么？有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面：特征处理是

爱奇艺娱乐行业完备的知识图谱库落地实践

Tue, 15 Mar 2022 09:08:38 +0800

爱奇艺技术产品团队 2012年5月16日，谷歌首次正式提出了知识图谱的概念，希望利用结构化知识，来增强搜索引擎，提高搜索质量和用户体验。也就是说，从诞生之日起，知识图谱就和搜索引擎密不可分。随着大数据时代的到来和人工智能技术的进步，知识图谱的应用边界被逐渐拓宽，越来越多的企业开始将

精华搜索推荐系统实战篇上半篇

Tue, 15 Mar 2022 09:08:38 +0800

欢迎关注我的公众号：炼丹笔记 1. 前言背景在电商搜索中，例如淘宝，拼多多，京东等的搜索的场景往往是：用户A通过搜索框Query找到他/她想要购买的东西，然后搜索引擎通过某些算法策略返回一系列商品，用户再决定是否进行点击购买。要做好这样一个问题，我们需要抓住问题的核心。那么搜索引擎的核

详解

Tue, 15 Mar 2022 09:08:38 +0800

前言注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中

高斯热图坐标回归

Tue, 15 Mar 2022 09:08:38 +0800

作者：黄海安编辑：田旭前言论文地址： https://arxiv.org/abs/1801.07372 开源地址： https://github.com/anibali/dsntnn 01 创新点这篇文章我本人非常喜欢，因为这个问题困扰我很久了，后面会细说。当看到这篇文章的时候我确实蛮激动的，后面发现还有几篇同样思路的论文，看来还是论文看的太少了。目前的数值坐标回归任务存在于大量的实际需求中，例如人体关键点检测、人

京东电商推荐系统实践

Tue, 15 Mar 2022 09:08:37 +0800

今天为大家分享下京东电商推荐系统实践方面的经验，主要包括：简介排序模块实时更新召回和首轮排序实验平台 ▌简介说到推荐系统，最经典的就是协同过滤，上图是一个协同过滤的例子。协同过滤主要分为俩种：user-based 基于用户的协同过滤和 item-based 基于商品的协调过滤。但是，现在绝大多数推荐系统都

深度学习在同城租房搜索排序中的实践

Tue, 15 Mar 2022 09:08:37 +0800

分享嘉宾: 崔凌云，58同城TEG搜索排序部算法架构师整理出品: 张劲， AICUG人工智能社区深度语义模型BERT在58同城搜索的实践导读：本次分享主要以58租房搜索排序为背景，介绍深度学习在排序阶段的探索和实践，主要包括：单目标优化、多目标优化、DeepFM、DIN、DIEN、ES

百度持续交付方法与实践

Tue, 15 Mar 2022 09:08:37 +0800

本节课程为《持续交付方法与实践》，将围绕三个方面展开，为什么要做持续交付、如何做到高效的持续交付以及持续部署。为什么要做持续交付 01 软件交付流程想要理解为什么要做持续交付，就要先了解软件交付流程。传统软件交付流程通常包括四个步骤： → 首先业务人员会诞生一个软件的想法； → 然后开发人员将

贝壳智搜标签月老手中那一根根红线

Tue, 15 Mar 2022 09:08:37 +0800

作为个性化推荐系统中重要的一环，构建一个成熟、健全、相互关联的标签体系至关重要。相较于粗粒度分类，标签可以更为灵活、精准地定义某个人或物的多属性，宛若一根根线头，穿穿绕绕，勾连起这个世界。程序眼中万物皆对象，而在标签建设者眼中，则万物皆可有标签。现实搜房场景中，客户的找房意图多种

阿里妈妈展示广告预估校准技术演进之路

Tue, 15 Mar 2022 09:08:37 +0800

分享嘉宾：黄思光阿里高级算法工程师编辑整理：曹权盛世长城出品平台：DataFunTalk 导读：校准技术是可信机器学习领域的一个研究分支，它能够改善机器学习模型在预估准确度和置信度方面的不确定性，在医疗诊断、气象预测、自动驾驶以及计算广告领域具有重要的应用。本文将介绍校准算法在阿里

有赞技术通用规则平台的设计与应用

Tue, 15 Mar 2022 09:08:36 +0800

作者：罗京部门：增长中心一、背景当下，直播带货已经成为一种重要的消费场景。它重构了传统商场乃至电商的人货场关系，打造了一种即时的、沉浸式的消费体验。有赞做为一个商家 SaaS 服务公司，为商家提供了商品管理，售卖的全流程服务，其中就对接了许多直播带货的渠道，例如快手、陌陌、微博、虎牙等等。

百度搜索稳定性问题分析的故事上

Tue, 15 Mar 2022 09:08:36 +0800

导读：百度搜索系统是百度历史最悠久、规模最大并且对其的使用已经植根在大家日常生活中的系统。坊间有一种有趣的做法：很多人通过打开百度搜索来验证自己的网络是不是通畅的。这种做法说明百度搜索系统在大家心目中是“稳定”的代表，且事实确是如此。百度搜索系统为什么具有如此高的可用性？背后使用

岁技术人如何转型做管理阿里高级算法专家公开大思考

Tue, 15 Mar 2022 09:08:35 +0800

阿里妹导读：35岁左右对工程师而言是个不同寻常的年龄段。技术人有可能面临人生中的转型：从纯技术岗转向管理岗。也将面临诸多新的挑战，关于组建团队、领导以及KPI设置等。本文将讲述阿里资深技术leader张荣从去年1月底接手CRO线NLP算法团队以来，在团队组建、能力建设、以及管理上

近期知识图谱顶会论文推荐你都读过哪几篇

Tue, 15 Mar 2022 09:08:35 +0800

精选 5 篇来自 EMNLP 2018、CIKM 2018、NAACL 2018 和 IJCAI 2018 的知识图谱相关工作，带你快速了解知识图谱领域最新研究进展。本期内容选编自微信公众号「开放知识图谱」。 EMNLP 2018 ■ 论文解读 | 刘兵，东南大学博士，研究方向为自然语言处理、信息抽取论文动机在远程监督任务中，除了语料的错误标注问题，还

伴鱼技术机器学习特征系统在伴鱼的演进

Tue, 15 Mar 2022 09:08:34 +0800

作者：陈易生前言在伴鱼，我们在多个在线场景使用机器学习提高用户的使用体验，例如：在伴鱼绘本中，我们根据用户的帖子浏览记录，为用户推荐他们感兴趣的帖子；在转化后台里，我们根据用户的绘本购买记录，为用户推荐他们可能感兴趣的课程；等等。特征是机器学习模型的输入。如何高效地将特征从数据源

空间数据索引完全解析及实现

Tue, 15 Mar 2022 09:08:34 +0800

作者：佳佳牛来源：CSDN 原文： https://blog.csdn.net/MongChia1993/article/details/69941783 版权声明：本文为博主原创文章，转载请附上博文链接！最近在看空间数据索引的一些算法，感觉这哥们写的非常棒，特地转载过来。第一部分空间数据的背景介绍空间数据的建模基于实体的模型（基于对象）Entity-based models (or object based) 0-dimensional objects : 一般使用点point来表

从入门到专家必读的十篇论文

Tue, 15 Mar 2022 09:08:33 +0800

作者：王喆今天我们不分析论文，而是总结一下 Embedding方法的学习路径，这也是我三四年前从接触word2vec，到在推荐系统中应用Embedding，再到现在逐渐从传统的sequence embedding过渡到graph embedding的过程，因此该论文列表在应用方面会对推

关键短语抽取及使用的技术实践

Tue, 15 Mar 2022 09:08:33 +0800

AI 算法团队 zacbai 平安寿险 PAI 一、全文框架概览一、关键短语抽取简介关键短语抽取 (keyphrase extraction)，指从文章中提取典型的、有代表性的短语，期望能够表达文章的关键内容。关键短语抽取对于文章理解、搜索、分类、聚类都很重要。而高质量的关键短语抽取算法，还能有效助力构建知识图谱。常见的关键短

来阿里年我是如何快速成长的

Tue, 15 Mar 2022 09:08:33 +0800

“转眼 2020 已经快过去了一半，是时候来做一次年中总结了。阿里文娱高级技术专家箫逸总结了自己在阿里 6 年来的成长和收获，分享他在工作中的一些思维方法，以及对生活的一些感悟，希望对大家有所启发。图片来自 Pexels 观察自己的成长才能收获更大的成长很长时间以来我基本都是基于天性或本能在做事情，不是说没

刘桐仁百度搜索中台内容架构化实践

Tue, 15 Mar 2022 09:08:32 +0800

分享嘉宾：刘桐仁百度编辑整理：梁尔舒美团出品平台：DataFunTalk 导读：百度搜索中台在线承接了数十亿的天级流量，内容计算架构为在线提供了数十亿的异构且有丰富特征和信号的原材料。历史上这些原材料是由数量庞大的各式脚本产生的，这些脚本复用度不够，难以维护和接手。我们在2020年

淘系高级技术专家的十年既往不恋纵情向前

Tue, 15 Mar 2022 09:08:32 +0800

作者 | 黄泰成(斯肯) 出品 | 阿里巴巴新零售淘系技术部作者简介：黄泰成（花名：斯肯），是一位来自台湾的程序员，加入阿里巴巴大约 5 年多，目前在阿里巴巴淘系前端团队负责互动方向，过去从设计跨到客户端、后端、前端，先后经历过社群、安全以及目前的电商领域，目前专注在终端解决方案以及互动技术；

看一看推荐模型揭秘微信团队提出实时算法解决推荐系统多样性问题

Tue, 15 Mar 2022 09:08:32 +0800

0. 导语本论文题为《Real-time Attention based Look-alike Model for Recommender System》，作者 Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin，已被 KDD 19 接收，原文见附录。 Look-alike 是广告领域经典的推荐算法，拥有定向能力强、用户扩展精准等优点。本文在微信看一看的推荐场景下对传统 look-alike 进行了改造，使之更适合高时效性的资讯推荐系统。 Fig.0. 微信看一看微信看

第四范式如何构建一个好的电商搜索引擎

Tue, 15 Mar 2022 09:08:32 +0800

分享嘉宾：邢少敏第四范式架构师编辑整理：刘员京出品平台：DataFunTalk 导读：机器学习算法的不断进步，搜索引擎巧妙的人机交互设计，分布式系统的革新让搜索引擎在不知不觉中成为人们生活中不可或缺的一部分。同时，随着人们新需求的不断涌现，搜索引擎也没有停下变革的步伐。本文主要分享

供应链供应链物流采购到底有什么区别

Tue, 15 Mar 2022 09:08:31 +0800

文章作者： @Baltam 责任编辑： @欢偷偷本篇文章是由以上作者在知乎的优秀回答(原文链接: Baltam：供应链、物流、采购到底有什么区别？), 通过『运筹OR帷幄』责任编辑整理而成。欢迎原链接转发，转载请前往 @留德华叫兽的主页获取信息，盗版必究。敬请关注和扩散本专栏及同名公众号，会邀请全球知名

年月底明略科技算法岗道面试题分享

Tue, 15 Mar 2022 09:08:31 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！问题1：熵，交叉熵的概念判断一个数是否是7的倍数可以直接用取余的方法，判断一个数中是否含有数字7，这里提供两种方法：一种是将数字转换成字符串，用 in 进行判断；另一种是将数字转换

技术在民宿推荐中的应用

Tue, 15 Mar 2022 09:08:31 +0800

文章作者：周文彪途家网编辑整理：Hoh Xil 内容来源：AI 科学前沿大会出品社区：DataFun 民宿越来越成为旅游消费的新热潮，作为国内最大的民宿平台，途家在应用 AI 技术进行个性化商品推荐方面进行了不少探索。民宿行业的数据，具有用户消费频次低，用户兴趣点不好描述等特点，基于内容和普通协同

深入理解推荐系统和

Tue, 15 Mar 2022 09:08:31 +0800

深入理解推荐系统：召回深入理解 YouTube 推荐系统算法深入理解推荐系统：排序作为【推荐系统】系列文章的第四篇，将以推荐系统的“Fairness公平性”作为今天的主角，会从四个方面来介绍Fairness的相关问题、解决方案、相关比赛和参考文献。有一段时间没有更新这个系列的文章，最近刚好没太多

简单聊聊特征工程

Tue, 15 Mar 2022 09:08:31 +0800

随着大数据时代的到来，特征工程发挥着越来越重要的作用。那么什么是特征工程呢，简单说，就是发现对因变量y有明显影响作用的特征，通常称自变量x为特征，特征工程的目的是发现重要特征。一般来说，特征工程大体上可以分为三个方面，一是特征构造，二是特征选择，，三是特征生成。三个方面当中，最重

美团图数据库平台建设及业务实践

Tue, 15 Mar 2022 09:08:31 +0800

来源：登昌梁帅高辰等美团技术团队导读：图数据结构，能够更好地表征现实世界。美团业务相对较复杂，存在比较多的图数据存储及多跳查询需求，亟需一种组件来对千亿量级图数据进行管理，海量图数据的高效存储和查询是图数据库研究的核心课题。本文介绍了美团在图数据库选型及平台建设方面的一些工作。 1

算法面经系列百度寒武纪科大讯飞追一科技腾讯作业帮算法面经

Tue, 15 Mar 2022 09:08:30 +0800

个人情况双非本科，985 研究生，研究方向自然语言处理，比较渣，大概从 19 年 6 月份开始准备秋招，大部分压在了提前批，七月份疯狂投简历，投了大概有二十几家，收到面试的有五六家。其中作业帮收到意向 offer；百度确定已有 offer，国庆节左右谈薪资；京东已收到录用函，职位软开。百度算法岗

知识蒸馏在推荐系统的应用

Tue, 15 Mar 2022 09:08:29 +0800

作者 | 张俊林@新浪微博目录知识蒸馏典型方法知识蒸馏在推荐系统中的三个应用场景知识蒸馏在三类推荐排序中的方法介绍联合训练召回、粗排及精排模型的设想随着深度学习的快速发展，优秀的模型层出不穷，比如图像领域的 ResNet、自然语言处理领域的 Bert，这些革命性的新技术使得应用效果快速提

系统架构系列四业务架构实战下篇

Tue, 15 Mar 2022 09:08:29 +0800

在上一篇文章中主要讲了业务架构的基础部分，整体的业务架构还有一些其它点要考虑，如业务之间的彼此隔离、业务与技术 (平台) 的隔离、业务能力地图的可视化、业务 mock 能力、业务监控等，本篇文章主要讲述这些内容。一、业务彼此隔离在较小的公司可能要体现这个没有对应的业务场景，但在大公司中，如果业

贝壳找房图数据库系列简介篇

Tue, 15 Mar 2022 09:08:28 +0800

系列文章：贝壳找房—【图数据库系列】之 JanusGraph VS Dgraph：贝壳分布式图数据库技术选型之路在上一篇文章中我们已经对当前流行的几款图数据库做过简单的分析，并介绍了我们为什么使用 Dgraph。从本篇内容开始，我们将开启 Dgraph 之旅，探索这个图数据库方向的新贵。注：本章内容基于 Dgraph v1.1.0 一、Dgrap

贝壳找房降本提效贝壳搜索推荐架构统一之路

Tue, 15 Mar 2022 09:08:28 +0800

高攀: 贝壳搜索推荐部平台架构负责人贝壳找房在云加社区组织的分享导语 | 搜索和推荐是用户获取信息的两种主要方式，在贝壳也是帮助客户找到房子的主要手段，那么二者都有哪些相似和不同之处？是否可以使用同一套架构来实现？统一架构之后又能带来哪些收益呢？本文是对贝壳搜索推荐部平台架构负责人——

医疗健康领域的短文本解析探索一

Tue, 15 Mar 2022 09:08:27 +0800

丁香园大数据 NLP 文章发表于： 2019-09-02 前言简单的回顾一下，上一回我们说到短语挖掘（Phrase Mining），对非结构化文本中抽取出高质量的名词短语，用于解决专业领域的专业词典不足的问题。我们提到了韩家炜老师的三部曲 TopMine，segphrase 和 AutoPhrase，其用到的主要方法

干货篇同城向量化召回上的深度学习实践

Tue, 15 Mar 2022 09:08:27 +0800

分享嘉宾: 彭小钰，58同城TEG搜索推荐部高级算法工程师整理出品: AICUG人工智能社区 PPT下载： http://www.aicug.cn/#/docs 浏览器不支持该媒体的播放 :( 导读: 向量化召回通过学习用户与物品低维向量化表征，将召回建模成向量空间内的近邻搜索问题，有效提升了召回的泛化能力与多样性，是推荐引擎的核心召回通道。本次

用户画像从到的构建思路

Tue, 15 Mar 2022 09:08:27 +0800

文章作者：杨帆、杨楠楠编辑整理：Hoh 内容来源：《数据产品经理：实战进阶》出品平台：DataFun 导读：用户画像作为当下描述分析用户、运营营销的重要工具，被全部互联网人熟知，用户画像的定义并不复杂，是系统通过用户自行上传或埋点上报收集记录了用户大量信息，为便于各业务应用，将这些信

算法在淘宝躺平推荐系统中的应用实践

Tue, 15 Mar 2022 09:08:27 +0800

淘宝躺平频道是手机淘宝内主推家居类商品的内容场景化导购平台（以下简称躺平）。频道中的内容主要以场景搭配为主，内容内挂载了多个商品锚点，点击商品锚点可以跳转到商品详情页。躺平强调算法大数据搭配及D端设计师理念，内容以多种形态迎合消费者的家居类需求。用户可以通过以下3种方式进入淘宝躺

腾讯企业微信万亿级日志检索系统

Tue, 15 Mar 2022 09:08:27 +0800

作者：datonli，腾讯 WXG 后台开发工程师背景开发在定位问题时需要查找日志，但企业微信业务模块日志存储在本机磁盘，这会造成以下问题：日志查找效率低下：一次用户请求涉及近十个模块，几十台机器，查找日志需要登录机器 grep 日志文件。这一过程通常需要耗费 10 分钟以上，非常低效；日志保存时间短：

同城如何从到构建个性化推荐

Tue, 15 Mar 2022 09:08:26 +0800

文章作者：曾钦榜 58同城高级技术经理编辑整理：周晓侠内容来源：58技术沙龙出品社区：DataFun 导读：随着科学技术的飞速发展，互联网被广泛应用于各个领域，而以互联网为基础的招聘模式也越来越受到企业的青睐。互联网招聘具有不受地域限制、覆盖面广、招聘成本低、针对性强、方便快捷、时效

回顾机器学习与推荐系统实践

Tue, 15 Mar 2022 09:08:25 +0800

分享嘉宾：刘志强奇虎360 推荐算法架构师编辑整理：周峰内容来源： DataFun AI Talk《机器学习与推荐系统实践》出品社区： DataFun 注：欢迎转载，转载请注明出处。 1. 摘要本次分享内容为机器学习在推荐系统的应用。主要介绍推荐系统实践中遇到基本问题，以及基于机器学习技术的解决方案。过程中涉及到“概率图模

当你打开天猫的那一刻推荐系统做了哪些工作

Tue, 15 Mar 2022 09:08:25 +0800

阿里妹导读：当年打开天猫的那一刻，它为你完成了华丽的变身，成为世上独一无二的“天猫”，这就是智能推荐的力量。今天，来自阿里巴巴搜索推荐事业部的算法工程师陈启伟为你介绍天猫如何玩转首页个性化推荐，揭开搜索推荐的神秘面纱。天猫首页作为用户打开手机天猫App的第一印象，所推荐的商品极大

陈兴振同城机器学习平台资源使用率优化实践

Tue, 15 Mar 2022 09:08:25 +0800

2021年10月18~20日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第12届中国数据库技术大会（DTCC2021）在北京国际会议中心召开，大会以“数造未来”为主题，围绕数据架构、人工智能与大数据应用等内容展开分享和探讨。58同城TEG AI Lab高级架构

译支持向量机教程

Tue, 15 Mar 2022 09:08:24 +0800

原文地址： Support Vector Machine (SVM) Tutorial 原文作者： Abhishek Ghose 译文出自：掘金翻译计划本文永久链接： github.com/xitu/gold-m… 译者： zhmhhu 校对者： TrWestdoor, 1992chenlu 支持向量机（SVM）教程从例子中学习 SVM 在 Statsbot 团队发布关于时间序列异常检测的帖子之后，许多读者要求我们告诉他们有关支持向量机的方法。现在是时候在不涉

今日头条在消息服务平台和容灾体系建设方面的实践与思考

Tue, 15 Mar 2022 09:08:23 +0800

作者 | 沈辉本篇文章整理自今日头条的沈辉在 RocketMQ 开发者沙龙中的演讲，主要和大家分享一下，RocketMQ 在微服务架构下的实践和容灾体系建设。沈辉是今日头条的架构师，主要负责 RocketMQ 在头条的落地以及架构设计，参与消息系统的时间大概一年左右。以下是本次分享的议题：头条的业务背景为什么选择 RocketMQ RocketMQ 在头

自然语言理解难在哪儿

Tue, 15 Mar 2022 09:08:23 +0800

文章作者：刘知远清华大学副教授内容来源：NLP日知录@知乎专栏导读：在微博和知乎上关注自然语言处理（NLP）技术的朋友，应该都对#NLP太难了#、#自然语言理解太难了#两个话题标签不陌生，其下汇集了各种不仅难煞计算机、甚至让人也发懵的费解句子或歧义引起的笑话。然而，这些例子只是让

算法在哈啰顺风车中的实践应用

Tue, 15 Mar 2022 09:08:22 +0800

分享嘉宾：盛小双哈啰出行算法专家编辑整理：Hoh 出品平台：DataFunTalk 导读：如果科技让出行更美好，可以推动出行的进化，那么AI算法模型的应用，就是其中一个最大的推动力。本次分享的主题为算法在哈啰顺风车中的实践应用，将首先介绍算法同学依托于什么样的算法平台来解决哪些具体的

设计解析一背景及架构介绍

Tue, 15 Mar 2022 09:07:58 +0800

原文链接： https://www.infoq.cn/article/kafka-analysis-part-1 Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Apache Storm、Spark 都支持与 Kafka 集成。InfoQ 一直在紧密关注 Kafka 的应用以及发展，“Kafka 剖析”专栏将会从架构设计、

秒抓人眼球的技术类简历怎么写

Tue, 15 Mar 2022 09:07:57 +0800

9月，又到了大学生们投简历找工作的季节，最近收到了海量的简历，不少简历冗长拖沓，毫无重点，真为这些找工作的同学感到忧心。一个面试官每天要处理很多的简历，一封简历，或许只有10秒的时间来抓住面试官或者HR的眼球，否则，去向就是“人才库”。画外音：所以，长达5页的电子简历几乎是没有意

腾讯万亿级技术解密

Tue, 15 Mar 2022 09:07:57 +0800

作者： johngqjiang，腾讯 TEG 云架构平台部研发工程师 Elasticsearch（ES）作为开源首选的分布式搜索分析引擎，通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求，大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES

娓娓道来图模型图查询图计算和图学习知识

Tue, 15 Mar 2022 09:07:56 +0800

作者：youhuanli，腾讯 WXG 应用研究员笔者自 2011 年大二的时候加入北大计算所图数据库小组直到 18 年博士毕业，此后工作的两年一直关注图技术的发展，并同很多同行和图库的潜在客户有较多接触。同时也参与过知识图谱、图计算系统以及图表示学习算法等的研发。本篇的内容主要从图模型、图查询以及图计

基于的爱奇艺实时计算平台建设实践

Tue, 15 Mar 2022 09:07:55 +0800

分享嘉宾：梁建煌爱奇艺编辑整理：张宇轩内容来源：Flink Forward Asia 导读：随着大数据的快速发展，行业大数据服务越来越重要。同时，对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。今天的介绍会围绕下面三点展开： Flink的现状与改

源码系列多个的的倒排求交集

Tue, 15 Mar 2022 09:07:54 +0800

这种 Query 组合的文档号合并的代码是在 ConjunctionDISI 类中实现。本文通过一个例子来介绍文档号合并逻辑，这篇文章中对于每个关键字如何获得包含它的文档号，不作详细描述，大家可以去看我添加了详细注释的 ConjunctionDISI 类，相信能一目了然。GitHub 地址是： https://github.com/luxugang/Luce

蘑菇街增量学习番外篇二优化器设计理论篇

Tue, 15 Mar 2022 09:07:54 +0800

作者：美丽联合集团算法工程师琦琦，公众号关注：诗品算法 0、引言在增量学习中，针对不同的模型结构，我们可以设计不同的优化器承接。在这篇文章中，我将为大家详细阐述我们在实践中尝试过的优化器原理及其优缺点。我们最终选择的是AdaDeltaW和FTRL，原因就藏在这篇文章中～相信你会怀揣

解密商业化广告投放平台技术架构

Tue, 15 Mar 2022 09:07:45 +0800

转载自 DataFunTalk 社区大家可以关注他们的公众号，内容很干货导读：互联网广告是流量商业变现的重要途径之一，涉及服务平台、检索引擎、算法策略、数据工程等多个方向。本次分享的主题为商业化广告投放平台技术架构，分享的内容集中在工程领域，结合业界广告投放平台的通用技术范式，分享智能营销平台是如何打造

记录模块的简单使用模型存储与恢复

Tue, 15 Mar 2022 09:07:42 +0800

原文地址：[ https://www.cnblogs.com/mbcbyq-2137/p/10044837.html] ( https://www.cnblogs.com/mbcbyq-2137/p/10044837.html) [2018-11-30 16:15] 虽然说 TensorFlow 2.0 即将问世，但是有一些模块的内容却是不大变化的。其中就有 tf.saved_model 模块，主要用于模型的存储和恢复。为了防止学习记录文件丢失或者蠢笨的脑子直接遗忘掉这部分内容，在此做点简单的记录，以便将来查阅。最近为了一个课程作业，不得已涉及到关于图像超分辨率恢复的内容，不得

风控特征时间滑窗统计特征体系

Tue, 15 Mar 2022 09:07:38 +0800

原文作者：求是汪在路上（知乎ID）原文链接： https://zhuanlan.zhihu.com/p/85440355/ 风控业务背景俗话说，路遥知马力，日久见人心。在风控中也是如此，我们常从时间维度提取借款人在不同时间点的特征，以此来判断借款人的风险。在实践中，这类特征通常会占到80%以上。由于是通过时间切片和聚合统计函数来构造，因此一般被称为时间滑窗

主流推荐引擎技术及优缺点分析

Tue, 15 Mar 2022 09:07:16 +0800

文章作者：苏雷什·库马尔·戈拉卡拉编辑整理：Hoh 内容来源：《自己动手做推荐引擎》导读：在本文中，将详细介绍多种类型的推荐系统，具体介绍基于近邻算法的推荐引擎、个性化推荐引擎、基于模型的推荐系统和混合推荐引擎等，并分析介绍每种推荐系统的优缺点。主要介绍的不同类型的推荐系统包括：近

基于的海量日志分析平台实践

Tue, 15 Mar 2022 09:07:16 +0800

背景随着58集团业务的飞速发展，日志数量也呈现指数级增长。传统的日志处理方案，已不再适用，此时急需一套功能强大、稳定可靠的日志处理系统。为解集团燃眉之急，DB部门自2018年初着手调研解决方案，经多方论证，最终确定使用Elastic Stack处理海量日志数据。通过Elastic S

国美大促场景下的国美智能推荐系统演进之路

Tue, 15 Mar 2022 09:07:14 +0800

作者：杨骥时间： 2017 年 11 月 10 日国美早期的推荐产品，90% 以上的场景是靠平台运营人员和工程师依靠业务知识进行手工配置，策略投放也是基于场景相关性的固定槽位展示，千人一面。近几年，伴随着业务的发展，尤其是实现线上线下打通后，国美互联网基于双线平台、商品和服务，利用互联网技术，以“社交 +

贝壳找房基于事理图谱的应用与实践

Tue, 15 Mar 2022 09:07:14 +0800

分享嘉宾：孙拔群贝壳找房高级技术经理编辑整理：James 出品平台：DataFunTalk 导读：大家好，我是贝壳找房的孙拔群，今天给大家带来的是基于事理图谱的智能培训，我将从以下五个方面来跟大家进行分享。贝壳找房实体图谱进展贝壳找房事理图谱进展知识图谱在智能培训的应用知识运营闭环的

算法理论与实践

Tue, 15 Mar 2022 09:07:12 +0800

背景在CTR预估任务中，线性模型仍占有半壁江山。利用手工构造的交叉组合特征来使线性模型具有“记忆性”，使模型记住共现频率较高的特征组合，往往也能达到一个不错的baseline，且可解释性强。但这种方式有着较为明显的缺点：首先，特征工程需要耗费太多精力。其次，因为模型是强行记住这些

知识图谱的自动构建

Tue, 15 Mar 2022 09:07:11 +0800

本文根据吴信东 (IEEE & AAAS Fellow，明略科技首席科学家) 教授在2019知识图谱前沿技术论坛的分享内容，编辑整理而成，发布于 DataFunTalk，编辑整理：王吉东。注：欢迎转载，转载请在留言区内留言。导读：知识图谱的构建包括逻辑建模、隐含空间分析、人机交互和本体模型支撑等多种方法。

美团本地生活场景的短视频分析

Tue, 15 Mar 2022 09:07:11 +0800

分享嘉宾：马彬博士美团技术专家编辑整理：刘小辉出品平台：DataFunTalk、AI启蒙者导读：在硬件、软件技术发展的助推下，我们正进入一个视频爆发的时代，无论从用户还是内容维度，视频数据都蕴含着非常大的信息量，在视频数据的分析中AI算法大有可为，无论是视频的创作、审核、编辑还是

百度知识图谱技术及应用

Tue, 15 Mar 2022 09:07:08 +0800

分享嘉宾：王泉博士百度资深研发工程师编辑整理：付一韬出品平台：DataFunTalk 导读：知识图谱是让机器像人类一样理解客观世界的基石。本次报告首先简要介绍知识图谱在百度的位置及整体的发展概况。接下来从通用知识图谱和行业知识图谱两个分支重点介绍百度知识图谱技术及应用的最新进展，另

写吞吐场景资源消耗量化分析及优化

Tue, 15 Mar 2022 09:06:48 +0800

一. 概述 HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍HBase基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：在给定

零基础入门数据挖掘数据分析实战

Tue, 15 Mar 2022 09:06:48 +0800

作者：王瑞楠，Datawhale 优秀学习者转载地址摘要：对于数据挖掘项目，本文将学习应该从哪些角度分析数据？如何对数据进行整体把握，如何处理异常值与缺失值，从哪些维度进行特征及预测值分析？探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先

有赞搜索系统的技术内幕

Tue, 15 Mar 2022 09:06:46 +0800

转载自有赞技术团队博客上文说到有赞搜索系统的架构演进，为了支撑不断演进的技术架构，除了 Elasticsearch 的维护优化之外，我们也开发了上层的中间件来应对不断提高的稳定性和性能要求。 Elasticsearch 的检索执行效率可以表示为： _O(num_of_files _logN)* 其中 num_of_files 表示索引文件段的个数，N 表示需要遍历的数据量，从这里我们可以总结出提升查询性能可

知其然知其所以然基于多任务学习的可解释推荐系统

Tue, 15 Mar 2022 09:06:46 +0800

本文是工业界和学术界共同合作的产物。Layer 6 AI 和 University College Dublin 的科学家们提出一种通过整合矩阵分解（MF）模型和对抗式 Seq2Seq 模型的多任务学习框架，并利用强化学习来尝试生成评论，借以解答推荐系统的研究和应用领域一种“殿堂”级的难题——推荐系统的评分预测的可解释性。除此之外，该模型的预测准确性

美团新一代预测服务的优化实践

Tue, 15 Mar 2022 09:06:46 +0800

作者：伟龙小卓文魁等美团技术团队投稿 CTR模型在互联网的搜索、推荐、广告等场景有着广泛的应用。近年来，随着深度神经网络的引入，CTR模型的推理对硬件算力的要求逐渐增加。本文介绍了美团在CTR模型优化的实践。通过分析模型结构特点，结合GPU硬件架构，我们设计了一系列流程对模型进行定

贝壳找房语言模型系列原理篇二从到

Tue, 15 Mar 2022 09:06:46 +0800

上一篇贝壳找房【语言模型系列】原理篇一：从 one-hot 到 Word2vec 讲到了 word2vec 存在”一词多义“的问题，其主要原因在于 word2vec 生成的词向量是“静态”的，每一个词固定的对应着一个词向量表示，也就是说在 word2vec 训练好之后，在使用单词的向量表示的时候，不论该词的上下文是什么，这个单词的向量表示不会随着上下文语境的变化而改

万字长文梳理预估模型发展过程与关系图谱

Tue, 15 Mar 2022 09:06:45 +0800

背景在推荐、搜索、广告等领域，CTR（click-through rate）预估是一项非常核心的技术，这里引用阿里妈妈资深算法专家朱小强大佬的一句话：“它（CTR 预估）是镶嵌在互联网技术上的明珠”。本篇文章主要是对 CTR 预估中的常见模型进行梳理与总结，并分成模块进行概述。每个模型都会从

用机器学习怎样鉴别不可描述的网站

Tue, 15 Mar 2022 09:06:45 +0800

前两天教师节，人工智能头条的某个精神股东粉群里，大家纷纷向当年为我们启蒙、给我们带来快乐的老师们表达感激之情。很多人表示，他们的硬盘里，至今还保留着当时她们上课时候的视频。有一些现在网站上已经很难找到了，于是大家又纷纷开始互相交流跟随这些老师学习实践的心得体会。 👆禅师最喜欢的教师

零基础入门数据挖掘建模调参

Tue, 15 Mar 2022 09:06:45 +0800

作者：徐韬，Datawhale 优秀学习者系列文章：零基础入门数据挖掘——特征工程实战零基础入门数据挖掘——数据分析实战摘要：对于数据挖掘项目，本文将学习如何建模调参？从简单的模型开始，如何去建立一个模型；如何进行交叉验证；如何调节参数优化等。建模调参：特征工程也好，数据清洗也罢，

同城语言模型及其应用

Tue, 15 Mar 2022 09:06:41 +0800

1. 背景语言模型在自然语言处理具有重要的地位，它是一种基于概率统计的模型，主要的目标是描述字/词在句子中的概率。同时，语言模型是从大量的语料信息中训练出的模型，它“学习”到的词的概率是通用语义的信息，可以和很多实际应用相结合，尤其是在一些基于统计模型的领域，如语音识别，分词，情感分

搜索与推荐中的深度学习匹配之推荐篇

Tue, 15 Mar 2022 09:06:39 +0800

作者：黄冠这个tutorial确实不错 https://www.comp.nus.edu.sg/~xiangnan/sigir18-deep.pdf，我很喜欢，好像一个博士论文一样，将这两个领域梳理得很清楚。搜索，推荐和广告其实是机器学习在工业界最好的落地。而且容易拿到由用户的行为

消息中间件消息存储一

Tue, 15 Mar 2022 09:06:38 +0800

文章摘要：MQ分布式消息队列大致流程在于消息的一发一收一存，本篇将为大家主要介绍下RocketMQ存储部分的架构消息存储是MQ消息队列中最为复杂和最为重要的一部分，所以小编也就放在RocketMQ系列篇幅中最后一部分来进行阐述和介绍。本文先从目前几种比较常用的MQ消息队列存储方式

让推荐系统会说话达观数据推荐理由设计实践

Tue, 15 Mar 2022 09:06:38 +0800

达观数据张健达观数据前言推荐系统对于处于信息爆炸时代的我们来说并不陌生。在日常生活中，我们使用到推荐系统提供的各种服务，在社交工具上认识志同道合的朋友，到音乐网站中欣赏自己感兴趣的音乐作品，从一大堆企业岗位信息中挑选出一份称心如意的工作等等。一个优秀的推荐系统能像朋友一样理解用户

阿里文娱智能营销增益模型技术实践

Tue, 15 Mar 2022 09:06:38 +0800

导读：随着移动互联网和人工智能技术的发展，智能化营销正渗透到各行各业。如何衡量和预测营销干预带来的"增量提升"，而不把营销预算浪费在"本来就会转化"的那部分人身上，成为智能营销算法最重要的挑战。我们以 Uplift Model 为基础，构建营销增益预测模型，帮助商

同义变换在百度搜索广告中的应用

Tue, 15 Mar 2022 09:06:37 +0800

分享嘉宾：连义江博士@百度编辑整理：王成林出品平台：DataFunTalk 导读：关键词匹配位于整个搜索广告系统的上游，负责将query和keyword按照广告主要求的匹配模式连接起来。该问题面临着语义鸿沟，匹配模式判定和可扩展性方面的挑战。在本文，我们会就同义变换这个主题展开讨论

小米在知识表示学习的探索与实践

Tue, 15 Mar 2022 09:06:37 +0800

分享嘉宾：吕荣荣小米算法工程师编辑整理：孟航程出品平台：DataFunTalk 导读：知识表示是知识获取与应用的基础，贯穿了小米知识图谱的构建与应用。本文将结合小米知识图谱的构建及小爱问答场景，介绍融合文本和知识图谱的知识表示学习方法，以及知识表示在知识图谱补全、实体链接、实体推荐

爱奇艺短视频推荐粗排篇

Tue, 15 Mar 2022 09:06:37 +0800

随刻基础推荐团队导读：工业界的推荐系统通常包括召回、粗排、精排以及重排四个阶段，如图一所示，每个阶段都像是一个漏斗，从海量的物品集合中过滤出用户最有可能感兴趣的物品。其中粗排模型发挥的主要作用是统一计算和过滤召回结果，在尽量保证推荐准确性的前提下减轻精排模型的计算压力。本文主要介

阿里巴巴复杂搜索系统的可靠性优化之路

Tue, 15 Mar 2022 09:06:37 +0800

背景搜索引擎是电商平台成交链路的核心环节，搜索引擎的高可用直接影响成交效率。闲鱼搜索引擎作为闲鱼关键系统，复杂度和系统体量都非常高，再加上闲鱼所有导购场景都依靠搜索赋能，搜索服务的稳定可靠成为了闲鱼大部分业务场景可用能力的衡量标准；如何保障搜索服务的稳定和高可用成为了极大的挑战。

具有排序意义的度量指标的可视化解释及使用场景分析

Tue, 15 Mar 2022 09:06:36 +0800

作者：Moussa Taifi, Ph.D 编译：ronghuaiyang 导读 3种指标，各有优缺点，各有适用场景，分析给你看。机器学习度量之旅在不适当的度量指标上报告小的改进是一个众所周知的机器学习陷阱。理解机器学习(ML)指标的优缺点有助于为ML从业者建立个人信誉。这样做是为了避免过早宣布胜利的陷阱

干货篇平安银行推荐系统介绍专题

Tue, 15 Mar 2022 09:06:36 +0800

分享嘉宾: 蒋锵、严明，平安银行大数据部门整理出品: AICUG人工智能社区关注本站公众号获取完整PPT 其实刚刚也讲到随着银行转型，对于数字驱动这件事情的迫切度是越来越高，就是最开始的时候可能大家对于数据怎么用，有一个业务强主导，我可能就要这一份数来帮我做一个决策，或者我就要这样的一

敏捷开发实践之方法运用

Tue, 15 Mar 2022 09:06:36 +0800

摘要:目前软件开发除了强调产品质量,同时对产品能够快速发布并且迅速适应市场变化的要求也日益强烈。为适应这种开发环境和市场需求,传统的软件开发模式已被敏捷开发模式所替代。本文介绍敏捷软件开发中的Scrum方法,并结合实际问题,分析Scrum方法在实践中的运用。关键词:敏捷开发;Sc

调优怎么做

Tue, 15 Mar 2022 09:06:36 +0800

作者 | 杨晓峰出处 | 极客时间《Java 核心技术 36 讲》专栏我发现，目前不少外部资料对 G1 的介绍大多还停留在 JDK 7 或更早期的实现，很多结论已经存在较大偏差，甚至一些过去的 GC 选项已经不再推荐使用。所以，今天我会选取新版 JDK 中的默认 G1 GC 作为重点进行详解，并且我会从调优实践的角度，分析典型场景和调

阿里技术基于实时深度学习的推荐系统架构设计和技术演进

Tue, 15 Mar 2022 09:06:36 +0800

简介：整理自 5 月 29 日阿里云开发者大会，秦江杰和刘童璇的分享，内容包括实时推荐系统的原理以及什么是实时推荐系统、整体系统的架构及如何在阿里云上面实现，以及关于深度学习的细节介绍本文整理自 5 月 29 日阿里云开发者大会，大数据与 AI 一体化平台分论坛，秦江杰和刘童璇带来的《基于实时深度学习的推

作业帮基于的数仓实践

Tue, 15 Mar 2022 09:06:35 +0800

1 背景作业帮大数据团队主要负责建设公司级数仓，向公司各个重要产品线（拉新、教学、BI等）提供面向业务的数据信息，如到课时长、答题情况等。在过去半年多时间内，我们基于Apache Doris，构建了数仓实时查询系统。本文总结并分享下期间的工作内容，也欢迎大家一起讨论。典型的数仓从逻辑

基于机器学习的文本分类

Tue, 15 Mar 2022 09:06:35 +0800

作者：李露，西北工业大学据不完全统计，网民们平均每人每周收到的垃圾邮件高达10封左右。垃圾邮件浪费网络资源的同时，还消耗了我们大量的时间。大家对此深恶痛绝，于是识别垃圾邮件并对其进行过滤成为各邮件服务商的重要工作之一。垃圾邮件识别问题本质上是一个文本分类问题，给定文档p（可能含有

深入理解之源码

Tue, 15 Mar 2022 09:06:35 +0800

前言很久之前分享过 ReetrantLock 的实现深入剖析ReentrantLock公平锁与非公平锁源码实现，而今再回头去看，对AQS也有了更深刻准确的理解，随即更新了下之前的文章。今天分享利用AQS实现的另一个重要的JUC工具类 Condition。如果上篇理解到位，这个 Condition 的学习就没啥难度的～我们应该都

百度事件知识图谱技术与应用

Tue, 15 Mar 2022 09:06:35 +0800

分享嘉宾：陈玉光百度资深研发工程师编辑整理：叶祺出品平台：DataFunTalk 导读：目前百度事件图谱已构建了千万级规模的事件图谱，在收录时效上达到分钟级。事件图谱技术已应用到搜索、信息流等百度内部的产品中，相关能力也对外输出到媒体等多个行业。另外，事件图谱的前沿推理技术在金融领

不仅仅用通过人工评估得到更好的推荐

Tue, 15 Mar 2022 09:06:34 +0800

作者：Edwin Chen 编译：ronghuaiyang 导读导读用CTR来评估推荐算法是一个非常常用的度量，但并非是最好的度量。假设你正在为一个新在线网站构建一个推荐算法。你如何衡量它的质量，以确保它发送给用户相关和个性化的内容？刚开始的时候，你希望点击率可以进行衡量，但经过一番思考，它

前沿重器美团搜索理解和召回

Tue, 15 Mar 2022 09:06:34 +0800

公众号欢迎关注：CS的陋室搜索做了很多年，但是在各种技术革新下也还总有东西做，总有提升点，虽然现在媒体炒的少了，但是至今仍然各种公司仍花费大力气来做这个搜索。这次和大家介绍的东西，来自于美团技术团队分享的一篇文章，这篇文章讨论了搜索的理解和召回，有意思的是他还对整个他们的现状分析

的嵌入层是如何实现的看完你就明白了

Tue, 15 Mar 2022 09:06:34 +0800

作者：__ 编译：ronghuaiyang 导读：非常简单直白的语言解释了BERT中的嵌入层的组成以及实现的方式。介绍在本文中，我将解释BERT中嵌入层的实现细节，即 token 嵌入、Segment 嵌入和 Position 嵌入。简介这是一张来自论文的图，它恰当地描述了 BERT 中每一个嵌入层的功能：与大多数旨在解决 nlp

蒋能学网易云音乐广告算法实践

Tue, 15 Mar 2022 09:06:34 +0800

分享嘉宾：蒋能学网易云音乐编辑整理：桑小晰深交所出品平台：DataFunTalk 导读：本次分享的主题为网易云音乐广告算法实践，内容围绕以下五个部分：网易云音乐广告系统简介广告点击率预估模型广告转化率预估模型用户向量建模与应用总结与建议 01 网易云音乐广告系统简介 1. 网易云音乐广告特点 M

图对比学习的最新进展

Tue, 15 Mar 2022 09:06:33 +0800

分享嘉宾：朱彦樵中国科学院自动化研究所编辑整理：吴祺尧加州大学圣地亚哥分校出品平台：DataFunSummit 导读：本文跟大家分享下图自监督学习中最近比较热门的研究方向：图对比学习，在近期的进展以及组内在此方向上最近的一些工作。主要内容包括：① 图对比学习的基础知识介绍与方法梳理；

干货之性能优化

Tue, 15 Mar 2022 09:06:33 +0800

1、诊断Spark程序内存的消耗 A、 Spark程序中内存都花费在哪里？ Ø每个Java对象，都有一个对象头，会占用16个字节，主要是包括了一些对象的元信息，比如指向它的类的指针。如果一个对象本身很小，比如就包括了一个int类型的field，那么它的对象头实际上占用的内存比对象自己还

阿里融合与的个性化预估模型

Tue, 15 Mar 2022 09:06:33 +0800

文章作者：阿里B2B算法团队内容来源：牛技出品平台：DataFun 背景以电商场景优化用户点击为例，推荐系统的任务是从海量的候选商品中选出用户最感兴趣且最可能点击的商品。为了提升检索的效率，通常分为两阶段来检索。召回/候选生成（Matching/Candidate Generatio

优酷提出基于图执行引擎的算法服务框架系统架构概览

Tue, 15 Mar 2022 09:06:32 +0800

原文： https://www.infoq.cn/article/PvhDVlcJuHzkDMv77mh7 背景在阿里的业务中，有广泛的算法应用场景，也沉淀了相关的算法应用平台和工具：基础的算法引擎部分，有成熟的召回和打分预估引擎、在线实时特征服务；推荐算法应用领域，有算法实验平台 TPP（源于淘宝个性化平台），提供 Serverless 形式的算法实验平台，包括资源弹性伸缩、实验能力（代码在线发布、

算力经济时代阿里展示广告引擎的柔性变形之路

Tue, 15 Mar 2022 09:06:32 +0800

作者：朱小强（怀人） 0. 序曲纵观这两年业界技术的演化趋势，几乎主流的团队都已经完成了深度学习为代表的技术升级，进入到算力吃紧、模型红利放缓的新瓶颈期。去年在《深度学习推荐系统》序言一文中，我对工业级深度学习技术迈入新的 2.0 进阶阶段的特征做过一些探讨：可以预见，在工业级深度学习2.0阶

部署基于嵌入的机器学习模型的通用模式

Tue, 15 Mar 2022 09:06:32 +0800

作者：Robbe Sneyders 编译：ronghuaiyang 给大家介绍一下如何在生产中部署基于嵌入的机器学习模型。由于最近大量的研究，机器学习模型的性能在过去几年里有了显著的提高。虽然这些改进的模型开辟了新的可能性，但是它们只有在可以部署到生产应用中时才开始提供真正的价值。这是机器学习社区目

为什么我们选择作为我们的酒店排序模型

Tue, 15 Mar 2022 09:06:31 +0800

作者：Eric He 编译：ronghuaiyang 导读: 这是Rocketmiles的搜索排名序列的第二部分。 Why we chose LambdaMART for our hotel ranking model Part 2 of Rocketmiles’ search result ranking series Eric He 原文： https://medium.com/rocket-travel/why-we-chose-lambdamart-for-our-hotel-ranking-model-45f84e22cec 当你是一家像Rocketmiles这样的电子商务公司时，提供无缝的购买体验是你将自己的在线商店与其他商家区分

一文详尽之支持向量机算法

Tue, 15 Mar 2022 09:06:30 +0800

来源：Datawhale 寄语：本文介绍了 SVM 的理论，细致说明了“间隔”和“超平面”两个概念；随后，阐述了如何最大化间隔并区分了软硬间隔 SVM；同时，介绍了 SVC 问题的应用。最后，用 SVM 乳腺癌诊断经典数据集，对 SVM 进行了深入的理解。支持向量机（support vector machines, SVM）是一种二分类模型，它的

基于构建流批一体的数据集成

Tue, 15 Mar 2022 09:06:30 +0800

摘要：本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享，该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的主要内容如下：数据仓库与数据集成数据接入(E) 数据入仓/湖(L) 数据打宽(T) 数据仓库与数据集成数据仓库是一个集成的（Integrated），面向主题的（Subjec

消息中间件的通信二

Tue, 15 Mar 2022 09:06:30 +0800

文章摘要：如何设计RPC通信层模型是任何一款性能强劲的MQ所要重点考虑的问题在（一）篇中主要介绍了RocketMQ的协议格式，消息编解码，通信方式(同步/异步/单向)、消息发送/接收以及异步回调的主要通信流程。而本篇将主要对RocketMQ消息队列RPC通信部分的Netty多线程

爱奇艺机器学习平台的建设实践

Tue, 15 Mar 2022 09:06:30 +0800

作者：爱奇艺技术，该文根据【i 技术会】现场演讲整理而成在建设机器学习平台之前，爱奇艺已经拥有比较成熟的深度学习平台 Javis，但是 Javis 面向的用户比较高阶、专业的算法工程师，需要通过提交代码到专用计算集群上运行计算，使用门槛比较高。另外，算法除了深度学习以外，机器学习，数据挖掘、数据

腾讯知识图谱补全技术

Tue, 15 Mar 2022 09:06:30 +0800

分享嘉宾：陈立玮博士腾讯高级研究员编辑整理：王吉东出品平台：DataFunTalk 导读：当前知识图谱已经被广泛应用在自然语言处理的各项任务中，但知识图谱中实体间关系的缺失也给其实际的应用带来了很多问题。因此，目前学术界围绕知识图谱的补全进行了大量的研究工作。本文主要对知识图谱补全

零基础入门数据挖掘特征工程实战

Tue, 15 Mar 2022 09:06:30 +0800

作者：吴忠强，Datawhale 优秀学习者转载地址系列文章：零基础入门数据挖掘——数据分析实战摘要：对于数据挖掘项目，本文将学习应该从哪些角度做特征工程？从哪些角度做数据清洗，如何对特征进行增删，如何使用 PCA 降维技术等。特征工程（Feature Engineering）对特征进行进一

用户画像在阅文的探索与实践

Tue, 15 Mar 2022 09:06:29 +0800

分享嘉宾：陈炜于阅文集团高级总监编辑整理：李沛欣、马宇峰出品平台：DataFunTalk **导读：**阅文作为国内最大的网络文学公司，我们在实践过程中，总结了一套适合自身业务特点的用户画像方法论，及实践经验。本文将介绍为什么需要用户画像，以及如何做用户画像，并结合在阅文场景下所面

苏宁仓库内多协作的全局路径规划算法研究

Tue, 15 Mar 2022 09:06:28 +0800

物流仓库如何更好的规划智能叉车？董效成 2018 年 11 月 1 日话题：AI算法物联网本文为『InfoQ x 苏宁 2018 双十一』技术特别策划系列文章之一。 1. 背景随着物联网和人工智能的发展，越来越多的任务渐渐的被机器人取代，机器人逐渐在发展中慢慢进入物流领域，“智能叉车”，AGV（Automated Guided Ve

基于的严选实时数仓实践

Tue, 15 Mar 2022 09:06:27 +0800

分享嘉宾：杨雄网易严选资深研发工程师内容来源： DataFun Talk《基于Flink的严选实时数仓实践》出品社区： DataFun 今天分享的内容主要分为四个部分，首先会介绍下严选实时数仓的背景、产生的一些问题。然后是针对这些背景和问题对实时数仓的整体设计和具体的实施方案，接着会介绍下在实时数仓的数据质量方

开源项目精选激活可视化全面基本面分析包

Tue, 15 Mar 2022 09:06:27 +0800

文末免费送电子书：七月在线干货组最新升级的《名企AI面试100题》免费送！项目一：EssayKiller_V2 基于开源GPT2.0的初代创作型人工智能 EssayKiller是基于OCR、NLP领域的最新模型所构建的生成式文本创作AI框架，目前第一版finetune模型针对高考作文

微信为看一看及搜一搜去污低俗色情识别怎么做到的

Tue, 15 Mar 2022 09:06:27 +0800

来源： fredyttang 微信AI 导语: 本文主要介绍低俗色情识别任务在从看一看业务迁移到搜一搜业务中遇到的一些问题、思考以及所做的一些尝试。本文尝试分析一下看一看与搜一搜场景的差异以及因差异导致的应用迁移困难；进而思考如何建立更好的分析机制和评价体系；最后在模型方面谈一下基于Bert的一些迁移改进

数据库数据仓库大数据平台数据中台数据湖对比分析

Tue, 15 Mar 2022 09:06:27 +0800

作者：西贝大数据技术与数仓写在前面层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面：数据什么是大数据麦肯锡全球研究所给出的定义是：一种规模大

机器学习面试题不只是考特征工程附送名企面试题

Tue, 15 Mar 2022 09:06:27 +0800

篇幅有限，本文不会把每一题的参考答案都加载出来，会摘出一些摘要，完整解析见题库链接，大家有任何问题欢迎在题库链接下随时留言、讨论、纠正。看完本了觉得有用点个赞吧！添加微信：julyedukefu14，回复【7】领取最新升级版【名企AI面试100题】，礼包部分资料如下（篇幅有限，私

美团智能问答技术探索与实践

Tue, 15 Mar 2022 09:06:27 +0800

分享嘉宾：美团江会星博士编辑整理：韩佳出品平台：DataFunTalk 导读：本文主要介绍在美团业务中智能问答技术的相关落地与实践。通常问答系统需要提前构建好问答对知识库，这种方式对高频问题能处理的很好，但难以解决开放性问题。在日常生活服务中，如"去哪玩"、&l

机器学习论文笔记如何利用高效的搜索算法来搜索网络的拓扑结构

Tue, 15 Mar 2022 09:06:26 +0800

作者：陈扬编辑：赵一帆简介分层表示高效的架构搜索(HIERARCHICAL REPRESENTATIONS FOR EFFICIENT ARCHITECTURE SEARCH)这篇文章讲的是如何利用高效的搜索算法来搜索网络的拓扑结构。用一个简单但功能强大的演化算法。这个方法可以发现具有卓越性能的新架构。它这篇文章很大程度上借鉴了GECNN的一些东西，或者说，

贝壳网相关性计算原理及实践

Tue, 15 Mar 2022 09:06:25 +0800

0 前言在贝壳找房，房源、小区、看点等涉及到文本搜索的应用都是以ES作为底层搜索和召回组件，经ES相关性计算后粗筛出结果，再对粗筛结果做二次排序。所以，ES的相关性计算好坏对这些应用的用户体验有直接或间接影响，对ES相关性调优是很有必要。本文结合ES在贝壳找房这些应用的实践经验，介

阿里妈妈新突破深度树匹配如何扛住千万级推荐系统压力

Tue, 15 Mar 2022 09:06:25 +0800

李晗推荐系统已经深入到每个人生活的方方面面，网购、音乐、新闻、视频等等场景中，用户都可以感受到推荐系统带来的便利。随着技术的不断发展，如何更加精准地进行推荐成为了开发人员的头等大事。为了提升推荐系统的精准度，最大程度解决推荐系统存在的问题，来自阿里妈妈的高级技术专家李晗和团队提出

阿里技术如何设计可靠的灰度方案

Tue, 15 Mar 2022 09:06:25 +0800

一灰度的基本概念 1 一个典型的灰度方案一个较大的业务或系统改动，往往会影响整个产品的用户体验或操作流程。为了控制影响面，可以选取一批特定用户、流程、单据等，只允许这一部分用户或数据按照变更后的新逻辑在系统中流转，而另一部分用户仍然执行变更前的老逻辑。这一步是线上系统灰度方案的起点。

一文看懂智能合约的现状与未来

Tue, 15 Mar 2022 09:06:24 +0800

导读**：毫无疑问，智能合约可谓是分布式账本（区块链）技术带来的最具革命性的创新。在分布式账本上部署和执行可靠的、自执行的、防篡改的数字协议的能力，在几乎所有行业和垂直领域中都有大量的潜在用例，从金融和保险一直到零售业务与和公民政府系统。那么，它们为什么还没有被广泛使用呢？在分布

如何设计一个

Tue, 15 Mar 2022 09:06:24 +0800

作者：刘健阁（Jiange Liu），PCG 数据分析师实验设计 AB Test 实验一般有 2 个目的：判断哪个更好：例如，有 2 个 UI 设计，究竟是 A 更好一些，还是 B 更好一些，我们需要实验判定计算收益：例如，最近新上线了一个直播功能，那么直播功能究竟给平台带了来多少额外的 DAU，多少额外的使用时长，多少

干货用户画像在用户生命周期中的应用

Tue, 15 Mar 2022 09:06:24 +0800

分享嘉宾：姚凯飞句逗科技联合创始人编辑整理：刘璐出品平台：DataFunTalk 导读：做用户，绕不开画像！画像不仅可以提升对用户的认知，还可以通过落地赋能业务。今天我们聊聊用户画像在用户生命周期中的应用，主要介绍用户画像在电商场景下如何驱动产品链路优化。将按照用户生命周期，对用户

技术人生第篇浅谈如何成为技术一号位

Tue, 15 Mar 2022 09:06:24 +0800

数据指标是什么必知必会的数据指标类型都在这了

Tue, 15 Mar 2022 09:06:24 +0800

导读：数据指标体系是构建数据中台的重要一环。数据指标的建立让运营及产品人员更直观地看到基本指标的变动，让数据分析师更便捷地开展数据分析工作。数据指标就是将大数据之“大”的精髓给提炼出来，展现每日观察数据的使用者最迫切想要看到的统计量。数据指标体系并不是第三方服务公司的专利，只要对

浅谈蘑菇街大数据标签平台

Tue, 15 Mar 2022 09:06:24 +0800

起始标签平台作为数据平台建设的一部分，尤其是在互联网电商平台中，有着重要的作用。本人在公司接手并且重构了整个标签平台的核心逻辑。对标签平台有一定的了解。写这篇文章的契机是几个数仓的哥们，问到了这方面的问题，正好我也可以总结一下。本文从技术角度，通过以下几个方面来阐述标签平台的建设

要提升微信看一看推荐混排的长期收益试试深度强化学习

Tue, 15 Mar 2022 09:06:24 +0800

第一篇：微信「看一看」推荐排序技术揭秘第二篇：详文解读微信「看一看」多模型内容策略与召回微信 “看一看” 内容理解与推荐导语相比于传统的监督学习方法，强化学习能够最大化长期收益，正是推荐系统更加需要的。做好当下做好固然重要，但放眼未来才能看得更远。本文主要是在

如何看待机器学习不需要数学很多算法封装好了调个包就行这种说法

Tue, 15 Mar 2022 09:06:23 +0800

来源：知乎不抖机灵，想从接触过机器学习学术圈但已投身工业界的角度来回答。我认为：大部分机器学习从业者不需要过度的把时间精力放在数学上，而该用于熟悉不同算法的应用场景和掌握一些调参技巧。好的数学基础可以使你的模型简洁高效，但绝非必要的先决条件。原因如下： 1. 即使你有了一定的数学功底，

基于的小米增长分析平台实践

Tue, 15 Mar 2022 09:06:22 +0800

以下文章来源于小米技术，作者蔡聪辉&钟云小米技术小米云平台部，主要分享云存储、云计算、系统、网络、运维、私有云、安全、数据库、内核等内容，欢迎感兴趣的朋友们加入！ 1、背景随着小米互联网业务的发展，各个产品线利用用户行为数据对业务进行增长分析的需求越来越迫切。显然，让每个业

阿里巴巴为什么选择 Apache Flink？Flink——下一代大数据处理系统

Tue, 15 Mar 2022 09:06:22 +0800

阿里妹导读：伴随着海量增长的数据，数字化时代的未来感扑面而至。不论是结绳记事的小数据时代，还是我们正在经历的大数据时代，计算的边界正在被无限拓宽，而数据的价值再也难以被计算。时下，谈及大数据，不得不提到热门的下一代大数据计算引擎Apache Flink（以下简称Flink）。本文将

信息安全营销反作弊业务的算法实践

Tue, 15 Mar 2022 09:06:21 +0800

导读: 本文介绍当前58营销反作弊业务算法建设的一些实践内容，主要聚焦于各类算法在体系中的应用设计以及相关算法在体系中的实践应用。背景 58每年会借助58同城、58同镇等平台，投入数以亿计的成本，来进行各式各样的营销活动，以此达到平台各业务线的拉新、促活、促销等目的。然而现实中存在一

年月底陌陌推荐算法道面试题分享

Tue, 15 Mar 2022 09:06:21 +0800

问题1：Graph SAGE的原理 GraphSAGE是Graph SAmple and aggreGatE的缩写，其运行流程如上图所示，可以分为三个步骤：对图中每个顶点邻居顶点进行采样根据聚合函数聚合邻居顶点蕴含的信息得到图中各顶点的向量表示供下游任务使用文末免费送电子书：七月在线干货组最新升级的《名

贝壳找房图数据库系列原理篇

Tue, 15 Mar 2022 09:06:21 +0800

系列文章：贝壳找房—【图数据库系列】Dgraph 简介篇贝壳找房—【图数据库系列】之 JanusGraph VS Dgraph：贝壳分布式图数据库技术选型之路通过上一篇的 Dgraph 简介，相信大家已经了解了 Dgraph 的一些基本概念和用法，本篇文章继续介绍 Dgraph 的一些底层实现原理。作为一个分布式图数据库，Dgraph 不仅支持水平扩

知乎数据集成平台建设实践

Tue, 15 Mar 2022 09:06:20 +0800

分享嘉宾：孙晓光知乎技术平台负责人内容来源：Flink中文社区摘要：本文由知乎技术平台负责人孙晓光分享，主要介绍知乎 Flink 数据集成平台建设实践。内容如下：业务场景历史设计全面转向 Flink 后的设计未来 Flink 应用场景的规划 01 业务场景很高兴和大家分享近期知乎以 Flink 为基础，重构上一代数据集成平台过程中的

万字长文详解优酷视频质量评价体系

Tue, 15 Mar 2022 09:06:18 +0800

分享嘉宾｜李静博士，阿里巴巴文娱集团资深算法专家，阿里巴巴大文娱摩酷实验室视频体验与质量团队负责人整理出品｜AICUG人工智能社区导读：随着近年来用户在社交媒体/短视频分享平台的重度参与，视频多媒体内容的消费主导从原来的OGC向UPGC转变。因此UPGC图像/视频的质量评价成为了

引擎性能优化及应用

Tue, 15 Mar 2022 09:06:18 +0800

分享嘉宾：贺小令阿里巴巴技术专家编辑整理：王吉东内容来源：Flink Forward ASIA 出品平台：DataFun 导读：本次分享的主题为 Apache Flink 新场景——OLAP 引擎，主要内容包括：背景介绍 Apache Flink OLAP 引擎案例介绍未来计划 1. OLAP 及其分类 OLAP 是一种让用户可以用从不同视角方便快捷的分析数据的计算方法。主流的 OLAP 可以分

同城推荐系统架构设计与实现

Tue, 15 Mar 2022 09:06:17 +0800

主题 58同城推荐系统架构设计与实现一、推荐系统架构介绍推荐系统是一个微庞大的工程、算法与业务综合的系统，其主要分为三大子系统： 1）线下推荐子系统； 2）线上推荐子系统； 3）效果评估子系统；后文将重点讨论以上三大子系统的设计与实现。二、线下推荐子系统线下推荐子系统又主要分为线下挖掘模

贝壳网在贝壳搜索的部署实践

Tue, 15 Mar 2022 09:06:17 +0800

1.引言 Elasticsearch(简称ES)是一个基于Lucene的搜索引擎，使用java语言进行开发，RESTful web接口进行交互，不同语言很容易开箱即用。同时ES完整生态中包含了elasticsearch、logstash、kibana(3个组合简称ELK)、Beats

标签数据用户位置标签及数据如何从生产到应用

Tue, 15 Mar 2022 09:06:15 +0800

作者：NK冬至首席数据科学家 “ LBS相关的标签，是用户标签画像系统中的重要内容。 ” 好久没有分享关于用户画像、用户标签相关的内容了。关于标签数据，之前有分享过《用户生命周期标签的计算》、《用户偏好兴趣类标签如何计算》。今天分享一下，关于LBS相关的标签内容。 01 什么是LBS 讲LBS标

搜索性能优化实践单机提升

Tue, 15 Mar 2022 09:05:49 +0800

作者：韦子扬录信数软随着互联网的快速发展，网络上的数据也在不断增多，各类文章、图片、视频都充斥于各类网站和应用程序之中，用户如果想要在这些海量的信息中寻找和获取自身所喜爱的内容，就会需要使用搜索的功能。而面对这样海量复杂的数据，传统数据库搜索无法实现快速的响应和模糊搜索，一般针对

网易新闻推荐深度学习排序系统及模型

Tue, 15 Mar 2022 09:05:49 +0800

文章作者：薛海霞网易传媒编辑整理：郑智献内容来源：DataFun AI Talk 出品社区：DataFun 大家好，今天分享的主题是：网易新闻客户端信息流的个性化推荐中，深度学习排序系统及模型，这也是我们团队在研发实践中的一些经验总结。首先看一下在信息流场景中，个性化推荐的产品形态。左边是网易新

用户画像数据质量管理

Tue, 15 Mar 2022 09:05:48 +0800

作者：超人赵，人工智能爱好者社区专栏作者知乎： https://www.zhihu.com/people/chao-ji-sai-ya-ren/posts 链接推送：如何构建用户画像—打用户行为标签用户画像——标签聚类大家好，今天和大家分享一下用户画像数据质量管理这块的内容。数据质量管理这项工作的重要性不言而喻，所谓“garbage in，garbage out”，基础数据的质量性如果无法

百度搜索稳定性问题分析的故事下

Tue, 15 Mar 2022 09:05:48 +0800

个性化搜索的介绍推荐和搜索的强强结合

Tue, 15 Mar 2022 09:05:47 +0800

作者：Pavel Kord ík 编译：ronghuaiyang 英文原文： https://medium.com/recombee-blog/introduction-to-personalized-search-2b70eb5fa5ae 导读: 一般来说，搜索是非个性化的，不过如果和推荐系统组合起来，也会有意想不到的效果。寻找正确的信息总是很困难的。在不久之前，文档还是存放在实际的物理仓库中，要找到相关的文档是非常困难的。当文档可以通过在线存储库访问时

台服务器不宕机微博广告系统全景运维大法

Tue, 15 Mar 2022 09:05:47 +0800

微博现在日活达到了 2 亿，微博广告是微博最重要且稳定的收入来源，没有之一，所以微博广告系统的稳定性是我们广告运维所有工作中的重中之重。作者：孙燕 51CTO技术栈微博广告的运维主要负责资产管理、服务稳定性维护、故障应急处理以及成本控制等多个责任。微博广告运维发展经历了如下阶段：从早期

实验室小师弟的新鲜春招算法面经阿里搜索微信微软等

Tue, 15 Mar 2022 09:05:47 +0800

作者：浅梦的学习笔记 “ 实验室小师弟新鲜出炉的面经，分别投递了腾讯(WXG)，美团，阿里(搜索推荐)，微软，头条和华为并取得 offer。分享给各位同学，祝大家求职面试顺利！收获满意的 offer” 腾讯 WXG，开发上来两道智力题： 25 匹马，5 条赛道，无计时工具，比出前三名最少多少场比赛牛

年月初地平线视觉工程师面经

Tue, 15 Mar 2022 09:05:47 +0800

问题1、简述下你对end to end检测器的理解？ 1、从faser-rcnn开始解释Blabla，原来通常用选择性搜索方法生成proposals不能和cnn一起训练，需要各自训练各自的部分。 2、此外原来的rcnn阶段的分类的svm进行的，也不能和整个网络一起训练问题2、线性回归和逻辑

百度搜索详解预训练模型在信息检索第一阶段的应用

Tue, 15 Mar 2022 09:05:47 +0800

百度技术稿导读：近年来，预训练模型在自然语言处理的不同任务中都取得了极大的成功，在信息检索中也进步不小。近期，我们邀请到了中科院的范意兴博士现场分享，内容聚焦预训练模型在信息检索中第一阶段检索（召回阶段）的应用，并对最近几年的相关研究进行系统的梳理和回顾。一、信息检索的发展过程 1

新秀的优雅解读

Tue, 15 Mar 2022 09:05:46 +0800

作为2018年自然语言处理领域的新秀，BERT做到了过去几年NLP重大进展的集大成，一出场就技惊四座碾压竞争对手，刷新了11项NLP测试的最高纪录，甚至超越了人类的表现，相信会是未来NLP研究和工业应用最主流的语言模型之一。本文尝试由浅入深，为各位看客带来优雅的BERT解读。 NL

一文读懂深度学习从神经元到

Tue, 15 Mar 2022 09:05:45 +0800

作者： \* 世恩、风引、调参一个神经网络结构通常包含输入层、隐藏层、输出层。输入层是我们的 features (特征)，输出层是我们的预测 (prediction)。神经网络的目的是拟合一个函数 f*：features -> prediction。在训练期间，通过减小 prediction 和实际 label 的差异的这种方式，来更改网络参数，

万字解读预训练模型最新综述

Tue, 15 Mar 2022 09:05:45 +0800

Datawhale学术作者：太子长琴，Datawhale意向成员如何在有限数据下训练出高效的深度学习模型？本文深入研究了预训练的前世今生，并带领读者一起回顾 PTM取得的最新突破，与未来的研究方向（文末附90分钟解读视频）。利用深度学习自动学习特征已经逐步取代了人工构建特征和统计方

携程用户画像在携程商旅的实践

Tue, 15 Mar 2022 09:05:45 +0800

作者简介大卫，携程资深算法工程师，关注计算广告和推荐系统。发表于： 2020年 7月16日一、用户画像用户画像这一概念最早源于交互设计领域，由交互设计之父Alan Cooper提出。其指出用户画像是真实用户的虚拟代表，是建立在真实数据之上的目标用户模型。具体而言，在互联网用户分析领域，

高频面试题参数更新训练扩充样本等

Tue, 15 Mar 2022 09:05:45 +0800

请介绍几种常用的参数更新方法。梯度下降：在一个方向上更新和调整模型的参数，来最小化损失函数。随机梯度下降（Stochastic gradient descent，SGD）对每个训练样本进行参数更新，每次执行都进行一次更新，且执行速度更快。为了避免SGD和标准梯度下降中存在的问题，一个改进方法为小批

构造对象四

Tue, 15 Mar 2022 09:05:44 +0800

系列文章：构造 IndexWriter 对象（三）构造 IndexWriter 对象（二）构造 IndexWriter 对象（一）本文承接构造 IndexWriter 对象（三），继续介绍调用 IndexWriter 的构造函数的流程。调用 IndexWriter 的构造函数的流程图图 1：根据不同的 OpenMode 执行对应的工作在上一篇文章中，我们介绍了执行 CREATE 模式下的工作，故继续介绍执行 APPEND 模式下的工作。执行 APPEND 模式下的工作的流程图图 2：

年月底字节跳动岗位抖音面试题分享

Tue, 15 Mar 2022 09:05:43 +0800

问题1：Bert模型中，根号dk的作用 QK进行点击之后，值之间的方差会较大，也就是大小差距会较大；如果直接通过Softmax操作，会导致大的更大，小的更小；进行缩放，会使参数更平滑，训练效果更好。问题2：Bert模型中多头的作用多次attention综合的结果至少能够起到增强模型

经验一个秒杀系统的设计思考

Tue, 15 Mar 2022 09:05:43 +0800

前言秒杀大家都不陌生。自2011年首次出现以来，无论是双十一购物还是 12306 抢票，秒杀场景已随处可见。简单来说，秒杀就是在同一时刻大量请求争抢购买同一商品并完成交易的过程。从架构视角来看，秒杀系统本质是一个高性能、高一致、高可用的三高系统。而打造并维护一个超大流量的秒杀系统需要进行哪些

百度信息流推荐系统智能交付解决方案探索

Tue, 15 Mar 2022 09:05:42 +0800

百度信息流业务QAs团队稿导读：信息流产品为了给大家提供千人千面的内容推荐，后端构建了一个庞大、复杂的推荐系统，整个系统包括上百个模块，上百个策略算法以及模型，并且这个系统以极高速的效率迭代，日均上线近百个需求；这样庞大的系统如何做到这样高速稳定的迭代呢? 这里离不开 PM、RD、Q

真实生产案例消息中间件如何处理消费失败的消息

Tue, 15 Mar 2022 09:05:42 +0800

爱钓鱼的桌子哥，资深架构师先后工作于滴滴、百度、字节跳动等国内一线互联网大厂，从事基础架构相关工作。带领团队设计与构建了大规模的分布式存储系统、分布式消息中间件、分布式数据库，对分布式架构设计、系统高可用体系构建、基础中间件架构都有丰富的经验。 1、消息中间件在生产系统中的使用下图

读书笔记小群效应

Tue, 15 Mar 2022 09:05:42 +0800

转载自 https://likun.pm/blog/3259.html 1、微信上每天会建立200W-300W个群（含3人及以上的对话），其中40%的群在7天内直接死掉，只有30%的能够活过一个月。 2、群活跃的用户比例往往只有10% 3、人们组建的大部分社群，都是被浪费的，迅速消亡的。 4、由事件驱动而组建的群生命周期很短，多为3-7天。由关系驱

模型评估指标和这是我看到的最透彻的讲解

Tue, 15 Mar 2022 09:05:40 +0800

AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵，因此，我们先从混淆矩阵开始谈起。混淆矩阵假设，我们有一个任务：给定一些患者的样本，构

原理和技术全面揭秘

Tue, 15 Mar 2022 09:05:23 +0800

作者：allanpan，腾讯 IEG 后台开发工程师两万字长文从虚拟内存、I/O 缓冲区，用户态&内核态以及 I/O 模式等等知识点全面而又详尽地剖析 Linux 系统的 I/O 底层原理，分析了 Linux 传统的 I/O 模式的弊端，进而引入 Linux Zero-copy 零拷贝技术的介绍和原理解析，将零拷贝技术和传统的 I/O 模式进行区分和对比，帮助读者理

浅谈搜索系统中理解和分析

Tue, 15 Mar 2022 09:05:23 +0800

作者： OPPO 算法工程师，搜索方向；北京科技大学本硕，统计学毕业，在学期间曾经发表 6 篇论文，其中 4 篇 SCI。CS 的陋室号主搜索是一个系统，大小不好说，但肯定是五脏俱全，我做的比较多的就是 query 理解和分析，这次给大家重点讨论一下这块内容。久违的懒人目录： query 理解的目的。例子。 query 理解的内容。 query 理

一图胜千言解读阿里的

Tue, 15 Mar 2022 09:05:22 +0800

文章作者：石塔西内容来源：小石的数据科学之旅@知乎专栏出品社区：DataFun 注：欢迎投稿「行知」专栏，让您的行业知识，为行业者知。本文是对阿里的论文《Image Matters: Visually modeling user behaviors using Advanced Model Server》 https://arxiv.org/abs/1711.06505 的解读。初读此文的标题和摘要，又有image，又有CTR，我以为是一种新型的CNN+M

深度学习在同城首页推荐排序上的实践

Tue, 15 Mar 2022 09:05:22 +0800

分享嘉宾: 王连臣，58同城TEG搜索推荐部高级算法工程师整理出品: 张劲， AICUG人工智能社区系列分享：深度语义模型 BERT 在 58 同城搜索的实践深度学习在 58 同城租房搜索排序中的实践导读：行为序列化已然成为用户兴趣建模的主流方式，本次议题主要介绍序列化建模在首页推荐场景的实践，提出了适配业

为结构化数据注入深度学习的洪荒之力

Tue, 15 Mar 2022 09:05:21 +0800

近年来深度学习在 CV、NLP 等非结构化领域展现出超强的统治力，突破最高水平的算法层出不穷。深度学习在结构化和非结构化领域表现出来的巨大反差已成为热门话题，自从以 XGBoost、LightGBM 为代表的高性能集成树模型训练框架的问世，深度学习在结构化领域就一直没有超越配角的地位。到

从到推荐排序模型到底哪家强

Tue, 15 Mar 2022 09:05:21 +0800

张俊林推荐系统几乎已经深入到人们生活的方方面面，其背后的算法也在不断地迭代更新。FM 和 FFM 模型是最近几年提出的模型，拥有在数据量较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性。新浪微博 AI Lab 资深算法专家张俊林，在 2018 年全球人工智能与机器学习大会 AICon 的演讲中，着重探讨了几种排

全文搜索引擎选还是

Tue, 15 Mar 2022 09:05:21 +0800

转载自大快搜索什么是全文搜索什么是全文搜索引擎？百度百科中的定义：全文搜索引擎是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找

技术改进的在文本分类中的应用

Tue, 15 Mar 2022 09:05:21 +0800

作者：杨森 01 导读语音是58同城用户之间的重要沟通媒介，58同城C端用户和B端用户之间可以通过电话（隐私通话）、网络音视频通话（微聊）建立连接，这些场景下产生的语音数据有巨大的挖掘价值。本次议题主要分享语义标签的文本挖掘技术，首先介绍使用主动学习技术解决冷启动时样本少的问题，然后对

携程实时智能检测平台实践

Tue, 15 Mar 2022 09:05:21 +0800

分享嘉宾：潘国庆@携程文章整理：王钊内容来源：Flink Forward 来源： DataFunTalk 导读：将实时计算和深度学习相结合、可解决某种特定的业务场景。本次将分享基于tensorflow和flink构建携程的实时智能检测平台。今天分享的主要内容分为四个部分： 1. Background 2. What is Prophet 3. AI and Real Time 4. Challenges and Future 每个公司都会有监控

机器学习模型评估与超参数调优详解

Tue, 15 Mar 2022 09:05:21 +0800

Datawhale干货作者：李祖贤深圳大学，Datawhale高校群成员当我们建立好了相关模型以后我们怎么评价我们建立的模型的好坏以及优化我们建立的模型呢？那本次分享的内容就是关于机器学习模型评估与超参数调优的。本次分享的内容包括：用管道简化工作流使用k折交叉验证评估模型性能使用

百度爱番番大规模异构数据的线索列表进化之路

Tue, 15 Mar 2022 09:05:21 +0800

导读：「以客户为中心，技术为产品服务」是爱番番线索管家团队一贯遵循的原则。技术架构规划首先应该围绕业务诉求展开，用合理的技术赋能产品，产品在不断的演进中又对技术提出更高的标准和要求。作为爱番番PV最高的页面，本文将详细介绍线索列表如何从快速交付的刀耕火种原始状态，逐步走向“高可用

知乎搜索文本相关性与知识蒸馏

Tue, 15 Mar 2022 09:05:21 +0800

分享嘉宾：申站知乎算法工程师编辑整理：许宴铭出品平台：DataFunTalk 导读：大家好，我是申站，知乎搜索团队的算法工程师。今天给大家分享下知乎搜索中文本相关性和知识蒸馏的工作实践，主要内容包括：知乎搜索文本相关性的演进 BERT在知乎搜索的应用和问题知识蒸馏及常见方案知乎搜索在

搜索与推荐中的深度学习匹配之搜索篇

Tue, 15 Mar 2022 09:05:20 +0800

作者：黄冠讲真，很久没看过能让我这么兴奋的资料了，这个tutorial https://www.comp.nus.edu.sg/~xiangnan/sigir18-deep.pdf 简直就像一个博士论文，能让我对这个方向有足够深入的了解。而我最近又恰好从事这个方向，恰好也是落地到搜索引擎和推荐系统中，刚看到这个tutorial的时候，简直开心得不要不要的。本篇blog的纲要： part-1 搜索和推荐

查询原理

Tue, 15 Mar 2022 09:05:20 +0800

本文转载自阿里云栖社区前言 Lucene 是一个基于 Java 的全文信息检索工具包，目前主流的搜索系统Elasticsearch和solr都是基于lucene的索引和搜索能力进行。想要理解搜索系统的实现原理，就需要深入lucene这一层，看看lucene是如何存储需要检索的数据，以及如何完成高效的数据

机器学习中的隐私保护

Tue, 15 Mar 2022 09:05:19 +0800

分享嘉宾：郭夏玮第四范式资深研究员编辑整理：蒋瑞尧内容来源：第四范式 | 先荐出品平台：DataFun 导读：近年来，随着 GDPR 通用数据保护条例出台以及一些互联网公司数据隐私泄漏等事件的发生，数据隐私的保护问题在行业应用中备受关注。与数据密切相关的机器学习算法的安全性成为一个巨大挑战。本文

查询性能调优实践亿级数据查询毫秒级返回

Tue, 15 Mar 2022 09:05:19 +0800

1、概述本文简要描述ES查询性能的优化过程。忽略很多细节，其实整个过程并不顺利，因为并没有一个明确的指引，教你怎么做就能让性能大幅提升。很多时候不同业务有不同的场景，还是需要自己摸索一番。比如用filter过滤取代query查询，明明官方文档说filter速度更快。但应用到我们业

深入互联网广告中的出价模式上中下完整版

Tue, 15 Mar 2022 09:05:19 +0800

来源：申探社下一篇深入互联网广告中的出价模式（补充篇）一导读互联网广告中的出价模式发展经历了许多变迁。从一开始的CPM，到CPC出价模式，随着Facebook的oCPX (如oCPM/oCPC) 成为了网红，之后的双出价，激活且付费，Facebook的AEO及VO等等新一代的出价模式

萨摩耶云深度迁移学习技术在金融风控中的应用

Tue, 15 Mar 2022 09:05:19 +0800

分享嘉宾：朱晓海萨摩耶云编辑整理：Hoh Xil 内容来源：作者授权发布出品平台：DataFunTalk 导读：迁移学习利用数据、模型之间的相似性，在不同领域之间进行知识迁移。深度学习技术与迁移学习思想的融合，又极大扩展了传统迁移学习技术的能力边界，给包括金融风控在内的各个场景带来了更多的

贝壳找房商业化算法中台架构实践

Tue, 15 Mar 2022 09:05:19 +0800

分享嘉宾：彭克炼贝壳资深工程师编辑整理：马瑶出品平台：DataFunTalk 导读：随着贝壳流量的日渐增长，贝壳商业化细分场景越来越丰富，公司对业务迭代和效果优化的效率有了更高的要求，贝壳商业化策略算法中台的架构也在不断的进行调整和升级。本文将围绕贝壳商业化策略算法中台的架构演进过

高德打车稳定性建设

Tue, 15 Mar 2022 09:05:19 +0800

简介：高德打车是高德地图首创的“聚合打车”模式，一键全网叫车，轻松全网比价，让用户打车更快、更省；推出“好的出租”计划，帮助传统巡游出租车数字化升级，帮助出租车司机增加收入。作者 | 亮言来源 | 阿里技术公众号一业务简介高德打车是高德地图首创的“聚合打车”模式，一键全网叫车，轻松全网比

中文用什么中文自然语言处理的完整机器处理流程

Tue, 15 Mar 2022 09:05:18 +0800

虽然同为人类自然语言，但是由于英文和中文其语言自身的特点，导致中文和英文分词是有差别的。很多读者在后台留言，提到了结巴分词，并要求我们出一些关于中文自然语言处理的内容。所以本禅师就找到了这方面很有研究的宿永杰。宿永杰现就职于某知名互联网公司担任数据挖掘工程师，CSDN 博客专家，P

在的探索与实践

Tue, 15 Mar 2022 09:05:18 +0800

分享嘉宾：江云胜@Hulu 编辑整理：许晏铭出品平台：DataFunTalk 导读： Hulu是美国领先的互联网视频流媒体平台，拥有大量的电影、电视剧等视频资源，对这些内容的理解和表示是Hulu的一个重要研究方向。Content Embedding技术将内容表示为向量，以利于后续算法、模

在腾讯金融大数据场景中的应用

Tue, 15 Mar 2022 09:05:17 +0800

分享嘉宾：邓威腾讯高级工程师编辑整理：汪宸妃武汉大学出品平台：DataFunTalk 导读：在腾讯金融场景，我们每天都会产生大量的数据，为了提升分析的交互性，让决策更加敏捷，我们引入了Impala来解决我们的分析需求。所以，本文将和大家分享Impala在腾讯金融大数据场景中的应用架

系统架构系列一如何用公式定义该概念

Tue, 15 Mar 2022 09:05:17 +0800

作者：高福来系统架构概念非常大，谈论时显得虚无飘渺，它不像一个具体的技术点能很好地衡量掌握了没有。系统架构的定义有很多，问不同的人得到的回答也不一样，这也越发让人迷惑：到底什么是系统架构。本篇文章没有太高深的理论，从推导系统架构的公式开始，层层铺进、环环相扣，揭开系统架构的神秘面

个性化海报在爱奇艺视频推荐场景中的实践

Tue, 15 Mar 2022 09:05:16 +0800

爱奇艺技术产品团队导语在信息过载的时代中，如何把恰当的内容恰时地呈现给用户，并且让用户快速、准确地看到自己喜欢或需要的内容，对一个视频平台来说是一个非常重要且具挑战的事情。因此，爱奇艺技术产品团队设计并实现了一套个性化海报生产与分发系统，本文将从整体框架、海报生产、海报分发、业务

机器学习模型的可解释性

Tue, 15 Mar 2022 09:05:16 +0800

文章作者：Leoc 腾讯编辑整理：zizhewang ( 汪子哲 ) 内容来源：腾讯技术工程出品平台：DataFunTalk 导读：模型可解释性方面的研究，在近两年的科研会议上成为关注热点，因为大家不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于模型和特征的优化，更

阿里巴巴达摩院成立一年都做了些什么

Tue, 15 Mar 2022 09:05:16 +0800

2017 年 10 月 11 日，阿里巴巴 CTO 张建锋在杭州云栖大会上正式宣布阿里成立达摩院，一年过去了，达摩院进展到了什么程度？在今天开幕的云栖大会上，张建锋为我们做了一次工作汇报。 1从 NASA 计划到达摩院成立 2017 年 3 月 9 日，阿里巴巴在杭州总部召开首届技术大会，动员全球两万多名科学家和工程师投身新技术战略。会

万字长文解读电商搜索如何让你买得又快又好

Tue, 15 Mar 2022 09:05:15 +0800

文章作者：姚凯飞 Club Factory 推荐算法负责人内容来源：作者授权发布出品社区：DataFun 注：欢迎转载，转载请注明出处。一. 概述一个产品的搜索功能，是用户快速触达所需信息的通道，起到了引导用户走向的重要作用；优秀的产品必然有成熟、体验良好的搜索功能。国内几个大型电商公司基本每日都有较大的流

搜狐新闻推荐算法原理呈现给你的都是你所关心的

Tue, 15 Mar 2022 09:05:15 +0800

导读在当前这个移动互联网时代，各种信息内容爆炸，面对海量数据，用户希望在有限的时间和空间内，找到自己感兴趣的内容，这就是推荐需要解决的问题。接下来主要讲解新闻推荐的算法原理。 01.新闻推荐算法架构新闻算法的核心主要分为两个阶段：召回阶段（retrieval）和排序阶段（ranki

医疗健康领域的短文本解析探索三文本纠错

Tue, 15 Mar 2022 09:05:14 +0800

医疗健康领域的短文本解析探索（二）医疗健康领域的短文本解析探索（一）谈谈医疗健康领域的 Phrase Mining 前言最近在优化 dxy 帖子召回问题，我们之前在医疗健康领域的短文本解析探索（一）提到了 phrase mining 抽取粗粒度名词，在医疗健康领域的短文本解析探索（二）提到实体链接相关方案，但是用户在输入搜索内容时，很可能

搜你所想之用户搜索意图识别

Tue, 15 Mar 2022 09:05:14 +0800

本文是“达观数据技术主题月“5 月 12 日大数据杂谈社群分享内容整理。大家晚上好，很高兴在这个美好的周末的晚上来到这里给大家做分享~ 也非常感谢 infoq 平台提供的这次机会，分享我们达观数据在垂直搜索引擎，尤其在用户查询意图分析挖掘方面的一些经验。首先自我介绍一下，我是达观数据的联合创始人 & 技术

消息中间件消息发送

Tue, 15 Mar 2022 09:05:14 +0800

大道至简，消息队列可以简单概括为：“一发一存一收”，在这三个过程中消息发送最为简单，也比较容易入手，适合初中阶童鞋作为MQ研究和学习的切入点。因此，本篇主要从一条消息发送为切入点，详细阐述在RocketMQ这款分布式消息队列中发送一条普通消息的大致流程和细节。在阅读本篇之前希望读

综述基于知识图谱的推荐系统综述

Tue, 15 Mar 2022 09:05:14 +0800

基于知识图谱的推荐系统综述作者信息 Elesdspline 目前从事NLP与知识图谱相关工作。导语本文是2020年针对知识图谱作为辅助信息用于推荐系统的一篇综述。知识图谱对于推荐系统不仅能够进行更精确的个性化推荐，而且对推荐也是具有可解释性的，有迹可循。本文汇总了近些年来知识图谱辅助推荐系统的一些研究工

贝壳找房复杂订阅条件下如何实时准确的向用户推送新上房源

Tue, 15 Mar 2022 09:05:14 +0800

卫海波@贝壳找房贝壳产品技术贝壳找房APP给用户提供了海量房源的搜索查询功能，但是网站存量房源并不能完全满足用户的找房需求，用户希望可以及时获取新上房源的实时提醒。目前贝壳找房APP提供的房源新上实时推送有两个维度：基于关注小区的房源新上和基于搜索订阅条件的房源新上。基于关注小区

事务与分布式事务中一些关键问题

Tue, 15 Mar 2022 09:05:13 +0800

事务特性？ • 原子性：事务是最小的执行单位，不允许分割。事务的原子性确保动作要么全部完成，要么完全不起作用； • 一致性：执行事务前后，数据保持一致； • 隔离性：并发访问数据库时，一个用户的事物不被其他事物所干扰，各并发事务之间数据库是独立的； • 持久性: 一个事务被提交之后。它对数据库中数

年月日算法岗面试题道

Tue, 15 Mar 2022 09:05:13 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！问题1：python在内存上做了哪些优化? python通过内存池来减少内存碎片化，提高执行效率。主要通过引用计数来完成垃圾回收，通过标记-清除解决容器对象循环引用造成的问题，

超参数搜索不够高效这几大策略了解一下

Tue, 15 Mar 2022 09:05:13 +0800

作者：Alessio Gozzoli 机器之心编译参与：朱乾树、张倩整天 babysitting 深度学习模型是不是很心累？这篇文章或许能帮到你。本文讨论了高效搜索深度学习模型最佳超参数集的动机和策略。作者在 FloydHub 上演示了如何完成这项工作以及研究的导向。读完这篇文章后，你的数据科学工具库将添加一些强大的新工具，帮助你为自己

不要犯战略性的失误如何合理制定推荐系统的优化目标

Tue, 15 Mar 2022 09:05:12 +0800

这里是[「王喆的机器学习笔记」]的第十九篇文章，这篇文章要谈的是推荐系统的优化目标的问题。作为一名算法工程师来讲，最关心的往往是模型的创新、技术的演进。笔者在最开始工作的几年，也经历过这样的阶段，执着的追求于应用最新的技术，追踪最新的paper，更新最新的机器学习工具。这样持续学

去哪儿网倒排索引原理

Tue, 15 Mar 2022 09:05:12 +0800

作者：高沛， 2018年7月加入去哪儿网，目前负责酒店搜索、门票搜索、大搜等搜索相关业务，曾参与基于Lucene的搜索召回服务搭建，个人对搜索引擎、分布式技术比较感兴趣，喜欢探究技术内幕、深入了解底层原理。 1 前言 Lucene 作为 Apache 开源的一款搜索工具，一直以来是实现搜索功能的神兵利器，现今火热

因果推断在阿里飞猪广告算法中的实践

Tue, 15 Mar 2022 09:05:12 +0800

分享嘉宾：观宙阿里飞猪算法专家编辑整理：王吉东出品平台：DataFunTalk 导读：在飞猪搜索CPC广告业务中，广告策略不仅需要考虑CPC消耗和广告主ROI，平台整体营收 ( 即CPC消耗+自然交易抽佣 ) 也是不能忽略的优化目标。传统上基于广告pCTR、pCVR、bid等因子的策略算法

微博广告分层实验平台架构实践

Tue, 15 Mar 2022 09:05:12 +0800

有赞算法平台之模型部署演进

Tue, 15 Mar 2022 09:05:12 +0800

稿｜三余一、前言模型部署作为算法工程落地的最后一公里，其天然对算法团队而言具有较高的复杂性，不仅要考虑如何高效地部署、管理不同框架模型，还需要考虑分布式服务的负载均衡、故障容错、可扩展性、资源隔离、限流、核心指标监控等问题。这些都极大的依赖于工程团队的能力，不是算法团队的强项，如

模型在贝壳对话系统中的应用

Tue, 15 Mar 2022 09:05:12 +0800

对话系统是一个庞大的系统，涉及的问题很多，本文主要讲解隐马尔可夫模型（Hidden Markov Model,HMM）在对话管理（Dialog Management,DM）中的应用。 DM 在对话系统中的作用是维护对话状态并根据当前对话状态选择下一步合适的动作。在贝壳找房 APP 中，客户和经纪人的对话过程可

资源发布最新机器学习人工智能开源数据集

Tue, 15 Mar 2022 09:05:12 +0800

近期，skymind.ai 发布了一份非常全面的开源数据集。内容包括生物识别、自然图像以及深度学习图像等数据集，现机器之心将其整理如下：（内附链接哦~）最近新增数据集开源生物识别数据： http://openbiometrics.org/ Google Audioset：扩展了 632 个音频分类样本，并从 YouTube 视频中提取了 2，084，320 个人类标记的 10 秒

零基础入门数据挖掘一文学习模型融合从加权融合到

Tue, 15 Mar 2022 09:05:12 +0800

作者：田杨军，Datawhale 优秀学习者系列文章：零基础入门数据挖掘——数据分析实战零基础入门数据挖掘——特征工程实战零基础入门数据挖掘——建模调参摘要：对于数据挖掘项目，本文将学习如何进行模型融合？常见的模型融合的方法有哪些？针对不同的问题类型，应该选择哪种方法呢？模型融合：

项目经理在家远程办公如何提高工作效率

Tue, 15 Mar 2022 09:05:12 +0800

为了减少人群聚集、防止交叉感染，很多企业延迟复工并响应国家“停工不停业、停课不停学“的号召，通过在家办公的方式陆续复工。在家，是帮助疫情平复；办公，是维护经济稳定。在特殊时期，远程办公成为企业保障日常经营的首选方式。今天与大家分享一下，在家办公，怎么高效完成远程工作。在家办公最大

源码系列查询原理上

Tue, 15 Mar 2022 09:05:11 +0800

第一小节 Lucene 常见查询的使用从本篇文章开始介绍 Lucene 查询阶段的内容，由于 Lucene 提供了几十种不同方式的查询，但其核心的查询逻辑是一致的，该系列的文章通过 Query 的其中的一个子类 BooleanQuery，同时也是作者在实际业务中最常使用的，来介绍 Lucene 的查询原理。查询方式下文中先介绍几种常用的查询方式的简

停班不停工远程办公助力击穿疫情下企业困局

Tue, 15 Mar 2022 09:05:10 +0800

2020年的开局太不寻常，一场新冠疫情闹得大家都过不好年，这个春节假期对于我们来说可能是史上最长春节。除了待在家里不能出门外，对我们生活并没有其他的影响。但疫情对各大企业的影响可不是那么简单了。因疫情原因，很多企业都延长了假期，同时也组织团队成员们开启了远程办公的模式。没办法，

搜索中的扩展技术

Tue, 15 Mar 2022 09:05:10 +0800

丁香园大数据 NLP 前言最近，我司各条业务线对于搜索优化的需求日益增多，NLP 组也将对搜索业务给予更多的工作支持。后续分享，我们会关注过往的知识图谱、短本文理解等相关技术如何落地到搜索业务中。影响搜索结果的因素有很多，包括对短文本的正确理解（实体词识别、纠错、意图分析等）、长文本良好结

特征工程时序特征挖掘的奇技淫巧

Tue, 15 Mar 2022 09:05:08 +0800

最近在做时间序列的项目，所以总结一下构造的特征的方法和一些经验。先放上大纲： 1.时间特征 1.1 连续时间持续时间：浏览时长；间隔时间：购买/点击距今时长；距离假期的前后时长（节假日前和节假日后可能会出现明显的数据波动）； 1.2 离散时间年、季度、季节、月、星期、日、时等；基本特征，如果用 Xgboost 模

构造对象六

Tue, 15 Mar 2022 09:05:04 +0800

系列文章：构造 IndexWriter 对象（五）构造 IndexWriter 对象（四）构造 IndexWriter 对象（三）构造 IndexWriter 对象（二）构造 IndexWriter 对象（一）本文承接构造 IndexWriter 对象（五），继续介绍调用 IndexWriter 的构造函数的流程。调用 IndexWriter 的构造函数的流程图图 1：生成对象 BufferedUpdatesStream 图 2：介绍该对象会涉及很多在文档提交之 flush 系列文章中的知识点，故如果没有看过或者不熟悉 flush 流程的

三推荐系统的必备要素框架

Tue, 15 Mar 2022 09:04:42 +0800

原文：姚凯飞「无法衡量就无法优化」，对于互联网产品而言，不仅是推荐系统，整个app系统的更新迭代必然需要建立一套「度量衡」，来「把控整个流程优化的方向」。而abtest系统就是一个很好的进行变量控制和优化方向选取的「工具」，「循环:衡量-发现-迭代-验证」。所谓「精细化迭代」是一

分布式锁用还是

Tue, 15 Mar 2022 09:04:42 +0800

为什么用分布式锁？系统 A 是一个电商系统，目前是一台机器部署，系统中有一个用户下订单的接口，但是用户下订单之前一定要去检查一下库存，确保库存足够了才会给用户下单。由于系统有一定的并发，所以会预先将商品的库存保存在 Redis 中，用户下单的时候会更新 Redis 的库存。此时系统架构如下：但是这样一来会产

同城多目标推荐场景下的深度学习实践

Tue, 15 Mar 2022 09:04:42 +0800

分享嘉宾：罗景 58同城高级架构师编辑整理：陈维美出品平台：DataFunTalk 导读： 58 同城作为一个 UV 千万量级的APP，覆盖了租房，招聘，二手房，二手车，本地生活，新房，新车等多个业务。在首页这个复杂的业务推荐场景下，我们面临着多业务融合挑战。如何利用从双通道到多通道到多场景适配

大火却不懂读这一篇就够了

Tue, 15 Mar 2022 09:04:42 +0800

大数据文摘与百度NLP联合出品编译：张驰、毅航、Conrad、龙心尘编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得STOA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器

字节跳动自研万亿级图数据库图计算实践

Tue, 15 Mar 2022 09:04:42 +0800

本文选自“字节跳动基础架构实践”系列文章。 “字节跳动基础架构实践”系列文章是由字节跳动基础架构部门各技术团队及专家倾力打造的技术干货内容，和大家分享团队在基础架构发展和演进过程中的实践经验与教训，与各位技术同学一起交流成长。 2019 年，Gartner 将图列为 2019 年十大数据和分析趋势之一，

提问的智慧中文版翻译

Tue, 15 Mar 2022 09:04:42 +0800

提问的智慧 How To Ask Questions The Smart Way Copyright © 2001,2006,2014 Eric S. Raymond, Rick Moen 本指南英文版版权为 Eric S. Raymond, Rick Moen 所有。原文网址： http://www.catb.org/~esr/faqs/smart-questions.html Copyleft 2001 by D.H.Grand(nOBODY/Ginux), 2010 by Gasolin, 2015 by Ryan Wu 本中文指南是基于原文 3.10 版以及 2010 年由 Gasolin 所翻译版本的最新翻译；声明许多项目在他们的使用协助/说明网页中链接了本指南，这么做很好，我们也鼓励大家都这么做。但如果你是负责管理这个项

源码系列索引文件的生成七之

Tue, 15 Mar 2022 09:04:42 +0800

本文承接索引文件的生成（六）继续介绍剩余的内容，下面先给出生成索引文件。tim、.tip 的流程图。生成索引文件。tim、.tip 的流程图图 1：统计每一个 term 的信息图 2：执行到该流程，我们需要将当前 term 的一些信息（图 1 中的 IntBlockTermState，见文章索引文件的生成（五））

腾讯实时计算平台优化实践

Tue, 15 Mar 2022 09:04:42 +0800

分享：杜立腾讯高级工程师整理：戴季国校对：苗文婷来源：Flink中文社区摘要：本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化，内容包括： Flink SQL 现状窗口功能的扩展回撤流的优化未来的规划 01 背景及现状 1. 三种模式的分析 Flink 作业目前有三种创建方式：JAR 模式、画布模式

阿里妈妈定向广告智能投放技术体系

Tue, 15 Mar 2022 09:04:42 +0800

分享嘉宾：靳骏奇博士阿里巴巴算法专家编辑整理：李春雷出品平台：DataFunTalk 导读：随着经济数字化地快速发展，互联网广告在赋能商家营销、帮助消费者高效了解商品和服务、以及商业平台的变现等方面扮演着越来越重要的角色。互联网广告生态中，广告主通过付费在媒体上对目标用户进行营销信

机器学习在微博系列广告中的应用

Tue, 15 Mar 2022 09:04:41 +0800

作者：张克丰新浪微博文章整理：崔媛媛内容来源：DataFunTalk 出品平台：DataFun 导读： O 系列广告是当前信息流广告的主流投放方式，目标是通过对广告主 ROI 进行优化，提高平台整体收益。其核心是通过技术手段智能化的解决广告主对流量的获取。微博 O 系列广告的策略模型我们将其分为智能

互联网智能广告系统简易流程与架构

Tue, 15 Mar 2022 09:04:40 +0800

很多朋友估计没有做过这一块，争取最简洁的语言描述清楚。一、业务简述从业务上看整个智能广告系统，主要分为： 1）业务端：广告主的广告后台 2）展现端：用户实际访问的页面业务端，广告主主要有两类行为： 1）广告设置行为：例如设置投放计划，设置地域，类别，关键字，竞价等 2）效果查看行为：例如

干货如何将知识图谱引入推荐系统

Tue, 15 Mar 2022 09:04:40 +0800

分享嘉宾：王鸿伟斯坦福大学博士后编辑整理：屈垠岑出品平台：DataFunTalk 导读：在信息爆炸的互联网时代，推荐系统可以理解用户的个性化偏好和需求，帮助用户筛选出自己感兴趣的产品和服务。然而，传统的基于协同过滤的推荐系统无法解决数据稀疏和冷启动问题。知识图谱是一种表示实体之间的

月日月日腾讯算法实习面试题

Tue, 15 Mar 2022 09:04:40 +0800

添加微信：julyedufu77，回复 “ 7 ”，领取最新升级版《名企AI面试100题》电子书！！本文目录：问题8：介绍下bert位置编码和transformer的区别，哪个好，为什么？问题9：sigmod函数的缺点，为什么会产生梯度消失？不是以0为中心的话，为什么会收敛慢。问题10

贝壳网两种简单有效的标签选择方法

Tue, 15 Mar 2022 09:04:40 +0800

不论是通过搜索还是推荐，用户看到了很多我们用各种逻辑和理由展示给他的物品，他只从中消费了一部分物品。那么问题来了，到底是那些特性吸引了用户消费呢？一种简单粗暴的办法是直接把用户产生过行为的物品标签累积在一起。但是这里要说的是另一种思路。我们把用户对物品的行为，消费或者没有消费看成

上重读深度学习推荐系统论文字字珠玑惊为神文

Tue, 15 Mar 2022 09:04:39 +0800

转载自知乎专栏王喆的机器学习笔记这周我们一起讨论一下Youtube的深度推荐系统论文《 Deep Neural Networks for YouTube Recommendations》，这是2016年的论文，按照今天的标准来看，已经没有什么新颖的地方，我也是两年前读过这篇文章之后就放下了，但前几天重读这篇文章，竟让发现了诸多亮点，几乎

回顾爱奇艺搜索排序模型迭代之路

Tue, 15 Mar 2022 09:04:39 +0800

分享嘉宾：陈英傑** 爱奇艺研究员** 编辑整理：孙锴内容来源： AI先行者大会《爱奇艺搜索排序模型迭代之路》出品社区： DataFun 注：欢迎转载，转载请注明出处。一、摘要本次分享内容为爱奇艺在做视频搜索时，遇到的真实案例和具体问题；以及面对这些问题的时候，我们的解决方案。这次分享的ppt针对一线

爱奇艺多语言台词机器翻译技术实践

Tue, 15 Mar 2022 09:04:39 +0800

爱奇艺智能搜索团队 7月3日下午，爱奇艺技术产品团队举办了**“i技术会”第16期** 技术沙龙，本次技术会的主题是“ NLP与搜索”。我们邀请到了来自字节跳动、去哪儿和腾讯的技术专家，与爱奇艺技术产品团队共同分享与探讨NLP与搜索结合的魔力。其中，来自爱奇艺的技术专家张轩玮为大家带来

详解的谱归一化

Tue, 15 Mar 2022 09:04:39 +0800

作者丨尹相楠学校丨里昂中央理工博士在读研究方向丨人脸识别、对抗生成网络本文主要介绍谱归一化这项技术，详细论文参考 Spectral Normalization for Generative Adversarial Networks。本文主要对论文中的基础知识和遗漏的细节做出补充，以便于更好地理解谱归一化。部分内容参考并整合了如下两篇博客。 http://kaiz.xyz/blog/posts/spectral-norm/ https://christiancosgrove.com/blog/2018/01/04/spectral-normalization-explained.html Lipschitz Continuity 在 GAN 中，假设我们有一个判

阿里飞猪个性化推荐主题与交互式推荐技术实践

Tue, 15 Mar 2022 09:04:39 +0800

分享嘉宾：羲农、里熙 @ 阿里飞猪编辑整理：刘金鑫出品平台：DataFunTalk、AI启蒙者导读：在飞猪推荐场景中，除了对单一商品的推荐外，还包括对以主题形式组织的商品集合的推荐。飞猪旅行主题是一款兼具个性化和发现性心智的产品，在信息流中不但承担着精确匹配用户需求的作用，还扮演着挖

性能优化关于缓存的一些思考

Tue, 15 Mar 2022 09:04:38 +0800

烛衡阿里云开发者利用缓存做性能优化的案例非常多，从基础的操作系统到数据库、分布式缓存、本地缓存等。它们表现形式各异，却有着共同的朴素的本质：弥补CPU的高算力和IO的慢读写之间巨大的鸿沟。和架构选型类似，每引入一个组件，都会导致复杂度的上升。以缓存为例，它带来性能提升的同时，也带

知识图谱基本概念工程落地常见问题

Tue, 15 Mar 2022 09:04:38 +0800

“ 本文介绍了入门知识图谱需掌握的若干基本概念并对知识图谱工程落地面临的常见问题给出了解答**”** 作者：cavities 来源： https://zhuanlan.zhihu.com/p/62824358 编辑：happyGirl 简要说明一下，搞了知识图谱架构一年半，快两年的一些小心得，后续不定期更新其他内容；写的时候发现要描述和声明的东西不要太多，偷懒写

老程序员如何避免沦落出局

Tue, 15 Mar 2022 09:04:38 +0800

对于程序员来说，身处更新换代如此快速的技术领域，如何实现个人利益最大化并在职场中走得远爬到高是个很重要的命题。作者｜岳京杭责编｜郭芮农耕社会，妻子织布，丈夫种田，一个家庭，只需少许外部依赖，就能生存生活下去。在社会生产高度专业化的今天，人们的衣食住行等活动，处处依赖外部协作网络，

同城刘德华标签推荐与猜你想找算法实践

Tue, 15 Mar 2022 09:03:45 +0800

分享嘉宾：刘德华博士 58同城架构师编辑整理：吴祺尧出品平台：DataFunTalk 导读： 58本地生活搜索推荐场景具有同质化、人群结构复杂、决策周期复杂，以及多行业、多场景、多种类、多目标的特点。针对以上特点，58本地服务提出了针对性的解决方案。本次分享内容为58本地生活搜推算法的

做机器学习项目的

Tue, 15 Mar 2022 09:03:24 +0800

作者：datarevenue 编译：ronghuaiyang 来源： AI公园这个checklist能帮助你迈出做一个成功的机器学习项目第一步。避免混淆，用这个简单的清单来计划你的 AI 项目。对许多人来说，机器学习仍然是一项新技术，这可能会让它难以管理。项目经理通常不知道如何与数据科学家谈

浅谈国际信息流推荐

Tue, 15 Mar 2022 09:03:24 +0800

分享嘉宾：杰雄阿里巴巴编辑整理：Hoh Xil 内容来源：大鱼技术沙龙出品社区：DataFun 导读：本次分享的主题是浅谈UC国际信息流推荐。会跟大家探讨下发链路中常见的一些问题，主要包括两个场景：列表页排序，包括：目标确定、多目标任务以及混排组合优化。内容冷启问题，如果不做内容理解，能否

阿里浅谈系统实现层面稳定性保障

Tue, 15 Mar 2022 09:03:24 +0800

高丙寅淘系技术导读上海外滩建筑群包括古典主义风格的亚细亚大楼（1915年），英国古典式的上海总会大楼（1911年），欧洲古典折中主义的海关大楼（1925年），仿意大利文艺复兴风格的汇中饭店大楼（1906年）等，这些建筑历经百年风雨，仍巍然屹立固若堡垒，保持其原本风貌，让今人得以深

阿里飞猪个性化推荐召回篇

Tue, 15 Mar 2022 09:03:24 +0800

分享嘉宾：斯辰、楼溪阿里飞猪编辑整理：刘一全出品平台：DataFunTalk 导读：召回几乎是所有推荐系统的基础模块，对应到电商的推荐中，它的作用是从海量的商品池中，筛选出一部分用户可能感兴趣的商品作为上层排序系统的候选集。因此，可以说召回效果的好坏直接决定了推荐效果的上界。常见的

在京东搜索实时中的应用实践

Tue, 15 Mar 2022 09:03:22 +0800

1、前言本文讨论了京东搜索在实时流量数据分析方面，利用Apache Flink和Apache Doris进行的探索和实践。流式计算在近些年的热度与日俱增，从Google Dataflow论文的发表，到Apache Flink计算引擎逐渐站到舞台中央，再到Apache Druid等实时分析型

火灾检测烟雾检测古文预训练语言模型等开源项目分享

Tue, 15 Mar 2022 09:03:22 +0800

项目一：FinBERT基于 BERT 架构的金融领域预训练语言模型项目地址： https://github.com/valuesimplex/FinBERT 为了促进自然语言处理技术在金融科技领域的应用和发展，熵简科技 AI Lab 近期开源了基于 BERT 架构的金融领域预训练语言模型 FinBERT 1.0。据我们所知，这是国内首个在金融领域大规模语料上训练的开源中文BERT预训练模型。相对于Goog

爱奇艺效果广告的个性化探索与实践

Tue, 15 Mar 2022 09:03:22 +0800

文章作者：王晖爱奇艺资深工程师编辑整理：王浩内容来源：爱奇艺技术沙龙出品社区：DataFun 导读：随着大数据和人工智能的技术进步，数字营销行业也在不断变化。得益于雄厚技术实力，爱奇艺效果广告得到蓬勃发展，实现了海量触达、定向精准、效果显著的广告投放，为广告主提供跨平台、多终端的网

用户画像之标签权重算法

Tue, 15 Mar 2022 09:03:22 +0800

作者：超人赵，人工智能爱好者社区专栏作者知乎： https://www.zhihu.com/people/chao-ji-sai-ya-ren/posts 用户画像——标签聚类如何构建用户画像—打用户行为标签用户画像——数据质量管理感谢大家长期以来对文章的关注，最近工作比较忙，好久没更新了。接下来的几篇文章想和大家分享下关于用户画像的一些东西。今天我们先从用户画像的标签权重开始聊起吧。

同城基于构建实时数仓实践

Tue, 15 Mar 2022 09:03:21 +0800

导读随着公司用户增长业务快速发展，陆续孵化出部落、同镇、C 端会员、游戏等非常多的业务板块。与此同时产品及运营对实时数据需求逐渐增多，帮助他们更快的做出决策，更好的进行产品迭代，实时数仓的建设变得越发重要起来。本文主要介绍用户增长业务基于 Flink 构建实时数仓的实践之路。实时数仓1.0介绍

搜狐新闻推荐系统的预估模型

Tue, 15 Mar 2022 09:03:20 +0800

出自搜狐技术产品公众号一简介在推荐系统的排序环节中，我们经常使用CTR(Click-Through Rate)预估的方式来构建排序模型。在业界的实际应用上，如何通过大规模数据提取出有效特征对用户行为建模、泛化一直是研究人员的工作方向，由于在推荐系统的实际应用中，数据通常非常稀疏，如

谷歌阿里微软等大深度学习模型最全演化图谱推荐广告搜索领域

Tue, 15 Mar 2022 09:03:20 +0800

今天我们一起回顾一下近3年来的所有主流深度学习CTR模型，也是我工作之余的知识总结，希望能帮大家梳理推荐系统、计算广告领域在深度学习方面的前沿进展。随着微软的Deep Crossing，Google的Wide&Deep，以及FNN，PNN等一大批优秀的深度学习CTR预估模型

倒排索引原理探秘

Tue, 15 Mar 2022 09:02:59 +0800

上篇文章 http://www.6aiq.com/article/1564413040138 详细介绍了Lucene索引表的实现，内容涉及关于Terms Index以及Term Dictionary的剖析。此文将继续剖析Lucene倒排索引实现的另一部分核心内容：倒排表（Postings）。Lucene的官方文档关于该部分内容的描述非常丰富，所以学习起来也相对轻松。

网易云音乐基于的实时数仓建设实践

Tue, 15 Mar 2022 09:02:59 +0800

简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战：背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在

面向个性化推荐系统的深度学习推荐模型

Tue, 15 Mar 2022 09:02:59 +0800

原文地址： https://zhuanlan.zhihu.com/p/72607641 导读：今天分享一下 facebook 新发的深度学习推荐系统的论文： Deep Learning Recommendation Model for Personalization and Recommendation Systems https://arxiv.org/pdf/1906.00091.pdf 这篇文章概述了当前推荐系统实现的主要思路，提出了一种通用的模型结构 DLRM，与其他常见的 paper 不同，该篇有着浓浓的工业界风格，不仅和其他模型进行效果对比，还讲述了常见的特征如何处理，内在思维逻辑如何，在

实战结合构建端到端的处理程序

Tue, 15 Mar 2022 09:02:36 +0800

原文地址： https://my.oschina.net/u/992559/blog/1819948 作者： moyiguke 前言在消息处理过程中，除了Flink程序本身的逻辑（operator），我们还需要和外部系统进行交互，例如本地磁盘文件，HDFS，Kafka，Mysql等。虽然Flink本身支持Exactly-Once语义，但是对于完整的数据处理系统来说，最终呈现出来的语义和

淘系技术单元测试实践篇框架

Tue, 15 Mar 2022 09:02:35 +0800

淘系的技术发展已经有相当一段历史了，在历史的长河中总能沉淀出很多复杂的巨型项目，包罗多个业务，而且往往服务依赖比较复杂；再加上一些特殊环境变量的设置，想要在本地运行、debug 自测这种大型应用的难度越来越高；尤其是对环境不太熟悉的新人而言成本会更高。这类应用的单元测试不能像微服务

深入剖析公平锁与非公平锁源码实现

Tue, 15 Mar 2022 09:02:35 +0800

原文地址： https://blog.csdn.net/lsgqjh/article/details/63685058 ReentrantLock是JUC包中重要的并发工具之一，支持中断和超时、还支持尝试机制获取锁，并且是一种通过编程控制的可重入锁，尽可能减少死锁问题。本文以公平与非公平锁的加锁释放锁过程成为主线，分析ReentrantLock的重要内容。有问题可以加我微信。目标掌握A

深度语义匹配模型实践篇语义匹配在贝壳找房智能客服中的应用

Tue, 15 Mar 2022 09:02:35 +0800

贝壳找房【深度语义匹配模型】原理篇二：交互篇贝壳找房【深度语义匹配模型】原理篇一：表示型深度语义匹配模型系列文章的终结篇，带大家走进贝壳找房智能客服的匹配。一、背景贝壳找房作为房产领域领先的服务平台，业务场景中包含大量自然语言处理的任务。经纪人与用户的交互过程会产生大量的文本语料

滴滴数据驱动利器之实践

Tue, 15 Mar 2022 09:02:35 +0800

桔妹导读：在各大互联网公司都提倡数据驱动的今天，AB 实验是我们进行决策分析的一个重要利器。一次实验过程会包含多个环节，今天主要给大家分享滴滴实验平台在分组环节推出的一种提升分组均匀性的新方法。本文首先会介绍一下滴滴 AB 实验的相关情况，以及在实验分组环节中遇到的问题。然后介绍目前在实

百亿级实时计算系统性能优化篇

Tue, 15 Mar 2022 09:02:35 +0800

腾讯刘敏导语 | 随着业务的发展，系统日益复杂，功能愈发强大，用户数量级不断增多，设备cpu、io、带宽、成本逐渐增加，当发展到某个量级时，这些因素会导致系统变得臃肿不堪，服务质量难以保障，系统稳定性变差，耗费相当的人力成本和服务器资源。这就要求我们：要有勇气和自信重构服务，提供更先

腾讯技术用万字长文聊一聊技术

Tue, 15 Mar 2022 09:02:35 +0800

作者： qfan，腾讯 WXG 应用研究员随着深度学习在工业届不断火热，Embedding 技术便作为“基本操作”广泛应用于推荐、广告、搜索等互联网核心领域中。Embedding 作为深度学习的热门研究方向，经历了从序列样本、图样本、再到异构的多特征样本的发展过程。本文主要系统总结了现在主流的

苏宁苏宁大数据离线任务开发调度平台实践

Tue, 15 Mar 2022 09:02:35 +0800

桑强 2018 年 11 月 5 日目录背景 2 设计目标 2 2.1 用户交互的产品功能 2 2.2 后台调度功能 3 2.3 任务执行器功能 4 2.4 任务运维功能 5 2.5 平台对外功能 6 平台价值 7 平台建设 7 4.1 用户功能实现说明 8 4.2 调度周期设计说明 12 4.3 调度策略设计说明 13 4.4 调度流控设计说明 15 4.5 系统高可用设计说明 16 4.6 任务失败策略 17 4.7 任务运行分析设计

蘑菇街增量学习番外篇一动态正则之中转设计含代码实现

Tue, 15 Mar 2022 09:02:35 +0800

作者：美丽联合集团算法工程师琦琦，公众号关注：诗品算法 0、引言大家还记得那篇增量学习实践相关的文章吗？很多小伙伴私信我，想要进一步了解流程和设计细节等。感谢大家的信任，我愿将这些干货无私分享。从这篇文章开始，我会将增量学习的设计细节陆续拆分成几篇技术文章分享给大家。美名其曰——增

详解之深度学习在搜索业务的探索

Tue, 15 Mar 2022 09:02:35 +0800

文章作者：杨镒铭滴滴出行高级算法工程师内容来源：记录广告、推荐等方面的模型积累@知乎专栏今年KDD上Airbnb发表的关于embedding的论文拿到best paper，技术实力可见一斑。今天要说的这篇要更新一些，是Airbnb将深度学习应用在搜索业务中的经验汇总，链接是 [1810.09591] Applying Deep Learning

即刻技术推荐系统向量召回在即刻的工程实践

Tue, 15 Mar 2022 09:02:34 +0800

即刻首页的动态广场是一个发现好玩圈子和有趣即友的地方。如何让每一个用户都能在上面看到自己感兴趣的内容，是即刻推荐团队一直以来努力的目标。去年我们分享了一篇技术文章，介绍如何在线上服务中使用Spark MLlib，解决了排序模型的线上serving问题。过去这一年，即刻推荐系统完成了

徐美兰深度应用驱动的医学知识图谱构建

Tue, 15 Mar 2022 09:02:34 +0800

分享嘉宾：徐美兰浙江数字医疗卫生技术研究院数字医学知识中心主任编辑整理：李杰京东出品平台：DataFunTalk 导读：数研院这些年在知识图谱建设上取得了丰硕成果，今天我们将图谱构建过程中的经验、心得分享给大家，欢迎大家讨论交流。本次分享的题目为：深度应用驱动的医学知识图谱构建，主

王冬月京东推荐算法精排技术实践

Tue, 15 Mar 2022 09:02:34 +0800

分享嘉宾：王冬月京东机构负责人编辑整理：吴祺尧出品平台：DataFunTalk 导读：京东主站推荐的主要业务场景覆盖APP中用户购买前、购买中和购买后的全流程，日均大概有7000万DAU。不同业务场景下用户需求不同，我们相应的优化目标也不同。首页feeds和“我的京东”就是典型的购

菜鸟实时数仓技术架构演进

Tue, 15 Mar 2022 09:02:34 +0800

分享嘉宾：贾元乔菜鸟高级数据技术专家编辑整理：夏飞飞内容来源：Flink Forward ASIA 出品平台：DataFunTalk 导读：在开源盛世的今天，实时数仓的建设已经有了较为成熟的方案，技术选型上也都各有优劣。菜鸟作为物流供应链的主力军，时效要求已经成为了核心竞争力，离线数仓已不能满足发展的需要

两万字深度介绍分布式系统原理一文入魂

Tue, 15 Mar 2022 09:02:33 +0800

作者：慕容千语链接： https://www.jianshu.com/p/06136a5d49e8 1 概念 1.1 模型节点在具体的工程项目中，一个节点往往是一个操作系统上的进程。在本文的模型中，认为节点是一个完整的、不可分的整体，如果某个程序进程实际上由若干相对独立部分构成，则在模型中可以将一个进程划分为多个节点。异常机器宕机：机器宕机是最常见的异常之一。在大型

从零开始掌握算子开发架构以及编译构建

Tue, 15 Mar 2022 09:02:33 +0800

系列文章：从零开始掌握 tensorflow 算子开发系列文章作为算子开发教程的第一篇，我们首先简单介绍 Tensorflow 的架构以及的算子 (Operator) 在 Tensorflow 的计算图扮演的角色。在简单了解算子之后，我们将实践介绍如何从 Tensorflow 源码编译构建属于自己的 Tensorflow Python 包。 Tensorflow 架构介绍 Tensorflow 是一个多语言的项目，Tensorflow 的底层功能主要由 C 与 C++ 实现，并

图文并茂带你了解依存句法分析

Tue, 15 Mar 2022 09:02:33 +0800

作者: 龚俊民(昵称: 除夕) 学校: 新南威尔士大学单位：Vivo AI LAB 算法实习生方向: 自然语言处理和可解释学习知乎: https://www.zhihu.com/people/gong-jun-min-74 前言：上一期我们讲了成分句法分析，它相当于考虑广义上的嵌套关系的命名实体识别。这一次我们来说一说依存句法分析，它相当于文本结构化任务中，与命名实体识别经常在一起的实体关

布道师系列周晓凌乘风而来利用数据科学平台解决运筹学问题

Tue, 15 Mar 2022 09:02:33 +0800

DataCanvas布道师团队成员首席解决方案架构师周晓凌此番呈上利用数据科学平台解决运筹学问题不仅仅是机器学习近年来机器学习与深度学习快速发展，极大地吸引了人们的眼球，甚至有将人工智能（AI）等价于深度学习的趋势。然而人工智能的范畴相较于机器学习与深度学习要大得多，吴恩达在其深

机器学习数学基础常见分布与假设检验

Tue, 15 Mar 2022 09:02:33 +0800

作者：吴忠强，Datawhale优秀学习者，东北大学所谓机器学习和深度学习，背后的逻辑都是数学，所以数学基础在这个领域非常关键，而统计学又是重中之重，机器学习从某种意义上来说就是一种统计学习。这次是学习概率统计的第三篇文章，基于前两篇文章进行展开。在第一篇文章的概率论基础学习了离

腾讯互联网知识图谱的构建及应用

Tue, 15 Mar 2022 09:02:33 +0800

分享嘉宾：单子非腾讯高级应用研究员编辑整理：盛泳潘重庆大学助理研究员出品平台：DataFunTalk 导读：大家好，我是单子非，来自腾讯的微信事业群。我今天分享的主题是"知识图谱的构建与互联网场景下的应用"。主要想从学术界与工业界两个角度给大家带来一些分享：将介

苏宁搜索引擎在苏宁易购商品评价系统中的应用

Tue, 15 Mar 2022 09:02:33 +0800

胡正林 2018 年 11 月 5 日话题：架构大数据背景说明苏宁易购商品评价系统主要提供商品维度评价数量聚合、评价列表展示功能，并为其他业务系统提供商品评价数据支撑服务。功能涉及对亿级数据的数量聚合、排序、多维度查询等复杂的业务场景，关系型数据库的索引为 B-Tree 结构，适合数值区分度或离散度高的数据，而评

闲鱼是如何做个性化商品选品及人群画像分析的

Tue, 15 Mar 2022 09:02:33 +0800

作者：深宇闲鱼技术背景运营或者产品同学开展的各种导购、外投活动中常常需要做商品选品或者用户圈选，来提高活动的相关指标。一般的步骤包括商品选品、ab实验、用户画像分析、活动全量投放。其中如何快速准确并且多样地做商品选品以及相关人群画像分析决定着活动效果的好坏。常用的商品选品方案包括

马蜂窝多层分流系统的设计与实现

Tue, 15 Mar 2022 09:02:33 +0800

导读： 5 月 23 日，马蜂窝旅游网宣布完成 2.5 亿美元新一轮融资，此轮融资由腾讯领投。在接授腾讯《潜望》栏目的专访时，马蜂窝 CEO 陈罡谈到，「现在马蜂窝是个数据驱动的公司，要以结果说话，能用 ABTest 解决的问题就没有必要谈其他」。作为一家数据驱动的公司，当前在马蜂窝 ABTest 已经基本覆盖所有业务线并稳定运行。

华为云苏嘉如何整合预训练模型和知识图谱做医疗推理

Tue, 15 Mar 2022 09:02:32 +0800

分享嘉宾：苏嘉博士华为云编辑整理：熊丹妮武汉天喻信息出品平台：DataFunTalk 导读：随着人工智能技术特别是深度学习的普及，医疗行业也迎来一波革命的热潮，本文将讨论如何利用AI技术将领域知识融入到医疗推理任务当中，为AI+医疗提供一种行之有效的解决方案。主要内容包括：智慧医疗

百度数据联邦平台及其应用研究

Tue, 15 Mar 2022 09:02:32 +0800

分享嘉宾：刘吉博士百度资深研究员编辑整理：Hoh Xil 出品平台：DataFunTalk 导读：本文由百度资深研究员刘吉博士分享，主题为百度数据联邦平台及其应用研究。主要内容包括：① 数据联邦平台的架构；② 基于数据联邦平台的应用研究；③ 联邦学习；④ 可解释性。 01 数据联邦平台的架构 1. 问题描述在

知乎搜索排序模型的演进

Tue, 15 Mar 2022 09:02:32 +0800

分享嘉宾：王瑞欣知乎算法工程师编辑整理：郭真继出品平台：DataFunTalk 导读：搜索，是用户获取信息，找答案最方便快捷的方式。一次用户搜索会经历 Query 解析、召回、排序多个环节，排序作为最后整个过程一环，对用户的体验有最直接的影响。今天分享的内容是知乎搜索排序模型的演进。主要内容包

网易云音乐实时数仓进阶之路

Tue, 15 Mar 2022 09:02:32 +0800

导读：本篇文章是[ 2021年网易云音乐实时计算平台发展和挑战]的姊妹篇，由网易云音乐数据平台开发专家大愚分享，为大家介绍云音乐实时数仓技术改造以及未来的一些规划。云音乐从2018年开始搭建实时计算平台，经过两年的发展实时计算已经渗透到云音乐的各个业务当中：运营需要实时的统计报表做

唯品会在容器化与平台化上的建设实践

Tue, 15 Mar 2022 09:02:31 +0800

以下文章来源于dbaplus社群，作者王康摘要：自 2017 年起，为保障内部业务在平时和大促期间的平稳运行，唯品会就开始基于 Kubernetes 深入打造高性能、稳定、可靠、易用的实时计算平台，现在的平台支持 Flink、Spark、Storm 等主流框架。本文将分为五个方面，分享唯品会 Flink 的容器化实践应用以及产

如何实现一个搜索自动补全器

Tue, 15 Mar 2022 09:02:31 +0800

葛霖霖导语 | 自动补全功能对于使用移动设备的用户来说很友好，用户可以很方便的在难以键入的小屏幕上完成搜索，并能节省用户大量的时间。根据 Google 官方报告，自动补全功能可以减少大约 25% 的打字，累积起来预计每天可以节省 200 多年的打字时间。本文将介绍如何实现一个自动补全器，希望与大家一同交流。文章作

技术分析七的性能优化

Tue, 15 Mar 2022 09:02:31 +0800

硬件选择 Elasticsearch（后文简称 ES）的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES 的配置文件 ../config/elasticsearch.yml 中配置，如下： # ----------------------------------- Paths ------------------------------------ # # Path to directory where to store the data (separate multiple locations by comma): # path.data: /path/to/data # # Path to log files: # path.logs: /path/to/logs 磁盘在现代服务器上通常都是瓶颈。Elasticsearch 重度

技术文本表征模型在风控场景下的应用实践

Tue, 15 Mar 2022 09:02:31 +0800

周思丞 58技术 01 导语本文介绍了文本表征算法在58信安场景下的探索和实践。信息安全场景下业务种类繁多，在对用户发帖内容进行审核时，通过对文本建模得到其表征，既可以用于对文本的直接分类算法，也可以通过聚类算法快速得将文本信息归类。 02 背景 58集团业务线广泛，平台每日会产生千万量级以上的

支付系统高可用架构设计实战可用性高达

Tue, 15 Mar 2022 09:02:31 +0800

一、背景对于互联网应用和企业大型应用而言，多数都尽可能地要求做到7*24小时不间断运行，而要做到完全不间断运行可以说“难于上青天”。为此，对应用可用性程度的衡量标准一般有3个9到5个9。对于一个功能和数据量不断增加的应用，要保持比较高的可用性并非易事。为了实现高可用，「付钱拉」从

贝壳找房读懂用户找房需求贝壳语义解析技术实践

Tue, 15 Mar 2022 09:02:31 +0800

2018-12-10 1. 引言自然语言理解（natural language understanding，NLU）是人工智能的核心难题之一，同时也是文本和语音搜索的核心。本文主要阐述了NLU在贝壳找房中的探索和实践，以及如何为贝壳的搜索场景赋能。在文章开始之前我们先来道一道NLU在贝壳房源搜索中的任务和实现难点。贝壳房

运行机制及和的异同比较

Tue, 15 Mar 2022 09:02:31 +0800

文章作者：张俊林新浪微博 AI Lab 资深算法专家内容来源：深度学习前沿笔记@知乎专栏出品社区：DataFun 这两天，XLNet 貌似也引起了 NLP 圈的极大关注，从实验数据看，在某些场景下，确实 XLNet 相对 Bert 有很大幅度的提升。就像我们之前说的，感觉 Bert 打开两阶段模式的魔法盒开关后，在这条路上，会有越来越

闲鱼大规模实时数仓搭建实践

Tue, 15 Mar 2022 09:02:31 +0800

作者 | 闲鱼技术 - 雨成文章来源 | 闲鱼技术团队 1.现状闲鱼作为一款闲置交易APP，在二手交易市场中是当之无愧的佼佼者。闲鱼从2014年诞生到现在七整年间持续增长，在这高速增长的背后带来的是每天近百亿的曝光点击浏览等数据，在这些数据规模如此庞大的背后也会带来诸多关于实时性的问题：用户反

技术会爱奇艺效果广告探索与实践

Tue, 15 Mar 2022 09:02:30 +0800

爱奇艺技术产品团队今天分享的主要内容分为以下四块内容：爱奇艺效果广告产品介绍，主要是介绍爱奇艺效果广告的主要资源位以及对应的售卖形式；二是效果广告排序算法实践介绍，这里主要介绍在排序算法过程中使用的精排模型和粗排模型；三是效果广告业务策略实践，该模块主要介绍针对新广告的冷启动策略

网易严选电子面单稳定性治理实践

Tue, 15 Mar 2022 09:02:30 +0800

作者：严选技术严选技术产品团队稳定性治理是系统演进过程中一个不容忽视的重要命题，这个命题往往需要持续性的投入，如何让持续性的治理工作有目标、过程可跟进、结果能检验？本文结合严选供应链技术团队在稳定性治理上的实践，对治理工作中的可用性、监控告警和线上应急三个方面做了一些思考与总结。

腾讯技术微信图片翻译技术优化之路

Tue, 15 Mar 2022 09:02:30 +0800

作者：poetniu，腾讯 WXG 应用研究员微信（WeChat）作为 12 亿+用户交流的平台，覆盖全球各个地区、不同语言的用户，而微信翻译作为桥梁为用户间的跨语言信息交流提供了便利。目前微信翻译每天为千万用户提供数亿次的翻译服务，且团队技术持续钻研，累计发表数十篇顶会论文、夺得多项 WMT 冠军。

闲鱼搜索召回升级向量召回个性化召回

Tue, 15 Mar 2022 09:02:30 +0800

涤生、志勇、远悠闲鱼技术稿在搜索系统中，召回环节位于排序漏斗的最底层，决定了下游排序的空间大小，其重要程度毋庸置疑，在闲鱼搜索场景亦是如此。然而由于机器和人力资源的限制，长期以来闲鱼搜索的召回都是使用最简单的基于文本的召回方式，其优化迭代方式也只是在基础商品字段（标题、描述）之上

同城多业务融合推荐策略实践与思考

Tue, 15 Mar 2022 09:02:29 +0800

分享嘉宾：王炜 58同城架构师编辑整理：陈佳琪、李元内容来源：DataFunTalk 导读： 58同城作为分类信息网站，服务覆盖多个领域，如房屋租售、招聘求职、二手买卖等等，不同的业务有不同的特点，这使得多业务融合推荐成为一大挑战。如何准确挖掘用户的需求？如何平衡各业务之间的流量分配？

如何以及为什么需要创建一个好的验证集

Tue, 15 Mar 2022 09:02:29 +0800

作者： Rachel Thomas 编译：ronghuaiyang 导读导读：验证集的划分真的就是调用一个train_test_split函数这么简单么，其实并不是。正文: 一个非常常见的场景：一个看起来非常好的机器学习模型在现实的生产环境中使用时是完全失败的。其后果包括老板对现在的机器学习持怀疑态度，不愿再

消息中间件的通信一

Tue, 15 Mar 2022 09:02:29 +0800

文章摘要：借用小厮的一句话“消息队列的本质在于消息的发送、存储和接收”。那么，对于一款消息队列来说，如何做到消息的高效发送与接收是重点和关键一、RocketMQ中Remoting通信模块概览 RocketMQ消息队列的整体部署架构如下图所示：先来说下RocketMQ消息队列集群中的

深度学习在搜索广告任务中的应用

Tue, 15 Mar 2022 09:02:29 +0800

分享嘉宾：高凯明 360算法专家编辑整理：Hoh Xil 内容来源：DataFun AI Talk 出品社区：DataFun 注：欢迎转载，转载请注明出处。 360搜索广告成立于2012年，到今年是第8个年头了。今天分享的内容分为两部分，第一部分是搜索广告和广告召回。我会介绍搜索广告的业务逻辑，以及召回模块

腾讯音乐知识图谱搜索实践

Tue, 15 Mar 2022 09:02:29 +0800

分享嘉宾：Elvin 腾讯音乐高级工程师编辑整理：李一中科雨辰出品平台：DataFunTalk 导读：近几年来，图数据在计算机领域得到了广泛的应用。互联网数据量指数级增长，大数据技术、图数据方面的应用增长很快，各家互联网大厂都在图数据分析和应用方面大量投入。为了让我们的搜索更加智能化

测试机器学习降维之线性判别模型

Tue, 15 Mar 2022 09:02:28 +0800

原文地址：谓之小一公众号拍摄于无锡古镇 1.LDA简介线性判别分析(Linear Discriminant Analysis, LDA) 是一种监督学习的降维方法，也就是说数据集的每个样本是有类别输出。和之前介绍的机器学习降维之主成分分析(PCA) 方法不同，PCA是不考虑样本类别输出的无监督学习方法。LDA的原理简单来说就是将带上标

源码系列索引文件的生成六之

Tue, 15 Mar 2022 09:02:28 +0800

本文承接索引文件的生成（五）继续介绍剩余的内容，下面先给出生成索引文件。tim、.tip 的流程图。生成索引文件。tim、.tip 的流程图图 1：上一篇文章中，我们介绍了执行生成一个或多个NodeBlock 的触发条件，本文就其实现过程展开介绍，同样的，下文中出现的并且没有作出解释的名

腾讯全场景实时数仓建设实践

Tue, 15 Mar 2022 09:02:28 +0800

分享嘉宾：苏舒腾讯高级工程师编辑整理：路培杰内容来源：Flink中文社区导读： Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入

如何用促进跨团队协同

Tue, 15 Mar 2022 09:02:27 +0800

作者：老雷部门：有赞 / 效能改进导语在不同形式的组织当中，随着分工高度专业化和精细化，成员之间的交流合作方式日益复杂。协同单元之间常见的问题就是看似达成一致，出现问题后才感知背道而驰，各方对目标、路径的理解都存在差异。事情想往前推进，往往需要更高层的负责人介入，沟通过程事倍功半，而

微信实时数仓的最佳实践

Tue, 15 Mar 2022 09:02:27 +0800

作者：微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信 WeOLAP 团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了 10

深入浅出词嵌入技术

Tue, 15 Mar 2022 09:02:27 +0800

本文概览：本文又名《Distributed Representation: From Static Embedding to Contextualized Embedding》 1. Classical Representation: One-hot Encoding 独热编码是NLP领域最简单的一种单词表示法。One-hot Encoding就是一个单词用长度为的向量表示，其中只有一个位置为，其余位置为，为语料中词库的大小。 One-hot Encoding有什么问题呢？假如我

深度学习在腾讯广告推荐系统中的实践

Tue, 15 Mar 2022 09:02:27 +0800

分享嘉宾：郭跃超腾讯应用研究员编辑整理：康德芬出品平台：DataFunTalk 导读： Angel是腾讯自研的分布式高性能的机器学习平台，支持机器学习、深度学习、图计算以及联邦学习等场景。Angel的深度学习平台已应用在腾讯的很多个场景中。所以今天会为大家介绍Angel：深度学习在腾

腾讯技术与推荐技术在腾讯浏览器的应用

Tue, 15 Mar 2022 09:02:27 +0800

口述 | 徐羽整理 | 王强在 AICon 全球人工智能与机器学习技术大会（2021）北京站上，腾讯信息平台与服务线 CTO、PCG 事业群推荐与 AI 中台负责人徐羽带来了主题为《Al 与推荐技术在腾讯 QQ 浏览器的应用》的分享，详细介绍了 QQ 浏览器近年来在 AI 推荐技术方面走过的技术旅程。本文由 InfoQ 根据徐羽的演讲内容进

阿里妈妈搜索广告预估模型思考与实践

Tue, 15 Mar 2022 09:02:27 +0800

来源： https://zhuanlan.zhihu.com/p/446993392 1. 前言搜索广告直通车作为阿里妈妈营收大盘的中流砥柱，十年来通过产品和技术层面的不断自我革新升级，每年都能够保持业务高速增长。搜索广告预估模型方向（全链路多阶段CTR&CVR&CXR等预估模型）作为提效主力军，今年在技术上持续深耕和创新，在如此大规模业务体量

深度学习在金融文本情感分类中的应用

Tue, 15 Mar 2022 09:02:25 +0800

随着人们越来越喜欢在社交平台发表自己的看法和观点，这些平台成为企业发现用户兴趣，捕捉用户情绪很好的渠道。金融证券公司也不例外，它们可以根据股民的情绪，对股市的反应等信息形成投资指标。但是采用人力消耗和成本过大，用计算机来自动地分析文本表达的情感，成为学术界目前的研究的一个热点。更

百度王海峰详解知识图谱与语义理解

Tue, 15 Mar 2022 09:02:25 +0800

本文转载自公众号：机器之心。； 8 月 24 日至 27 日在杭州召开的 2019 年全国知识图谱与语义计算大会（CCKS 2019）上，百度 CTO 王海峰发表了题为《知识图谱与语义理解》的演讲。 CCKS 2019 由中国中文信息学会语言与知识计算专业委员会主办，浙江大学承办，以「知识智能」为主题，吸引了来自海内外的八百多名科研

一点做用户画像的人生经验强打通

Tue, 15 Mar 2022 09:02:24 +0800

本文转载自： https://www.cnblogs.com/en-heng 1.背景在构建精准用户画像时，面临着这样一个问题：日志采集不能成功地收集用户的所有ID，且每条业务线有各自定义的UID用来标识用户，从而造成了用户ID的零碎化。因此，为了做用户标签的整合，用户ID之间的强打通（亦称为ID-Mapping）成了迫切的需求。大概三年前，

大话机制

Tue, 15 Mar 2022 09:02:24 +0800

转载自： https://cloud.tencent.com/developer/article/1005481 作者：黄日成提到select、poll、epoll相信大家都耳熟能详了，三个都是IO多路复用的机制，可以监视多个描述符的读/写等事件，一旦某个描述符就绪（一般是读或者写事件发生了），就能够将发生的事件通知给关心的应用程序去处理该事件。本质上，select、poll、ep

招聘推荐系统中的机器学习的威力

Tue, 15 Mar 2022 09:02:24 +0800

作者：Jesus Rodriguez 编译：ronghuaiyang 导读：这篇文章介绍了机器学习推荐系统在LinkedIn招聘系统中的应用，大家可以重点关注不同业务场景中推荐系统所关注的业务指标。 LinkedIn是市场上最受欢迎的招聘平台之一。每天，世界各地的招聘人员都依赖LinkedIn来寻找和筛

详解一文读懂模型

Tue, 15 Mar 2022 09:02:24 +0800

作者： Microstrong 本文概览： 1. Autoregressive语言模型与Autoencoder语言模型 1.1 语言模型概念介绍 Autoregressive语言模型：指的是依据前面（或后面）出现的单词来预测当前时刻的单词，代表有 ELMo， GPT等。 Autoencoder语言模型：通过上下文信息来预测被

达观数据深度解读知识图谱在工业质量体系中的应用实践

Tue, 15 Mar 2022 09:02:24 +0800

达观数据王文广 11月12日至11月15日，由中国中文信息学会语言与知识计算专业委员会主办的2020年全国知识图谱与语义计算大会（CCKS2020）在南昌隆重召开。达观数据副总裁王文广受邀出席本次大会并分享《工业质量体系中的知识图谱应用实践》。 1 知识图谱及其构建相关技术知识图谱是机

通用排序框架在爱奇艺推荐的应用

Tue, 15 Mar 2022 09:02:24 +0800

推荐系统通常由多个阶段组成，比如，有的推荐系统分为Recall、PreRanking、Ranking、ReRanking等四个阶段。在爱奇艺，我们的推荐系统在非常多的场景中都有应用，推荐的内容也不尽相同(如长视频、短视频、主题、影人等)。但是万变不离其宗，在这些场景中，推荐系统的

黄正杰百度图学习技术与应用

Tue, 15 Mar 2022 09:02:24 +0800

分享嘉宾：黄正杰百度资深研发工程师编辑整理：吴祺尧出品平台：DataFunTalk 导读：图是一个复杂世界的通用语言，社交网络中人与人之间的连接、蛋白质分子、推荐系统中用户与物品之间的连接等等，都可以使用图来表达。图神经网络将神经网络运用至图结构中，可以被描述成消息传递的范式。百度

什么时候值得去使用上下文嵌入

Tue, 15 Mar 2022 09:02:23 +0800

作者：Viktor Karlsson 编译：ronghuaiyang 导读: 使用来自BERT的上下文嵌入是很昂贵的，而且并不是所有的情况下都能带来价值，我们来看看在什么情况下是值得使用的。使用最先进的模型，如BERT，或它的任何后代，不适合资源有限或预算受限的研究者或实践者。仅仅是一个预训练的BER

携程机器学习模型在携程海外酒店推荐场景中的应用

Tue, 15 Mar 2022 09:02:23 +0800

作者简介 Louisa，携程算法工程师，热爱前沿算法和技术在个性化推荐和广告建模等业务的性能优化和落地。发表于： 2020年8月13日导读互联网企业的核心需求是“增长”，移动互联时代下的在线旅游业也不例外。随着大数据、云计算和人工智能等技术的不断进步，通过算法和模型来实现增长已成为核

支持频繁更新即席查询在爱奇艺视频生产的应用

Tue, 15 Mar 2022 09:02:22 +0800

作者：爱奇艺后台研发部众所周知，爱奇艺拥有海量视频，在视频生产过程中产生的上千QPS的实时数据、T级别的数据存储。要支持这样的数据进行即席查询和多个大表的JOIN，是爱奇艺视频生产团队大数据应用的难点。具体来说有以下几点： 1)实时性的要求，需要实时的解决方案。 2)生产数据更新频繁

唐黎零代码技能平台技术实践探索

Tue, 15 Mar 2022 09:02:21 +0800

分享嘉宾：唐黎 OPPO 高级后端工程师编辑整理：尹川集美大学出品平台：DataFunTalk 导读：今天为大家介绍一下OPPO小布助手在对话系统技能平台建设中的落地实践，主要分为四个方面：业务领域建模，建设通用能力地图语义理解能力初探，多类型的场景支持多模式易扩展流程化的对话管理端到端一站

如果这篇文章说不清的本质那就过来掐死我吧

Tue, 15 Mar 2022 09:02:21 +0800

作者：罗培羽从事服务端开发，少不了要接触网络编程。epoll作为linux下高性能网络服务器的必备技术至关重要，nginx、redis、skynet和大部分游戏服务器都使用到这一多路复用技术。文/罗培羽因为epoll的重要性，不少游戏公司（如某某九九）在招聘服务端同学时，可能会问

你所不知道的华为项目管理之道

Tue, 15 Mar 2022 09:02:20 +0800

众所周知，沟通在项目管理中很重要，但即便优秀如华为，在项目初期的时候，也吃过很多沟通不畅的亏。今天这篇文章就来解读一下，华为项目管理的有效沟通是怎么做的，以及在项目之余，华为日常工作中的高效沟通方法。希望对你有帮助~ 一、缺乏有效沟通对项目是灾难性的在华为创立初期，曾一度出现工作结

模型的产品化

Tue, 15 Mar 2022 09:02:20 +0800

作者：Pratik Bhavsar 编译：ronghuaiyang 导读: 模型训练只是产品化中的很小的一个环节。问题描述 💰 最近，我一直在巩固在不同 ML 项目中工作的经验。我将从我最近的 NLP 项目的角度来讲述这个故事，对短语进行分类 — 一个多类单标签问题。 NLP 的 Central embedder 结构团队结构 👪 搭建人工智能团队是相当棘手的。如

深度时空网络记忆网络与特征表达学习在预估中的应用

Tue, 15 Mar 2022 09:02:20 +0800

分享嘉宾：秀武阿里高级算法专家编辑整理：Jane Zhang 内容来源：DataFunTalk 导读：在 CTR 预估中，能不能有效地利用用户历史行为，页面同屏竞争广告信息，以及用户—广告，广告—广告关系等辅助信息来提升模型效果？本文介绍在这方面的探索工作，主要包括：深度时空网络 ( DSTN ) 深度记忆网络 ( MA-DNN

系统架构系列二应对这一概念的方法

Tue, 15 Mar 2022 09:02:20 +0800

作者：高福来引言在本系列的第一篇文章中已经给出系统架构的公式定义：系统架构 = 要素 + 连接 + 解决特定的问题，本篇文章重点讨论应对系统架构的方法。如今，系统架构在业内还没有定型的固定方法，一般会讲：需求分析、系统分析与设计、UML、领域建模、设计模式、软件工程等，笔者不打算这样讲，这样

广告算法在凤凰新媒体的实践探索

Tue, 15 Mar 2022 09:02:19 +0800

分享嘉宾：凤凰新媒体广告算法团队编辑整理：陈道昌内容来源：2019 DataFun Live 01 出品社区：DataFun 导读：广告算法在优化点击率和竞价机制等提升平台收益的过程中，如果不能保证广告主转化的质和量就会影响到平台生态的稳定发展，因此在 CPC 的基础上，我们探索了 OCPC 模式，并在实际中成功应用。本次分享

机器学习中算法与模型的区别

Tue, 15 Mar 2022 09:02:19 +0800

作者：Sambodhi，海边的拾遗者导读: 机器学习涉及到机器学习算法和模型的使用。对于初学者来说，这很容易让人混淆，因为“机器学习算法”经常与“机器学习模型”交替使用。这两个到底是一样的东西呢，还是不一样的东西？作为开发人员，你对排序算法、搜索算法等“算法”的直觉，将有助于你厘清

生产实践直播二如何建设实时公共画像维表

Tue, 15 Mar 2022 09:02:19 +0800

注：本文经授权转载自 mangodata YangYichao 转载请关注作者公众号联系原作者 ❝本系列每篇文章都是从一些实际生产实践需求出发，解决一些生产实践中的问题，抛砖引玉，以帮助小伙伴们解决一些实际生产问题。本篇为直播实时数据建设系列的第二篇，本篇主要介绍直播间画像实时维表建设的整个过程，如果对小伙伴有帮助的话，

高并发架构消息队列面试题解析

Tue, 15 Mar 2022 09:02:19 +0800

面试题为什么使用消息队列？消息队列有什么优点和缺点？ Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？面试官心理分析其实面试官主要是想看看：第一，你知不知道你们系统里为什么要用消息队列这个东西？不少候选人，说自己项目里用了 Redis、

如何基于生成在线机器学习的样本

Tue, 15 Mar 2022 09:02:18 +0800

文章作者：曹富强@微博内容来源：Flink中文社区导读：在线机器学习与离线相比，在模型更新的时效性，模型的迭代周期，业务实验效果等方面有更好的表现。所以将机器学习从离线迁移到在线已经成为提升业务指标的一个有效的手段。在线机器学习中，样本是关键的一环。本文将给大家详细的介绍微博是如

深入互联网广告中的出价模式补充篇

Tue, 15 Mar 2022 09:02:18 +0800

来源：申探社：深入互联网广告中的出价模式（补充篇）之前出价模式深入互联网广告中的出价模式 (上中下完整版) 的文章得到了几千次的转发，也得到很多朋友的私信评论和反馈，非常荣幸。有些朋友也提出了一些想进一步了解的内容，另外在和读者群一些朋友的探讨中，笔者对部分内容也有了一些新的认知。因

深度学习推荐系统中各类流行的方法上

Tue, 15 Mar 2022 09:02:18 +0800

来源 Microstrong 扫描文末二维码关注作者深度学习推荐系统中各类流行的 Embedding 方法（下） Embedding 方法概览： 1. Embedding 简介 Embedding，中文直译为“嵌入”，常被翻译为“向量化”或者“向量映射”。在整个深度学习框架中都是十分重要的“基本操作”，不论是 NLP（Natural Language Processing，自然语言处理）

用户画像方法论与工程化解决方案

Tue, 15 Mar 2022 09:02:18 +0800

文章作者：赵宏田资深大数据技术专家内容来源：《用户画像方法论与工程化解决方案》导读：在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业务数据，这是企业

贝壳找房基于的向量搜索实践一

Tue, 15 Mar 2022 09:02:18 +0800

摘要: 本系列文章分为三部分，第一部分主要讲基本概念、背景、选型及服务的整体架构；第二部分主要讲针对低延时、高吞吐需求，我们对Milvus部署方式的一种定制；第三部分主要讲实现数据更新、保证数据一致性，以及保证服务稳定及提高资源利用率做的一些事情。 1.名词解释 Milvus[1]:一

在深度推荐系统中的大应用方向

Tue, 15 Mar 2022 09:02:17 +0800

作为深度学习推荐系统模型和 CTR 模型中不可或缺的“基本操作”，如何强调 Embedding 技术的重要性都是不为过的。这篇文章中，我们将 Embedding 技术单独抽取出来进行讲解。介绍在深度学习推荐系统中，Embedding 主要的三个应用方向：在深度学习网络中作为 Embedding 层，完成从高维稀疏特征向量到低维稠密特征向量的转换；作

小米移动搜索中的技术

Tue, 15 Mar 2022 09:02:17 +0800

文章作者：宫士敏小米大数据部算法团队 Leader 编辑整理：王成林内容来源：AI科学前沿大会出品社区：DataFun 注：欢迎转载，转载请注明出处一、背景以深度学习为代表的 AI 技术近年来在搜索推荐场景中得到广泛的应用，对用户 Query 和内容侧的理解不断深入，用户体验得到显著提升。搜索是一种典型的 AI 应用，

阿里信息流推荐的用户增长机制

Tue, 15 Mar 2022 09:02:17 +0800

分享嘉宾：天师阿里巴巴高级算法专家编辑整理：王洪达出品平台：DataFunTalk 导读：本文主要从偏向底层的推荐算法角度来阐述信息流推荐系统升级如何助力用户增长。我们知道，内容信息流实际上已经算是信息流中比较小的概念，其中包含图文信息流、短视频信息流和内容+电商信息流，而对于用户

干货查询耗时降低携程度假搜索引擎架构优化

Tue, 15 Mar 2022 09:02:16 +0800

作者简介少伟，负责度假起价、搜索的研发工作，资深技术控。锦涛，负责度假搜索及相关子系统的建设，对搜索引擎、NLP等有浓厚兴趣。背景介绍携程度假搜索引擎（以下简称为引擎）：携程度假搜索引擎是一个专注在旅游行业的垂直搜索引擎，用来查找符合从出发地到目的地的相关旅游产品（跟团、自由行、

降低软件复杂性的一般原则和方法

Tue, 15 Mar 2022 09:02:16 +0800

转载自美团技术团队追求卓越、学习成长是美团的基因，因此工作之余，多读书、读好书蔚然成风——我们有专门的P2P图书馆、不时的好书推荐、图书打卡交流群和各种丰富读书活动…… 本文是作者阅读John Ousterhout的《A Philosophy of Software Design》之后，结合自己的工作经验，对“降低复杂性”做

搜索引擎中的数据挖掘

Tue, 15 Mar 2022 09:02:15 +0800

分享嘉宾：沐沐老师前百度资深研发编辑整理：赵丽内容来源：2019 DataFun Live 11 出品社区：DataFun 导读：今天为大家分享的是搜索引擎中的 web 数据挖掘。首先介绍下搜索引擎。实际上，我们每天都会使用的搜索引擎，我们会输入关键词 query 和需求，搜索引擎会根据算法将于 query 最相关且最权威的结果呈现给用户。

微博基于的机器学习实践

Tue, 15 Mar 2022 09:02:14 +0800

分享嘉宾：于茜微博高级算法工程师编辑整理：王洪达内容来源：Flink Forward 导读：微博作为国内比较主流的社交媒体平台，目前拥有2.22亿日活用户和5.16亿月活用户。如何为用户实时推荐优质内容，背后离不开微博的大规模机器学习平台。本文由微博机器学习研发中心高级算法工程师于茜老师分享，主

搜索的百亿级网页搜索引擎架构实现

Tue, 15 Mar 2022 09:02:14 +0800

360搜索技术团队目前 360 搜索每日抓取的网页数量高达十亿，已经收录的网页基本上是万亿级别的网页集合，实际可检索的网页是在一个百亿级别的网页集合里。目前 360 搜索的单日流量是亿级 pv。我们目前的在线、离线机群有几万台服务器来维护这么大量级的计算。主要内容我今天的分享的主要会侧重于百亿级网

阿里一面如何保障消息投递成功消息幂等性

Tue, 15 Mar 2022 09:02:14 +0800

前言我们小伙伴应该都听说够消息中间件MQ，如：RabbitMQ，RocketMQ，Kafka等。引入中间件的好处可以起到抗高并发，削峰，业务解耦的作用。如上图：（1）订单服务投递消息给MQ中间件（2）物流服务监听MQ中间件消息，从而进行消费我们这篇文章讨论一下，如何保障订单服务把

阿里妈妈电商预估模型的发展与挑战

Tue, 15 Mar 2022 09:02:10 +0800

分享嘉宾：周国睿阿里妈妈算法专家编辑整理：鞠芳内容来源：AI 科学前沿大会出品社区：DataFun 注：欢迎转载，转载请注明出处本次分享内容提纲：电商数据个性化预估的特性阿里妈妈模型迭代路径 Where to Go 一、电商数据个性化预估的特性首先介绍一些基础的背景知识，阿里的展示广告按展示元素主要分为

微软实验管理平台

Tue, 15 Mar 2022 09:02:08 +0800

Conference Paper · May 2018 The Anatomy of a Large-Scale Online Experimentation Platform。因为工作负责和ABTest相关的事情，所以对ABTest系统理论与工程落地情况一直在调研，根据上面这篇论文，我们一起来学习下微软EXP系统的工程实现。摘要及其相关工作啥的废话略过，先放一张架构图：整个系统包含四部分： 1. experiment portal： po

如何设计一个复杂的业务系统实践

Tue, 15 Mar 2022 09:01:50 +0800

作者 | 焦方飞文章来源 | 阿里巴巴中间件团队大年初一，看完中国队 1:3 越南队的比赛，在思考中国足球每况愈下的深层次原因之外，不禁回想起这几年做过的一些大型企业数字化转型项目，有得有失，最终回归到本源“如何设计和实施一个复杂软件工程”这个问题上，趁着春节长假，把自己的一些对架构设计思考和学

年七月中旬百度算法面试道题分享

Tue, 15 Mar 2022 09:01:50 +0800

文末免费送电子书：七月在线干货组最新升级的《2021最新大厂AI面试题》免费送！问题1：过拟合怎么解决过拟合：是指训练误差和测试误差之间的差距太大。换句换说，就是模型复杂度高于实际问题，模型在训练集上表现很好，但在测试集上却表现很差。欠拟合：模型不能在训练集上获得足够低的误差。换

由和引起的问题盘点

Tue, 15 Mar 2022 09:01:48 +0800

问题描述问题1：我们的网关服务在发布刚启动的时候，总是会报几次fullgc，并且会引起少量请求超时。问题2.：同时服务在某些时间点会报出较多的超时异常，在cat监控上观察到超时异常和fullgc时间点吻合，fullgc耗时在600ms左右，那么至少fullgc停顿时间是造成短时间

贝壳找房深度语义匹配模型原理篇二交互篇

Tue, 15 Mar 2022 09:01:48 +0800

上期: 贝壳找房【深度语义匹配模型】原理篇一：表示型上期我们介绍了六种表示型的深度语义匹配模型，本期将为大家带来六种交互型的深度语义匹配模型。一、前篇回顾上期我们介绍了六种表示型的深度语义匹配模型，表示型的模型更侧重于对表示层的构建，其特点是对将要匹配的两个句子分别进行编码与特征提

阿里想为特征交互走一条新的路

Tue, 15 Mar 2022 09:01:47 +0800

文章作者：周国睿阿里巴巴高级算法专家内容来源：知乎@周国睿导读：本文主要介绍阿里定向广告技术团队在CTR建模领域最新的工作CAN，CAN已经在双十一前全面在阿里定向广告落地，在线效果提升非常显著。一般文章会以事后的视角来写，这样思考会更完整，会屏蔽掉中途的一些旁枝末节，会显得思路

内容理解在新浪微博广告中的应用

Tue, 15 Mar 2022 09:01:27 +0800

嘉宾：陈兆基微博资深算法专家整理：付一韬来源：DataFunTalk 导读：做算法的人常说"数据为王"，而对于做广告的人来说，内容理解则是广告投放的基础。本次分享将介绍在微博广告中，内容理解起到了哪些作用。主要内容包括：广告系统及微博内容商业化简介内容理解能力不

年月算法工程师道面试题分享

Tue, 15 Mar 2022 09:01:26 +0800

问题1：逻辑回归和SVM的异同 LR与SVM的相同点：都是有监督的分类算法；如果不考虑核函数，LR和SVM都是线性分类算法。它们的分类决策面都是线性的。 LR和SVM都是判别式模型。 LR与SVM的不同点：本质上是loss函数不同，或者说分类的原理不同。 SVM是结构风险最小化，LR则是

新一代海量数据搜索引擎来了

Tue, 15 Mar 2022 09:01:26 +0800

本文作者：sololzluo，腾讯 AI Lab 开发工程师一. TurboSearch 简介 AI Lab 多年一直在搜索领域进行深耕和积累，继搜搜网页搜索之后，陆续服务于微信搜一搜（公众号文章、朋友圈、视频）、应用宝搜索、地图搜索、音乐搜索、视频搜索、手 Q、QQ 群等精品垂直搜索业务，以及云搜中小数据搜索业务。从网页搜索继承

美团点评效果广告实验配置平台的设计与实现

Tue, 15 Mar 2022 09:01:26 +0800

转载自美团点评技术团队一. 背景效果广告的主要特点之一是可量化，即广告系统的所有业务指标都是可以计算并通过数字进行展示的。因此，可以通过业务指标来表示广告系统的迭代效果。那如何在全量上线前确认迭代的结果呢？通用的方法是采用AB实验（如图1）。所谓AB实验，是指单个变量具有两个版本A

阿里类电商用户增长实践

Tue, 15 Mar 2022 09:01:26 +0800

导读：用户量始终是衡量一个产品成功与否的重要指标，而搜索往往又是电商平台最大的流量入口。本次分享将介绍阿里B类电商平台1688的用户生命周期分析、全链路用户增长体系以及深度学习在搜索上的应用。主要内容包括： 1. 用户增长 2. 搜索 3. 集单中控 ▌用户增长首先看一下1688的数据，可以看到从今

源码系列索引文件

Tue, 15 Mar 2022 09:01:25 +0800

当设置了TermVector的域生成了倒排表以后，将文档的词向量信息写到.tvx（vector_index）跟.tvd（vector_data）文件中。数据结构 .tvd 图1： PackedIntsVersion PackedIntsVersion描述了压缩使用的方式，当前版本中是VERSION_MONOTONIC_WIT

金融资管领域知识图谱的构建和应用

Tue, 15 Mar 2022 09:01:25 +0800

. 分享嘉宾：李渔熵简科技联合创始人编辑整理：唐汝佳出品平台：DataFunTalk 导读：本次分享的主题是金融资管领域知识图谱的构建和应用，主要介绍如何运用大数据、AI这些技术手段，来帮助金融资管客户构建一套面向金融资管领域的知识图谱系统。主要内容包括：金融资管行业为什么需要知识图

会向业务砍需求的技术同学该具备哪点能力

Tue, 15 Mar 2022 09:01:23 +0800

论工程师的商业头脑我们常常听到这样的话，“某某同学有很好的business sense”，这通常是评价一个非业务类型的同学，如果这个同学是一个软件工程师，那么他一定很受产品和业务的青睐，因为对他们来讲，这样的技术同学交流起来更顺畅，换句话说，就是更有共同语言。什么是“busines

算法工程师常见面试问题及相关资料汇总

Tue, 15 Mar 2022 09:01:19 +0800

Awesome-algorithm-interview 算法工程师(人工智能 cv 方向)面试问题及相关资料的网站收集 Algorithm Engineer 1. GitHub 算法/深度学习/NLP 面试笔记 Github 算法工程师面试 Github 2019 届秋招面经集合 Github 技术面试必备基础知识 Github AI 算法岗求职攻略 Github (amusi) 阿里、腾讯、百度、华为、京东、搜狗和滴滴最新面试题汇集 Github 「面试算法练级攻略」-「LeetCode 题解」-「

一个关于项目管理者与程序猿之间的笑话

Tue, 15 Mar 2022 09:01:16 +0800

在网上看见有一个笑话是这样的：程序员写出自认为没有 Bug 的代码。软件测试，发现了 20 个 Bug。程序员修改了 10 个 Bug，并告诉测试组另外 10 个不是 Bug。测试组发现其中 5 个改动根本无法工作，同时又发现了 15 个新 Bug。重复 3 次步骤 3 和步骤 4。鉴于市场方面的压力，为了配合当初制定的过分乐观的发

工商银行实时大数据平台建设历程及展望

Tue, 15 Mar 2022 09:00:43 +0800

袁一@工商银行摘要：本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享一、工行实时大数据平台建设历程工商银行从 2002 年开始建设数据集市，当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加，开始引入 TD、ED 等国外高端一体机。2014 年工行正式基于 Hadoop 技术建设了大数据平台，

超详细讲解深入理解二分类算法

Tue, 15 Mar 2022 09:00:43 +0800

我的个人微信公众号： Microstrong 微信公众号 ID：MicrostrongAI 目录： GBDT 分类算法简介 GBDT 二分类算法 2.1 逻辑回归的对数损失函数 2.2 GBDT 二分类原理 GBDT 二分类算法实例手撕 GBDT 二分类算法 4.1 用 Python3 实现 GBDT 二分类算法 4.2 用 sklearn 实现 GBDT 二分类算法 GBDT 分类任务常见的损失函数总结 Reference 本文的主要内容概览： 1. GBDT 分类算法简介 GBDT 无

去哪儿网数据同步平台技术演进与实践

Tue, 15 Mar 2022 09:00:36 +0800

作者介绍井显生，2019年加入去哪儿，现负责国内机票出票、退款、改签核心业务。在领域驱动设计(DDD)、高并发有大量实践经验。一、前言去哪儿网国内机票售后是为用户提供退票、改签、航班变动、行程服务、疫情政策等服务的业务。业务场景中有复杂的基于订单、客票、 PNR 、行程、航司等各种维度的

图解自监督学习人工智能蛋糕中最大的一块

Tue, 15 Mar 2022 09:00:03 +0800

作者：Amit Chaudhary 编译：ronghuaiyang 导读：如果人工智能是一块蛋糕，那么蛋糕的大部分是自监督学习，蛋糕上的糖衣是监督学习，蛋糕上的樱桃是强化学习。 Yann Lecun 在他的演讲中引入了“蛋糕类比”来说明自监督学习的重要性。虽然这个类比是有争论的，但我们也已经看到了自监督学习的影响，在自然

滴滴基于的一站式搜索中台实践

Tue, 15 Mar 2022 09:00:03 +0800

李夏昕 ElasticSearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。滴滴从 2016 年 4 月开始组建团队，解决 ElasticSearch 在使用过程中遇到的性能问题。并且，随着业务体量的发展，滴滴构建了基于 ElasticSearch 的一站式搜索平台。InfoQ 邀请到了滴滴出行高级专家工程师、 QCon 全球软件开发大会（广州站）讲师张亮，请他聊

爱奇艺短视频推荐多兴趣召回篇

Tue, 15 Mar 2022 09:00:03 +0800

文章作者：随刻基础推荐团队内容来源：爱奇艺技术产品团队导读：推荐系统的本质是信息过滤，多个信息漏斗将用户最感兴趣的内容逐步呈现在用户面前，如图1所示（《爱奇艺短视频推荐：粗排篇》）。召回阶段作为首个漏斗从多个维度将海量视频中用户可能感兴趣的内容滤出交给后续排序技术处理，它直接决定

生产实践基于的直播实时数据建设一需求和架构篇

Tue, 15 Mar 2022 08:59:53 +0800

注：本文经授权转载自 mangodata YangYichao 转载请关注作者公众号联系原作者 ❝本系列每篇文章都是从一些实际生产实践需求出发，解决一些生产实践中的问题，抛砖引玉，以帮助小伙伴们解决一些实际生产问题。相信大家或多或少都观看过直播，那大家有没有想过，如果自己负责建设公司内整体直播实时数据，会怎样去建设呢？本

苏永浩技术在商业搜索与推荐场景的实践

Tue, 15 Mar 2022 08:59:53 +0800

》分享嘉宾：苏永浩 58同城资深算法工程师编辑整理：吴祺尧出品平台：DataFunTalk 导读：从C端视角来看，58商业将Embedding作为广告的一种理解方式，使我们精确理解C端用户意图，同时理解B端推广提供的能力，使得目标推广以合适的形式触达C端用户。Embedding对文本

谈谈医疗健康领域的

Tue, 15 Mar 2022 08:59:53 +0800

丁香园大数据 NLP。发表日期： 2019-05-05 前言短语挖掘（ Phrase Mining）的目的在于从大量的文本语料中提取出高质量的短语，是 NLP 领域中基础任务之一。短语挖掘主要解决专业领域的专业词典不足的问题，减少人工整理成本，如图所示 Phrase Mining 在以下几个任务中非常重要。 jieba 分词是中文分词领域比较好的工具[1,2]，

拯救的配方

Tue, 15 Mar 2022 08:59:50 +0800

拯救 996 的配方引言随着越来越多的公司加入996的阵营，企业面临的经营压力越来越大，员工不得不为此付出更多的努力。在社会的大环境下，企业不努力燃烧激情，将失去生存的立锥之地；员工不努力释放自我，将会被企业淘汰；正所谓皮之不存毛将焉附。这样的场景，非企业所愿，非员工所望，却是趋势如此，

译写给计算机专业毕业生的条宝贵建议

Tue, 15 Mar 2022 08:59:50 +0800

作者 | Chip Huyen 译者 | 大小非出处 | AI 前线计算机专业的毕业生临毕业时，总会面临着各种困惑，“我应该攻读博士学位吗?”，“我应该到大公司还是初创公司工作?”，“我应该自己创业吗?”，“我应该做工程还是更偏向市场一些?”，“我应该离开科技行业，去追求自己的兴趣爱好么?”。作为一个“过来人”，

网易云音乐广告预估模型演进过程

Tue, 15 Mar 2022 08:59:46 +0800

作者：Neil 稿导读：: 本文先介绍了效果广告的基本原理，然后以云音乐广告系统从浅层模型到深度模型的演进为主线，介绍了广告算法团队在算法优化过程中遇到的问题、思考和解决的过程。广告是云音乐的重要收入来源之一，最近两年云音乐广告平台在深度（机器）学习技术上做了很大的投入，期间也遇到了

闲鱼商品理解数据分析平台龙宫

Tue, 15 Mar 2022 08:59:46 +0800

作者：故渊闲鱼技术引言闲鱼是一个以C2C为主的平台，区别于B端的用户，C端卖家在发布商品时更倾向于图+描述的轻发布模式，对于补充商品的结构化信息往往执行力和专业程度都不高，这为我们的商品理解带来了很大的困难。为了能够在发布侧获得更多的商品结构化信息，我们开始尝试在原有图+文的极简

同城槽位识别与纠错在智能语音机器人中的实践

Tue, 15 Mar 2022 08:59:44 +0800

作者：宋玉美导读在语音机器人中，经常需要槽位识别来提取用户回答中的关键信息，以便用于控制对话逻辑跳转和标识对话关键词等，我们通过命名实体识别（Named Entity Recognition，NER）技术来提取对话中的实体词（关键词），即语音机器人中的槽位词。背景由于语音识别（Automati

超详细完整的推荐系统架构设计

Tue, 15 Mar 2022 08:59:42 +0800

本文节选自《从零开始构建企业级推荐系统》一书张相於著电子工业出版社出版架构设计概述架构设计是一个很大的话题，这里只讨论和推荐系统相关的部分。更具体地说，我们主要关注的是算法以及其他相关逻辑在时间和空间上的关系——这样一种逻辑上的架构关系。在前面的章节中我们讲到了很多种算法，每种算

淘宝搜索中语义向量检索技术

Tue, 15 Mar 2022 08:59:41 +0800

转载自蘑菇先生学习记今天带来一篇论文的分享，KDD'21的Applied Data Science Track中，淘宝搜索发表的一篇EBR文章[9]： Embedding-based Product Retrieval in Taobao Search 。论文要讨论的几大问题提前预览下：搜索场景中，query如何充分地进行语义表征？电商平台的query通常是短query，如何对有限长度的que

阿里妈妈数据科学系列第一篇认识在线实验

Tue, 15 Mar 2022 08:59:41 +0800

前言在互联网业务中，“增长”是永恒的主题，但随着互联网时代的发展，野蛮增长的流量红利已逐渐消失，如何在策略效果不可见的条件下，实现有效增长是当下互联网企业的难题。面对未知的策略价值，在线实验成为了有效的测度手段，自2000年 Google 将实验技术应用在互联网产品中，在线实验已经成为互联网企

种方法求解面试不要再问我了

Tue, 15 Mar 2022 08:59:40 +0800

前言：本文将介绍随机选择，分治法，减治法的思想，以及TopK问题优化的来龙去脉，原理与细节，保证有收获。面试中，TopK，是问得比较多的几个问题之一，到底有几种方法，这些方案里蕴含的优化思路究竟是怎么样的，今天和大家聊一聊。 _画外音：_ 除非校招，我在面试过程中从不问TopK这个问

淘系技术多序列融合召回在新用户冷启动上的应用

Tue, 15 Mar 2022 08:59:39 +0800

背景内容推荐是淘宝推荐领域的重要阵地之一，每天会有数以千万计的用户进入内容推荐场景并消费各式各样的内容，其中不乏数量众多的新用户。新用户冷启动是推荐领域的经典问题，我们的召回-粗排-排序-重排推荐链路中，召回模块是新用户冷启动的重要核心优化点。目前针对新用户的召回模块中，主要包含

腾讯技术新一代搜索引擎项目设计探索

Tue, 15 Mar 2022 08:59:39 +0800

本文作者：kaelhua，腾讯 WXG 后台开发工程师背景写这篇文章很大的原因在于不论是内网还是外网，分享内存检索引擎设计的资料都非常稀少，且存量的资料大多侧重于功能性的介绍。另一方面，在磁盘检索引擎方面，由于开源搜索引擎 ES 的盛行，对于其使用的索引库 lucence 的分析资料反而较为丰富。本文意在通过

阿里文娱深度语义搜索相关性探索

Tue, 15 Mar 2022 08:59:39 +0800

分享嘉宾：闰辰阿里文娱高级算法专家编辑整理：韩佳导读：大家都知道视频作为4G以及5G时代最便捷的信息载体。它在给用户带来极大便利的同时也会给搜索带来了更大的挑战。视频不论从制作、存储、计算还是分发，都比文字模态的信息要困难很多。今天分享会从四个方面给大家进行介绍：阿里文娱搜索业务

阿里流计算引擎数据一致性的本质

Tue, 15 Mar 2022 08:59:39 +0800

作者 | 齐光阿里云云栖号微信号 yunqiinsight 流计算的应用与实践在大数据领域越来越常见，其重要性不言而喻，常见的流计算引擎有 Google DataFlow、Apache Flink，Apache Kafka Streams，Apache Spark Streaming 等。流计算系统中的数据一致性一般是用消息处理语义来定义的，如某引擎声称可以提供「恰

汽车之家湖仓一体架构实践

Tue, 15 Mar 2022 08:59:36 +0800

分享嘉宾：邸星星@汽车之家编辑整理：DataFun、Flink中文社区导读：本文将介绍如何基于Apache Iceberg构建湖仓一体架构，将数据可见性提升至分钟级；从多维分析的角度来探讨引入Apache Iceberg带来的收益，以及未来还有哪些收益可以期待。 01 数据仓库架构升级的背

消息中间件消息消费一

Tue, 15 Mar 2022 08:59:36 +0800

文章摘要：在发送消息给RocketMQ后，消费者需要消费。消息的消费比发送要复杂一些，那么RocketMQ是如何来做的呢？在RocketMQ系列文章的前面几篇幅中已经对其“RPC通信部分”和“普通消息发送”两部分进行了详细的阐述，本文将主要从消息消费为切入点简要地介绍下“Rock

一次生产系统问题分析与排查总结

Tue, 15 Mar 2022 08:59:34 +0800

一次生产系统Full GC问题分析与排查总结背景最近某线上业务系统生产环境频频CPU使用率过低，频繁告警，通过重启可以缓解，但是过了一段时间又会继续预警，线上两个服务节点相继出现CPU资源紧张，导致服务器卡死不可用，通过告警信息可以看到以下问题：从上图可以看到，目前zabbix监控

万阳春度小满金融技术在小微场景中的应用

Tue, 15 Mar 2022 08:59:34 +0800

分享嘉宾：万阳春度小满算法专家编辑整理：仁科苏州市广播电视总台出品平台：DataFunTalk 导读：今天跟大家分享一下，在金融小微场景下，我们通过OCR技术提升业务效率的一些思考和探索。主要介绍以下几大方面：小微业务痛点 OCR典型应用 OCR背后技术 OCR平台智能化 01 小微业务痛点首

淘系技术召回技术在内容推荐的实践总结

Tue, 15 Mar 2022 08:59:34 +0800

“本文从跨域联合召会、语义&图谱&多模态、用户多兴趣表征和未来工作四个模块展开。” 引言内容化这几年越来越成为电商的重点，用户来到网购的时候越来越不局限在只有明确需求的时候，而更多的是没有明确需求的时候，就像是逛街一样。逛逛就是在这样的背景下

深度解析轻量级全文索引实现原理

Tue, 15 Mar 2022 08:59:34 +0800

作者：vivo互联网服务器团队-Qian Yulun 一、Lucene简介 1.1 Lucene是什么？ Lucene是Apache基金会jakarta项目组的一个子项目； Lucene是一个开放源码的全文检索引擎工具包，提供了完整的查询引擎和索引引擎，部分语种文本分析引擎； Lucene并不是一个完整的

回顾如何构建知识图谱

Tue, 15 Mar 2022 08:59:33 +0800

本文根据转转张青楠老师，在DataFun AI+ Talk中所分享的《二手电商知识图谱构建以及在价格模型中的应用》编辑整理而成。一、知识图谱概述这次的分享主要从以下四个部分：知识图谱概述、知识图谱构造、转转二手电商知识图谱、在价格模型中的应用。 **1.****1 ** 什么是知识图谱知识图谱是谷歌在2012年

吴恩达等大佬回顾预测年发展

Tue, 15 Mar 2022 08:59:30 +0800

人工智能一度被炒作为一项可以拯救世界或者毁灭世界的技术。拨开喧嚣与炒作的迷雾，VentureBeat 与人工智能领域的杰出专家 Google Brain 联合创始人吴恩达，Cloudera 和 Fast Forward Labs 创始人 Hilary Mason，Facebook AI 研究院创始人 Yann LeCun，以及埃森哲人工智能全球负责人 Rumman Chowdhury 进行了一次交流

数智技术大数据优化之数据倾斜解决案例全集

Tue, 15 Mar 2022 08:59:28 +0800

1 什么是数据倾斜数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。外部表现的话，在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小时没有变

从算法工程师到主管的转变需要改变的是什么

Tue, 15 Mar 2022 08:59:02 +0800

黄鸿波什么样的人容易被提升对于一些已经工作了三年以上的同学来讲，已经到了为自己的未来考虑的时候了。在互联网行业，3 年就是一个坎，对于一个技术能力相对较强的同学，在一家比较大的企业 3 年的时间完全可以从一个新人晋升成为一个组的组长，在一个小公司甚至都有可能变成一个小的技术经理。在成为

每日生产万亿消息数据入库腾讯如何突破大数据分析架构瓶颈

Tue, 15 Mar 2022 08:59:02 +0800

作者：彭渊 2018 年 11 月 20 日背景介绍对于腾讯庞大的大数据分析业务，几千台的 Hadoop 集群，近百 P 级的存储总量，每日产生万亿的消息数据入库，需要针对几十亿 IMEI 手机设备去重，并关联数千亿的历史全表，进行曝光、点击、PV、UV、日活、新增、留存等统计指标分析，当前所有业务的 ETL 清洗、统计计算、用户画像都

字节算法热乎面经

Tue, 15 Mar 2022 08:59:01 +0800

作者 | 我爱雪糕整理 | NewBeeNLP 面试锦囊之面经分享系列，持续更新中 PS. 本面经来自讨论组内大佬，欢迎订阅后台回复"面试"加入交流写在前面先说下感受吧。本人在今年 3 月 1 号（周日）投递简历，隔天周一 hr 就约了周四的面试，结果那天是 2 面视频技术面 +hr 面直接走完了，周五内推的学长就告诉

回顾饿了么推荐算法演进及在线学习实践

Tue, 15 Mar 2022 08:59:00 +0800

收录自 DataFunTalk 公众号分享嘉宾：刘金老师编辑整理：李亚俊内容来源： DataFun AI Talk《饿了么推荐算法演进及在线学习实践》出品社区： DataFun 本次分享的主要内容包括以下三个方面:首先是介绍推荐业务背景，包括推荐产品形态及算法优化目标；然后是算法的演进路线；最后重点介绍在线学习是如何在饿了么推荐领域实践的

从阿里的看模型线上实时方法

Tue, 15 Mar 2022 08:58:58 +0800

这里是「王喆的机器学习笔记」的第二十九篇文章。最近写书的时候在总结一些深度学习模型线上 serving 的主流方法。之前的专栏文章也有所涉及（如何解决推荐系统工程难题——深度学习推荐模型线上 serving）。但是看到阿里妈妈去年 KDD 上的文章 *Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction * 之后，还是有种相见恨晚的感觉，因为

携程金融大数据风控算法实践

Tue, 15 Mar 2022 08:58:54 +0800

导读：本次报告曾老师主要分享了携程金融风控算法从0-1的发展进程，以时间为主线，经历了数据样本由少到多，特征由粗到细，模型由简单到复杂，效果由坏到好的全过程，重点以申请评分模型和反欺诈模型进行阐述，是一次很好的风控模型实践报告。「业务介绍」模型一定是基于业务的，所以首先介绍一下携

蜻蜓信息流推荐探索与实践

Tue, 15 Mar 2022 08:58:54 +0800

文章作者：季飞蜻蜓FM 推荐技术负责人内容来源：作者授权出品平台：DataFunTalk 导读：如今的推荐系统在互联网中随处可见，无论是刷抖音、逛淘宝还是看新闻背后都有强大的推荐系统的支持。音频行业的内容如何分发？如何提高用户发现音频内容的效率？蜻蜓FM作为国内首家互联网音频媒体平台

通俗的理解牛顿莱布尼茨公式及其证明

Tue, 15 Mar 2022 08:58:54 +0800

知乎 Flame 的回答你觉得绕是因为逻辑本来就有问题，积分上限函数是不定积分的本质，而不是什么原函数。定积分（也叫黎曼积分，Riemann Integral）为给定区间无限分割求和，求和符号拉长变成表无限，的微分区别于有限分割求和的表示无限分割。构造从积分上限映射到定积分的函数，称为不定积分

马蜂窝推荐排序算法模型是如何实现快速迭代的

Tue, 15 Mar 2022 08:58:54 +0800

Part.1 马蜂窝推荐系统架构马蜂窝推荐系统主要由召回（Match）、排序（Rank）、重排序（Rerank）几个部分组成，整体架构图如下：在召回阶段，系统会从海量的内容库筛选出符合用户偏好的候选集（百级、千级）；排序阶段在此基础上，基于特定的优化目标（如点击率）对候选集内容进行更加精准的

必读人工智能社区公告

Tue, 15 Mar 2022 08:58:52 +0800

欢迎加入AIQ，与 22000+ 人工智能算法爱好者共同书写中国人工智能新篇章。在这里会分享人工智能在企业落地上的一些实践、AI智能领域的资讯、知识及教育培训、会议活动；鼓励技术写作和问答互助。大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。 ChangeLogs 11.29 优化搜索：搜索高亮、即刻搜索 11.18 首页缓

上的用命名实体识别任务来解释推理

Tue, 15 Mar 2022 08:58:51 +0800

作者：CreateMoMo 编译：ronghuaiyang 导读今天是第三部分，介绍如何推理新的句子。前两篇链接： BiLSTM 上的 CRF，用命名实体识别任务来解释 CRF（1） BiLSTM 上的 CRF，用命名实体识别任务来解释 CRF（2）损失函数 2.6 为新的句子推理标签在前面的章节中，我们学习了 BiLSTM-CRF 模型的结构和 CRF

微信全文搜索技术优化实践

Tue, 15 Mar 2022 08:58:51 +0800

作者：qiuwenchen 腾讯技术工程稿一、iOS 微信全文搜索技术的现状全文搜索是使用倒排索引进行搜索的一种搜索方式。倒排索引也称为反向索引，是指对输入的内容中的每个 Token 建立一个索引，索引中保存了这个 Token 在内容中的具体位置。全文搜索技术主要应用在对大量文本内容进行搜索的场景。微信终端

敏感词匹配系统的设计与实践

Tue, 15 Mar 2022 08:58:49 +0800

作者：vivo互联网服务器团队-Liang Kangwu 一、前言谛听系统是vivo的内容审核平台，保障了vivo各互联网产品持续健康的发展。谛听支持审核多种内容类型，但日常主要审核的内容是文本，下图是一个完整的文本审核流程，包括名单匹配、敏感词匹配、AI机器审核、人工审核四个环节。待审核文本

新东方在线教育实时数仓的落地实践

Tue, 15 Mar 2022 08:58:49 +0800

以下文章来源于ApacheDoris ，作者ApacheDoris 背景介绍在传统数据仓库方面，通常以 T+1 离线批量计算为主，按照数仓建模方式，把要处理的业务按照主题域划分，构建各种数据模型，来满足公司经营分析，财务分析等各种公司管理层的数据需求。然而，随着在线教育快速发展市场竞争非常激

谷歌自然语言处理模型基于

Tue, 15 Mar 2022 08:58:49 +0800

一、前言最近谷歌搞了个大新闻，公司AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达

在有赞的实践和应用

Tue, 15 Mar 2022 08:58:48 +0800

沈磊@有赞 Flink 中文社区摘要：今天主要分享的内容是 Flink 在有赞的实践和应用。一、Flink 的容器化改造和实践 1. 有赞的集群演进历史 2014 年 7 月，第一个 Storm 任务正式上线； 2016 年，引入 Spark Streaming，运行在 Hadoop Yarn； 2018 年，引入了 Flink，作业模式为 Flink on Yarn Per Job； 2020 年 6 月，实现了 100% Flink Jar 任务 K8s

基于构建企业级实时数据湖

Tue, 15 Mar 2022 08:58:48 +0800

Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：数据湖的相关背景介绍；经典业务场景介绍；为什么选择 Apache Iceberg；如何通过 Flink+Iceberg 实现流式入湖社区未来规划工作。视频回

揭秘升级版语义搜索技术

Tue, 15 Mar 2022 08:58:48 +0800

欢迎关注本人公众号" 蘑菇先生学习记 “，会定期分享算法最新进展以及工作实践感悟。上一篇分享了 KDD'21 | 淘宝搜索中语义向量检索技术，今天分享Facebook在KDD'21上发表的又一篇EBR文章： Que2Search: Fast and Accurate Query and Document Understanding for Search at Facebook 。两篇文章的风格差异巨大。Facebook延续了

同城商业数据仓库建设实践

Tue, 15 Mar 2022 08:58:45 +0800

分享嘉宾：钟云云 58同城数据架构师编辑整理：李凯凯出品平台：DataFunTalk、AI启蒙者导读：早在多年以前在Hadoop系列分布式计算与存储、消息中间件还没有成熟的时候，数据仓库主要基于Oracle的数仓建设。但随着时间的推移，传统数据仓库的数据计算与存储，已经无法很好地支

源码系列类

Tue, 15 Mar 2022 08:58:44 +0800

原文地址： https://www.amazingkoala.com.cn/Lucene/gongjulei/2018/1209/24.html IntBlockPool 类在索引阶段，使用 IntBlockPool 来存储 term(域值)的信息，在 MemoryIndex 中，使用此类对 term 在文档中的位置、payload 数据进行存储，它即 MemoryIndex 中的倒排表，它的数据就是用这个类的对象存储的。在介绍 IntBlockPool 类时，我们根据这个类在 MemoryIndex 中实际使用过程来讲解。如何介绍 IntBlockPool 类首先会贴出这个类中几个重要的方法，

搜索系统中的纠错问题

Tue, 15 Mar 2022 08:58:43 +0800

CS 的陋室纠错是搜索引擎中一个非常有特色的模块，对用户输入的内容进行改写从而让用户得到正确的结果，有的时候也会带有一些惊喜度，所以纠错技术是一个搜索体验的加分项，近期突然对这块有兴趣，所以就了解了一下。（学习周报本周停，学习内容都在这了）纠错技术的背景人非圣贤，孰能无过，别说是搜索

源码系列索引文件的生成四之跳表

Tue, 15 Mar 2022 08:58:43 +0800

在文章索引文件的生成（三）中我们介绍了在 Lucene 中生成跳表 SkipList 的流程，通过流程图的方法介绍了源码中的实现方式，而对于读取 SkipList 的内容，决定直接以例子的方式来介绍其读取过程，下文中出现的名词如果没有作出介绍，请先阅读文章索引文件的生成（三）。例子直接给出一个生成后的跳表：图 1：在图 1 中，为了便

阿里云深入理解领域驱动设计中的聚合

Tue, 15 Mar 2022 08:58:43 +0800

作者 | 嵩华阿里云云栖号聚合模式是 DDD 的模式结构中较为难于理解的一个，也是 DDD 学习曲线中的一个关键障碍。合理地设计聚合，能清晰地表述业务一致性，也更容易带来清晰的实现，设计不合理的聚合，甚至在设计中没有聚合的概念，则相反。聚合的概念并不复杂。本文希望能回到聚合的本质，对聚合的定义和实操

从罗永浩直播刷屏来看如何做好项目管理

Tue, 15 Mar 2022 08:58:42 +0800

前几日，罗永浩被限制消费令，再次引起了广泛的关注。而罗永浩则在微博上回应称，限制消费令已经取消，将努力工作尽快还债。罗永浩自从锤子手机失败以来，就深陷债务危机。在今年罗永浩表示将利用自己强大的口才和粉丝团进军直播带货，进而想方设法的进行还债。在 4 月 1 日愚人节当晚，罗永浩开启直播带

苏宁苏宁易购订单搜索系统架构及实现

Tue, 15 Mar 2022 08:58:42 +0800

背景随着苏宁易购平台规模的飞速发展，平台的订单量呈现指数级的增长，存储容量已达 TB 级，订单量更是到了万亿级别，尤其在双 11 大促流量洪峰的场景下，面临两个挑战： 1、如何存储如此巨大的数据量 2、如何提供高并发、低延迟、多维度的检索服务传统关系型数据库无法支撑多维度的模糊检索，为此，我们选

美团基于知识图谱的剧本杀标准化建设与应用

Tue, 15 Mar 2022 08:58:41 +0800

来源：李翔陈焕志华等美团技术团队剧本杀作为爆发式增长的新兴业务，在商家上单、用户选购、供需匹配等方面存在不足，供给标准化能为用户、商家、平台三方创造价值，助力业务增长。本文介绍了美团到店综合业务数据团队从0到1快速建设剧本杀供给标准化的过程及算法方案。我们将美团到店综合知识图谱（

美团配送实时特征平台建设实践

Tue, 15 Mar 2022 08:58:41 +0800

文章作者：李金康美团高级技术专家内容来源：Frank 出品平台：DataFunTalk 导读： 2019年5月，美团正式推出新品牌「美团配送」，升级配送开放平台。那你知道支撑美团配送大脑的实时特征平台是如何建设的吗？如何实现每分钟生产千万级的实时特征？如何在70w+QPS的场景下实现4

你们都在用什么项目管理软件

Tue, 15 Mar 2022 08:58:40 +0800

在任何一个项目开发或设计中，项目管理被认为最重要的过程之一，因此，选择一款适宜的项目管理工具尤为重要。项目管理是指管理项目计划、定义、监控、控制以及确认交付的过程，因此它的优势也是被公认的。随着各个领域特定项目管理需求的提升，企业就需要一个更好的项目管理工具来管理项目进程。因此一

广告算法在阿里文娱用户增长中的实践

Tue, 15 Mar 2022 08:58:40 +0800

导读：从 2019 年开始，优酷使用 DSP 在今日头条、阿里妈妈等平台投放视频广告，实现用户的稳定增长。我们将用户增长领域与广告竞价领域结合，借鉴推荐领域的实践，基于特有的业务背景，开发落地了一系列算法。在成本及预算可控的条件下，最终实现了数百万 DAU 的引流能力。本文主要介绍外投广告算法在用户增长领

阿里妈妈应用系统大规模异步交互治理方案

Tue, 15 Mar 2022 08:58:39 +0800

翰学阿里妈妈技术阿里妈妈广告应用团队在平台化支撑业务发展的思路下，启动了对应用系统架构、研发模式、组织阵型各个维度的改革和升级，以期通过打造全新的“广告业务平台”来提升应用系统的工程建设能力、沉淀广告业务资产、建设专业的人才梯队、赋能营销业务的创新发展。其中，业务中心化是推进应用

顶级开源项目是怎样炼成的国内开发者应该如何借鉴

Tue, 15 Mar 2022 08:58:39 +0800

作者 | Justin Mclean 出处 | 阿里巴巴中间件近日，Apache 孵化器主席、Apache 基金会成员、Dubbo & RocketMQ 等开源项目的导师 Justin Mclean 来到阿里巴巴西溪园区，与众多开发者分享了如何打造一个 Apache 顶级项目，以及项目孵化过程会遇到的一些盲点和挑战。现场为英文分享，本文在分享的基础上做了些内容扩展，感谢阿里

基于知识图谱的语义理解技术及应用

Tue, 15 Mar 2022 08:58:38 +0800

分享嘉宾：冯知凡百度主任研发架构师编辑整理：付一韬内容来源：DataFunTalk·年终论坛出品平台：DataFun 导读：知识图谱在人工智能应用中的重要价值日益突显。百度构建了超大规模的通用知识图谱，并在搜索、推荐、智能交互等多项产品中广泛应用。同时，随着文本、语音、视觉等智能技

快手端上智能在快手上下滑推荐取得时长的应用实践

Tue, 15 Mar 2022 08:58:38 +0800

1.背景 1.1.端上智能端上智能是相对于云计算人工智能应用(如推荐、搜索)的概念：如工业界成熟的推荐系统方案，几乎都是通过云计算的算力，在海量候选集中搜索用户感兴趣的 Feed，并通过复杂的精排模型(百亿至千亿级参数规模)将排序 Top 的 Feeds 列表发送给智能手机终端。智能手机终端在这个过程中

有赞数据资产赞之治理

Tue, 15 Mar 2022 08:58:38 +0800

作者：见风团队：有赞大数据团队一、背景介绍大数据概念的提出已十年有余，这期间风靡全球，与其相关的理论、技术和实践遍地开花，整个领域都在飞速发展。野蛮生长之下，“数据治理”的呼声水涨船高。工信部19年提出：将加强数据治理，扎实推进国家大数据发展战略，将数据治理重要性上升到新的高度。

由于幸存者偏差导致强变量在后续迭代中逐渐削弱甚至相反怎么办文末有福利

Tue, 15 Mar 2022 08:58:38 +0800

解析：幸存者偏差（SurvivorshipBias）与样本不均衡（Imbalance Learning）问题都是由于风控模型的拒绝属性导致的。但表现形式略有不同。幸存者偏差是指，每次模型迭代时，使用的样本都是被前一个模型筛选过的，从而导致的样本空间不完备。其实主要是添加负样本的问题

电商推荐那点事

Tue, 15 Mar 2022 08:58:38 +0800

文章作者：姚凯飞 Club Factory 编辑整理：Hoh Xil 内容来源：作者授权发布出品社区：DataFun ▌本次分享内容大纲：推荐概述好的推荐产品几大挑战（用户、物品、系统、冷启动…）模块与架构召回及排序 ▌推荐概述**：** **▌** 好的推荐产品 ▌几大挑战 **▌** 模块与架构 **▌** 召

风控建模流程以京东群体感知项目为例

Tue, 15 Mar 2022 08:58:35 +0800

导读：本次分享将以群体风险感知为例，从需求挖掘、数据挖掘、建模再到最终的模型部署应用，详细介绍全流程的风控建模方案。下面将从这几个方面出发，详细的讲解具体流程中的概念，同时会给出每个流程中的目标、实现方法、交付物，让同学们在具体实践的时候有目标，有方法。 ▌业务需求挖掘任何项目的起

灵魂匹配陌生社交的增长机制

Tue, 15 Mar 2022 08:58:34 +0800

文章作者：姚凯飞内容来源：阅读以明智导读： Soul作为“灵魂社交”的先行者，这两年发展稳健，不管是用户规模还是产品ROI都有非常不错的表现。一直以来，人类底层的社交需求并没有太大变化，但是时代发展，代际更迭为新的产品带来了新机遇。作为非常受95后欢迎的产品， Soul抓住了其中的一

在推荐系统中的分布式训练优化实践

Tue, 15 Mar 2022 08:58:29 +0800

美团点评技术团队稿美团内部深度定制的TensorFlow版本，基于原生TensorFlow 1.x架构与接口，从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中，分布式扩展性提升10倍以上，单位算力性能也有显著提升，并

聊聊栈

Tue, 15 Mar 2022 08:58:29 +0800

写在前面在开始正式的讨论前，我先抛出几个问题：谈到磁盘时，常说的HDD磁盘和SSD磁盘最大的区别是什么？这些差异会影响我们的系统设计吗？单线程写文件有点慢，那多开几个线程一起写是不是可以加速呢？ write(2) 函数成功返回了，数据就已经成功写入磁盘了吗？此时设备断电会有影响吗？会丢失数据吗？ write(2)

转自知乎当下年腾讯的技术建设是否处于落后同体量公司的状态

Tue, 15 Mar 2022 08:58:29 +0800

知乎原文 https://www.zhihu.com/question/278473776/answer/497643585?from=timeline&isappinstalled=0&utm_medium=social&utm_source=wechat_timeline 现在是2018年9月25日，腾讯内部刚刚由总裁宣讲了形式一片大好，所有的困难都是暂时性，一切尽在把握中的鸡汤。与此同时，在to C端，抖音月活超过5亿，达到微信的一半；to B端，腾讯云数据丢失风波刚过去不久，而云服务仍然没有独立作为事业群存在。有趣的是，代表目前重点的微视

一概述推荐系统简介

Tue, 15 Mar 2022 08:58:26 +0800

▌ 推荐系统简介这个时代背景下，「信息爆炸」与「长尾问题」的其中一个主要解决方案是「个性化推荐」、「搜索技术」，前期我们先探讨个性化推荐技术。那具体什么是个性化推荐，怎么去实现这一过程呢？这一章让我们一起探寻个性化推荐的整个流程与技术概览，后续章节我们会逐一展开。这一章读者朋友需要

解读滴滴猜你去哪儿功能的算法实现

Tue, 15 Mar 2022 08:58:25 +0800

文章作者：Dustinsea Alibaba 编辑整理：Hoh 内容来源：作者授权出品社区：DataFun 导读：最近看了一篇比较有意思的文章，关于滴滴“猜你去哪儿”功能的算法实现，在这里记录下。 ▌产品图：滴滴“猜你去哪儿”产品形态从产品的角度，滴滴“猜你去哪儿”是在用户打开滴滴，用户还未输入的情况

大师丨纯粹与理想深度学习的年

Tue, 15 Mar 2022 08:57:46 +0800

转载自微软亚洲研究院编者按：在人工智能领域，Yoshua Bengio是一个无人不知的名字。他在上世纪末漫长的“AI寒冬”里依然全身心地投入深度学习研究，为我们今天的深度学习浪潮奠定了基石。11月7日，Yoshua Bengio将作为演讲嘉宾，参加微软亚洲研究院举办的“二十一世纪的计

实时翻译的发动机矢量语义斯坦福大学课程解读

Tue, 15 Mar 2022 08:57:46 +0800

转载自公众号：人工智能头条大家好，我是为人造的智能操碎了心的智能禅师。 GraphDB 最近刚刚升级到 8.7 版本，此次特别更新了矢量语义包，直接以插件形式整合到程序中。矢量语义在 NLP 领域，有着非常重要的意义，它用矢量的方式，加快了计算机学习新词汇的速度。让机器翻译、实时翻译、聊天机器人智能化等，成为可

美团深度学习系统的工程实践

Tue, 15 Mar 2022 08:57:46 +0800

转载自美团点评技术团队背景深度学习作为AI时代的核心技术，已经被应用于众多场景。在系统设计层面，由于它具有计算密集的特性，所以与传统的机器学习算法在工程实践过程中存在诸多的不同。本文将介绍美团平台在应用深度学习技术的过程中，相关系统设计的一些经验。本文将首先列举部分深度学习算法所

机器学习工程化模型部署的几种方式总结

Tue, 15 Mar 2022 08:57:39 +0800

作者：黄鸿波在企业中，我们做模型的目的就是为了能够让它来更好的解决产品在实际生产过程中所遇到的具体的问题，而模型训练好之后，下一步要做的就是将其部署上线。AI 对于很多企业来讲是一个新的领域，所以很多企业在训练好一个模型之后，对于模型部署方面总是会显得束手无策。在企业中，我们所做的

透过现象看机器学习奥卡姆剃刀没有免费的午餐丑小鸭定理等

Tue, 15 Mar 2022 08:57:38 +0800

编辑来源：Datawhale 作者：邱锡鹏，复旦大学教授寄语：本文对 PAC 学习理论、没有免费的午餐定理、丑小鸭定理、奥卡姆剃刀原理等机器学习中有名的理论或定理进行了详细的梳理。在机器学习中，有一些非常有名的理论或定理，这些理论不仅有助于我们从本质理解机器学习特性，更好地学习相关理论，更

年月中旬蔚来算法工程师面试题道

Tue, 15 Mar 2022 08:57:09 +0800

文末免费送电子书：七月在线干货组最新升级的《名企AI面试100题》免费送！问题一：你常用的优化算法？有什么特点？为什么? 梯度下降：在一个方向上更新和调整模型的参数，来最小化损失函数。随机梯度下降（Stochastic gradient descent，SGD）对每个训练样本进行参数更新，每次执行都

美团智能客服技术实践

Tue, 15 Mar 2022 08:57:07 +0800

分享嘉宾：江会星博士美团编辑整理：薛小辰前苏宁易购出品平台：DataFunTalk 导读：客服是在用户服务体验不完美的时候，帮助体验顺畅进行下去的一种解决办法，是问题发生后的一种兜底方案。而智能客服是让大部分简单问题得以快速自助解决，让复杂问题有机会被人工高效解决。在用户服务全旅程

精选知识点算法流程详解

Tue, 15 Mar 2022 08:57:03 +0800

解析1：将原图与已经准备好的每个类别的“模板”做卷积操作，生成一中类似热力图（hot map）的图像，将不同尺度上的图合成一张，图中较量点就是与最相关“模板”相似的点。拓展： SGD(stochastic gradient descent)到training里 NMS(non-maximum suppression)对后期testing的处理非常重要 Data mining hard e

精准推送实践

Tue, 15 Mar 2022 08:57:00 +0800

转载自 58架构师公众号时间： 2019-12-15 引言在大数据和算法的时代到来后，内容分发已经不仅仅是简单的渠道随意推送，而是精准地识别用户爱好、精准地为用户推荐他所喜爱看的内容，然后将“精准”变得越来越专业，进而牢牢地抓住用户。在产品运营的概念中，常见的精准推送给划分为以下两种： 1、站内精准推送：

技术应用及趋势白皮书正式发布

Tue, 15 Mar 2022 08:56:52 +0800

“未来，随着机器学习等模型的普遍化应用，模型治理的重要性越发凸显，ModelOps 将成为数据智能系统开发运行过程的标配。”——北京九章云极科技有限公司董事长方磊博士。时值 ModelOps 峥嵘初现，九章云极DataCanvas联合全球知名市场数据及科技研究平台 CB Insights 中国发布**《2021 年 ModelOps 技术应

数值索引以及空间索引方案

Tue, 15 Mar 2022 08:56:52 +0800

要解决的问题范围查询在一个二维平面上，有很多点，给定一个矩形，怎么快速的将落在矩形中的点找出来？这个问题还可以推广到任意维度，一维就是区间查询，三维就是在长方体内部。近邻查询离我最近的餐馆有哪些？这个问题可以抽象成二维空间中，要找出距离某个点最近的点的集合。一维的场景这个场景非常

用户画像标签聚类

Tue, 15 Mar 2022 08:56:43 +0800

作者：超人赵，人工智能爱好者社区专栏作者知乎： https://www.zhihu.com/people/chao-ji-sai-ya-ren/posts 链接推送：如何构建用户画像—打用户行为标签用户画像——数据质量管理这次想继续和大家聊聊用户画像。用户画像是个体系性比较强的内容模块，分一两次博客也写不完，我争取分多次博客把各个模块都搭建起来。上次把用户画像方面的内容开了一个头，讲了

互联网思维真正的高手是如何判断趋势的

Tue, 15 Mar 2022 08:56:39 +0800

作者：墨多先生来源：墨多先生（ID：mrmoduo）无论是创业还是混职场，无论面对的是一个市场还是一家公司，刻苦努力这些统统是基本条件，它不是决胜的关键，一个人若想在未来获得爆发式成长，就不得不掌握“指数型思维”。那究竟什么是“指数型思维”？又该如何做呢？今天的这篇文章将会告诉你

机器学习在马蜂窝酒店聚合中的应用初探

Tue, 15 Mar 2022 08:56:37 +0800

出门旅行，订酒店是必不可少的一个环节。住得干净、舒心对于每个出门在外的人来说都非常重要。在线预订酒店让这件事更加方便。当用户在马蜂窝打开一家选中的酒店时，不同供应商提供的预订信息会形成一个聚合列表准确地展示给用户。这样做首先避免同样的信息多次展示给用户影响体验，更重要的是帮助用户

码农晋升为技术管理者后痛并快乐着的纠结内心

Tue, 15 Mar 2022 08:56:37 +0800

有一个非常有趣的现象：据说大部分的技术管理者，在其从程序员转为管理岗位的时候，都是在领导或公司的要求下，被动的推到管理岗位上的，并非是自己当初有强烈意愿、主动去选择管理岗的。这种被动的比例还不低，高达80%以上。这个现象从我自己身边的同事中也可以感受到，最近两年我接触到的四五位新

渠江涛重排序在快手短视频推荐系统中的演进

Tue, 15 Mar 2022 08:56:32 +0800

分享嘉宾：渠江涛快手高级算法专家编辑整理：吴祺尧出品平台：DataFunTalk 导读：快手短视频作为国内比较领先的短视频和直播社区，具有巨大的日活流量。短视频平台拥有巨大的流量入口和复杂的业务形态。例如，快手拥有短视频、直播、广告等十余种业务形态，产生了海量的交互数据。这让短视频

和假设检验流量分配

Tue, 15 Mar 2022 08:56:06 +0800

我们观测到的值，并不是我们需要的参数的真实值，而是真实值的估计（举个例子，平均值和期望）；这也就意味着，估计可能是不准确的，ABtest的结果可能是错误的。直观上说，样本越多，我们可能犯错的概率越小。我们梳理了这块儿的知识，做一个学习总结。实际业务中，我们定量下面几个问题： 1）A

应用商店推荐系统探索与实践

Tue, 15 Mar 2022 08:56:06 +0800

Huang Xiaoqun vivo互联网技术介绍 vivo 应用商店推荐系统如何高效支撑个性化的推荐需求。一、前言商店的应用数据主要来源于运营排期、CPD、游戏、算法等渠道，成立推荐项目之后也没有变化，发生变化的是由推荐系统负责和数据源进行对接，商店服务端只需要和应用推荐系统进行对接即可。如果读者以为我们单纯是

微信看一看推荐排序技术揭秘

Tue, 15 Mar 2022 08:56:06 +0800

本文转载自：微信AI，作者 xiafengxia 在微信 AI 背后，技术究竟如何让一切发生？微信 AI 公众号推出技术专题系列“微信看一看背后的技术架构详解”，干货满满，敬请关注。以下为专题的第一篇《微信看一看推荐排序》。第二篇:详文解读微信「看一看」多模型内容策略与召回一、背景微信公众平台作为目前用户量最大的

亚马逊畅销书的分析推荐系统评论分类和主题建模

Tue, 15 Mar 2022 08:56:05 +0800

作者：Ellen Tang 编译：ronghuaiyang 导读本文介绍了对亚马逊畅销书的NLP分析，并通过这些分析为客户产生了价值。背景信息和目标与所有其他零售公司一样，亚马逊努力解决客户评论中存在的欺诈和质量差的问题，并开发系统来识别公正和可靠的信息，以获得更好的客户体验。该分析试图将自

构造对象九

Tue, 15 Mar 2022 08:56:05 +0800

构造 IndexWriter 对象（八）构造 IndexWriter 对象（七）构造 IndexWriter 对象（六）构造 IndexWriter 对象（五）构造 IndexWriter 对象（四）构造 IndexWriter 对象（三）构造 IndexWriter 对象（二）构造 IndexWriter 对象（一）本文承接构造 IndexWriter 对象（八），继续介绍调用 IndexWriter 的构造函数的流程。调用 IndexWriter 的构造函数的流程图图 1：生成对象 IndexFileDeleter 我们紧接上一篇文章，继续介绍剩余的流程点，下面先给出 IndexFileDeleter

源码系列索引文件的生成五之

Tue, 15 Mar 2022 08:56:05 +0800

在前面的四篇文章中，我们介绍了生成索引文件 .tim、.tip、 .doc、 .pos、.pay 中.doc、.pos、.pay 这三个索引文件的内容，接着我们继续图 1 中剩余的内容，即流程点生成索引文件.tim、.tip。生成索引文件。tim、.tip、.doc、.pos、.pay 的流程图

源码系列索引文件的生成十之

Tue, 15 Mar 2022 08:56:05 +0800

本文承接索引文件的生成（九），继续介绍剩余的内容，下面先给出生成索引文件。dim&&.dii 的流程图：图 1：在上一篇文章中，我们介绍了流程点执行处理前的初始化的工作，在这个流程中涉及到的一些信息贯穿整个流程，请务必先行阅读，例如一些变量名如果没有展开说明，说明已经

如何理解区块链的共识算法

Tue, 15 Mar 2022 08:56:03 +0800

随着业务量的增加，比特币等公有链网络已经拥堵不堪，交易费节节攀升，对比传统金融结算系统已经没有速度上的优势。对于去中心化的系统，由于社区成员基于自己的利益考虑，无法达成一致，也就难以采用更高效的共识算法或更先进的系统架构。因此，社区出现了闪电网络、雷电网络等链下或侧链的方案，试图

构造对象五

Tue, 15 Mar 2022 08:56:03 +0800

系列文章：构造 IndexWriter 对象（四）构造 IndexWriter 对象（三）构造 IndexWriter 对象（二）构造 IndexWriter 对象（一）本文承接构造 IndexWriter 对象（四），继续介绍调用 IndexWriter 的构造函数的流程。调用 IndexWriter 的构造函数的流程图图 1：根据不同的 OpenMode 执行对应的工作在上一篇文章中，我们介绍了执行 APPEND 模式下的工作的部分流程点，故继续对剩余的流程进行介绍。执行 APPEND

网易严选实时计算平台建设实践

Tue, 15 Mar 2022 08:56:03 +0800

分享嘉宾：王杰瑞 (前)网易资深服务端研发编辑整理：宋灵城出品平台：DataFunTalk 导读：网易严选作为一家品牌电商，对数据实时驱动业务有较高要求。在严选，实时计算被广泛应用在实时数仓、风控、业务监控等场景中。本文将分享网易严选实时计算平台的建设思路和实践，并介绍平台后续的一些

归因分析淘宝直播数据助理及其价值研究

Tue, 15 Mar 2022 08:56:02 +0800

文章作者：刘士博、孙艳、丁建栋作者公司：阿里巴巴出品平台：DataFunTalk 导读：近年来，直播带货成为一种新的流行业态。主播在直播间与线上消费者实时互动，这极大的提高了信息交流的效率。在这种实时性极强的场景，主播对直播间实时信息的使用有可显著影响直播间的带货情况。为了让主播实

机器学习基础与趋势系列丛书最新成员页深度强化学习入门发布

Tue, 15 Mar 2022 08:56:01 +0800

作者：Vincent Francois-Lavet等参与：Panda 深度强化学习已经为围棋、视频游戏和机器人等领域带来了变革式的发展，成为了人工智能领域的一大主流研究方向。近日，麦吉尔大学、谷歌大脑和 Facebook 的多位研究者在 arXiv 发布了 140 页的《深度强化学习入门》文稿，对深度强化学习的当前发展和

腾讯云集群多可用区容灾实现原理及最佳实践

Tue, 15 Mar 2022 08:56:01 +0800

导语：为了进一步满足腾讯云 Elasticsearch 客户对服务稳定性、集群高可用性等容灾能力的要求。腾讯云 ES 产品提供了跨可用区部署的解决方案，本文将为大家介绍实现原理与实践案例。文章作者：吴荣，腾讯云 Elasticsearch 研发工程师。引言目前腾讯云 ES 集群可以支持双可用区及三可用区的集群部署，且支持单可用区平滑升级到多可用区

陈小天时间序列模型在金融领域应用实践

Tue, 15 Mar 2022 08:56:01 +0800

分享嘉宾：陈小天数禾科技资深算法工程师编辑整理：帖雨薇小米出品平台：DataFunTalk 导读：随着公司业务的不断扩大，包括金融领域在内的各个领域中，逐渐积累了大量的时序数据，通过时序数据建立模型和制定策略能为业务提供有效地帮助。目前，在面对日益增长的数据量和复杂度，依靠人工衍生

不到个提升逼格的命令

Tue, 15 Mar 2022 08:54:58 +0800

keys 我把这个命令放在第一位，是因为笔者曾经做过的项目，以及一些朋友的项目，都因为使用 keys 这个命令，导致出现性能毛刺。这个命令的时间复杂度是O(N)，而且redis又是单线程执行，在执行keys时即使是时间复杂度只有O(1)例如SET或者GET这种简单命令也会堵塞，从而导致这个时间点性

供应链年中国智慧物流行业市场前景研究报告

Tue, 15 Mar 2022 08:54:35 +0800

文章作者： @中商产业研究院本篇文章是由以上作者在知乎的优秀文章(原文链接: 2018年中国智慧物流行业市场前景研究报告 ), 通过『运筹OR帷幄』责任编辑整理而成。欢迎原链接转发，转载请前往 @留德华叫兽的主页获取信息，盗版必究。敬请关注和扩散本专栏及同名公众号，会邀请全球知名学者陆续发布

同城向量检索平台架构实践

Tue, 15 Mar 2022 08:54:35 +0800

陈泽龙，58同城AI Lab后端工程师导读: 向量检索在很多AI场景都会应用到，例如：在推荐系统中，召回环节基于用户向量计算其最相似的N个物品向量；在问答系统中，基于问题向量匹配相似的N个问题；在视频或图像检索中，通过对视频截图提取向量，然后搜索相似图像及图像对应的视频。背景为了满足

精选知识点什么是非极大值抑制

Tue, 15 Mar 2022 08:54:35 +0800

文末免费送电子书：七月在线干货组最新升级的《名企AI面试100题》免费送！解析1： NMS是一种Post-Procession（后处理）方式，跟算法无关的方式。 NMS应用在所有物体检测的方法里。 NMS物体检测的指标里，不允许出现多个重复的检测。 NMS把所有检测结果按照分值(conf

滴滴技术滴滴语音交互自然语言理解探索与实践

Tue, 15 Mar 2022 08:54:34 +0800

桔妹导读：滴滴是一个让出行变得更美好的公司，语音交互作为出行领域最安全，最自然的交互方式在滴滴内部有着广泛的应用前景，目前滴滴语音交互已经应用在智能外呼，司机端，地图，车机系统多个领域中。语音交互离不开自然语言理解，用户说的每一句话都应该得到正确的理解和反馈，自然语言理解技术让语

在实验分析平台的建设与实践

Tue, 15 Mar 2022 08:54:33 +0800

OPPO互联网技术 A/B实验是很多公司的标配，在OPPO也不例。它是提供科学的数据决策的方式，帮助深入分析用户行为，支持个性化策略，同时降低产品迭代风险，达到业务快速验证、快速迭代的效果。但在Galileo实验分析平台建设完成前，公司A/B实验的平台能力处在发展初期，功能不完善，

学习和进阶策略

Tue, 15 Mar 2022 08:54:33 +0800

作者 | 李林锋编辑 | 小智《Netty 进阶之路》、《分布式服务框架原理与实践》作者李林锋手把手教你 Netty 框架如何学习和进阶。李林锋此后还将在 InfoQ 公众号上开设 Netty 专题持续出稿，感兴趣的同学可以持续关注。背景 Netty 框架的特点 Netty 的一个特点就是入门相对比较容易，但是真正掌握并精通是非常困难的，原因有如下

技术招聘商业智能搜索召回体系搭建

Tue, 15 Mar 2022 08:54:32 +0800

作者： 58技术曹冉冉稿 01 背景 58招聘过去的搜索召回逻辑主要基于类目体系，用户在输入关键词后，会跳转关键词对应的二级类，召回该二级类下的帖子。严格的类目限制导致很多符合的信息无法被召回，商业帖子填充率较低。同时，在58招聘蓝领为主的业务特点下，B&C端用户本身均有跨类需求，

深度学习在序列化推荐中的应用以及扩展

Tue, 15 Mar 2022 08:54:32 +0800

文章来源 http://kubicode.me/2018/09/19/Deep+Learning/GRU4REC-Session-Based-Recommendation/ 前言用户在互联网应用上的绝大部分的行为都是可以用一个序列来表示，比如购物、听音乐、看feed流等，用式子来表示就是: {x_1,x_2,x_3,..,x_N} -> x_{N+1} 因此对于这个序列如何建模来获取整个用户的意图行为至关重要，而之前传统的ML只能基于统计或者经验的方式来尽量抽取这些序列信息，并无法hold整个序列，

语义向量召回之检索

Tue, 15 Mar 2022 08:54:32 +0800

作者：蘑菇先生学习记大规模特征向量检索算法总结 (LSH PQ HNSW) 本篇文章主要介绍KDD 2020 Applied Data Science Track Papers中的一篇来自Facebook的语义检索文章，Embedding-based Retrieval in Facebook Search。关于样本、模型、训练等细节可以参考：负样本为王：评Facebook的向量化召回算法。本文重

大规模广告处理实践和进行实时广告事件处理

Tue, 15 Mar 2022 08:54:31 +0800

优步最近推出了一项新功能：UberEats 上的广告。这种新能力带来了 Uber 需要解决的新挑战，例如广告拍卖、竞标、归因、报告等系统。本文重点介绍我们如何利用开源技术构建 Uber 的第一个“近实时”恰好一次事件处理系统。我们将深入了解我们如何实现一次性处理以及事件处理作业的内部工作原理的细节。对

技术在对话系统中的应用实践

Tue, 15 Mar 2022 08:54:06 +0800

作者：桑海龙 AICUG人工智能社区浏览器不支持该媒体的播放 :( 导读：在58同城C端用户和B端商家IM微聊在线沟通场景下，我们应用对话机器人打造了商家智能聊天助手，对话机器人通过与C端用户沟通获取商机反馈给B端商家。在人机对话过程中我们需要识别出电话、地址、时间、服务对象等商机信息。

百度搜索中台海量数据管理的云原生和智能化实践

Tue, 15 Mar 2022 08:54:06 +0800

导读：百度搜索中台将搜索核心能力赋能阿拉丁（百度搜索特型结果）、垂直领域搜索、应用内搜索等场景，支撑了数百个检索场景、百亿级内容数据的检索。我们通过智能化的设计理念，在容量自动调整、数据按需存储等方面取得了效率和成本的显著收益，并通过进阶云原生的设计，在海量数据和海量检索方面实现

回顾旅游知识图谱的构建和应用

Tue, 15 Mar 2022 08:54:05 +0800

分享嘉宾：鞠剑勋携程旅游度假AI NLP负责人编辑整理：金媛内容来源： AI先行者大会《旅游知识图谱的构建和应用》出品社区： DataFun 注：欢迎转载，转载请注明出处。本文首先介绍了什么是旅游知识图谱，然后就旅游知识图谱的架构，构建，应用和未来几个方面展开讨论。 1. 旅游知识图谱首先简单介绍什么是知

美团深度学习在搜索业务中的探索与实践

Tue, 15 Mar 2022 08:54:05 +0800

本文根据美团高级技术专家翟艺涛在2018 QCon全球软件开发大会上的演讲内容整理而成，内容有修改。引言 2018年12月31日，美团酒店单日入住间夜突破200万，再次创下行业的新纪录，而酒店搜索在其中起到了非常重要的作用。本文会首先介绍一下酒店搜索的业务特点，作为O2O搜索的一种，

算法原理以及工程化实现

Tue, 15 Mar 2022 08:54:03 +0800

原文： https://zhuanlan.zhihu.com/p/58508137 作者：青烟雨后前言在实际项目或者刷竞赛的时候，经常会遇到训练数据非常大导致一些算法实际上不能操作的问题。比如在广告行业中，因为DSP的请求数据量特别大，一个星期的数据往往有上百G，这种级别的数据在训练的时候，直接套用一些算法框架是没办法训练的，基本上在特征工程的阶段就一筹

语法中执行顺序探秘

Tue, 15 Mar 2022 08:54:03 +0800

作者：梁尔舒，李昀晖写在前面我们之前应该都了解链表求交、求并的算法，但是很少在实际工作中见过这些算法是怎么体现的，解决了哪些场景下的问题，其实lucene解决链表求交并的算法非常漂亮。最近因为工作中需要排查线上总是出现某些检索DSL执行比较慢，在网上到处找底层具体执行的资料，发现

阿里巴巴电商搜索推荐实时数仓演进之路

Tue, 15 Mar 2022 08:54:03 +0800

分享嘉宾：张照亮阿里巴巴高级技术专家编辑整理：郑银秋出品平台：DataFunTalk 导读：今天分享的内容是阿里搜索推荐数据平台研发团队在实时数仓的一些探索，围绕着团队在数仓上基于Flink + Hologres的演进过程及最佳实践。 01 业务背景阿里巴巴电商搜索推荐实时数据仓库承载了阿里

在企业项目中的实践落地

Tue, 15 Mar 2022 08:54:01 +0800

“我们把 DevOps 和研发任务协同结合起来，打破了研发团队的最后一道隔阂。” 往往在产品开发过程中，研发人员需要掌控的最多的工具和平台。代码，环境，部署，容器，服务器一大堆的工具和平台要使用，但是很多平台之间无法互通，导致了工作无法同步，反复的记录报告又增加了工作量。面对上述问题， CORNERSTONE 给研发团

北邮硕士前百度工程师能进大厂就不用读研究生了

Tue, 15 Mar 2022 08:54:00 +0800

作者｜岳京杭责编｜胡巍巍一位经常留言的读者提问：有没空写下BAT公司的升职加薪经历。类似靠谱领导选择，KPI考核，以及内部专业，方便大家职场借鉴。写一下我自己的经历吧。我的第一份工作，在三星电子北京通信研究院。11年8月份，也就是研二暑假开始在这里实习，12年3月底硕士毕业，正式

如何做好项目管理做好人人都是项目经理

Tue, 15 Mar 2022 08:53:57 +0800

大部分人在日常的工作当中，都或多或少的会参与项目，而项目要能顺利执行其实并不简单，如果又渉及多个单位合作，困难程度又大增。对项目经理来说，从他们的工作日志片段可以看出每个人都有自己悲惨的故事，程度恐怕只有过之而无不及。那我们该如何做好项目管理呢？今天 CORNERSTONE 就从以下几个方面来给大家分享

淘宝搜索模型核心技术用户建模篇

Tue, 15 Mar 2022 08:53:57 +0800

文章作者：龙楚、丹鸥、晨宁、元涵内容来源：阿里机器智能导读：用户建模是搜索与推荐模型的核心技术。我们力求从实际应用出发，和大家分享我们在搜索场景中用户建模的一些实践经验。同时将我们所观察到的现象、问题写出来，欢迎大家多讨论交流。 01背景与意义用户建模是搜索与推荐模型的核心技术。淘

阿里妈妈品牌广告中的算法实践

Tue, 15 Mar 2022 08:53:57 +0800

分享嘉宾：肖国锐阿里高级算法专家编辑整理：陈道昌内容来源：DataFun AI Talk 出品社区：DataFun 导读：本次分享的主题为阿里妈妈品牌广告中的 NLP 算法实践，主要内容包括： 1. 品牌广告业务模式与技术架构的简要介绍 2. NLP 算法在品牌搜索广告中的实践，以两个具体的算法问题展开：品牌意图识别和短

从文本中进行关系抽取的几种不同的方法

Tue, 15 Mar 2022 08:53:56 +0800

作者：Andreas Herman 编译：ronghuaiyang 导读：信息抽取是 NLP 中非常重要的内容，而关系的抽取在知识图谱等领域应用广泛，也是非常基础的 NLP 任务，今天给大家介绍一下。关系提取是指从文本中提取语义关系，这种语义关系通常发生在两个或多个实体之间。这些关系可以是不同类型的。"

搞机器学习没前途算法岗现状

Tue, 15 Mar 2022 08:53:56 +0800

作者简介：唐巧，资深 iOS 开发者。曾在网易参与过网易邮箱、网易微博以及有道云笔记的开发。目前在猿题库创业，是小猿搜题的产品技术负责人。本文经授权转自作者同名公众号。最近又到了一年一度互联网公司校园招聘的季节，我一次又一次地见到应届生在找工作上不停地犯一些常识性错误。好吧，我就再老话常

神策数据从技术视角看什么才是值得拥有的测试

Tue, 15 Mar 2022 08:53:56 +0800

神策数据稿 A/B 测试被更多人熟知的是持续观察并对照按一定规则分成的 A、B 两组测试样本，基于数据反馈辅助优化决策，其背后复杂的数学理论和试验基础设施却往往被人忽视。目前，国内一线互联网公司大多采用自研的方式建设 A/B 测试平台，而中小互联网企业和传统行业的企业则会选择自采的方式建设 A/B 测试平台

基于知识图谱的问答系统入门数据集

Tue, 15 Mar 2022 08:53:54 +0800

作者丨郭雅志学校丨北京化工大学研究方向丨NLP、知识图谱、对话/问答系统本人认为学习一样东西，直接上手跑实验是最有效提升的方法之一。看了那么多的理论介绍文章，抽象的说辞，最后还是似懂非懂。所以，直接上手数据集跑实验，与理论结合，能有更深刻的了解。同时也记录下学习 KBQA 的过程，也希望对

爱奇艺视频推荐领域的检索实践

Tue, 15 Mar 2022 08:53:52 +0800

作者：张吉爱奇艺深度学习云研发工程师一、背景介绍（一）推荐系统推荐系统是现在互联网发展一个比较重要的基石，上图左边是爱奇艺手机端的应用，右边是 PC 端的 Web 页面。可以看到，很多剧都是通过推荐而来的，随着数据量的发展，用户的搜索习惯也改变了。原来用户有目的性搜索，如今更希望系统进行主动的

度小满金融大数据架构实践

Tue, 15 Mar 2022 08:53:51 +0800

分享嘉宾：赵辉度小满金融架构师编辑整理：蒋雯娟厦门大学嘉庚学院出品平台：DataFunTalk 导读：大数据架构在金融场景下面临着诸多挑战，从架构上而言，业务对数据加工、存储和使用的全链路服务提出了更细致的管控需求；从使用上而言，用户并不想理解大数据架构的具体实现和管控的细节，用户

人工智能人工智能军备竞赛一文尽览全球主要国家战略

Tue, 15 Mar 2022 08:14:50 +0800

人工智能的迅速发展将深刻改变人类社会和世界的面貌，为了抓住 AI 发展的战略机遇，越来越多的国家和组织已争相开始制定国家层面的发展规划。近日，来自加拿大先进技术研究院（CIFAR）的政策研究员 Tim Dutton 对颁布了 AI 战略的一些国家进行了总结。本文在发布之后引起了 Yann LeCun 等学者的注意。 AI 全球领导者之争

语音识别微软亚研自动语法纠错系统达到人类水平

Tue, 15 Mar 2022 08:14:47 +0800

因为 seq2seq 模型在语法纠错上存在缺陷，微软亚洲研究院的自然语言计算团队近日提出了流畅度提升学习和推断机制，用于改善 seq2seq 模型的语法纠错性能。实验表明，改进后的模型取得了当前最佳性能，并首次在两个基准上都达到了人类水平。用于语法纠错（GEC）的序列到序列（seq2seq）模型（Cho et al., 2014; Sutskever

也能用于任务一文简述文本分类任务的个模型

Tue, 15 Mar 2022 08:14:43 +0800

本文介绍了用于文本分类任务的 7 个模型，包括传统的词袋模型、循环神经网络，也有常用于计算机视觉任务的卷积神经网络，以及 RNN + CNN。本文是我之前写过的一篇基于推特数据进行情感分析的文章（ https://ahmedbesbes.com/sentiment-analysis-on-twi

机器学习算法地图

Tue, 15 Mar 2022 08:14:34 +0800

很多同学在学机器学习和深度学习的时候都有一个感受：所学的知识零散、不系统，缺乏整体感，这是普遍存在的一个问题。在这里，SIGAI对常用的机器学习和深度学习算法进行了总结，整理出它们之间的关系，以及每种算法的核心点，各种算法之间的比较。由此形成了一张算法地图，以帮助大家更好的理解和

领域的时代词嵌入已死语言模型当立

Tue, 15 Mar 2022 08:14:26 +0800

选自the Gradient，作者：Sebastian Ruder，机器之心编译。计算机视觉领域常使用在 ImageNet 上预训练的模型，它们可以进一步用于目标检测、语义分割等不同的 CV 任务。而在自然语言处理领域中，我们通常只会使用预训练词嵌入向量编码词汇间的关系，因此也就没有一个能用于整体模型的预训

深度市值亿美元的小米八年往事

Tue, 15 Mar 2022 08:14:20 +0800

作者：刘正伟花子健来源：iFeng科技（ID：ifeng_tech）阅读要点 1、小米在成立之初拥有14名员工，唯一一名女性名叫管颖智，工号14，在雷军推出员工持股方案的时候，她把父母准备的嫁妆钱拿来投资了小米。 2、高通在2011年投资小米，之前曾觉得2.5亿美元估值太贵，谁知道在

干货趋势科技实战分享笔记

Tue, 15 Mar 2022 08:14:17 +0800

少啰嗦，直接看东西。 1、Elasticsearch 索引的设计 1.1 单一索引还是基于时间的索引？单一索引的问题： 1）不能更新Mapping。比如：主分片数不可以修改（除非reindex）。 2）无法灵活、快速地扩展。 3）更适合固定、小型数据集。基于时间的索引面临的问题： 1）如何确定间隔？

干货篇机器学习的论文中这篇是最棒的

Tue, 15 Mar 2022 08:14:10 +0800

译者 | ang010ela 编辑 | 姗姗出品 | 人工智能头条（公众号ID：AI_Thinker）【导读】在过去的一个月中，作者从近 1400 篇有关机器学习的文章中挑选了最有可能帮助职业生涯发展的 10 篇推荐给大家（入选比率为0.7%）。 ▌前言这10篇文章涉及了 DeepMind 提出的 GQN 网络、Open AI 多智能体在游戏任务中大获全胜背

怎样成为一名优秀的算法工程师

Tue, 15 Mar 2022 07:53:27 +0800

原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不得转载，不能用于商业目的。怎样成为一名优秀的算法工程师？这是很多从事人工智能学术研究和产品研发的同学都关心的一个问题。面对市场对人才的大量需求与供给的严重不足，以及高薪水的诱惑，越来越多的人开始学习这个方向的技术，或者打算

与的对比

Tue, 15 Mar 2022 07:53:23 +0800

搜索引擎选择： Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介 Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。 El

学界最佳论文基于流行度推荐系统有效性的概率分析

Tue, 15 Mar 2022 07:52:17 +0800

ACM 国际信息检索研究与发展会议 SIGIR 2018 近日于美国密歇根州 Ann Arbor 举行。昨日，大会公布了最佳论文等奖项，来自马德里自治大学（Universidad Autónoma de Madrid）的学者 Rocio Cañamares 和 Pablo Castells 的论文《Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems》获得了最佳论文奖，

架构优秀架构师必须掌握的架构思维

Tue, 15 Mar 2022 07:51:02 +0800

一、抽象思维如果要问软件研发/系统架构中最重要的能力是什么，我会毫不犹豫回答是抽象能力。抽象(abstraction)这个词大家经常听到，但是真正理解和能讲清楚什么是抽象的人少之又少。抽象其实是这样定义的：对某种事物进行简化表示或描述的过程，抽象让我们关注要素，隐藏额外细节。举一

人脸检测算法之

Tue, 15 Mar 2022 07:35:57 +0800

SIGAI特约作者 Baoming 算法研究员导言自从anchor-based method出现之后，物体检测基本上就离不开这个神奇的anchor了。只因有了它的协助，人类才在检测任务上第一次看到了real time的曙光。但是，夹杂在通用物体检测中，某些特定物体的检测任务由于应用量巨大，以及该物体

全套吴恩达老师的深度学习课程笔记及资源在线阅读

Tue, 15 Mar 2022 07:35:55 +0800

http://www.6aiq.com/deeplearning_ai/html/SUMMARY.html 深度学习笔记目录第一门课神经网络和深度学习(Neural Networks and Deep Learning) 第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(Welcome) 1.2 什么是神经网络？(What is a Neural Network) 1.3 神经网络的监督学习(Supervised Learning with Neural Networks) 1.4 为什么神经网络会流行？(Why is Deep Learning taking off?) 1.5 关于本课

干货模型验证的常用武器和

Tue, 15 Mar 2022 07:35:53 +0800

每次做完二值分类模型（eg： Logistic Regression, Decision Tree, Neural Network etc.），我们经常会面对一连串的模型验证指标，最常用的有ROC&AUC、Gini、PS、K-S等等。那我们不禁会问： 1. 这个指标怎么定义？ 2. 怎么实现指标计算？ 3. 为什么用这个指标？ 4. 怎么用它评价模型？事实上，如果不明白这些评估指标的背

深度中关村风云年

Tue, 15 Mar 2022 07:35:36 +0800

作者：熊剑辉来源：华商韬略（ID：hstl8888）一座中关村，半部改革史。 01 40年过去，回顾中关村传奇，依然要从陈春先说起。 1978年，中国物理代表团访问美国，走下飞机悬梯的人当中，就包括中科院物理所核聚变专家陈春先。这一年，他刚在全国科学大会上斩获一等奖，并和陈景润等人一道被

罗辑思维脱不花关于工作和成长这是我的条具体建议

Tue, 15 Mar 2022 07:35:33 +0800

“成大事者不纠结。一旦决定，全力以赴。” 1、关于面对批评 01. 没有人对被批评感到高兴。如果有，TA撒谎。 02. 面对批评，得体的第一反应是“不急于解释，不反唇相讥”。 03. 每天，或者最长每周养成习惯，把自己存在的问题和造成的麻烦用最重的形容词想一遍，诚实的对待自己。当被批评时，会觉得一切还在掌

篇论文大事业群这是腾讯在斯德哥尔摩的之夜

Tue, 15 Mar 2022 07:35:30 +0800

7 月，全球 AI 人才荟聚瑞典斯德哥尔摩，前来参加学界顶尖会议 ICML 和 IJCAI。在两个会议交接之际，腾讯在当地时间 14 日晚举办了 TAIC 大会，与三位特邀嘉宾、腾讯七大事业群代表探讨前沿 AI 研究与应用。据机器之心了解，今年腾讯共有 17 篇论文被 ICML 2018 接收，15 篇论文被 IJCAI 2018 接收。本次活动设有三个特邀 keyn

深度网易云音乐王诗沐我们是如何四年时间做到亿用户的

Tue, 15 Mar 2022 07:35:29 +0800

作者：王诗沐（网易云音乐副总裁、网易美学负责人）来源：混沌大学（ID：hundun-university）对于一个产品经理来讲，最重要的不是抽象地去学习别人的方法论，而是通过自己的深度思考和用户洞察，不断总结和迭代自己的方法论，不断的形成闭环。 ——王诗沐我毕业于浙江大学工业设计系

让你更懂 JavaScript：Javascript 与 V8

Mon, 14 Mar 2022 23:22:10 +0000

9.1、一等公民的定义在编程语言中，一等公民可以作为函数参数，可以作为函数返回值，也可以赋值给变量。如果某个编程语言的函数，可以和这个语言的数据类型做一样的事情，我们就把这个语言中的函数称为一等公民。例如，字符串在几乎所有编程语言中都是一等公民，字符串可以做为函数参数，字符串可以

区块链区块链深度解析美国大咖这是未来十年的趋势页

Tue, 15 Mar 2022 07:21:13 +0800

安妮夏乙李根发自凹非寺量子位报道 | 公众号 QbitAI 还有什么新趋势能比人工智能和区块链更火吗？ 2016年AlphaGo大杀四方以来，2017区块链狂飙突进以来，这两大新技术就迅速集聚了资本、人才和舆论关注。一般而言，AI被当做生产力进行类比，区块链则被认为在变革生产关系。然而一切都已水到渠

区块链浅谈区块链技术与阿里云的探索实践

Tue, 15 Mar 2022 07:20:48 +0800

作者 | 余珊本文根据 QCon 北京 2018 站上的演讲整理而成，原题《区块链 Hyperledger Fabric 的落地挑战与阿里云探索经验分享》。 ** 这是今天的主题大纲，我们开始先会回顾一下区块链的概念技术和业务，我们会探讨一下区块链在企业场景落地的一些关键考虑的问题，下面也会介绍一下我们阿里云推出区块链的一些相关的工具。最后的话

基于内容的图像检索技术综述传统经典方法

Tue, 15 Mar 2022 07:20:38 +0800

SIGAI特约作者 manyi 视觉算法工程师今天我们来介绍一下图片检索技术，图片检索就是拿一张待识别图片，去从海量的图片库中找到和待识别图片最相近的图片。这种操作在以前依靠图片名搜图的时代是难以想象的，直到出现了CBIR(Content-based image retrieval)技术，依靠图片的内容

雷军黄峥王兴互联网年的夏天

Tue, 15 Mar 2022 07:01:48 +0800

2009年冬天，北京风雪夜，雷军请一帮朋友和旧部吃饭，他一瓶接一瓶地灌下啤酒，所有人都能看出他的沮丧和伤感。直到接近凌晨，雷军才说当天是他40岁的生日。整晚，雷军都在反思人生，黎万强拍了拍桌子安慰他说：才40岁，好日子还在后头。 2009年中，开心网将海内网碾压而过，王兴的创业再一

赵大伟区块链通证经济的本质与落地路径

Tue, 15 Mar 2022 07:01:16 +0800

赵大伟，区块链项目TokenX社区发起人，区块链通证经济研究者，多个区块链经济体顾问，原和君咨询高级合伙人，《互联网思维独孤九剑》作者。 7月27日，今今乐道读书会请来了第97位大咖赵大伟先生，来与我们分享如今炙手可热的区块链技术。现场来了将近有200位书友，线上通过一直播、花椒直

神经网络的激活函数总结

Tue, 15 Mar 2022 07:00:56 +0800

导言激活函数在神经网络中具有重要的地位。在 SIGAI 之前的公众号文章“ 理解神经网络的激活函数”中，我们回答了3个关键的问题：为什么需要激活函数？什么样的函数能用作激活函数？什么样的函数是好的激活函数？这篇文章从理论的角度介绍了激活函数的作用。承接上篇，在今天这篇文章中， SIGAI 将为大家介绍当前

刷爆朋友圈的高赞演讲为什么最棒的员工往往没有完美的简历

Tue, 15 Mar 2022 07:00:55 +0800

最近，在朋友圈看了一个TED视频，刷新三观。演讲人是人资资源总监瑞吉娜·哈特利。视频一开头，她就问了一个扎心的问题，如果你是个HR，给你两个符合条件的候选人，你会选谁？候选人A：常春藤毕业，绩点4.0，完美的履历，出色的推荐信。候选人B：公立学校毕业，做过很多种廉价工作，做过收银

面向机器学习数据平台的设计与搭建

Tue, 15 Mar 2022 06:59:48 +0800

机器学习作为近几年的一项热门技术，不仅凭借众多“人工智能”产品而为人所熟知，更是从根本上增能了传统的互联网产品。在近期举办的2018 ArchSummit全球架构师峰会上，个推首席数据架构师袁凯，基于他在数据平台的建设以及数据产品研发的多年经验，分享了《面向机器学习数据平台的设计与

张地图看懂世界格局用大数据说话

Tue, 15 Mar 2022 06:59:46 +0800

来源：中国智慧城市导刊摘要：世界那么大，要了解的数据那么复杂，下面知识探索小编帮您总结一下关于世界的数据。 1、世界人口聚居地红色越深人口密度越大；灰色代表无人地带。 2、全球各国平均智商分布图颜色越浅智商越高 3、全球冰川融化后的世界地图 ** ** 4、全世界每100人拥有枪支的数量 ** ** 美利

一条数据的之旅简明入门教程开篇

Tue, 15 Mar 2022 06:59:01 +0800

一些常见的HBase新手问题什么样的数据适合用HBase来存储？既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉？存放于HBase中的数据记录，为何不直接存放于HDFS之上？能否直接使用HBase来存储文件数据？ Region(HBase中的数据分片)迁移

一条数据的之旅简明入门教程全流程

Tue, 15 Mar 2022 06:59:00 +0800

如果将上篇内容理解为一个冗长的"铺垫"，那么，从本文开始，“剧情"才开始正式展开。本文基于所给出的样例数据，介绍了将数据从Client写到RegionServer的全流程。本文整体思路： 1. 前文内容回顾 2. 示例数据 3. HBase可选接口介绍 4. 表

腾讯联合创始人张志东发光的人要能拿得起放得下

Tue, 15 Mar 2022 06:35:30 +0800

作者：张志东来源：清创孵化器（ID：qingchuang999）腾讯联合创始人张志东在腾讯大学的演讲中提到，“如果企业遭遇艰难和路径分歧的时刻，有没有能发光的产品人能够挺身而出、给团队带来信念，非常关键。”那么什么样的人是能发光的人？就是“要能拿得起，放得下。”拿得起是指这个人有

深度学习必备的几款流行网络与数据集

Tue, 15 Mar 2022 06:33:32 +0800

一. 常用网络深度学习相关的几个比较著名的网络，AlexNet、VGG、GoogleNet、ResNet。从整体趋势来看，准确度越来越高，同时网络层数也越来越多，可以认为网络结构的复杂性带来效果的提高，而模型参数的数量并非越多越好，合适就好，参数数量太多可能会一定程度上导致过拟合问

让你更懂 JavaScript：08 V8 是怎么执行一段 JavaScript 代码的

Mon, 14 Mar 2022 22:22:10 +0000

在 V8 出现之前，所有的 JavaScript 虚拟机所采用的都是解释执行的方式，「这是 JavaScript 执行速度过慢的一个主要原因」。而 V8 率先引入了即时编译（JIT）的双轮驱动的设计，这是一种权衡策略，混合编译执行和解释执行这两种手段，给 JavaScript 的执行速度带来了极大的提升。另外，V8 也是早于其他虚拟机引入了惰性编译、内联缓存

区块链一文看懂区块链详解区块链

Tue, 15 Mar 2022 06:20:07 +0800

【阅读时间】29 ~ 35 min | 11872 words 【内容简介】此文潜在面向群体是对区块链或比特币的运行原理完全不了解的人。所以会从用户需求的角度出发，一步一步发明区块链（或者说比特币，因为两者互相依存），在此之后的内容有关比特币与金融，ICO，竞争币等，可选择性阅读。如果有帮助求知乎点个赞，感谢！因为

干货机器学习中的五种回归模型及其优缺点

Tue, 15 Mar 2022 06:19:40 +0800

回归是用于建模和分析变量之间关系的一种技术，常用来处理预测问题。博文介绍了常见的五种回归算法和各自的特点，其中不仅包括常见的线性回归和多项式回归，而且还介绍了能用于高维度和多重共线性的情况的 Ridge回归、Lasso回归、ElasticNet回归，了解它们各自的优缺点能帮助我们在

一文解说所有用法

Tue, 15 Mar 2022 06:18:25 +0800

Trait基础在Scala中，Trait是一种特殊概念。首先，Trait可以被作为接口来使用，此时Trait与Java的接口非常类似。同时在Trait可以定义抽象方法，其与抽象类中的抽象方法一样，不给出方法的具体实现。 _注意：_类使用extends继承Trait，与Java不同，

聊聊阿里社招面试谈谈野生程序员学习的道路

Tue, 15 Mar 2022 06:18:14 +0800

引言很尴尬的是，这个类型的文章其实之前笔者就写过，原文章里，笔者自称LZ（也就是楼主，有人说是老子的简写，笔者只想说，这位同学你站出来，保证不打死你，-_-），原文章名称叫做《回答阿里社招面试如何准备，顺便谈谈对于Java程序猿学习当中各个阶段的建议》，首发于笔者的博客园博客，这

诺奖得主点评人工智能其实就是统计学用了一个很华丽的辞藻

Tue, 15 Mar 2022 06:17:47 +0800

前言人工智能其实就是统计学，只不过用了一个很华丽的辞藻，其实就是统计学。好多的公式都非常老，但是所有的人工智能利用的都是统计学来解决问题。”。 8月11日，2011年诺贝尔经济学奖获得者Thomas J. Sargent在由厚益控股和《财经》杂志联合主办主题为“共享全球智慧引领未来科技”

美团写给工程师的十条精进原则

Tue, 15 Mar 2022 06:17:43 +0800

引言时间回到8年前，我人生中第一份实习的工作，是在某互联网公司的无线搜索部做一个C++工程师。当时的我可谓意气风发，想要大干一场，结果第一次上线就写了人生中第一个Casestudy。由于对部署环境的不了解，把SVN库里的配置文件错误地发到线上，并且上完线就去吃晚饭了，等吃饭回来发

美团在场景下的广告营销

Tue, 15 Mar 2022 06:15:26 +0800

美团作为中国最大的在线本地生活服务平台，覆盖了餐饮、酒店、旅行、休闲娱乐、外卖配送等方方面面生活场景，连接了数亿用户和数百万商户。如何帮助本地商户开展在线营销，使得他们能快速有效地触达目标用户群体提升经营效率，是美团的核心问题之一，而机器学习相关技术在本地在线营销场景下发挥着非常

被伪兴趣毁掉的年轻人

Tue, 15 Mar 2022 06:03:53 +0800

作者：唐一来源：富书（ID：kolfrc）感兴趣不要紧，可怕的是你只剩下兴趣。兴趣并不是万能，你喜欢的，并不代表你适合做，更不代表你能做好。朋友阿来又辞职了，这是她一年内第三次辞职，理由还是和前两次一样：“不感兴趣。” 阿来去年毕业后进入一家大公司当文员，工资不高但胜在稳定，她本来

公司全能的必备要素

Tue, 15 Mar 2022 06:03:22 +0800

作者 | 杨攀文字编辑 | Eva 视频编辑 | 杨大明上周四，融云联合创始人兼 CTO、TGO 鲲鹏会北京董事会成员杨攀做客极客 Live 直播间，与大家分享《技术创业 4 年，如何带领团队拿下行业第一》，本文对直播内容进行了简单整理，详细内容可点击下面视频查看。融云为 TGO 鲲鹏会 2018/2019 年度共创伙伴企业。建议WiFi环境

十多年前的那些工程师都去哪里了

Tue, 15 Mar 2022 06:01:41 +0800

作者 | 刘建国曾经的百度知道，和曾经的“老知道人”们的故事。写在前面也许是现在，也许是未来，总有那么一天，你会操心自己的职业发展。当你抬起头来，展望自己的职业道路的时候，也许这篇文章可以给你一些指引。实际上，我一直希望能够帮技术人整理一个职业发展路径的图谱，让技术人在碰到职业选择困

如何将知识图谱特征学习应用到推荐系统

Tue, 15 Mar 2022 06:00:29 +0800

来源 | 微软研究院AI头条将知识图谱作为辅助信息引入到推荐系统中可以有效地解决传统推荐系统存在的稀疏性和冷启动问题，近几年有很多研究人员在做相关的工作。目前，将知识图谱特征学习应用到推荐系统中主要通过三种方式——依次学习、联合学习、以及交替学习。依次学习（one-by-one lea

十年我的认知被彻底颠覆

Tue, 15 Mar 2022 05:46:46 +0800

源 / 博雅小学堂文 / 王咏刚国内教育氛围向来是不喜欢差异化的，冒险精神、特立独行之类的语词，总会让家长、老师乃至领导、官员操碎了心。从小到大，基本生活在一个试图将所有孩子圈养在尺子、框子、笼子里的世界；可以想象，像我这样的70后一脚踏入 Google 时，会有怎样的感慨。我 2006 年 3 月加入 Google

马云如果事情都准备好了再做那我就不会成功了

Tue, 15 Mar 2022 05:46:41 +0800

创业者就是要在一切都未就绪的时候去做事。如果什么事情都准备好了，马云就不会成功了。对创业者来说，如果钱能解决问题，那么银行能做成任何事。所以，真正的创业者，首先要有理想，团队、客户、钱就在那里，关键在于你是否能坚持理想，保持努力，赋能他人。最近，马云在南非著名学府金山大学发表演讲

一位岁的程序员持续创业者教会我的宝贵经验

Tue, 15 Mar 2022 05:46:38 +0800

作者：陶建辉文字编辑：Eva；视频编辑：杨大明上周四，49 岁程序员，涛思数据创始人，持续创业者陶建辉做客直播间，分享了他的创业故事，以及“如何选择创业方向”、“如何组建团队”等创业者最关心的话题！本篇文章对直播内容进行了简单整理，想查看详情可点击下方回放视频。建议在WiFi环境下

感知机

Tue, 15 Mar 2022 05:45:50 +0800

整理人：张辽，厦门大学信科院计算机技术专业 weChat: zhangliaobet 主要内容 1. 补充 1.1 最小二乘法的概率解释 2. 支持向量机 2.1 模型与策略 2.2 硬间隔最大化 2.2.1 函数间隔与几何间隔 2.2.2 间隔最大化原理 2.2.3 线性可分SVM学习算法——最大间隔法 2.2.4 最大间隔法示例 2.2.5 线性可分SVM学习的对偶算法 2.2.6 对偶学习算法示例 2.3 软间隔最大化（下） 3.

写在博士旅程之前前大疆创新技术总监杨硕

Tue, 15 Mar 2022 05:45:47 +0800

近日，大疆创新的YY 硕（杨硕）在知乎上发表了一篇文章引起了大家极大的关注。此文介绍了作者本人去卡内基梅隆大学机器人学院攻读机械工程和机器人学的博士学位之前的心路历程。经授权，机器之心对此文进行了转载。在完成 RoboMaster 2018 总决赛和参与 Mavic 2 发布会后，我离开了在大疆创新的岗位，8 月 27 日开始在卡内

分布式事务的实现原理事务

Tue, 15 Mar 2022 05:44:47 +0800

本文转载自架构文摘公众号事务是数据库系统中非常有趣也非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全不执行；在 SOA 与微服务架构大行其道的今天，在分布式的多个服务中保证业务的一致性就需要我们实现分布式事务。在这篇文章中，我

褚时健发快财的时代过去了年轻人要先做好这些事

Tue, 15 Mar 2022 05:44:19 +0800

来源：综合整理自《褚时健传》、中青报褚时健访谈、及其演讲以前有不少人在社会变动的时代，抓住机会一下发了大财，比如搞房地产。还有人靠亲戚、靠父母，现在财富很大，我也认识。但现在这样的时代已经过去了。即使是靠机遇、靠父母，我也认为他将来守不住。**年轻人现在不过二三十岁，人生历程还很

观点机器学习新瓶装旧酒的数据统计

Tue, 15 Mar 2022 05:21:03 +0800

最近，关于深度学习和人工智能的一个梗在社交媒体上广为流传，认为二者只是墙上一道镶了崭新边框的裂缝，暗讽机器学习只是重新包装过的统计学，本质上是「新瓶装旧酒」。然而事实真的是这样吗？本文对这种看法提出了异议，认为机器学习 ≠ 数据统计，深度学习为我们处理复杂的非结构化数据问题做出了重大

资本的钩子

Tue, 15 Mar 2022 05:20:59 +0800

作者：董指导来源：饭统戴老板（ID：worldofboss）数据支持：远川研究有人说找配偶是世界上最难的信息检索。这点对李彦宏而言，丝毫不是问题。当年在聚会上互留电话时，李彦宏把自己的电话号码按照按键上对应的字母，写成了331talk。拿到纸条的马东敏立刻就看懂了，两个人会心一笑

我在机器学习踩过的坑现在告诉你怎么跳过去

Tue, 15 Mar 2022 05:20:57 +0800

大家好，我是为人造的智能操碎了心的智能禅师。最近很多读者问本禅师：转行机器学习需要注意哪些事情呢？我想学习机器学习，需要学习哪些知识呢？机器学习如何避免走弯路呢？本禅师表示非常理解大家的需求。人工智能（其实本禅师认为目前看来翻译成人造智能可能更直白一点）毫无疑问，已经是科技趋势，

独家揭秘亿用户的美团智能推荐平台是如何构建的

Tue, 15 Mar 2022 05:20:55 +0800

推荐在 O2O 场景中的应用 10.1 典型的 O2O 推荐场景美团移动端推荐展位是一个典型的 O2O 推荐场景，包括首页猜你喜欢和商家详情页附近团购、团购详情页看了又看等多个展位。首页猜你喜欢展位图如图 10-1 所示。图 10-1 美团移动端——猜你喜欢展位图猜你喜欢展位是美团移动端首页的推荐展位，也是美团移动端流量最大的推荐展

算法详解原理推导及应用

Tue, 15 Mar 2022 05:20:54 +0800

本文转载自SigAI 公众号与随机森林一样，Boosting算法也是一种集成学习算法，随机森林和集成学习在SIGAI之前的公众号文章“随机森林概述”中已经介绍。Boosting的分类器由多个弱分类器组成，预测时用每个弱分类器分别进行预测，然后投票得到结果；训练时依次训练每个弱分类器

科学匠人微软亚洲研究院陈薇用数学逻辑来优化工作和人生

Tue, 15 Mar 2022 05:19:37 +0800

编者按：从数学博士到投身计算机科学研究，微软亚洲研究院机器学习组主管研究员陈薇将理性严谨的数学思维融入到了工作与生活的方方面面：在研究领域，陈薇以她坚实的数学背景与研究团队一起从事机器学习理论和算法优化的研究，为机器学习的加速发展奠定了有力的理论基础；在生活中，她也用数学思维来不

比低情商更可怕的是一个人的固执

Tue, 15 Mar 2022 05:19:28 +0800

来源：槽值（ID：caozhi163）前段时间网上一条聊天记录让网友们炸开了锅：当甲方固执认为自己说的都对，不知PS是图像处理软件Photoshop的缩写时，因认知水平有限闹了一个笑话。 “我唯一知道的就是我一无所知。”苏格拉底在评价自己时说。一个人知道的越多，越觉得自己应该走出自

如何构建用户画像打用户行为标签

Tue, 15 Mar 2022 05:19:23 +0800

本文转载自机器学习与人工智能公众号用户画像中用户行为标签是很重要的一块内容，这篇详细讲讲如何打行为标签。数据仓库用户画像的应用流程从原始的数据输入到模型应用可分为5块（图1），包括将操作型环境数据经ETL后集中存储在数据仓库，之后经过对数据的建模、挖掘、分析建立用户画像模型，最终

让你更懂 JavaScript：07 解释执行和编译执行区别

Mon, 14 Mar 2022 20:22:10 +0000

V8 本质上是一个虚拟机，因为计算机只能识别二进制指令，所以要让计算机执行一段高级语言通常有两种手段：解释执行需要先将输入的源代码通过解析器编译成中间代码，之后直接使用解释器解释执行中间代码，然后直接输出结果。具体流程如下图所示：编译执行采用这种方式时，也需要先将源代码转换为中间代码

阿里妈妈搜索广告模型的瘦身之路

Tue, 15 Mar 2022 03:58:30 +0800

石士、书浅阿里妈妈技术 ▐ 前言随着号称“地表最强”的千亿参数规模GPT-3模型在 NLP 领域横扫各大数据榜单，大力出奇迹的暴力美学似乎成为了大数据场景建模的不二法门。搜索、推荐和广告场景的 CTR 模型也不例外，同样动辄千亿参数规模、上T体积大小的 CTR 模型成为了同行争相追逐的建模标配。但是无论面对

多目标排序在爱奇艺短视频推荐中的应用

Tue, 15 Mar 2022 03:58:28 +0800

短视频具有内容丰富、信息集中、用户粘性大的特点，如何提高短视频分发的效率和推荐精准度，有效提升消费时长、留存等关键业务指标，是推荐系统的核心能力和建模目标。本文主要分享在短视频推荐场景下，爱奇艺基础推荐团队在排序模型多目标优化方面的历史和进展。第一部分主要介绍多目标建模的业务背景

美团搜索多业务商品排序探索与实践

Tue, 15 Mar 2022 03:56:47 +0800

美团点评技术团队稿引言美团的使命是“帮大家吃得更好，生活更好”，我们给广大消费者提供买菜、优选、闪购、外卖、到店餐饮、酒店旅游、休闲娱乐等各类商品和服务。首页搜索是美团 App 上十分重要的模块，每天服务于数千万用户。随着美团零售商品类业务的不断发展，美团搜索在商品类业务上的相关技术也在

基于异构序列融合的多兴趣深度召回模型在内容平台的探索和实践

Tue, 15 Mar 2022 03:56:44 +0800

作者凌祎编辑| 橙子君出品| 阿里巴巴新零售淘系技术基于内容推荐场景的发展，针对工业界主要召回算法的问题，提出CMDM 。背景随着电商场景和内容场景的快速发展，越来越多的融合场景开始出现。我们服务的场景是一个根植于电商场景下的内容消费场景，这样一个全新的内容推荐场景也给我们的推荐技术带

有赞搜索引擎从到技术解析

Tue, 15 Mar 2022 03:50:24 +0800

分享嘉宾：毛夏君老师内容来源： DataFun AI Talk《搜索引擎从0到1》出品社区： DataFun 今天主要分享的是一些搜索工程方面的意见，首先介绍下一个完整的搜索引擎是由哪几部分组成的，然后是搜索内部文件的读和写，最后是搜索系统中主要的核心要点分析以及对应的案例分析。最后是有赞方面的经验分享，和我们所做

苏宁一种基于神经网络的智能商品税分类系统

Tue, 15 Mar 2022 03:50:23 +0800

欧文祥 2018 年 11 月 12 日话题：AI语言 & 开发双十一 1. 项目背景 1.1 业务问题描述目前企业财务人员开取商品增值税发票时，票面上的商品需要与税务总局核定的税分类编码进行关联，按分类编码上注明的税率和征收率开具发票，使得税务机关可以统计、筛选、比对数据等，最终加强征收管理。为了满足这一要求，最关键

信用卡的个性化推荐体系

Tue, 15 Mar 2022 03:48:11 +0800

分享嘉宾：陈兵强51信用卡资深算法专家内容来源： DataFun AI Talk《51信用卡的个性化推荐体系》出品社区： DataFun 人工智能是当下金融产业转型的重要助力，本文主要介绍51信用卡管家在这方面如何搭建模型体系，如何发掘数据价值，如何成立自己私有的扫码平台或个性化体系。 51信用卡管家最开始以账单管理

深度学习在大规模搜索排名上的实战经验

Tue, 15 Mar 2022 03:47:13 +0800

Malay Haldar 等吴少杰 2018 年 11 月 18 日话题：AI深度学习搜索排名是机器学习中的一个重要应用。在 Airbnb 公司，最初它们是使用梯度提升的决策树模型来做的。随着时间的推移，传统的梯度提升树模型遇到了瓶颈，于是 Airbnb 开始探索利用深度学习来解决搜索排名问题。本文是 AI 前线第 57 篇论文导读，下面我们来深入了解 Airbnb 实践背后

阿里妈妈大规模在线分层实验实践

Tue, 15 Mar 2022 03:39:08 +0800

作者：敖丙少衡见独宏真 2016 年 9 月 19 日话题：阿里巴巴语言 & 开发架构阿里云引言在线服务系统的 AB-test 方法有很多种。搭建多个可服务集群，从物理上对流量进行隔离是比较常见的一种方式。这种方式应用于大型复杂的在线服务系统时，存在部署比较慢的问题。这种方式的典型架构如下图所示。 QueryRewrit

除了抖音和头条字节跳动的实力有多强

Tue, 15 Mar 2022 03:36:34 +0800

近日，字节跳动（今日头条母公司）人工智能实验室举行了一场 AI Openday 活动，字节跳动副总裁、人工智能实验室负责人马维英介绍了人工智能实验室的使命、愿景，十分少有地披露该公司在 AI 领域的进展。如今，这家媒体公司已然超越 Uber，成为全球最大、估值最高的独角兽企业。字节跳动迅猛成长的背后，人工智

菜鸟下一代分布式体系架构的设计理念

Tue, 15 Mar 2022 03:35:39 +0800

作者：黄浩 2018 年 11 月 22 日二十年来，整个分布式系统架构的演进，从 C/S 到 B/S，再到分布式系统，当前广泛使用的是网格计算和云计算，包括目标、定位、场景。菜鸟乃至阿里在全球化进程中，也面临着全球分布式架构问题，以及仓储系统中独特场景下云计算能力的不足。菜鸟资深技术专家黄浩老师目前带领团队在

理解五个基本概念让你更像机器学习专家

Tue, 15 Mar 2022 03:34:23 +0800

摘要：这篇文章主要讲述了机器学习的相关内容，阐述了机器学习的主要意义和形成过程。区别了机器学习与AI、深度学习、神经网络等专业词汇。大多数人可能对机器学习有点恐惧或困惑。脑子中会有它到底是什么,它有什么发展方向,我现在可以通过它挣钱吗等等这样的问题。这些问题的提出都是有依据的。事

微软专家眼中个性化推荐系统的大研究趋势

Tue, 15 Mar 2022 03:32:05 +0800

微软亚洲研究院 2018 年 11 月 29 日 “猜你喜欢”、“购买过此商品的用户还购买过……”对于离不开社交平台、电商、新闻阅读、生活服务的现代互联网用户来说，个性化推荐已经不是什么新鲜事儿。随着信息技术和互联网行业的发展，信息过载成了人们处理信息的挑战。对于用户而言，如何在以指数增长的资源中快速、

论文解读

Tue, 15 Mar 2022 03:30:55 +0800

《Large scale GANtraining for high fidelity natural image synthesis》这篇文章对训练大规模生成对抗网络进行了实验和理论分析，通过使用之前提出的一些技巧，如数据截断、正交正则化等，保证了大型生成对抗网络训练过程的稳定性。本文训练出的模型在生成数据的质量方面达到了前所未有的高度，远超之前的方法。作者对生成对

阿里开源深度学习框架面向广告推荐搜索场景

Tue, 15 Mar 2022 03:27:24 +0800

AI 前线导读： 11 月 28 日，阿里巴巴旗下大数据营销平台阿里妈妈宣布开源深度学习框架 XDL。这是阿里巴巴首次公开的深度学习框架，也是业界首个面向高维稀疏数据场景的深度学习开源框架，突破了现有深度学习开源框架大都面向图像、语音等低维稠密数据而设计的现状。更多干货内容请关注微信公众号“AI 前

与索引设计

Tue, 15 Mar 2022 03:26:44 +0800

分享嘉宾：毕杰山** ** 华为云主任工程师内容来源： HBase MeetUp《HBase RowKey与索引设计》出品社区： DataFun 今天分享的内容主要是HBase RowKey与索引设计相关的一些技巧、原则和相关案例。将分以下四部分分析，第一部分简单介绍HBase基础知识，第二部分探讨合理的需求调研方法

干货基于深度神经网络推荐系统剖析

Tue, 15 Mar 2022 03:26:40 +0800

文章作者：王科某司资深算法工程师内容来源：《YouTube 基于深度神经网络推荐系统剖析》出品社区： DataFun YouTube的推荐系统是近年来业内的佼楚之作。其经典之处不仅仅在于基于深度学习的解决方案，也有很多不属于纯技术范畴的设计抉择。 YouTube转用深度学习做推荐系统，也许有跟风的意

回顾让机器读懂人类揭秘机器阅读理解技术及应用

Tue, 15 Mar 2022 03:24:30 +0800

分享嘉宾：**** 邬霄云 Naturali奇点机智创始人兼CEO 内容来源： DataFun AI Talk**《让机器读懂人类：揭秘机器阅读理解技术及应用》** 出品社区： DataFun 我们在今年百度举行的中文阅读理解大赛上拿了冠军，而且比第二名高出三个点左右；听到过许多的反馈，好多人都说想要听机器阅读理解的技术这

让你更懂 JavaScript：V8 引擎的内部结构

Mon, 14 Mar 2022 19:22:10 +0000

V8 是一个非常复杂的项目，有超过 100 万行 C++ 代码。它由许多子模块构成，其中这 4 个模块是最重要的： Parse 负责将 JavaScript 源码转换为 Abstract Syntax Tree (AST)。确切的说，在 Parser 将 JavaScript 源码转换为 AST 前，还有一个叫 Scanner 的过程，具体流程如下： Ignition 即解释器，负责将 AST 转换为 Bytecode，解释执行 Bytecode；同时收集 TurboFan 优化

美团深入浅出排序学习写给程序员的算法系统开发实践

Tue, 15 Mar 2022 03:21:10 +0800

转载自美团点评技术团队引言我们正处在一个知识爆炸的时代，伴随着信息量的剧增和人工智能的蓬勃发展，互联网公司越发具有强烈的个性化、智能化信息展示的需求。而信息展示个性化的典型应用主要包括搜索列表、推荐列表、广告展示等等。很多人不知道的是，看似简单的个性化信息展示背后，涉及大量的数据

深度学习技术在美图个性化推荐的应用实践

Tue, 15 Mar 2022 03:20:58 +0800

文章作者：陈文强、白杨、黄海勇编辑整理：王吉东内容来源：2019 DataFun Live 09 出品社区：DataFun 导读：美图秀秀社交化的推进过程中，沉淀了海量的优质内容和丰富的用户行为。推荐算法连接内容消费者和生产者，在促进平台的繁荣方面有着非常大的价值。本次分享探讨美图在内容社区推荐场景下应用深度

干货函数详解

Tue, 15 Mar 2022 03:20:40 +0800

阅读原文发表于： 2019-08-24 0. 引言 Softmax 函数几乎是深度学习中的标配了，在人工神经网络中，几乎无处不可见 softmax 函数的身影。可以认为 softmax 是 arg max 操作的一种平滑近似。我将 softmax 的用途总结为两种：分类：给定一系列类别，softmax 可以给出某输入被划分到各个类别的概率分布。由于人工智能领域的许多问题都可以抽象成分

团队开源新作全流程机器学习平台

Tue, 15 Mar 2022 03:20:36 +0800

策划编辑 | Natalie 作者 | Matei Zaharia 译者 | 无明编辑 | Vincent **AI 前线导读：**在昨天开幕的 Spark+AI Summit 大会上，Spark 和 Mesos 的核心作者兼 Databrick 首席技术专家 Matei Zaharia 宣布推出开源机器学习平台 MLflow，这是一个能够覆盖机器学习全流程（从数据准备到模型训练到最终部署）的新平台，旨在为数据科学家构建、测试和部署机器学习模型

面向对象编程之类和对象

Tue, 15 Mar 2022 03:10:39 +0800

定义一个类 1 // 定义类，包含field及方法 2 scala> :paste 3 // Entering paste mode (ctrl-D to finish) 4 class HelloWorld { 5 private var name = "leo" 6 def sayHello() {print("Hello, " + name)} 7 def getName = name 8 } 9 // Exiting paste mode, now interpreting. 10 defined class HelloWorld 11 // 创建类的对象，并调用其方法 12 scala> val helloWorld = new HelloWorld 13 helloWorld: HelloWorld = HelloWorld@380e4452 14 // 如果方法无参，可以不加括号，如果定义方法时不带括号，则调用方法时也不能带括号 15 scala> helloWorld.sayHello() 16 Hello, leo

宽依赖窄依赖总结

Tue, 15 Mar 2022 03:10:35 +0800

宽依赖与窄依赖窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区(O(1)，与数据规模无关), map/filter和union 相应的，宽依赖是

用取代知乎实时数仓架构演进

Tue, 15 Mar 2022 03:10:20 +0800

“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时

面试官如果让你设计一个消息中间件如何将其网络通信性能优化倍以上石杉的架构笔记

Tue, 15 Mar 2022 03:09:56 +0800

目录 1、客户端与服务端的交互 2、频繁网络通信带来的性能低下问题 3、batch机制：多条消息打包成一个batch 4、request机制：多个batch打包成一个request “这篇文章，给大家聊一个消息中间件相关的技术话题，对于一个优秀的消息中间件而言，客户端与服务端通信的时候，对

有赞百亿级日志系统架构设计

Tue, 15 Mar 2022 03:08:37 +0800

一、概述日志是记录系统中各种问题信息的关键，也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。随着有赞业务的发展与增长，每天都会产生

一个轻量级查询框架

Tue, 15 Mar 2022 03:08:10 +0800

Walrus Introduction walrus是一个轻量级olap查询框架。它支持多源异构数据源(hdfs,mysql,clickhouse,kylin,druid…)，采用 apache spark 作为聚合计算引擎，在雪花模型上通过json提供ETL建模和ad hoc数据查询服务。 Background 数据分析、ETL开发人员的日常工作

网易迁移在网易传媒的实践

Tue, 15 Mar 2022 03:08:05 +0800

作者：易同学引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。迁移背景

百分点大数据技术团队基于多任务的数据同步方案实践

Tue, 15 Mar 2022 03:06:29 +0800

编者按在数据大爆发的时代里，数据分析和应用领域对数据即查即得的需求越来越迫切，ClickHouse凭借无与伦比的查询速度脱颖而出，被广泛应用于众多领域和方案中，是优秀的OLAP代表者。但是实践应用中，尤其是需要代码操作时会遇到一定的性能问题，尤其在数据量大的情况下表现更为突出。本

各大研究院共场算法岗面经

Tue, 15 Mar 2022 02:58:45 +0800

本文涵盖了腾讯微信事业群模式识别中心，PCG 和 TEG 事业群，阿里达摩院，蚂蚁金服，百度研究院，京东研究院，头条 AI Lab，滴滴 AI Lab，微软亚洲研究院，微软工程院以及联想研究院等等多个公司 NLP 算法岗面试内容，其实面试内容都大差不差，从大的来说就包含四块内容，下面我也就这四块做一个简要的说

篇论文强势进击商汤科技的研究员都在做哪些研究

Tue, 15 Mar 2022 02:33:52 +0800

6 月，计算机视觉领域重要会议之一 CVPR 2018 正在美国盐湖城火热举办，目前会议日程已接近尾声。近年来，随着计算机视觉算法从实验室走向商用，这朵「高岭之花」逐渐走进「寻常百姓家」，我们毫不意外地看到越来越多的商业公司出现在学术会议上。国外，我们能看到谷歌、Facebook 的大批论文；国内，我

让你更懂 JavaScript：05 什么是 V8

Mon, 14 Mar 2022 18:22:10 +0000

V8 是由 Google 开发的开源 JavaScript 引擎，是 JavaScript 虚拟机的一种，模拟实际计算机各种功能来实现代码的编译和执行。我们可以简单地把 JavaScript 虚拟机理解成是一个翻译程序，将人类能够理解的编程语言 JavaScript，翻译成机器能够理解的机器语言。目前主要用在 Chrome 浏览器和 Node.js 中。如下图所示：图中中间的「黑盒」就是 JavaScript 引擎

技术方案设计的方法论及案例分享

Tue, 15 Mar 2022 02:06:00 +0800

作者：作者 | 高福来（不拔）怎么去体现技术方案设计的深度是大家普遍关心的一个问题，这个问题不是个例问题，因此本文主要分享下作者个人的一些观点和看法。文章主要分为三个部分：第一部分主要分析为什么技术方案没有体现出深度，找到问题后就好解决，并提出技术方案的广度和深度特征。第二部分是技术

诸葛越关于算法工程师职业发展的思考

Tue, 15 Mar 2022 01:44:47 +0800

《职业发展论坛》专栏·第01篇整理 | 吴雪松校对 | 王大川导读：近年来人工智能技术取得了巨大的突破，应用到工业界的场景也越来越多，吸引了大量的人才涌进算法研究领域。我认识的很多朋友也投身其中，在学术界做研究的有，在工业界搞应用研究的也有。同时因为工作的原因，我也接触了很多算法方向的候

阿里我看技术人的成长路径

Tue, 15 Mar 2022 01:44:45 +0800

儒枭阿里巴巴中间件为什么要成长成长是为了在职场升值，提升职场竞争力！衡量标准：你成长的速度要匹配甚至超越业务发展的速度。当你成长速度超越业务发展速度的时候，组织才会把更重要的职责交给你，如果你成长的速度跟不上业务发展的速度，可能会面临被调整。成长的维度阿里的技术人绝大部分是做业务

谁也不必告别北京

Tue, 15 Mar 2022 01:44:42 +0800

这是一个最无话可说的命题，一场注定面对无数次迟钝、沉默、词不达意、从头再来的写作。你让我辩白事件，观点，正反面，是非题，可以；让我诉说一座山，一场雨，一个人，一段往事，好啊。可写下北京？谁能写下北京？奔向也好，离别也好，幻想也好，看清也好，你侬我侬也好，斩断情丝也好，每一个想记住

学会提问读书笔记

Tue, 15 Mar 2022 01:44:39 +0800

整体架构论证的方法论框架：正确性提问的好处和方法批判性思维的三个维度：对一整套环环相扣的关键问题的意识在适当的时机以适当的方式提出和回答关键问题的能力积极主动的使用这些关键问题的强烈渴望海绵式思维和淘金式思维：海绵式：他的主要任务就是找出作者的观点并充分理解它们，他会记住作者的论

如何成为一名技术专家

Tue, 15 Mar 2022 01:44:35 +0800

| 导语由腾讯学院联合质量管理通道举办的专家分享沙龙，邀请到了三位专家分享成长心得，内容干货满满。小编为你整理了精华内容，奉上victorhuang的专家“秘笈”。这篇文章无论哪个职位的同学都适合阅读，或许可以在某些层面帮助大家成长。 1 T4专家是什么样子？硬实力+软实力硬实力是基础

机器学习与数据科学决策树指南

Tue, 15 Mar 2022 01:40:03 +0800

还在为如何抉择而感到纠结吗?快采用决策树(Decision Tree)算法帮你做出决定吧。决策树是一类非常强大的机器学习模型，具有高度可解释的同时，在许多任务中也有很高的精度。决策树在机器学习模型领域的特殊之处在于其信息表示的很清楚，而不像一些机器学习方法是个黑匣子，这是因为决策树

回顾视频底层页推荐系统从到的实践

Tue, 15 Mar 2022 01:35:24 +0800

配套PPT下载，请识别底部二维码关注社区公众号，后台回复【智能技术】分享嘉宾：钱丁丁** ** 腾讯高级研究员编辑整理：刘一全内容来源： DataFun AI Talk**《 Yoo视频底层页推荐系统-从0到1的实践》** 出品社区： DataFun 注：欢迎转载，转载请注明出处。本次分享主要包括以下几个部分： 1. 业务背景； 2.

回顾强化学习在自然语言处理中的应用

Tue, 15 Mar 2022 01:35:22 +0800

分享嘉宾：黄民烈** ** 清华大学计算机系副教授，博士生导师编辑整理：邓力内容来源：《Reinforcement Learning in Natural Language Processing》出品社区： DataFun 注：欢迎转载，转载请注明出处。本文首先介绍了强化学习的概念和相关知识，以及与监督学习的区别，然后就强化学习在自然语言处理应用中的挑

回顾预估系统实践

Tue, 15 Mar 2022 01:32:25 +0800

本文根据OPPO黄树东老师在OPPO&DataFun Talk算法架构系列活动“AI在OPPO业务场景下的应用实践”所分享的《OPPO CTR预估系统实践》编辑整理而成，在未改变原意的基础上稍做修改。 CTR预估系统在商业变现领域有一个非常大的应用，也是非常核心的一个模块。业内

干货数据可靠性深度解读

Tue, 15 Mar 2022 01:32:20 +0800

我们先看一组评论再进入正文，我只想说厮大牛逼！作者：朱忠华原文： https://blog.csdn.net/u013256816/article/details/71091774 1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Ap

回顾搜索引擎算法体系简介排序和意图篇

Tue, 15 Mar 2022 01:32:17 +0800

本文根据刘老师在DataFun Talk算法架构系列活动“人工智能典型场景算法应用解析”中所分享的《搜索引擎算法体系介绍——排序和意图篇》编辑整理而成，在未改变中心思想的基础上稍做修改。请在WiFi环境下服用，土豪随意~~ 刘老师主要讲解的是关于搜索引擎方向的一些算法应用，由于这个体

行知镶嵌在互联网技术上的明珠漫谈深度学习时代点击率预估技术进展

Tue, 15 Mar 2022 01:32:16 +0800

文章作者：朱小强****（阿里花名：怀人）**** 阿里妈妈深度学习算法平台负责人，兼任定向广告&信息流广告排序技术团队负责人内容来源：高维稀疏数据领域的深度学习****@知乎专栏**** 出品社区： DataFun 注：欢迎投稿「行知」，投递方式见文末。一、写在前面关于标题所承载的话题，一

回顾同城综合排序框架连接效率优化实践

Tue, 15 Mar 2022 01:32:13 +0800

分享嘉宾：罗景** 58同城高级架构师** 编辑整理：洪鹏飞内容来源： DataFun AI Talk《连接效率优化实践》出品社区： DataFun 注：欢迎转载，转载请注明出处。本次分享由以下几个部分构成，首先是58的业务背景，然后是综合排序框架，以及效率优化框架，并且对基础数据流程、策略优化路径、效率优化平台三个方

搜索列表页连接效率优化实践

Tue, 15 Mar 2022 01:32:11 +0800

背景 58作为国内最大的分类信息服务平台，涵盖了租房、二手房、二手车、招聘、本地服务以及二手物品等分类信息，连接了百万级的信息发布用户与亿级的信息获取用户。目前，列表页模式仍是分类信息的主要展示方式，也是用户获取信息的主要途径。在该模式下，用户通过搜索（筛选条件或关键词）获取列表页

中文分词技术及在搜索的实践

Tue, 15 Mar 2022 01:29:08 +0800

文本、语言作为记录和传播信息的重要载体，对它高效的理解一直是人们关注的问题。自现代电子计算机出现后，计算机在很多事情上做得比人还好，计算机与语言处理的相遇就出现了自然语言处理（Natural Language Process, NLP）技术。NLP通俗的理解就是利用计算机对文本进行分析、加工。中文语言处理则是针对

回顾深度学习新技术在搜狗搜索广告中的深化应用

Tue, 15 Mar 2022 01:28:18 +0800

配套PPT下载，请识别底部二维码关注社区公众号，后台回复【 1212 】分享嘉宾：舒鹏搜狗专家研究员编辑整理：王彦斐内容来源：DataFun AI Talk《深度学习新技术在搜狗搜索广告中的深化应用》出品社区： DataFun 注：欢迎转载，转载请注明出处。大家好，我是来自搜狗搜索广告应用策略研究组的舒鹏，目前

回顾蚂蚁数据分析平台的演进及数据分析方法的应用

Tue, 15 Mar 2022 01:27:16 +0800

分享嘉宾：杨军蚂蚁金服高级技术专家编辑整理：兴金朝内容来源：DataFun Talk《数据分析平台：平台演进及数据分析方法应用》出品社区： DataFun 注：文末附有蚂蚁金服的内推信息，感兴趣的小伙伴可以关注下。大家好，今天主要分享数据分析平台的平台演进以及我们在上面沉淀的一些数据分析方法是如何

回顾阿里妈妈定向广告新一代点击率预估主模型深度兴趣演化网络

Tue, 15 Mar 2022 01:25:35 +0800

配套PPT下载，请识别底部二维码关注社区公众号，后台回复【 1212 】分享嘉宾：牟娜阿里巴巴高级算法工程师编辑整理：孙锴内容来源：DataFun AI Talk《定向广告新一代点击率预估主模型——深度兴趣演化网络》出品社区： DataFun 注：欢迎转载，转载请注明出处。概述本次带给大家分享是阿里妈妈在201

回顾基于金融智能风控的实时指标处理技术体系

Tue, 15 Mar 2022 01:25:13 +0800

配套PPT下载，请识别底部二维码关注社区公众号，后台回复_【风控反欺诈】_ 分享嘉宾：\\尹航 \\ 邦盛科技高级技术专家整理编辑：朱琴内容来源：DataFun AI Talk《基于金融智能风控的实时指标处理技术体系》出品社区： DataFun 注：欢迎转载，转载请注明出处。本次分享主要包含以下三个部分： Part 0

技术沙龙云搜知乎同城搜索架构

Tue, 15 Mar 2022 01:25:08 +0800

背景 2019年1月21日，由58集团技术工程平台群联合人力资源神奇学院共同组织的58集团技术沙龙第八期-“搜索工程架构”在58集团北京总部举办。沙龙邀请了知乎搜索技术架构团队、58集团TEG搜索技术部团队研发人员。由知乎搜索技术架构负责人孙晓光、58TEG搜索技术部卢克两位分别分

回顾百度智能写作如何通过人工智能技术为媒体内容创作赋能

Tue, 15 Mar 2022 01:24:25 +0800

分享嘉宾：彭卫华百度主任研发架构师编辑整理：马宇峰内容来源：百度大脑&DataFun AI Talk《智能写作：人工智能为媒体内容创作赋能》出品社区： DataFun 注：文末附有百度知识图谱部的职位信息，感兴趣的小伙伴可以关注下。百度知识图谱致力于构建最大最全最好的中文知识图谱，汇聚知识，连

回顾机器学习在反欺诈中应用

Tue, 15 Mar 2022 01:23:17 +0800

分享嘉宾：**陈德建 **新浪金融高级模型算法研究员整理编辑：侯美娟内容来源：DataFun AI Talk《机器学习在反欺诈中应用》出品社区： DataFun 当前机器学习在金融行业已经运用非常广泛，尤其在金融业的信贷领域。在实践中，欺诈与信贷业务强相关，所以，反欺诈变成机器学习在信贷领域的一大应用。

回顾强化学习原理与应用

Tue, 15 Mar 2022 01:23:16 +0800

分享嘉宾：王凡百度资深研发工程师编辑整理：王成林内容来源：百度大脑&DataFun AI Talk《强化学习：原理与应用》今天分享话题主要是跟强化学习有关，因为强化学习最近在工业界是非常火热。从加入百度开始，我主要就是做这一块。强化学习是一个比较大的话题，分享的内容大概是三个部

让你更懂 JavaScript：04 什么是 D8

Mon, 14 Mar 2022 17:22:10 +0000

D8 是一个非常有用的调试工具，你可以把它看成是 debug for V8 的缩写。我们可以使用 d8 来查看 V8 在执行 JavaScript 过程中的各种中间数据，比如作用域、AST、字节码、优化的二进制代码、垃圾回收的状态，还可以使用 d8 提供的私有 API 查看一些内部信息。 V8 源码编译出来的可执行程序名为 d8。d8 作为 V8 引擎在命令行中可以使

网易杭研分享图数据库基础

Tue, 15 Mar 2022 01:20:24 +0800

文章作者：温正湖网易杭研资深数据库内核专家内容来源：数据库内核@知乎专栏出品社区：DataFun 注：欢迎投稿「行知」，投递方式见文末。本文尝试以提问回答的方式来介绍笔者所理解的图数据库。包括图数据库的基本定义，图数据库如何表达数据，图数据相比关系型数据库的优势，图数据库使用场景等

人机交互式机器翻译研究与应用

Tue, 15 Mar 2022 01:17:07 +0800

分享嘉宾：黄国平腾讯AI Lab 高级研究员编辑整理：赵文娇内容来源：DataFun AI Talk《人机交互式机器翻译研究与应用》出品社区：DataFun 这个题目看起来比较小众，希望大家听我的讲座没有白听，可以学到一些东西，就是AI技术落地过程中的一些问题，以及解决策略和方法，技术、产品、行

回顾经典预估模型

Tue, 15 Mar 2022 01:14:51 +0800

文章作者：王喆 Hulu Senior Research SDE 内容来源：王喆的机器学习笔记@知乎专栏在这篇文章中，Facebook提出了经典的 GBDT（Gradient Boosting Decision Trees）+LR(Logistics Regression)的CTR模型结构，可以说开启了特征工程模型化、自动化的新阶段。此外其在五年前就采用的on

百度中文纠错技术

Tue, 15 Mar 2022 01:14:40 +0800

分享嘉宾：付志宏百度资深研发工程师编辑整理：李润顺内容来源：Baidu Brain & DataFun AI Talk《百度中文纠错技术》出品社区：DataFun 注：欢迎转载，转载请注明出处。本次分享聚焦于自然语言处理的一个传统问题－文本纠错，首先介绍文本纠错的相关背景及目前的主流技术，然后重点分享百度在文本纠

基于高阶构建大规模分布式深度学习模型系列开篇

Tue, 15 Mar 2022 01:14:36 +0800

文章作者：杨旭东阿里巴巴算法工程师内容来源：算法工程师的自我修养@知乎专栏在tensorflow高阶API（Estimator、Dataset、Layer、FeatureColumn等）问世之前，用tensorflow开发、训练、评估、部署深度学习模型，并没有统一的规范和高效的标

万字长文带你解读深度学习的各类模型

Tue, 15 Mar 2022 01:14:29 +0800

文章作者：陈桂敏（Derek）腾讯导读：NLP，让人与机器的交互不再遥远；深度学习，让语言解析不再是智能系统的瓶颈。本文尝试回顾NLP发展的历史，解读NLP升级迭代过程中一些重要而有意思的模型，总结不同任务场景应用模型的思路，对NLP未来发展趋势发表自己的看法。笔者经验有限，如有

强化学习系列二应用思路优化搜索排序

Tue, 15 Mar 2022 01:14:03 +0800

文章作者：杨镒铭滴滴出行高级算法工程师内容来源：记录广告、推荐等方面的模型积累@知乎专栏在深度学习大潮之后，搜索推荐等领域模型该如何升级迭代呢？强化学习在游戏等领域大放异彩，那是否可将强化学习应用到搜索推荐领域呢？推荐搜索问题往往也可看作是序列决策的问题，引入强化学习的思想来实现

分类模型与排序模型在推荐系统中的异同分析

Tue, 15 Mar 2022 01:12:48 +0800

文章作者：邹敏 Opera 高级算法专家内容来源：作者授权发布出品社区：DataFun 注：欢迎转载，转载请注明出处。前言推荐系统是驱动内容分发的引擎，而个性化则是推荐系统的核心思想。分类模型和排序模型是业界常用的两种个性化建模方式。本文探讨两种方法的异同点，总结如下：分类模型回答的是用户喜不

与求交集的方法总结

Tue, 15 Mar 2022 01:08:09 +0800

原文地址： https://www.cnblogs.com/aspirant/p/10012840.html 一、有序集合求交集的方法有 a）二重for循环法，时间复杂度O(n*n) b）拉链法，时间复杂度O(n) c）水平分桶，多线程并行 d）bitmap，大大提高运算并行度，时间复杂度O(n) e）跳表，时间复杂度为O(log(n)) 以下是方法的具体介绍：方案一：for * for，土

李宗纯图机器学习在度小满风控中的应用

Tue, 15 Mar 2022 00:52:50 +0800

分享嘉宾：李宗纯度小满 AI产品经理编辑整理：高倩重庆理工大学出品平台：DataFunTalk 导读：本文主要介绍度小满的超大规模图平台，以及它在真实金融风控业务中的应用。其中会包括一些应用方法和案例，希望能为大家在图机器学习落地产品化方面提供一些参考。今天的分享主要有以下四部分：相

辛涛字节跳动机器学习系统云原生落地实践

Tue, 15 Mar 2022 00:51:06 +0800

分享嘉宾：辛涛字节跳动高级工程师编辑整理：赵冬月河北农业大学出品平台：DataFunTalk 导读：作为一家高度重视人工智能的公司，字节跳动内部构建了一套丰富的产品矩阵，涵盖数据处理、模型开发、离线训练到在线推理等机器学习研发的全流程，以支持抖音、头条等产品的高速发展。亿级的用户规

赵鑫强化学习在京东广告序列推荐中的应用

Tue, 15 Mar 2022 00:50:58 +0800

分享嘉宾：赵鑫博士京东算法工程师编辑整理：娄学政小米出品平台：DataFunTalk 导读：互联网推荐广告的排序，关键在于对流量价值的预估，其中最重要的一部分是对点击率的预估。为了提高广告的变现效率，核心的问题是如何提高广告的预估精度。同一个广告，在上下文不一样的情况下，点击率是不

在美团外卖场景精排模型预估中的应用实践

Tue, 15 Mar 2022 00:48:07 +0800

美团技术团队稿 GPU等专用芯片以较低的成本提供海量算力，已经成为机器学习领域的核心利器，在人工智能时代发挥着越来越重要的作用。如何利用GPU这一利器赋能业务场景，是很多技术研发者都要面临的问题。本文分享了美团外卖搜索/推荐业务中模型预估的GPU架构设计及落地的过程，希望能对从事相

周玉驰因果分析在贝壳的探索实践

Tue, 15 Mar 2022 00:38:42 +0800

分享嘉宾：周玉驰贝壳资深算法工程师编辑整理：吴祺尧出品平台：DataFunTalk 导读：因果推断的应用范围十分广泛，例如气候变暖、新药研发、物理研究、经济学等。AI领域，特别是互联网产业，如何科学的进行因果分析，是一个重要的议题。本次分享的主题是因果分析在贝壳的探索和实践。今天的

端智能在大众点评搜索重排序的应用实践

Tue, 15 Mar 2022 00:38:20 +0800

祝升刘哲汤彪美团技术团队稿 1 引言随着大数据、人工智能等信息技术的快速发展，云计算已经无法满足特定场景对数据隐私、高实时性的要求。借鉴边缘计算的思想，在终端部署 AI 能力逐渐步入大众的视野，“端智能”的概念应运而生。相比于传统的云计算，在智能手机等终端部署运行 AI 模块有以下几个方面的优势

王志勇贝壳找房转化率预估模型实践

Tue, 15 Mar 2022 00:38:18 +0800

分享嘉宾：王志勇贝壳架构师编辑整理：戴稚晖陆金所出品平台：DataFunTalk 导读：贝壳从房产领域的产业互联网角度介绍智能广告投放的挑战、实践和思考。房产互联网是典型的高价值、长周期转化领域，本次分享重点介绍了贝壳CVR转化率预估模型在延时反馈问题上的实战经验；贝壳设计了一套实

陈胜美团搜索排序实践

Tue, 15 Mar 2022 00:35:14 +0800

分享嘉宾：陈胜美团搜索排序负责人编辑整理：吴祺尧出品平台：DataFunTalk 导读：美团的业务品类非常多，不同业务之间的履约方式差异很大。例如当用户进行搜索时，返回的是一个异构混排后的结果，可能会推荐一些具体的到店POI，也会推荐外卖POI，也可能是美团优选或者美团买菜的商品等

杨宇鸿腾讯多模态内容理解技术及应用

Tue, 15 Mar 2022 00:35:13 +0800

分享嘉宾：杨宇鸿腾讯内容理解高级工程师编辑整理：吴祺尧出品平台：DataFunTalk 导读：搜索内容的理解贯穿了整个搜索系统。我们需要从多个粒度理解搜索内容，包括语义分块、核心要素提取、页面渲染等。多模态内容理解技术在其中扮演了重要角色，它可以从内容解析、内容质量检验、内容关系的

音乐排序模型优化

Tue, 15 Mar 2022 00:35:08 +0800

分享嘉宾：Glad 腾讯音乐高级算法工程师编辑整理：韩晓婷北京大学出品平台：DataFunTalk 导读：今天和大家分享一下QQ音乐的排序模型优化之路，包括QQ音乐推荐业务的发展背景，遇到的问题和解决方案，以及对未来的展望。将会围绕下面五点展开：背景介绍用户感知模型助力音乐生态多品类

熊飞猜你去哪飞猪用户旅行意图预测

Tue, 15 Mar 2022 00:35:07 +0800

分享嘉宾：熊飞阿里巴巴算法工程师编辑整理：小赵出品平台：DataFunTalk 导读：旅行商品推荐和实物商品推荐不管从用户维度还是宝贝维度上都具有较大的差异，不管是度假商品、门票、酒店、交通都具有较强的目的地心智。针对旅行场景的特殊性，此次分享介绍飞猪在用户旅行意图预测上的技术沉淀

小布助手闲聊生成式算法

Tue, 15 Mar 2022 00:31:33 +0800

分享嘉宾：张超 OPPO 高级NLP算法工程师编辑整理：王旭北明软件出品平台：DataFunTalk 导读：今天分享的主题是小布助手在生成式聊天方面的探索和实践。主要内容包括以下几个方面：研发背景业界生成式方案小布助手业务实践总结与展望 01 研究背景首先和大家介绍下小布助手的研发背景 1. 小布助手业

技术深度学习排序在招聘搜索场景的演进

Tue, 15 Mar 2022 00:30:48 +0800

58同城白博稿 01 背景搜索推荐部作为中台部门为整个58集团提供搜索基础服务能力，我们在20年成功落地了深度学习模型，并在租房业务取得了不错的效果[1]。本着深入产业化的原则，我们后续又落地到招聘、黄页等多个场景。本文针对我们在招聘业务的深度学习排序工作，做一个简要介绍。首先从模型特

让你更懂 JavaScript：03 热门 JavaScript 的引擎有哪些

Mon, 14 Mar 2022 16:22:10 +0000

V8 (Google)，用 C++ 编写，开放源代码，由 Google 丹麦开发，是 Google Chrome 的一部分，也用于 Node.js。 JavaScriptCore (Apple)，开放源代码，用于 webkit 型浏览器，如 Safari ，2008 年实现了编译器和字节码解释器，升级为了 SquirrelFish。苹果内部代号为 “Nitro” 的 JavaScript 引擎也是基于 JavaScriptCore 引擎的。 Rhin

搜索推荐广告系统架构及算法技术资料大合集吐血整理年终分享

Mon, 14 Mar 2022 23:49:42 +0800

架构、搜索、推荐、广告系统优质资源整理 AI架构、搜索系统、推荐系统、广告系统等技术资料整理。这篇文章意图是收集市面上质量不错的后端架构、AI架构、搜索、推荐、广告引擎技术资料，内容来源包括开源项目官网（Lucene、Solr、Elastic）、综合技术网站（AIQ 、infoQ、S

汽车之家推荐系统排序算法迭代之路

Mon, 14 Mar 2022 23:49:38 +0800

文章作者：李晨旭汽车之家内容编辑：Hoh 内容来源：作者授权出品平台：DataFun 导读：汽车之家的推荐系统紧随前沿技术，在支持内部多个推荐场景的同时，对外也有了一定的输出。未来我们期望汽车之家的推荐系统不只是前沿技术的应用者，更是推动者和创新者。本次分享的主题为汽车之家推荐系统排

模型剪枝技术原理及其发展现状和展望

Mon, 14 Mar 2022 23:49:34 +0800

作者&编辑 | 言有三公众号：有三 AI 模型剪枝作为一项历史悠久的模型压缩技术，当前已经有了比较大的进步和发展，本文给大家梳理模型剪枝的核心技术，发展现状，未来展望以及学习资源推荐。 1 模型剪枝基础 1.1 什么是模型剪枝深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激

美团智能搜索模型预估框架的建设与实践

Mon, 14 Mar 2022 23:48:40 +0800

本文转载自美团技术团队。 1. 背景在过去十年，机器学习在学术界取得了众多的突破，在工业界也有很多应用落地。美团很早就开始探索不同的机器学习模型在搜索场景下的应用，从最开始的线性模型、树模型，再到近两年的深度神经网络、BERT、DQN 等，并在实践中也取得了良好的效果与产出。本文将与大家

腾讯音乐音乐命名实体识别技术

Mon, 14 Mar 2022 23:44:17 +0800

分享嘉宾：Kevin 腾讯音乐算法工程师编辑整理：韦国迎天虹出品平台：DataFunTalk 导读：命名实体识别（Named Entity Recognition，简称NER）是自然语言处理中的热点研究方向之一，目的是识别文本中的命名实体，并将其归纳到相应的实体类型中。命名实体识别也是NLP最重要

蜻蜓实时推荐系统的发展和演进

Mon, 14 Mar 2022 23:24:27 +0800

分享嘉宾：雷鸣蜻蜓FM 算法专家内容来源：作者原创投稿出品平台：DataFunTalk 导读：本⽂主要是分享蜻蜓FM最近⼏年在推荐系统中的发展和演进，从离线推荐逐步过渡到实时推荐后，作者在实际开发⼯作中，⾯对⼀些痛点和难点时，是如何进⾏思考和解决的，如何更好的将⾃⼰的业务场景特点和算

淘系技术分钟级在线深度学习在手淘信息流排序模型中的探索与实践

Mon, 14 Mar 2022 23:24:25 +0800

陈启伟、葛均锋淘系技术导读：天下武功，无坚不摧，唯快不破。近些年，深度学习如玄铁重剑在推荐系统中无坚不摧，给搜索/推荐/广告等业务场景带来巨大的收益，而在线学习则如唯快不破的独孤九剑，也在推荐算法中以快制胜，创建巨大的业务价值。前些年流行的FTRL等在线学习算法在深度学习中已不太

兴趣搜索在腾讯看点的探索与实践

Mon, 14 Mar 2022 23:23:32 +0800

摘要：随着推荐技术成熟以及信息流业务极速扩张，用户与内容的交互模式逐渐从“人找内容–搜索”往“内容找人–推荐”迁移，并且这种趋势仍在扩大它的外延边界，大有“万物皆可推荐”的架势。但搜索作为人与内容交互的一种重要方式，它的作用并没有削弱，用户在推荐场景的沉浸

美团知识图谱问答技术实践与探索

Mon, 14 Mar 2022 23:23:30 +0800

知识图谱问答（Knowledge-based Question Answering, KBQA）是指给定自然语言问题，通过对问题进行语义理解和解析，进而利用知识库进行查询、推理得出答案。美团在平台服务的售前、售中、售后全链路的多个场景中都存在大量的咨询问题。我们基于问答系统，以自动智能回复或推荐回复的方式，来帮助商家

美团预训练技术在美团到店搜索广告中的应用

Mon, 14 Mar 2022 23:22:14 +0800

美团点评技术团队稿引言美团到店搜索广告负责美团、大众点评双平台站内搜索流量的商业变现，服务于到店餐饮、休娱亲子、丽人医美、酒店旅游等众多本地生活服务商家。在美团搜索场景中广告的展示样式非常原生，用户使用美团服务不会明显区分广告和自然结果，而广告用户体验损失则会显著影响搜索流量。因

DDD实战：10 DDD、中台和微服务：它们是如何协作的

Mon, 14 Mar 2022 14:22:10 +0000

DDD 和微服务来源于西方，而中台诞生于中国的阿里巴巴。DDD 在二十多年前提出后一直默默前行，中台和微服务的理念近几年才出现，提出后就非常火爆。这三者看似风马牛不相及，实则缘分匪浅。中台是抽象出来的业务模型，微服务是业务模型的系统实现，DDD 作为方法论可以同时指导中台业务建模和微服务建

让你更懂 JavaScript：02 为什么需要 JavaScript 引擎

Mon, 14 Mar 2022 14:22:10 +0000

我们写的 JavaScript 代码直接交给浏览器或者 Node 执行时，底层的 CPU 是不认识的，也没法执行。CPU 只认识自己的指令集，指令集对应的是汇编代码。写汇编代码是一件很痛苦的事情。并且不同类型的 CPU 的指令集是不一样的，那就意味着需要给每一种 CPU 重写汇编代码。 JavaScript 引擎可以将 JS 代码编译为不同 CPU(Intel, ARM 以及 MIPS 等) 对应的汇编

超强整理非科班硕士的算法面经阿里腾讯字节美团

Mon, 14 Mar 2022 22:02:18 +0800

写在前面结束秋招已经很长一段时间了，如今也已经入职一段时间了，应大佬邀请整理一下面经，回馈一下有志于从事算法工作的学弟学妹们，毕竟自己也是曾经站在巨人的肩膀上，得到一些帮助，受益匪浅。笔者背景，C9 硕，非科班，互联网领域公司投递的岗位主要是“机器学习”（数据挖掘、搜索广告推荐方向

字节跳动实习算法面经

Mon, 14 Mar 2022 22:02:15 +0800

写在前面字节跳动是一直想去实习的公司，3 月份的时候觉得自己学的还不够扎实，暂时没有投简历。4 月 14 号在官网投了简历，4 月 15 号就有小姐姐打电话预约面试时间，今天下午面试。非本计算机专业出身，在研究生阶段做过基于机器学习和 CNN 的目标识别。没论文，没竞赛，只有所里的公司实习。编码方面也有些

数据分析转岗薪资翻倍多机器学习面试都问些什么

Mon, 14 Mar 2022 21:58:26 +0800

** 添加微信: julyedukefu14，回复【9】领取最新升级版【名企AI面试100题】 ** 1、请详细说说支持向量机（support vector machine，SVM）的原理支持向量机，因其英文名为support vector machine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定

梳理常见的机器学习面试题你知道几个

Mon, 14 Mar 2022 21:57:30 +0800

添加微信: julyedukefu14，回复【7】领取最新升级版【名企Al面试100题】 26、说说常见的损失函数？对于给定的输入X，由f(X)给出相应的输出Y，这个输出的预测值f(X)与真实值Y可能一致也可能不一致（要知道，有时损失或误差是不可避免的），用一个损失函数来度量预测错误

年月份算法岗面试题总结

Mon, 14 Mar 2022 21:37:36 +0800

评论有奖：评论区回复 “ 1 ”，领取最新升级版《名企AI面试100题》电子书！！面试题 **问题 1：**怎么处理数据不平衡 **问题 2：**给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。 **问题 3：**连续子数组的最大乘积 **问题 4：**最大子数组 **问题 5：**一个硬币正面概

阿里巴巴 CTO 鲁肃独家自述：CTO 就是要给 CEO 扫清障碍和风险

Mon, 14 Mar 2022 21:37:13 +0800

▎CTO可能不是思想家，但一定是行动派。本文来自《云栖战略参考》第二期，过程中鲁肃非常坦率地探讨了一位合格CTO应该具备的素质，以及他自己一路摔打成长的心路历程。一我的经历我的经历很简单，2004年之前一直在学校读书，读到30岁。2004年跟着一个师兄做外包项目，为淘宝网做一个重

开奖了揭秘届美团和腾讯校招薪资香水团完全不输鹅厂

Mon, 14 Mar 2022 21:37:07 +0800

对白的算法屋公众号：duibainotes 大家好，我是对白。最近2022届校招火热进行中，腾讯率先开启抢人大战，知乎到处流传着： 2022年校招互联网大厂薪资情况是怎样的。依稀还记得去年是我团率先公布薪资，一时之间，开水团变成了香水团，也把我这位被其他大厂疯抢的小鲜肉收割在了他的石

百度技术在智能招聘中的应用研究

Mon, 14 Mar 2022 21:30:46 +0800

分享嘉宾：秦川博士百度人才智库实验室(TIC) 人工智能研究员编辑整理：于晓涛农银金科出品平台：DataFunSummit 导读：人才是企业发展的核心竞争力，人才管理更是企业最具竞争力的武器。传统招聘中，面临着招聘成本高，效率低等问题，将NLP技术运用在智能招聘领域可以有效地提升企业

腾讯金融研究院寻找最优数字规则框架

Mon, 14 Mar 2022 21:29:15 +0800

作者: 吴绪亮腾讯研究院资深专家、首席经济学顾问（本文首发于《北大金融评论》2021年第4期）科技是打开人类经济增长的钥匙。纵观近二百年来的人类经济增长历史，从18世纪蒸汽机到19世纪电力再到20世纪信息技术，每一次重大通用目的技术变革都会带来资源重新优化配置和经济持续繁荣。当前全

到二向箔阿里妈妈展示广告底层技术架构演进

Mon, 14 Mar 2022 21:29:09 +0800

作者：日涉、卓立、谨持 ▐ 1. 背景随着整个互联网行业的发展，各大互联网公司作为服务提供商，积累了越来越多能够服务用户的优质内容，如电商领域的各类商品、视频领域丰富的视频、直播等。而随着信息量的爆炸，算法技术作为连接内容和用户的桥梁，在服务质量的提升上发挥着至关重要的作用。随着业界在搜

DDD实战：09 中台：数字转型后到底应该共享什么

Mon, 14 Mar 2022 13:22:10 +0000

在上一讲中我们了解了分层架构的设计思想，并提到了这种设计思想对中台建设十分有利，那么今天我就来讲一讲中台。中台是数字化转型的一个热门话题。继阿里提出中台概念后，很多人又提出了各种各样的中台。今天我们主要讨论业务中台和数据中台。作为企业数字化中台转型的整体，我也会顺带聊一聊前台和后

让你更懂 JavaScript：JavaScript 的基本特性和设计思想

Mon, 14 Mar 2022 13:22:10 +0000

JavaScript 的语言设计，借鉴了很多语言的特性，比如: C 语言的基本语法、Java 的类型系统和内存管理、Scheme 的函数作为一等公民，还有 Self 基于原型（prototype）的继承机制。 JavaScript 是一门非常优秀的语言，特别是「原型继承机制」和「函数是一等公民」这两个设计。 JavaScript 也有很多的先天不足，例如：使用

贝壳找房运维体系在贝壳的实践

Mon, 14 Mar 2022 21:00:04 +0800

来源：何巨放贝壳找房稿 1. 背景 Flink作为新一代的实时计算引擎在贝壳越来越多的应用场景下被应用，比如实时指标、实时ETL、实时监控等。目前贝壳内部线上运行中Flink任务已经超过4K，日均处理数据量万亿级。如何提升大规模Flink任务的稳定性、资源利用率、运维效率是一个有挑战的问

干货向量搜索的工程化实战

Mon, 14 Mar 2022 21:00:01 +0800

死敌wen 稿 1、背景作为一家搜索引擎公司，我们会很倚赖 ES 帮忙处理包括文章召回，数据源划分，实体、标签管理等任务，而且都收到了不错的结果。最近我们需要对行业知识库进行建模，其中可能会涉及到实体匹配、模糊搜索、向量搜索等多种召回和算分方式，最终我们选择了通过 ES 7.X （最终选择 7.10）里

深入搜索引擎之必知必会一开发视角

Mon, 14 Mar 2022 20:59:49 +0800

腾讯音乐技术团队 yueqqzhang 稿两句话了解它是什么搜索引擎。提供了数据存储、数据处理、数据查询、聚合统计的能力。创始人说：“不要求你必须是一个数据科学家才能把它用好” 前言 Elasticsearch 是一个很有意思的产品，不同岗位的人，对它的关注维度区别比较大主要可以分三个层面开发基本功能底层工作原理数据建模最佳实践运

汤楚熙美团实时数仓架构演进与建设实践

Mon, 14 Mar 2022 20:59:44 +0800

分享嘉宾：汤楚熙美团编辑整理：李瑶 DataFun 出品平台：DataFunTalk 导读：大家好，我叫汤楚熙，来自美团数据平台中心的计算平台团队，当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍

美团大作业部署与状态稳定性优化实践

Mon, 14 Mar 2022 20:59:32 +0800

摘要：本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括：一、相关背景美团 Flink 的应用场景覆盖了社区定义的三种场景：应用比较多的是数据管道场景，比如数仓 ODS 层数据的实时接入，或跨数据源的实时数据同步；比较典型的应用场景是数据分析，比如实时数仓的建设和

去哪儿网机票报价高并发实施的关键路径

Mon, 14 Mar 2022 20:59:30 +0800

机票报价承载机票主站搜索的流量请求，目前国内机票报价日搜索量达 2 亿+，国内航线数量超过 2W+，为了支撑用户在 qunar app 等渠道查询购买机票操作，报价系统作为机票搜索核心之一，力求在用户的购票流程上做到：快速响应报价搜索请求；合理设计报价缓存和闭环降低机票购买流程的拦截率。要解决这两个问题

学界吴恩达课程刷后感附课程视频字幕全套作业

Mon, 14 Mar 2022 20:06:05 +0800

作者简介： @文雨之本科东北大学自动化专业，然后直接攻博读的是系统工程专业。目前在东北大学系统工程专业读博士，在流程工业综合自动化国家重点实验室做流程工业里边调度问题和运行优化问题。博士刚开始主要接触了很多Numerical optimization， Convex optimization，No

架构知乎服务化的实践与思考

Mon, 14 Mar 2022 19:50:45 +0800

服务化是知乎几年来技术演进故事里的一个主角，公司规模从几十人到几百人，在监控、tracing、框架、容器等基础设施从无到有的同时，也扩展出多个后端技术团队。在服务化演进的过程里，我们也进行了一些新的思考。服务化的愿景「微服务」是业内最近两三年业内很火的 buzzword，迁移到微服

面试了家公司社招机器学习面试题

Mon, 14 Mar 2022 18:52:37 +0800

面试了 8 家公司，他们问了我这些机器学习题目…… 翻译 | 王柯凝出品 | AI 科技大本营（公众号 ID：rgznai100）【导读】今年年初以来，作者一直在印度找数据科学、机器学习以及深度学习领域的工作。在找工作的这三十四天里，他面试了8到 10 家公司，其中也包括初创公司、基于服务的公司以及基于产

面试经验机器学习深度学习算法工程师校招

Mon, 14 Mar 2022 18:51:03 +0800

咦~又是校招季了、下大雨闲的无聊、就写一下去年（2016）校招的经验吧、本人是硕士、而且是北京的、所以视野有限、仅供参考哈！时间节点 6月–>8、9月，内推、提前批：此时竞争小、可以拜托师兄师姐们帮内推、要把握住这次机会啊！（ps：去年我第一次参加校招、认识不足、

人工智能照骗难逃的火眼金睛用机器学习让图无所遁形

Mon, 14 Mar 2022 18:47:20 +0800

译者 | shawn 编辑 | 姗姗出品 | 人工智能头条（公众号ID：AI_Thinker）【导读】下图是 2008 年伊朗政府发布的一张图片，然而强大的网友们却凭借着肉眼，看出来图中黄色圈出的部分和红色圈出的部分是一模一样的，不得不说网友们真的是火眼金睛。而在今年的 CVPR 计算机视觉大会， Adobe 展示了他们最新的研究，

贝壳找房置信度计算在语音识别系统中的应用

Mon, 14 Mar 2022 18:47:19 +0800

近年来，语音识别技术得到了广泛的应用，人们开始将需求转向识别过程中错误词的捕捉、音频质量的检测等领域。本文通过计算置信度，赋予每个单词或每条语句相应的分数，设置合适的阈值，可以将语音识别系统输出中的某个单词标记为正确或不正确，将某条语句标记为高质量或低质量，便于系统进行后续研究及

标签平滑深度学习解释了为什么标签平滑有用以及什么时候使用它

Mon, 14 Mar 2022 18:38:55 +0800

作者：Less Wright 编译：ronghuaiyang 转载自 AI公园导读标签平滑算是一种常规技术了，但是这背后的原理不知道大家有没有深究过，Google brain给出了他们的解释，并给出了一些使用它的SOTA的建议。来自谷歌 Brain 的 Hinton, Muller 和 Cornblith 发表了一篇题为“When does label smoothing help？”的新论文，

网易大数据用户画像实践

Mon, 14 Mar 2022 18:38:55 +0800

分享嘉宾：张长江网易大数据技术专家编辑整理：黄乐平出品平台：DataFunTalk 导读：网易大数据生态数量级巨大，且产品线丰富，覆盖用户娱乐、电商、教育等领域，并且APP 活跃度高，积累了多维度的用户行为数据。通过集团数据资产构建全域用户画像，旨在服务于域内众多业务场景，同时也在探

九章云极发布自动机器学习白皮书

Mon, 14 Mar 2022 18:38:54 +0800

IDC预计，2020-2025年间，中国人工智能市场复合增长率将达到35.2%，持续保持中国速度，仍然占据全球主导地位。从整体解决方案的角度，预计到2024年，人工智能技术支出占整体IT支出的比例也将从2020年的5.2%提升至9.1%。 AutoML技术将为企业数智化升级带来何种

离线学习增量学习在线机器学习的区别

Mon, 14 Mar 2022 18:38:53 +0800

以下文章来源于跳动的数据，作者一尘通常算法工程师在做构建算法模型，都是以离线批量的方式在训练模型，本篇就来介绍机器学习在时间维和数据维度上的区别。离线学习下面一段话是引自wikipedia的定义 In machine learning, systems which employ offline learning do not change their approximation of the target function when the initial training phase has been completed.These systems are also typically examples of eager learning. 离线学习完成了目标函

大数据实战以及三种大揭秘

Mon, 14 Mar 2022 18:38:49 +0800

易小云： Join操作是数据库和大数据计算中的高级特性，大多数场景都需要进行复杂的Join操作，本文从原理层面介绍了SparkSQL支持的常见Join算法及其适用场景。本文2383字建议阅读时长6分钟 Join背景介绍 Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分

我收到了斯坦福的博士这是我的经验

Mon, 14 Mar 2022 18:38:26 +0800

Tim Dettmers 曾经花了很长时间研究如何申请读博，好在努力收到了回报：他收到了斯坦福大学、华盛顿大学、伦敦大学学院、卡内基梅隆大学以及纽约大学的录取通知，他目前已经在华盛顿大学读博。这篇博客总结了如何一步一步进行博士申请，告诉你哪些重要、哪些不重要。文中讨论了目的陈述（SoP）等申请材料以及

小布助手算法系统探索实践与思考

Mon, 14 Mar 2022 18:38:20 +0800

OPPO数智技术稿 1 前言对话交互是继传统PC、PC互联网及移动互联网之后，下一个时代非常有想象力的关键技术方向，无论是学术界还是工业界都有极高的关注度，同时作为OPPO万物互融战略的关键节点之一，承载着伟大而艰巨的使命。算法是对话交互的核心能力之一，决定了语音助手能达到的智能化水

电商搜索场景中的强化排序学习形式化理论分析以及应用

Mon, 14 Mar 2022 18:32:56 +0800

在淘宝的商品搜索场景中，给商品进行打分排序是一个典型的多步决策问题。尽管 Learning to Rank（LTR）被广泛用于排序问题，但现有的方法并没有考虑同一个搜索会话中不同决策步骤之间的关联性，因而无法直接用于电商搜索场景中的商品排序。本文提出用强化学习来解决对商品多步排序决策问题，它在模拟实验

阿里巴巴搜索引擎平台Ha3揭秘

Mon, 14 Mar 2022 18:32:54 +0800

**云栖君导读：**Ha3是阿里巴巴搜索团队开发的搜索引擎平台，它为阿里集团包括淘宝、天猫在内的核心业务提供搜索服务支持。 Ha3的架构在线 Ha3是搜索体系中的在线部分，在其系统内部，包含Qrs(Query result searcher)和Searcher两种基本的角色。 Qrs用于接收用户查询

吴恩达深度学习教程中文笔记最新版

Mon, 14 Mar 2022 18:32:51 +0800

课程概述 https://mooc.study.163.com/university/deeplearning_ai#/c 这些课程专为已有一定基础（基本的编程知识，熟悉 Python、对机器学习有基本了解），想要尝试进入人工智能领域的计算机专业人士准备。介绍显示：“深度学习是科技业最热门的技能之一，本课程将帮你掌握深度学习。” 在这5堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，并

美团外卖实时数仓建设实践

Mon, 14 Mar 2022 18:32:50 +0800

文章作者：朱良美团外卖技术专家编辑整理：Comn 出品平台：DataFunTalk 导读：本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。在实践中，我们总结的最佳实践是：一个通用的实时生产平台 + 一个通用交互式实时分析

网易数据湖探索与实践

Mon, 14 Mar 2022 18:32:49 +0800

分享嘉宾：范欣欣网易大数据技术专家编辑整理：刘闰丰出品平台：DataFunTalk 导读：今天主要和大家交流的是网易在数据湖Iceberg的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖Iceberg的探索以及实践之路。主要内容包括：数据仓库平台建设的痛点数据湖

基于滴滴论文基于强化学习技术的智能派单模型再演绎

Mon, 14 Mar 2022 18:30:40 +0800

文章作者：洪九滴滴高级算法工程师内容来源：作者授权出品社区：DataFun 注：欢迎转载，转载请注明出处最近拜读了滴滴2018年在 KDD 发表的一篇论文《 Large-Scale Order Dispatch in On-Demand Ride-Hailing Platforms: A Learning and Planning Approach 》。意犹未尽，假如让我来设计这样一个调度系统该如何做呢？司乘匹配一般来说，分为两步完成，第一步是为乘客找到合适

贝壳找房面向技术的贝壳平台架构演进

Mon, 14 Mar 2022 18:30:40 +0800

肖赞@贝壳找房本文根据贝壳找房资深工程师肖赞老师在2020年"面向AI技术的工程架构实践"大会上的演讲速记整理而成。 1 贝壳OLAP平台架的构演化历程如上图所示，贝壳OLAP平台架构的演化历程大致可以分成三个阶段：第一个阶段是从 2015 年到 2016 年，Hive to MySQL的

干货你想知道的实验知识全在这里了

Mon, 14 Mar 2022 18:30:39 +0800

作者介绍： @花花曾任职于美团、腾讯、今日头条担任数据分析师。操盘过上百亿的资源评估，与大家一起成长学习。 01 前言 A/B实验的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的结论，并确信该结论可推广到全部流量。目前已广泛用于推荐算法、产品交互设

金融风控大厂道精选面试题分享

Mon, 14 Mar 2022 18:30:35 +0800

问题1：深度学习的风控模型，从经验上看，样本量大概要多少条啊解析：不同的模型不一样，而且也不光要注意样本量，比如RNN其实希望序列长度至少在12个月以上，粗略的说，样本量五十万以上效果比较好。问题2：5万正样本，200负样本，B卡，不只是提高额度，会拒绝一部分客户，怎么建模？ 5万

机器学习模型如何优化干货总结

Mon, 14 Mar 2022 18:30:32 +0800

NLP杂货铺微信号：gh_90d682be2296 历时几个月的NLP中文预训练模型泛化能力挑战赛【25】已经圆满结束，进入决赛的各个队伍都提供了很好的方案模型。这次比赛是CLUE与阿里云平台、乐言科技联合发起的第一场针对中文预训练模型泛化能力的挑战赛。赛题以自然语言处理为背景，要

算法工程师之路搜索召回策略篇

Mon, 14 Mar 2022 18:30:32 +0800

作者: 洪九来源： https://zhuanlan.zhihu.com/p/97357462 1.召回策略召回阶段通常是推荐、搜索、广告和O2O分单中的第一步，其输出作为后续阶段的输入。最终展示给用户的数据是这个集合的子集。召回太多，导致后续的精细化排序过程计算压力大，用户被“读懂”的幸福感降低；召回太少，用户看到的内容太少，不利于用户和平台发生转化。所

新一代京东电商广告排序模型

Mon, 14 Mar 2022 18:30:29 +0800

分享嘉宾：刘鹄京东算法工程师编辑整理：李沛欣出品平台：DataFunTalk 导读：随着电商平台对图像信息的大量引入，通过图像分析来进行广告点击率判断就成了新的趋势。本次分享的主题为CSCNN：新一代京东电商广告排序模型，主要介绍视觉信息在CTR排序模型中的应用。一方面，我们将介绍

机器学习建模中的思想

Mon, 14 Mar 2022 18:24:09 +0800

Datawhale干货作者：小偶，来源：偶数科技我们在生活中做出的许多决定都是基于其他人的意见，而通常情况下由一群人做出的决策比由该群体中的任何一个成员做出的决策会产生更好的结果，这被称为群体的智慧。集成学习（Ensemble Learning）类似于这种思想，集成学习结合了来自多

爱奇艺搜索排序算法实践

Mon, 14 Mar 2022 18:24:09 +0800

7月3日下午，爱奇艺技术产品团队举办了“ i技术会”线下技术沙龙，本次技术会的主题是“ NLP与搜索”。我们邀请到了来自字节跳动、去哪儿和腾讯的技术专家，与爱奇艺技术产品团队共同分享与探讨NLP与搜索结合的魔力。其中，来自爱奇艺的技术专家张志钢为大家带来了爱奇艺搜索排序算法实践的分享

用户画像番外篇之随笔三则

Mon, 14 Mar 2022 18:24:09 +0800

超人赵，人工智能爱好者社区专栏作者知乎： https://www.zhihu.com/people/chao-ji-sai-ya-ren/posts 一则：开发上的一点记录文章说是生活随笔，到不如说是对本周开发工作中的一些体会与思考的记录。这个专栏我想除了对知识上的一些记录，以后也可以加入生活上的收获。好记性不如烂笔头，或许多年后再回看这些文章，回看进步的历程，也是一件很有成就感的事情

美团商品知识图谱的构建及应用

Mon, 14 Mar 2022 18:24:08 +0800

分享嘉宾：曹雪智博士美团技术专家编辑整理：陈维美出品平台：DataFunTalk 导读：在互联网新零售的大背景下，商品知识图谱作为新零售行业数字化的基石，提供了对于商品相关内容的立体化、智能化、常识化的理解，对上层业务的落地起到了至关重要的作用。相比于美团大脑中围绕商户的知识图谱而

及核心原理及实践

Mon, 14 Mar 2022 18:17:08 +0800

Spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触 spark 以及 spark streaming 之后，对 spark 技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。本文依次从 spark 生态，原理，基本概念，spark streaming 原理及实践，还有 spark 调优以及环

同城联盟广告平台架构及实践

Mon, 14 Mar 2022 18:17:08 +0800

分享嘉宾：曲瑶 58同城架构师编辑整理：张磊出品平台：DataFunTalk、AI启蒙者导读：随着大数据的快速发展，大数据应用已经融入各行各业。在很多场景中得到了商业化实践。今天和大家分享下58同城联盟广告平台架构及实践。主要包括：58联盟广告SSP媒体平台、投放平台、程序化创意等

架构开发案例从到构建分布式秒杀系统

Mon, 14 Mar 2022 18:17:08 +0800

前言最近，被推送了不少秒杀架构的文章，忙里偷闲自己也总结了一下互联网平台秒杀架构设计，当然也借鉴了不少同学的思路。俗话说，脱离案例讲架构都是耍流氓，最终使用SpringBoot模拟实现了部分秒杀场景，同时跟大家分享交流一下。秒杀场景秒杀场景无非就是多个用户在同时抢购一件或者多件商

网易严选数仓规范和评价体系

Mon, 14 Mar 2022 18:17:08 +0800

严选技术团队导读：数据仓库，是我们数据工程师的无形产品，不同于可视化、交互型产品的评价体系，数据仓库的评价有其独特性。本文从概念-平台-规范的链路来介绍一下严选数据仓库，并介绍了严选数据仓库的评价体系。数据为王的时代，数据量从最初的几十G，慢慢沉淀到几十T，甚至几十PB的量。数据

雷军最不待见刘强东深恶痛绝宁愿解散团队这类人也绝不能留

Mon, 14 Mar 2022 18:17:08 +0800

图片：视觉中国来源：正和岛（ID：zhenghedao）一个公司想要平稳发展，必须要保证团队的凝聚力、战斗力！但是团队是由形形色色、能力各异的人组成。人过一百，形形色色；人过一千，必有坏蛋。在团队里也是一样，总有那么几个“坏蛋”。所以这几类员工必须从团队里清理走，一个都不能留，否

一些的面试问题

Mon, 14 Mar 2022 18:17:05 +0800

作者：Pratik Bhavsar 编译：ronghuaiyang 导读: 在NLP的面试中提问频率非常高的问题。练习 NLP 是一回事，破解面试是另一回事。对 NLP 人员的面试与一般的数据科学非常不同。在短短几年内，由于迁移学习和新的语言模型，这些问题已经完全改变了。我个人经历过，随着时间的推移，NLP 面试变得

中国创始人陆奇人工智能时代芯片和底层软件基本都要重做

Mon, 14 Mar 2022 18:17:05 +0800

大数据文摘出品作者：陆奇编辑：周素云 2019年5月18日，在YC中国举办的YC中国创业者见面会上，YC中国创始人及首席执行官，YC全球研究院院长陆奇进行了以“技术驱动创新带来的创业机遇”为主题的精彩分享。陆奇曾任百度集团总裁兼首席运营官、微软全球执行副总裁、雅虎执行总裁，并获得卡

网易向量体系在严选的落地实践

Mon, 14 Mar 2022 18:17:05 +0800

严选技术团队向量化在业界的运用越来越广，近期也有许多文章分享过相关的主题。严选于 18 年下半年开始探索向量化在搜索推荐场景中的运用，从最开始基于商品召回用户的任务到后续的搜索召回、搜索个性化排序、搜索底纹、搜索发现词、搜索建议词、跨类目推荐、推荐召回、多兴趣召回、通用排序、端智能重排

美团外卖美食知识图谱的迭代及应用

Mon, 14 Mar 2022 18:15:24 +0800

杨林郭同海超等美团技术团队导读：菜品是外卖交易过程的核心要素，对菜品的理解也是实现外卖供需匹配的重点。今天我们将一次推送三篇文章，系统地介绍了美团外卖美食知识图谱的构建和应用。《美团外卖美食知识图谱的迭代及应用》会介绍外卖知识图谱的体系全貌，包括菜品类目、标准菜品、美食基础属性和

深入理解推荐系统召回

Mon, 14 Mar 2022 18:12:40 +0800

阅读原文深入理解推荐系统：召回深入理解 YouTube 推荐系统算法深入理解推荐系统：排序写在前面作为【推荐系统】系列文章的第二篇，将以“召回”作为今天的主角，会从四个方面来介绍召回的不同算法方式，即基于内容的召回、协同过滤、基于 FM 模型召回和基于深度学习的方法。一、背景介绍召回是推荐系统的第一阶

图神经网络在支付风控中的应用

Mon, 14 Mar 2022 18:12:39 +0800

分享嘉宾：闵薇@eBay 编辑整理：郭磊出品平台：DataFunTalk 导读：随着eBay全球支付管理系统的推广，为其保驾护航的支付风控体系在保护用户资金安全，防止盗卡盗号，减少平台损失方面起着至关重要的作用。而传统的算法不足以解决具有关联信息的图网络数据，依赖于GNNs的发展，使

沈冰阳强化学习在推荐冷启动优化中的实践探索

Mon, 14 Mar 2022 18:12:39 +0800

分享嘉宾：沈冰阳 58集团算法高级工程师编辑整理：吴祺尧加州大学圣地亚哥分校出品平台：DataFunTalk 导读： 58招聘是国内最大的蓝领招聘平台，是58集团的四大核心业务之一，每天有着上千万的职位在平台上发布，同时也有百万量级的求职者在平台上进行简历投递，达成海量连接并促进大量的

网易云音乐数仓治理之数据任务重构实践

Mon, 14 Mar 2022 18:12:39 +0800

作者简介：冷面，网易云音乐资深数据开发工程师，长期从事大数据开发，数仓建设、模型设计、数据治理、数据应用和服务等工作。目前主要负责云音乐离线数仓建设、会员业务线上数据服务、离线/实时ABTEST系统开发。导读：云音乐数仓在经历了前期混沌摸索，中期建设完善，如今已逐步形成了一套适合

美团本地生活综合性需求知识图谱的构建及应用

Mon, 14 Mar 2022 18:12:39 +0800

美团点评技术团队导读：本地生活综合性需求图谱（GENE: lifestyle GEneral NEeds net），是从用户需求视角出发，深入挖掘本地生活场景下用户多样化的需求，并将其与多行业、多类型的供给形成关联的知识图谱，旨在提升平台供需匹配效率，助力业务增长。本文介绍了本地生活综合性需求图谱的背景、体系设计和涉及的算

通俗解释协方差与相关系数

Mon, 14 Mar 2022 18:12:39 +0800

来自： AI有道（微信号：redstonewill），作者：红色石头什么是协方差（Covariance）？协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量

达摩院李雅亮大规模预训练模型的压缩和蒸馏

Mon, 14 Mar 2022 18:12:37 +0800

分享嘉宾：李雅亮博士阿里巴巴编辑整理：陈东东南大学出品平台：DataFunTalk 导读：本次分享的主题为大规模预训练模型的压缩和蒸馏，主要是从自动机器学习的角度，介绍大规模预训练模型的压缩和蒸馏。将介绍阿里巴巴达摩院关于模型压缩的三个连续承接性的工作：工作1：AdaBERT：Ta

百度图谱相关技术在风控反作弊中的应用和探索

Mon, 14 Mar 2022 18:10:25 +0800

百度安全策略团队稿导读：互联网黑产不断发展壮大，作弊模式逐渐变得规模化、产业化，团伙作弊行为日益猖獗。为了进一步提升百度账号的安全和用户体验，维护公司核心利益，百度账号安全策略团队结合自身在账号安全领域的优势，构建了可以处理海量数据、具备丰富扩展性的关联图谱黑产团伙挖掘能力，充分

使用窗口函数进行增长数据分析

Mon, 14 Mar 2022 18:10:22 +0800

以下文章来源于大数据技术与数仓，作者西贝本文会从一个商务分析案例入手，说明SQL窗口函数的使用方式。通过本文的5个需求分析，可以看出SQL窗口函数的功能十分强大，不仅能够使我们编写的SQL逻辑更加清晰，而且在某种程度上可以简化需求开发。数据准备本文主要分析只涉及一张订单表orde

峰值亿秒在京东的应用与优化实践

Mon, 14 Mar 2022 18:10:21 +0800

分享嘉宾：付海涛京东技术专家编辑整理：苏文进怪兽充电出品平台：DataFunTalk 导读： Flink是目前流式处理领域的热门引擎，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+k8s深入打造高性能、稳定、可靠、易用的实时计算平台，支撑

丰富生态爱奇艺开源灵活高性能的推理系统

Mon, 14 Mar 2022 18:02:18 +0800

来源：爱奇艺技术产品团队为弥补目前社区在生产环境可用的支持 GBDT 模型、GBDT+FM 二分类模型及 GBDT+FM 多分类模型部署的推理系统的空白，爱奇艺设计开发了灵活、高性能的 XGBoost Serving 推理系统，并在内部多个业务落地使用。近期，爱奇艺决定将这一系统开源，本文将详细介绍项目开发背景、系统实践、系统特性和架构

回顾云上冷热分离实践

Mon, 14 Mar 2022 18:02:18 +0800

本文根据阿里云技术专家郭泽晖在中国HBase技术社区第3届MeetUp杭州站中分享的《云上HBase冷热分离实践》编辑整理而成。今天分享的内容分为两个方面，首先会介绍下冷数据的经典场景，以及如果使用开源的HBase应该如何实现，最后介绍下HBase在云端的实现方案。冷数据定义就是

年月算法岗道面试题分享

Mon, 14 Mar 2022 18:02:18 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！ \ 1、讲一下改进的tf-idf TF-IDF中的IDF是一种试图抑制噪声的加权，单纯的以为文本频率小的单词就越重要，文本频率越大的单词就越无用，这一方式会在同类语料库中存在巨大

这些上下文相关的表示到底有多上下文化

Mon, 14 Mar 2022 18:02:18 +0800

作者：Kawin Ethayarajh 编译：ronghuaiyang 原文：英文原文： https://kawine.github.io/blog/nlp/2020/02/03/contextual.html 导读：具有上下文信息的词表示到底有多大程度的上下文化？这里给出了定量的分析。将上下文信息放到词嵌入中 — 就像BERT，ELMo和GPT-2 — 已经证明了是NLP的一个分水岭的想法了。使用具有上下文信息的词表示来替换静态

阿里淘外商业化广告工程架构实践

Mon, 14 Mar 2022 18:02:17 +0800

导读：大型广告系统工程方面的主要挑战就是海量数据，快速响应，数据实时和高可用度的要求。本次分享介绍了阿里创新事业群智能营销平台在如何构建高性能、高可用、高效率，低成本的广告系统架构方面所做的诸多工作及实践经验。主要包括： ❶ 智能营销平台的业务 ❷ 投放引擎的概念以及在广告平台所处的位置

人工智能入门书单推荐学习的请收藏好附下载

Mon, 14 Mar 2022 18:02:15 +0800

人工智能相关岗位中，涉及到的内容包含：算法、深度学习、机器学习、自然语言处理、数据结构、Tensorflow、Python 、数据挖掘、搜索开发、神经网络、视觉度量、图像识别、语音识别、推荐系统、系统算法、图像算法、数据分析、概率编程、计算机数学、数据仓库、建模等关键词，基本涵盖了

有赞订单搜索架构演进之路

Mon, 14 Mar 2022 18:02:15 +0800

文 | 王爷 on 交易一、前情提要时节如流，两年前的今天写了有赞订单管理的三生三世与十面埋伏，转眼两年过去了，这套架构发展的如何，遇到了什么新的挑战和收获，今天主要来一起整理回顾下有赞订单搜索AKF架构演进之路。之前将散落在 DB 多个分片中的数据在 ES 做了一次聚合，带来了巨大的好处，同步任务少

年七月中旬虾皮北京提前批算法工程师道面试题

Mon, 14 Mar 2022 18:01:15 +0800

福利｜文末免费送电子书：七月在线干货组最新升级的《2021最新大厂AI面试题》免费送！问题1：删除链表倒数第K个节点该题为leetcode第19题。在对链表进行操作时，一个常用的技巧就是添加一个哑结点（dummy node）,它的next忠贞纸箱链表的头结点，这样就不需要对头结点进

贝壳找房基于内容热度的推荐

Mon, 14 Mar 2022 18:01:15 +0800

推荐系统本质上要拟合一个用户对内容满意度的函数[1]，函数需要多个维度的特征包括：内容、用户等作为输入。个性化推荐建立在大量、有效的数据基础上。在建设初期，内容、用户的数据都还在积累，甚至对于数据的描述还是残缺不全[2]。在冷启动阶段，不妨把解决策略移到内容“热度”描述的算法上，

携程技术时间序列预测的常见方法及思考

Mon, 14 Mar 2022 18:01:12 +0800

作者简介饭饭爱吃饭，携程高级数据分析师，主要负责旅游领域数据赋能相关工作。对旅游趋势识别与推荐、旅游广告投放、旅游LBS等领域有浓厚兴趣。一、背景随着大数据的发展，自然科学、社会科学、工业工程、金融科技等领域都积累了海量的数据，在这些海量的数据中，时间序列数据（按时间戳顺序依次到

陈曦性能与稳定并存调优实践

Mon, 14 Mar 2022 18:01:12 +0800

转载自云加社区 2018-11-02 本文整理自作者在云加社区线下沙龙活动中的精彩分享，主题内容Elassticsearch调优实践。以下为分享内容：我今天分享的是Elassticsearch调优实践，首先自我介绍一下，我资历比较浅，我是腾讯TEG基础架构部后台开发工程师，虽然我不是项目经理，但是我们

阿里文娱多模态视频分类算法中的特征改进

Mon, 14 Mar 2022 18:01:09 +0800

分享嘉宾：蒋小森阿里文娱算法专家编辑整理：王恩贵内容来源：阿里文娱技术出品平台：DataFun 导读：类目体系是视频网站运营中的重要工具，也是推荐算法中提升冷启效果的重要手段。因此一套设计合理、准确率、覆盖率高的基础类目必不可少。阿里文娱类目体系建设团队与运营、审核一起建立的一二级

携程响应速度与智能化如何平衡携程酒店搜索系统实践

Mon, 14 Mar 2022 18:01:05 +0800

作者简介 mczhao，携程资深软件工程师，关注自然语言处理、搜索引擎和数据库内核开发。概览随着线上旅游业务的不断发展，携程酒店的数据量不断增加，用户对于搜索功能的要求也在不断提高。携程酒店搜索系统是一个基于Lucene开发的类似Solar的搜索引擎系统，本文将从四个部分描述对搜索

每天超亿推广流量亿商品展现阿里妈妈的推荐技术有多牛

Mon, 14 Mar 2022 18:01:04 +0800

随着深度学习、强化学习、知识图谱、AutoML 等 AI 技术出现更多突破，推荐系统领域的企业和开发者开始将这些技术与传统推荐算法相结合，使得推荐效果得到显著提升。不过，越来越复杂的场景、用户需求等对推荐系统提出了更高的要求。如今推荐系统已经得以大规模应用，然而掀开技术的外壳，审视推荐系

机器学习第二篇逻辑回归

Mon, 14 Mar 2022 18:01:02 +0800

转载自追梦程序员公众号前面介绍了机器学习中最简单的线性回归模型，机器学习第一篇——线性模型。今天，我们就来看看传说中的逻辑回归（logistic regression）。大家首先想一想，如果我们想要用已求得的线性模型来完成对样本的二分类，一个最简单的做法如下。这样虽然可以完成对数据

回顾在贝壳找房的实践经验

Mon, 14 Mar 2022 18:00:59 +0800

本文转发于 DataFunTalk 公众号本文根据贝壳找房邓钫元老师在中国HBase技术社区第二届MeetUp：“HBase技术解析及应用实践”中分享的《HBase在贝壳找房的实践经验》编辑整理而成，在未改变原意的基础上稍做整理。钫元老师首先给大家介绍一下贝壳，贝壳是链家一个房地产品牌，链家的愿景是把贝

租客的至暗时刻昨天买不起房今天租不起房

Mon, 14 Mar 2022 18:00:59 +0800

房租正重蹈房价泡沫的覆辙昨天还幻想海边别墅的年轻人，今天可能开始对房租绝望了。过去一个月，全国热点城市的房租如脱缰野马。一线的房租同比涨了近20%。一夜醒来，无产青年连一块立锥之地都悬了。即便逃离了北上广深，成都、西安也有30.98%、25.08%的同比涨幅在等着人才们落户。从2

互联网降维打击是一个什么概念

Mon, 14 Mar 2022 17:55:54 +0800

我先结合一些案例解释在商业市场等战场上“降维打击”的含义和应用原理，然后进一步讨论“降维”之说对于日常问题分析的价值，挖掘“降维”式的思维模型。读过《三体》有助于形象化理解，但完全不要求有《三体》知识背景。一、商业市场的降维打击说起降维打击，360安全软件是个经典案例。免费的姿态

强化学习在新闻推荐中的应用

Mon, 14 Mar 2022 17:55:54 +0800

作者 | mokong 搜狐技术产品导读随着AlphaGO在围棋界接连战胜世界冠军，其背后的技术-强化学习逐渐获得学术界、工业界的青睐。在新闻推荐任务中，传统的推荐算法无法考虑单个请求内新闻之间的关联，也无法考虑多个请求之间的关系，而强化学习，通过学习推荐策略给解决上述问题带来了可能。 1.强化学

全新电商搜索系统

Mon, 14 Mar 2022 17:53:41 +0800

大家好，我是kaiyuan。关于前沿技术在工业界的实践落地应用，我们之前分享过一些文章：大规模搜索+预训练，百度是如何落地的？ KDD'21 | 淘宝搜索中语义向量检索技术全方位解读 | Facebook的搜索是怎么做的？深度学习在Airbnb搜索的应用实践小红书在推荐多样化的实践——SSD KDD'21 | 揭秘

跨索引关联数据新方式

Mon, 14 Mar 2022 17:53:41 +0800

铭毅天下Elasticsearch 出品 1、实战项目需求需求1：有一个小需求 kafka源数据: topicA:{"A_content":"XXX","name":"A","type":"XXX","id":1} topicB:{"B_content":"XXX","name":"B","type":"XXX","id":1} 现在想将两个topic的数据写到同一个es索引中，但由于更新性能太慢，有啥思路可以加速写入性能呢(topicA和topicB的数据可能会有几天的延时)? 需求2：在cluster1上有如

阿里在手淘流量分析业务实践

Mon, 14 Mar 2022 17:53:40 +0800

分享嘉宾：Jason Xu@阿里巴巴编辑整理：夏仙森出品平台：DataFunTalk 导读：本文主要介绍手淘流量分析业务发展过程中，实时性业务分析需求的产生，实时分析目标的设定，如何进行技术的选型，以及如何基于ClickHouse构建系统架构和未来的业务预期。主要内容包括：流量分析与

实时数据系统弹性伸缩实践

Mon, 14 Mar 2022 17:53:39 +0800

作者 | 韩飞 1. 引言随着大数据技术的不断发展，数据实时性的需求变得越来越迫切，这对实时数据处理的基础架构提出了更高的要求。如何应对实时数据的流量变化，特别是突发流量，成为实时数据处理架构不得不面对的挑战性问题。对于 FreeWheel 这样一家服务全美 90% 的主流电视媒体和运营商的视频广告投放和管理平台，对

字节跳动无人测试流水线建设之业务实践

Mon, 14 Mar 2022 17:52:06 +0800

叶子字节跳动技术质量稿简介对于软件研发来说，持续、快速、高质量、低风险的交付需求特性，是业务对研发的主要诉求。目前各企业团队也正处于DevOps转型的不同阶段，字节跳动产品研发部质量架构团队针对业务现状，建立无人测试流水线专项，帮助业务建设从需求至交付全阶段流水线，提升产品发布质

技术金融数仓体系建设

Mon, 14 Mar 2022 17:51:06 +0800

文章作者：胡明昊 58金融内容来源：58技术导语: 本文讲述了金融数据仓库从无到有的整体设计思路，以及对数据建模、质量控制、元数据管理及开发规范各方面的经验思考，希望对大家在数仓建设工作方面有所帮助。背景自2018年以来，随着业务体系的不断丰富与发展，数据分析与应用需求越来越丰富，对

美团搜索中技术的探索与实践

Mon, 14 Mar 2022 17:51:05 +0800

时间：2020年07月23日美团点评技术团队作者: 丽红，星池，燕华，马璐，廖群，志安，刘亮，李超，云森，永超等 1. 背景命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。NER

源码分析

Mon, 14 Mar 2022 17:51:04 +0800

原文链接： https://www.amazingkoala.com.cn/Lucene/yasuocunchu/2019/0220/35.html FST（Finite State Transducer）算法的概念在这篇博客中并不涉及，网上有太多的资料啦，写的都非常的不错。这里推荐这位网友的介绍： https://www.shenyanchao.cn/blog/2018/12/04/lucene-fst/ 。如果链接失效了，可以看附件中的副本。本文中，我们基于一个例子来介绍在 Lucene 中如何实现 FST 算法及应用，感谢网友关新全的分享，基于他的分

贝壳找房面向技术的贝壳智能推荐平台建设实践

Mon, 14 Mar 2022 17:51:03 +0800

作者：袁彬@贝壳找房本文根据贝壳找房资深工程师袁彬老师在2020年"面向AI技术的工程架构实践"大会上的演讲速记整理而成。 1 开场大家好，很荣幸在这里给大家分享一下我们贝壳找房，在智能推荐平台建设方面的一些实践经验。今天的分享，主要分为以下四个部分：贝壳智能推荐

企业如何选择适合自己的项目管理软件

Mon, 14 Mar 2022 17:51:00 +0800

公司在选择项目管理软件时，因为不同行业和项目风格，都会有一些个性化的需求，不同的项目管理软件也各有优势； CORNERSTONE 项目管理软件经过多年的积累和完善，赢得了不少企业的信赖，那么它是如何高效的处理项目的呢？在 CORNERSTONE 中集成了很多方便实用的功能，加之友好的使用体验，下面具体来了解都有哪些独到之处！一

基于强化学习的算法在推荐场景中的应用

Mon, 14 Mar 2022 17:50:59 +0800

文章作者：杨梦月、张露露导读：本文是对滴滴 AI Labs 和中科院大学联合提出的 WWW 2020 Research Track 的 Oral 长文 “Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation” 的详细解读。在这篇文章中，滴滴 AI Labs 提出了一种基于强化学习的层次自适应的多臂老虎机的资源限制下的个性化推荐方法 ( HATCH )。该方法将资源限制下的用户推荐问题建模成一个资源限制下的上下文老

一直播千万量级用户推荐系统设计之路

Mon, 14 Mar 2022 17:50:45 +0800

作者简介冯丙见一下科技大数据部门资深架构师一直播现在大家都能看到它的影子，技术上面来讲很多东西都是通用的，可以在这里面借鉴一下，看看是不是有一些在你工作当中可以适用的东西。从三个方面介绍一下我们的系统，一个是面向我们架构设计，一个是用户画像系统，还有一个是评估推荐系统。 1、推荐系

算法工程师的学习成长和实战经验

Mon, 14 Mar 2022 17:50:45 +0800

我们本次分享主要分为六个小节，分别为： 1.NLP解决什么问题； 2.NLP算法发展简史； 3.检索式问答系统的语义匹配模型； 4.任务型对话系统背后的算法实例； 5.创业公司NLP工程师的工作职责； 6.NLP算法工程师面试注意事项；其中前两个小节主要大概讲述一下NLP这个学科它解决了什么

美团上市开盘涨市值超京东与阿里的交锋再升级

Mon, 14 Mar 2022 17:50:45 +0800

历经8年奋战，39岁的王兴终于将美团带到上市。北京时间9月20日9时30分，美团正式在港交所挂牌上市，股票代码3690。这是继小米之后第二家在香港上市的同股不同权科技公司。首日开盘价72.9港元，较发行价上涨5.65%，目前市值4003亿港元（约合人民币3494亿元），已超越小米

淘系技术内容推荐场景下多模态语义召回的若干实践

Mon, 14 Mar 2022 17:50:43 +0800

本系列将系统介绍召回技术在内容推荐的实践与总结。背景内容分发平台已经成为互联网用户获取信息资讯的主要来源，已经完全渗透进互联网用户的日常生活。内容推荐系统作为精准匹配用户和内容的手段，在内容分发的链路中举足轻重，而其中召回则决定了整个推荐系统的上界。内容分发平台中，基于行为的召回

两位拯救谷歌的超级工程师的故事计算机界最好的结对编程榜样

Mon, 14 Mar 2022 17:50:41 +0800

AI 前线导读：在很多人眼中，Jeff Dean 就是谷歌技术的代名词，也是谷歌如此强大的重要原因。但实际上他们都忽视了 Jeff Dean 背后的另外一位技术大神。在谷歌从创业公司成长为一代巨头的过程中，有数不清的工程师参与贡献，其中 Jeff Dean 和 Sanjay Ghemawat 是最初也是至今仅有的两位达到 Level 11（Google Senior Fellow）级

干货篇神策数据机器学习在用户画像中的应用

Mon, 14 Mar 2022 17:50:41 +0800

分享嘉宾: 王琛，神策数据用户画像研发部技术负责人整理出品: AICUG人工智能社区浏览器不支持该媒体的播放 :( 导读：在广告投放业务中，目标人群是否精准对投放的转化效果有直接的影响。通过用户标签找到精准度较高的目标人群通常需要丰富的行业经验，而利用基于机器学习技术的相似人群扩展（Loo

快看漫画个性化推荐探索与实践

Mon, 14 Mar 2022 17:50:41 +0800

分享嘉宾：夏博快看世界编辑整理：Hoh Xil 内容来源：DataFun AI Talk 出品社区：DataFun 本次分享的主题是快看漫画个性化推荐探索与实践，主要包括：业务介绍技术挑战技术探索总结与未来规划 ▌业务介绍 1. 关于快看漫画快看世界创立于2014年，旗下快看漫画 app 是中国新生代内容社区和原创 IP 平

浅谈算法工程师的核心竞争力

Mon, 14 Mar 2022 17:50:41 +0800

机智的叉烧目前尚属新人，看到的比较少，但是工作了接近一年，大概知道自己和大佬们的差距在何处，这些其实就是自己不足的地方。来一份自己目前比较高赞的总结： ML&DEV[8] | 算法在岗一年的经验总结下面部分内容可能不局限在 NLP 上，而是整个算法圈子工程师的竞争力体现，当然还有针对 NLP 本身的。现状现状先说说现

深度学习中不得不学的方法

Mon, 14 Mar 2022 17:50:41 +0800

王喆之前已经有无数同学让我介绍一下Graph Embedding，我想主要有两个原因：一是因为 Graph Embedding是推荐系统、计算广告领域最近非常流行的做法，是从word2vec等一路发展而来的Embedding技术的最新延伸；二是因为已经有很多大厂将Graph Embedding应

求生之路博士生涯的条简单生存法则

Mon, 14 Mar 2022 17:50:38 +0800

Next Scientist 是一个专门帮助博士生获取并保持动力、实现毕业和指导在业界求职的网站。本文作者 Julio Peironcely 就是 Next Scientist 的创始人和编辑，曾在荷兰莱顿大学的 PhD 期间做代谢组学和代谢产物鉴定的研究。在这篇文章中，Julio 结合自己的亲身经历，给博士生或即将成为博士生的人们提出了 17 个建议，内容诚恳，细节丰富；主要涉

贝壳找房关系图谱在贝壳的构建和应用

Mon, 14 Mar 2022 17:50:36 +0800

分享嘉宾：周玉驰贝壳资深算法工程师文章整理：许继瑞内容来源：贝壳找房知识图谱技术大会出品平台：DataFun 导读：贝壳找房积累了大量房、客、人的行为关系数据，我们通过关系图谱的相关技术对这些行为关系进行挖掘，并在实际应用中取得了不错的效果。本次分享将主要介绍关系图谱在贝壳找房的构

公式推导

Mon, 14 Mar 2022 17:50:34 +0800

作者：苏克1900 写在前面：本文主要参考 Online Learning算法理论与实践，但该文和网上找到的资料都没有很好的给出关于模型参数w的解析解的推导过程，甚至原论文 http://www.eecs.tufts.edu/~dsculley/papers/ad-click-prediction.pdf 还有一些符号错误。所以特此写个博文记录一下自己的推导过程。一. 什么是FTRL 首先介绍一下FTL，FTL的思想是每次找到让之

疫情之下教你远程办公高效又安全

Mon, 14 Mar 2022 17:50:34 +0800

新冠肺炎疫情防控期间可以说是我国数字化时代最大规模的一次集体远程办公。对于IT互联网企业来说，远程办公并不陌生，但对于传统行业来说，远程办公面临着诸多问题及系列隐私数据安全隐患。不管是远程办公还是传统的办公楼集群式办公都是基于人与人之间的沟通、基于文档获取与协作完成的。对于传统企

计算机视觉面试题面试考点精准详尽解析

Mon, 14 Mar 2022 17:50:32 +0800

添加客服微信：julyedufu77：回复 “ 7 ”，领取最新升级版《名企AI面试100题》电子书！！ 1、基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD 一、目标检测常见算法 object detection，就是在给定的图片中精确找到物体所

用户画像计算用户偏好标签及数据指标与表结构设计

Mon, 14 Mar 2022 17:50:30 +0800

作者：超人赵，人工智能爱好者社区专栏作者知乎： https://www.zhihu.com/people/chao-ji-sai-ya-ren/posts 传送门： http://www.6aiq.com/article/1537330058545 一、用户画像—计算用户偏好标签下面介绍如何计算用户的偏好标签。在上一篇写用户画像的文章 “用户画像—打用户行为标签”中，主要讲了如何对用户的每一次操作行为、业务行为进行记录打上相应的标签。在这篇博客中，主要讲如何对这些明细标

近期上最热门的开源项目附链接

Mon, 14 Mar 2022 17:50:29 +0800

2 月份 GitHub 上最热门的开源项目又出炉了，又有哪些新的项目挤进热门榜单了呢，一起来看看。 1、nocode https://github.com/kelseyhightower/nocode Star 16256 这是 2 月份新出炉的项目，可以说是 2018 年最火的佛系编程了，这个项目里面没有一行代码，它的 description 是这样的：The best way to write secure and reliable applications. Write nothing; deploy nowhere. 有网友把它翻译成中文版为：要安全，要可靠，最好的方

知乎高赞家里在一二线城市有很多套房是怎么的一种体验答案太颠覆

Mon, 14 Mar 2022 17:50:27 +0800

作者：知乎匿名用户来源：知乎 01 网上说，北京某初一学生，家里有14套房，于是不想上学，想当专业包租公。且不谈他的选择是对是错，只是从评论能看出大家钦慕之情。但是，我不觉得这样家里有很多套房的孩子有多厉害。大家大可不必羡慕他们。我爸妈以前在成都有10来套房，包括商铺、普通住宅和酒店式

人工智能初创公司所面临的问题

Mon, 14 Mar 2022 17:46:48 +0800

Andreessen-Horowitz 一直是当前主要风投公司中头脑最冷静的人。当其他公司在“cleantech”和违反物理学定律的荒谬的生物技术初创公司上加杠杆时，他们悄悄地继续的投资理智的公司(也包括像 soylent 这样的垃圾清理产品)。我认为他们实际上是在倾听前线的人们，而不是他们的风投伙伴告诉他们什么。也许他们只是比其他

深度商业流量排序策略优化实践

Mon, 14 Mar 2022 17:46:35 +0800

背景 58作为国内最大的生活信息服务平台，涵盖了本地服务，招聘，房产，二手车，二手物品多条业务线。商业部门作为中台部门，职能是为各个业务线提供商业变现解决方案，提升业务线流量变现效率，同时满足各业务线个性化，多元化的流量变现需求。在不同的商业产品类型以及不同的场景下，业务线对于变现

命名实体识别论文综述一

Mon, 14 Mar 2022 17:46:34 +0800

作者: 龚俊民(昵称: 除夕) 学校: 新南威尔士大学单位：Vivo AI LAB 算法实习生方向: 自然语言处理和可解释学习知乎: https://www.zhihu.com/people/gong-jun-min-74 亚里士多德在《形而上学》中认为，对于存在，最重要的问题，就是给世间万物的存在基于语言来分层和分类。从神说要有光起，到基友给你取了个外号叫狗蛋。你会发现，创造与命名，在历

京东推荐系统中的兴趣拓展如何驱动业务持续增长

Mon, 14 Mar 2022 17:46:33 +0800

作者：彭长平转载自京东推荐系统中的兴趣拓展如何驱动业务持续增长大家好，我是京东推荐广告的彭长平。今天主要跟大家介绍一些我们过去一两年在京东推荐系统里做的一些算法的创新。演讲主要分三部分：第一部分是简单描述一下电商的推荐与普通的、大家熟知的其他推荐系统的一些差异。电商推荐系统它自身

年迭代次抖音基于的实时推荐系统演进历程

Mon, 14 Mar 2022 17:46:33 +0800

以下文章来源于InfoQ ，作者郭文飞摘要：本文基于字节跳动推荐系统基础服务方向负责人郭文飞在 5 月 22 日 Apache Flink Meetup 分享的《Flink 在字节跳动推荐特征体系中的落地实践》整理 2021 年，字节跳动旗下产品总 MAU 已超过 19 亿。在以抖音、今日头条、西瓜视频等为代表的产品业务背景下，强大的推荐系统显得尤为重

程序员精进之路性能调优利器火焰图

Mon, 14 Mar 2022 17:46:32 +0800

作者：厉辉，腾讯 CSIG 后台开发工程师本文主要分享火焰图使用技巧，介绍 systemtap 的原理机制，如何使用火焰图快速定位性能问题原因，同时加深对 systemtap 的理解。让我们回想一下，曾经作为编程新手的我们是如何调优程序的？通常是在没有数据的情况下依靠主观臆断来瞎蒙，稍微有些经验的同学则会对差异代码进行二分或者逐

初探文本表示学习

Mon, 14 Mar 2022 17:46:19 +0800

原文出自：丁香园大数据 NLP 两段式，可以大致认为 Deepwalk 就是「如何将带结构信息的数据喂给 word2vec」。我们知道 word2vec 的训练方式（原文采用 SkipGram）是通过中心词（target）预测窗口内的词（context），所以 Deepwalk 的采样过程可以看作「如何定义和获取图上节点的 context」。这里

人脸分析数据时代的面像学一文读懂用户画像的前世今生

Mon, 14 Mar 2022 17:46:18 +0800

在难得的饭后闲余，我偶尔也关注一些娱乐新闻。我注意到，最近国内外公众人物的“人设崩塌”频率堪比Facebook的数据泄露。谁能想到素来以稳重成熟形象示人的“大叔”吴秀波，私情会如此泛滥；眉清目秀的张雨绮，“暴力倾向”似乎就没收敛过；外形俊朗、才华横溢的《银河护卫队》导演詹姆斯·古

字节跳动核心竞争力到底是什么

Mon, 14 Mar 2022 17:46:18 +0800

2012 年创建的字节跳动，短短几年时间发展到估值接近千亿美元的互联网大鳄，拥有今日头条、抖音、西瓜视频等多个爆品 app，除了搭上了移动互联网的春风，其企业自身的核心竞争力也得到了极大的体现。因此，对其核心竞争力进行一定的分析，抓住对自身团队有益的核心逻辑，予以学习和实践就变得很有价值了

回顾在网络文学领域的应用

Mon, 14 Mar 2022 17:46:14 +0800

配套PPT下载，请识别底部二维码关注社区公众号，后台回复【上海NLP 】分享嘉宾：马宇峰** 阅文信息内容挖掘平台技术负责人** 编辑整理：赵世瑜内容来源： DataFun AI Talk《NLP在阅文内容挖掘平台的应用场景与落地实践》出品社区： DataFun 注：欢迎转载，转载请注明出处。一、业务背景网络文学的发展已

消息中间件消息消费二模式实现

Mon, 14 Mar 2022 17:45:49 +0800

摘要：在RocketMQ中，消息消费都是基于Pull消息方式，那么Push模式中又是如何实现Consumer端准实时消费的呢？在上一篇—“消息中间件—RocketMQ消息消费（一）”中，已经简要地介绍了下RocketMQ中“Pull和Push两种消费方式的简要流程”以及“Push

今日头条算法原理全文

Mon, 14 Mar 2022 17:45:44 +0800

本文主要分享了今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。今天，算法分发已经是信息平台、搜索引擎、浏览器、社交软件等几乎所有软件的标配，但同时，算法也开始面临质疑、挑战和误解。今日头条的推荐算法，从 2012 年 9 月第一版开发运行至今，已经经过四次大的调整和修改。

特征工程文本特征处理的四大类主流方法

Mon, 14 Mar 2022 17:45:36 +0800

以下文章来源于搜索与推荐Wiki ，作者Thinkgamer 文本特征在内容平台内使用的场景和方式更多，但并不等于说其在其他形式的平台中无用户之地，比如：电商平台中的商品标题、商品介绍、评论等，商品平台中视频标题、视频介绍、评论等。利用文本数据可以做的事情很多，包括但不局限于：关键词

源码系列默认策略

Mon, 14 Mar 2022 17:45:33 +0800

这篇文章介绍 TieredMergePolicy，它是 Lucene4 以后的默认段的合并策略，之前采用的合并策略为 LogMergePolicy，建议先熟悉 LogMergePolicy 后再了解 TieredMergePolicy，这样对于两种合并策略的优缺点能一目了然，使得在不同业务使用对应的策略，其中两种合并策略最大的不同

为什么要使用交叉验证

Mon, 14 Mar 2022 17:45:32 +0800

【AD】如何提升大数据行业影响力？给数据分析网[投稿]，辐射50万大数据爱好者！什么是交叉验证法？它的基本思想就是将原始数据（dataset）进行分组，一部分做为训练集来训练模型，另一部分做为测试集来评价模型。什么是交叉验证法？它的基本思想就是将原始数据（dataset）进行分组

在快手的实践与创新

Mon, 14 Mar 2022 17:45:30 +0800

摘要：本文由快手大数据架构团队负责人赵健博分享，主要介绍 Apache Flink 在快手的过去、现在和未来。内容包括：为什么选 Flink Flink 在快手的发展业务数据流技术创新未来计划一、为什么选 Flink 大家好，我是赵健博，来自快手，目前负责快手大数据架构团队。今天很高兴可以和大家分享我们在 Flink 项目上的应用、改进与发展历程。

年月份推荐算法工程师一面道题福利

Mon, 14 Mar 2022 17:45:29 +0800

问题1：介绍下什么是Word2vec 在介绍Word2Vec之前需要先理解Word Embedding，它是将无法直接计算的、非结构化的单词转化为可计算的、结构化的数据-向量；那么什么是Word2Vec呢? Word2vec是 Word Embedding 的方法之一。他是2013年由谷歌的Mikolov提出了一

搜索引擎倒排索引的设计与实践

Mon, 14 Mar 2022 17:45:29 +0800

搜索引擎如何工作？信息检索已经发展的非常成熟了，应该所有人都不陌生。我有幸这几年接触过并且实际做过一些搜索引擎开发的工作，特此总结并分享给大家。实际上，一个成熟的搜索引擎是想当复杂的，比如百度的，就分nginx，vui，us，as，bs，da…..等等这些模块，当然

多媒体内容理解在美图社区的应用实践

Mon, 14 Mar 2022 17:45:27 +0800

分享嘉宾：付超美图资深视觉算法工程师编辑整理：翁梦娟出品平台：DataFunTalk 导读：移动互联网时代，图像和短视频等多媒体内容爆发，基于计算机视觉的AI算法是多媒体内容分析的基础。在美图社区智能化发展的过程中，视频和图像分类打标、去重以及质量评估的结果，在推荐、搜索以及人工审

腾讯微信看一看实时相关推荐满足你对同主题文章的意犹未尽

Mon, 14 Mar 2022 17:45:25 +0800

作者：微信AI团队谢若冰等导语在推荐系统中，用户在一个时间段经常会关注同一个主题。当用户读完一篇文章时，他往往会想要继续阅读和这篇文章相关的拓展文章。然而，传统的推荐系统feed流难以提供这种深度的拓展阅读（相关阅读）功能。这是由于考虑到推荐系统多样性和兴趣试探的要求，主推荐流中

贝壳技术响应式编程和协程在语言的应用

Mon, 14 Mar 2022 17:45:22 +0800

作者简介董骐瑞，2018年加入贝壳找房人工智能技术中心，先后负责推荐系统、搜索推荐，目前是智能匹配组、广告投放工程负责人。引言现代编程中，对于高并发场景不可避免地会使用多线程和异步处理，但是多线程的大规模使用并不会无成本地提升运行效率，随着线程数的增加，内存的占用量和上下文切换的

旷视北邮等国内团队包揽六项第一联合挑战赛结果公布

Mon, 14 Mar 2022 17:45:17 +0800

今日，ECCV 2018 COCO + Mapillary 联合挑战赛结果公布，来自国内的旷视科技、港中文 - 商汤联合实验室、北邮、滴滴等团队获得了这一挑战赛全部六大赛项的第一名。当地时间 9 月 8 日，两年一度的欧洲计算机视觉顶级学术会议 ECCV 2018 在德国慕尼黑拉开帷幕。作为计算机视觉领域的三大顶会之一，ECCV 2018 受到了极大的关注

源码系列收集各个命中的

Mon, 14 Mar 2022 17:45:16 +0800

在搜索阶段，每当 Lucene 找到一个满足查询条件的文档（Document），便会将该文档的文档号（docId）交给 Collector，并在 Collector 中对收集的文档号集合进行排序（sorting）、过滤（filtering）或者用户自定义的操作。本篇文章将根据图 1 中的类图（Class diagram）

版本控制工具常用操作

Mon, 14 Mar 2022 17:45:16 +0800

本文由云+社区发表作者：工程师小熊版本控制工具——Git常用操作（上）摘要：用了很久的Git和svn,由于总是眼高手低，没能静下心来写这些程序员日常开发最常用的知识点。现在准备开一个专题，专门来总结一下版本控制工具，让我们从git开始。完成本系列博客的阅读以后，你将掌握git的基

阿里零售通智能导购推荐技术实践

Mon, 14 Mar 2022 17:45:14 +0800

零售通是阿里巴巴 B 类事业群针对线下零售店推出的解决方案，通过与品牌商、本地经销商紧密合作，为零售店提供品质好货，升级社区零售店的便民服务能力，肩负着“共建智能分销平台”和“让百万小店拥抱 DT 时代”的重要使命。在这种 B2b2c 新型的分销模式中，智能导购推荐不仅提供一站式 APP 进货方式，帮助小店主

布道师系列杨健天到分钟的改变下篇

Mon, 14 Mar 2022 17:45:11 +0800

上期回顾《30 天到 3 分钟的改变！》系列主要讨论机器学习流程的三个阶段：数据获取和处理、模型训练和评估、模型部署和迭代。上期我们通过建模工具、算法和框架、高性能训练、管理特性重点介绍了模型训练相关的工具特性。本期将重点讨论模型部署和迭代！模型部署和迭代机器学习建模项目全流程模型部署

架构京东推荐系统架构揭秘大数据时代下的智能化改造

Mon, 14 Mar 2022 17:45:11 +0800

在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。201

腾讯看点视频推荐索引构建方案

Mon, 14 Mar 2022 17:45:11 +0800

纪文忠云加社区一、背景在视频推荐场景中，一方面我们需要让新启用的视频尽可能快的触达用户，这一点对于新闻类的内容尤为关键；另一方面我们需要快速识别新物品的好坏，通过分发的流量，以及对应的后验数据，来判断新物品是否值得继续分发流量。而这两点对于索引先验数据和后验数据的延迟都有很高的要

王桐阿里智慧供应链预测算法

Mon, 14 Mar 2022 17:45:09 +0800

分享嘉宾：王桐阿里巴巴资深算法专家编辑整理：杨晓磊本来集团出品平台：DataFunTalk 导读：本次分享的主题是阿里在智慧供应链预测算法上的探索。供应链里最大的挑战是不确定性，决策和优化的核心诉求就是围绕着不确定性做出最优的决策。对付供应链的不确定性有很多的方式，预测是阻挡供应链

贝壳基于的实时计算演进之路

Mon, 14 Mar 2022 17:45:09 +0800

分享嘉宾：刘力云@贝壳找房内容来源： Flink中文社区摘要：贝壳找房大数据平台实时计算负责人刘力云带来的分享内容是贝壳找房的实时计算演进之路，内容如下：发展历程平台建设实时数仓及其应用场景事件驱动场景未来规划一、发展历程首先是平台的发展历程。最早是因为业务方在实时计算方面有比较多

构造对象八

Mon, 14 Mar 2022 17:44:23 +0800

构造 IndexWriter 对象（七）构造 IndexWriter 对象（六）构造 IndexWriter 对象（五）构造 IndexWriter 对象（四）构造 IndexWriter 对象（三）构造 IndexWriter 对象（二）构造 IndexWriter 对象（一）本文承接构造 IndexWriter 对象（七），继续介绍调用 IndexWriter 的构造函数的流程。调用 IndexWriter 的构造函数的流程图图 1：生成对象 IndexFileDeleter 我们紧接上一篇文章，继续介绍剩余的流程点，下面先给出 IndexFileDeleter 的构造函数流程图

搜索内核设计与实践实时索引篇

Mon, 14 Mar 2022 17:44:19 +0800

58同城作为中国最大的分类信息网站，提供了房产、招聘、黄页和二手交易等多方面的生活服务信息，信息数据量和访问量逐年增长，列表页排序需求也时常变化。在这样的背景下，58搜索技术部使用C++语言自主研发了ESearch 搜索内核，取代之前使用的 Solr，大幅提高了性能和可定制性。经过多

百度深度学习图像识别决赛代码分享

Mon, 14 Mar 2022 17:44:19 +0800

大赛官网： http://meizu.baiducloud.top/ps/web/index.html 初赛内容：从图片中识别四则运算式，算式可能包含数字0~9、运算符+-*、括号()。并且，算式的长度固定为5或7，包含三个数字，两个运算符，0或1对括号。下面是几个样例： (4*8)+8 (0-2)+5 2*8-7 要求参赛者给出每张图片中的算式和运算结果。训练集共100,000张图片，并附带标签。测试集共2

源码系列有穷自动机

Mon, 14 Mar 2022 17:44:03 +0800

Automaton 在介绍 Automation 类之前先介绍下有穷自动机的概念，有穷自动机分为确定型有穷自动机(DFA)跟不确定型有穷自动机(NFA)。由于本篇文章是为介绍 TermRangeQuery 作准备的，所以只介绍确定性有穷自动机。确定型有穷自动机(Deterministic Finite Automaton) 这种自动机在读任何输入序列后只能处在一个状态中，术语“确定

贝壳找房端到端模型在贝壳经纪人流失预警场景的实践

Mon, 14 Mar 2022 17:44:01 +0800

杨航@贝壳找房近年来，深度学习算法在各领域大放异彩，各种端到端模型也日趋成熟。特别是在推荐算法领域，端到端模型几乎成了标配。端到端模型可以将特征工程融入到模型中，由模型自动化提取有效特征；也可以将各类网络结构融合到一起进行训练，根据数据特点进行深度拟合。本文探讨在贝壳经纪人流失预

年月份京东算法岗面试题道

Mon, 14 Mar 2022 17:44:00 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前105题]》免费送！问题1：介绍逻辑回归，逻辑回归是一个分类算法，那么它是在回归什么呢? 逻辑回归是在数据服从伯努利分布的假设下，通过极大似然的方法，运用梯度下降法来求解参数，从而达到将数据二分类

源码系列工具类

Mon, 14 Mar 2022 17:44:00 +0800

FixedBitSet FixBitSet 类在 Lucene 中属于一个工具类（Util），它的其中一个用途用来存储文档号，用一个 bit 位来描述（存储）一个文档号。该类特别适合存储连续并且没有重复的 int 类型的数值。最好情况可以用 8 个字节来描述 64 个 int 类型的值。下面通过介绍几个 FixBitSet 类的方法来理解这个类的存储原理。本篇文章纯属充数。。。直接看源

一文总结词向量的计算评估与优化

Mon, 14 Mar 2022 17:43:58 +0800

作者：芙蕖，Datawhale优秀学习者，东北石油大学为了处理语言，需要将文本信息用向量的形式表达。词向量（Word Vector）或称为词嵌入（Word Embedding）就是将词语向量化。常见的生成词向量的神经网络模型有NNLM模型,C&W模型,CBOW模型和Skip-

多类目模型在京东电商搜索中的应用

Mon, 14 Mar 2022 17:43:50 +0800

文章作者：肖茁建博士京东算法工程师编辑整理：Hoh 出品平台：DataFunTalk 导读：商品搜索引擎是电商平台满足用户购物需求的一个重要系统，它根据用户输入的搜索词，返回个性化的排序列表，以供用户选择。本文主要介绍MoE模型在京东搜索精排中的应用，以及结合实际场景对MoE模型进行

深度长文中文分词的十年回顾

Mon, 14 Mar 2022 17:43:50 +0800

_本文作者：上海交通大学赵海、蔡登，清华大学黄昌宁，香港城市大学揭春雨 _ 转载请联系原作者本文回顾了中文分词在2007-2017十年间的技术进展，尤其是自深度学习渗透到自然语言处理以来的主要工作。我们的基本结论是，中文分词的监督机器学习方法在从非神经网络方法到神经网络方法的迁移中尚

深醒首席科学家张钹院士深度学习优势与短板中国机遇和挑战

Mon, 14 Mar 2022 17:43:50 +0800

前言在首届世界智能大会上，深醒科技首席科学家、中国科学院院士张钹发表了题为《基于大数据的人工智能》演讲，分享了中美人工智能差异、深度学习成功的三大法宝、隐患与短板以及中国如何实现人工智能基础研究赶超欧美等话题的见解。张钹院士简介清华大学计算机系教授，中国科学院院士，深醒科技首席科

的思维

Mon, 14 Mar 2022 17:43:50 +0800

作者简介张磊机器学习爱好者人工智能爱好者社区专栏作者知乎： https://zhuanlan.zhihu.com/c_184412713 个人网站：novasky.top GitHub： https://github.com/zlxy9892 17世纪莱布尼茨设想，能否创造一种通用科学语言，可以把推理的过程，象数学一样用公式进行计算。随着计算机诞生，自动化的普及，通用人工智能再次受到关注，什么样的方法可以实现AG

图解框架用对比学习得到一个好的视觉预训练模型

Mon, 14 Mar 2022 17:43:48 +0800

作者：amitness 编译：ronghuaiyang 导读: 有点像词向量预训练模型，这个框架可以作为很多视觉相关的任务的预训练模型，可以在少量标注样本的情况下，拿到比较好的结果。 The Illustrated SimCLR Framework Published March 04, 2020 in illustration https://amitness.com/2020/03/illustrated-simclr/ 近年来，众多的自我监督学习方法被提出用于学习图像表示，每一种方法都比前一种更好。但

系统重构的道与术

Mon, 14 Mar 2022 17:43:47 +0800

阿里云云栖号最近参与了很多重构项目，有以提高服务器资源利用率为目标的Gateway网关、AMAPS等服务的重构，也有以提升架构合理性和研发效率为目标的共享业务服务化拆分，借此机会把相关内容梳理一下，是分享更是自我总结和学习。准备以重构工作中容易产生误区的地方或容易被忽视的重点来聊

贝壳找房语言模型系列实践篇在房产领域的实践

Mon, 14 Mar 2022 17:43:47 +0800

贝壳找房【语言模型系列】原理篇一：从 one-hot 到 Word2vec 贝壳找房【语言模型系列】原理篇二：从 ELMo 到 ALBERT 随着预训练模型在各大榜单的不断屠榜，学术界和工业界对于预训练模型的研究也愈加狂热。预训练语言模型一般基于海量语料，消耗大量的硬件资源以及时间成本，利用无监督的方法学习一个语言模型，随之应用到各种任

贝壳找房图数据库系列之贝壳分布式图数据库技术选型之路

Mon, 14 Mar 2022 17:43:38 +0800

一、背景贝壳找房的核心业务场景主要是围绕人、房、客三者的属性与关系展开，是一个典型的图数据库应用场景。而基于此挖掘出的房产领域行业图谱已达到 500 亿三元组的量级。面对如此海量的数据，应该如何存储才能支持业务的高效查询？我们迫切需要一个高性能、高可用、可扩展的分布式图数据库平台。二、图

回顾知乎推荐页经验分享

Mon, 14 Mar 2022 17:43:35 +0800

配套PPT下载，请识别底部二维码关注社区公众号，后台回复【 1215 】分享嘉宾：单厚智知乎排序算法负责人编辑整理：李岩哲内容来源： DataFun AI Talk《知乎推荐页Ranking经验分享》出品社区： DataFun 注：欢迎转载，转载请注明出处。本次分享主题主要从以下是三个方面展开： o 知乎推荐页场景和Rankin

干货蚂蚁金服科技一篇文章带你学习分布式事务

Mon, 14 Mar 2022 17:43:35 +0800

分布式事务是企业集成中的一个技术难点，也是每一个分布式系统架构中都会涉及到的一个东西，特别是在这几年越来越火的微服务架构中，几乎可以说是无法避免，本文就围绕分布式事务各方面与大家进行介绍。一. 事务 1.1 什么是事务数据库事务（简称：事务，Transaction）是指数据库执行过程中的一

第四范式推荐系统架构治理

Mon, 14 Mar 2022 17:43:35 +0800

分享嘉宾：李瀚第四范式架构师编辑整理：马瑶出品平台：第四范式天枢、DataFunTalk 导读：在数字化革命和AI赋能的大背景下，推荐场景逻辑越来越复杂，推荐细分场景越来越丰富，对业务迭代和效果优化的效率有了更高的要求。推荐系统业务和技术在传统架构支撑下自然堆砌，变得越来越臃肿，开

腾讯深度预估模型在应用宝推荐系统中的探索

Mon, 14 Mar 2022 17:43:34 +0800

导语 | 点击率（click-through rate, CTR）预估是互联网平台的核心任务之一。近年来，CTR预估技术从传统的逻辑回归，到深度学习DeepFM, Wide&Deep, DIN, DCN等算法落地，经历了突飞猛进的发展。本文旨在以深度CTR预估模型为基础，探索在应用宝推荐场景下的算法优化。文章作者：赵程，腾讯

音乐推荐系统的精细化调控

Mon, 14 Mar 2022 17:32:59 +0800

分享嘉宾：Bill 腾讯音乐编辑整理：Hoh 出品平台：DataFunTalk 导读：大家好，我是来自QQ音乐数据科学团队的Bill，接下来由我给大家分享QQ音乐在内容理解和精细化运营方面的一些实践和经验，副标题是推荐系统的精细化调控，相比于前面分享的一些硬核的算法模型和系统架构，我这

在阿里新人如何快速上手项目管理

Mon, 14 Mar 2022 17:32:58 +0800

阿里妹导读：为防止疫情蔓延，互联网公司纷纷开启SOHO办公模式。停工不停业，尤其与疫情相关的服务工作，都在快马加鞭的进行中。比如优酷的“战疫情”专题、“在家上课”项目，都是数百名互联网人“在家”完成的。今天的文章，阿里文娱项目管理专家常昊和我们聊聊高效率的背后，有哪些项目管理秘籍

携程上百个业务场景语义匹配技术在携程智能客服中的应用

Mon, 14 Mar 2022 17:32:58 +0800

作者简介 Kun Wang，携程资深算法工程师，专注于智能客服机器人相关NLP算法研究。一、背景介绍随着AI技术在各个领域的广泛应用，人机交互技术愈发成熟。包括电商、银行、电信等在内的很多领域开始建设智能客服的交互能力，为客人提供智能化自助服务，同时为客服人员的工作提供智能辅助。携程集团

让读懂短视频爱奇艺内容标签技术解析

Mon, 14 Mar 2022 17:32:57 +0800

来源：爱奇艺技术产品团队前言随着短视频的兴起，每天有大量的短视频被生产并上传到各大视频平台，面对海量的短视频，如何提升这些短视频的智能分发效率是各大短视频平台面临的重要课题。视频的标签技术是内容理解的一种重要手段，已经在业界被广泛应用于推荐系统的各个环节：用户画像、召回、排序等。

同程旅行网基于高可用架构实践

Mon, 14 Mar 2022 17:32:56 +0800

作者：刘树东背景介绍为何选择 RocketMQ 我们在几年前决定引入 MQ 时，市场上已经有不少成熟的解决方案，比如 RabbitMQ , ActiveMQ，NSQ，Kafka 等。考虑到稳定性、维护成本、公司技术栈等因素，我们选择了 RocketMQ ：纯 Java 开发，无依赖，使用简单，出现问题能 hold ；经过阿里双十一考验，性能、稳定性可以保障；功能

适合程序员用的笔记本电脑

Mon, 14 Mar 2022 17:32:54 +0800

首先，这种配置还要散热好的续航时间都长不了，而且也不会太轻。其次 NBA 2K 对配置的要求并没有这么高，可以考虑配置稍低但续航较长的电脑，标压i5+860M/960M就可以满足需求，剩下的钱可以加加SSD，内存什么的。其实，还是看你是哪种类型。也就是你的需求。 1. 痴迷技术型我认识一位朋友，大

基础深度学习之基础知识详解

Mon, 14 Mar 2022 17:32:53 +0800

转载自 datayx 公众号过拟合，欠拟合过拟合（overfitting）：学习能力过强，以至于把训练样本所包含的不太一般的特性都学到了。欠拟合（underfitting）：学习能太差，训练样本的一般性质尚未学好。下面是直观解释：《机器学习》–周志华下面在那一个具体的例子：如果我们

快手万亿级别集群应用实践与技术演进之路

Mon, 14 Mar 2022 17:32:53 +0800

赵健博 Kafka 系统在快手有着很广泛的应用，随着其业务的高速发展， Kafka 集群的规模也成指数增长，目前快手 Kafka 集群日消息处理总量达数万亿级别，峰值超过 1 亿 /s。与此同时，快手也面临了很多新问题与技术挑战。本文整理自快手高级架构师、大数据架构团队负责人赵健博在 QCon 全球软件开发大会（北京）2019 上的

揭开深度推荐系统模型之谜

Mon, 14 Mar 2022 17:32:53 +0800

王喆今天我们着手来彻底解决一个许久以来悬而未决的问题，也至少有十几位专栏读者通过留言和私信的方式询问我这个问题，这个问题就是 YouTube深度学习推荐系统中模型serving的问题。不了解YouTube深度学习推荐系统的同学可以回顾一下我之前的两篇专栏文章，以及YouTube的论

王元新一代人工智能算法平台设计和背后的逻辑

Mon, 14 Mar 2022 17:32:53 +0800

分享嘉宾：王元星云数字公共技术中心总监文章编辑：Hoh 出品平台：DataFunTalk 导读：人工智能，在2021年已经不是一个新词，在金融科技、大数据分析等多个领域已有很多实际落地的应用。作为承载人工智能算法的平台技术，受到的重视日渐增多。人工智能平台技术有很多种称谓：机器学习平

区块链国内区块链项目技术全面解析

Mon, 14 Mar 2022 17:32:50 +0800

作者｜陈浩出处｜极客时间《深入浅出区块链》专栏从 2009 年中本聪制作了比特币世界的第一个区块“创世区块”开始，到 2014 年，以中国为矿机的产业链日益成熟，至今为止国内的优质区块链项目日益增多，并且势头很足，不容小觑。今天我们来全面解析一下国内优秀项目的设计思路与技术特点。文章出自《深入浅出区

洋码头搜索应用架构

Mon, 14 Mar 2022 17:32:47 +0800

作者介绍皮勇泽，洋码头搜索工程师多年搜索业务开发经验，负责洋码头搜索系统开发传送门： http://www.6aiq.com/article/1537369562943 http://www.6aiq.com/article/1537369469861 搜索是洋码头APP流量分发的主要入口。随着洋码头商品数的激增，搜索的重要性愈加凸显。本文以整体搜索框架为切入点，围绕搜索业务展开，介绍下索引创建、搜索服务、热词推荐和排序因素等。本文约4000

真正的高手都是悄无声息的摆渡人

Mon, 14 Mar 2022 17:32:46 +0800

作者：莜麦面来源：商界洞见（ID：biz998）我知道我不是他的明天，我唯一可以做的，就是把他送到彼岸。——张嘉佳《摆渡人》 01 我的研究生导师是一个和蔼可亲、清心寡欲的教授。也许是因为他的导师是国际经济法方向的权威，治学严谨，他身上便传袭了西南联大大师的风范。他有一个儿子，当时在读

干货从零到一学习知识图谱的技术与应用

Mon, 14 Mar 2022 17:32:44 +0800

作者 | 李文哲（人工智能、知识图谱领域专家）来源 | 贪心科技导读：从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭

消息中间件消息存储二

Mon, 14 Mar 2022 17:32:43 +0800

http://www.6aiq.com/article/1563128272857 http://www.6aiq.com/article/1563128435731 http://www.6aiq.com/article/1563129642050 http://www.6aiq.com/article/1563129820252 http://www.6aiq.com/article/1563130068940 http://www.6aiq.com/article/1563130337444 http://www.6aiq.com/article/1563130479801 RokcetMQ文件存储设计架构_v2.jpg 上面图中假设Consumer端默认设置的是同一个ConsumerGroup，因此Consumer端线程采用的是负载订阅的方式进行消费。从架构图中可以总结出如下几个关键点：（1）消息生产与消息消费相互分离，Producer

丁香园电商搜索的语义理解问题

Mon, 14 Mar 2022 17:26:19 +0800

丁香园大数据稿今天我们来聊一聊大数据时代的电商搜索问题，随着电商的普及，越来越多人开始在网上购物，电商搜索的目的在于如何从海量的商品当中找到用户需要的商品。目前，绝大多数的商品召回和排序都是基于embedding，如何构建商品向量、如何解决搜索词与商品名称之间的语义鸿沟问题、如何

教程川言川语用神经网络模仿特朗普的语言风格

Mon, 14 Mar 2022 17:26:19 +0800

为了获得更多民众的支持，美国总统演讲/发推时使用的语言通常都很「接地气」，而现任总统唐纳德·特朗普则更以「口无遮拦」著称。由于「推特狂魔」已经为我们准备了大量训练数据，现在，我们可以尝试一下如何使用循环神经网络来模仿总统特朗普的语言风格。谁了解最好的词汇？ I know words. I have the best words. 在 2015 年 12

大厂面试题分享近邻聚类算法随机森林算法

Mon, 14 Mar 2022 17:26:17 +0800

问题1：介绍下K近邻、kmeans聚类算法 K近邻算法也称为knn算法。 ** ** knn算法的核心思想是未标记样本的类别，由距离其最近的k个邻居投票来决定。具体的，假设我们有一个已标记好的数据集。此时有一个未标记的数据样本，我们的任务是预测出这个数据样本所属的类别。knn的原理是，计算待

阿里妈妈数据科学系列第二篇在线分流框架下的

Mon, 14 Mar 2022 17:26:17 +0800

第一篇：【阿里妈妈数据科学系列】第一篇：认识在线实验 (ABTest) 拾芥、芋萌阿里妈妈技术背景 AB Test 是为同一目标制定两个方案，在同一时间维度，保证其他条件一致的情况下，分析实验组跟对照组的区别，根据不同的实验类型以及应用场景，产生了不同分桶逻辑的AB Test，包括在线分流及离线抽样。在流量侧进行

在去哪儿的实时数仓实践

Mon, 14 Mar 2022 17:26:16 +0800

一、背景及痛点 1. 背景我们在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了这些业务场景碰到的问题。对比 Kafka 来说，Iceberg 在某些特定场景有自己的优势，在此我们做了一些基于 Iceberg 的实践分享。 2. 原架构

流量控制与反压机制完全总结

Mon, 14 Mar 2022 17:26:16 +0800

来源： Flink 前言笔者最近回顾自己对Flink技术栈细节的理解，发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题，但是不完全理解背后的实现显然说不过去。于是专门写一篇总结，站在大佬们的肩膀上彻底搞清楚Flink是怎么做流控与处理反压的。 F

发布芯片昆仑和百度大脑自动驾驶巴士量产下线这是百度一年后的最新答卷

Mon, 14 Mar 2022 17:26:14 +0800

去年的 7 月 5 日，百度在北京国际会议中心开办了首届「AI 开发者大会」。在会上，百度首次喊出了「All in AI」的口号。一年的时间过去了，今天在同样地点举行的第二届开发者大会上，李彦宏说道：去年我吹过一个牛，百度的 L4 级别无人驾驶车的量产，会在 2018 年的 7 月份。今天我要说的是，这个牛，马上就

伴鱼借助完成机器学习特征系统的升级

Mon, 14 Mar 2022 17:26:13 +0800

作者：陈易生原文： https://tech.ipalfish.com/blog/2021/07/30/palfish-feature-system/ 摘要：本文作者陈易生，介绍了伴鱼平台机器学习特征系统的升级，在架构上，从 Spark 转为 Flink，解决了特征上线难的问题，以及 SQL + Python UDF 如何用于生产实践。一、前言在伴鱼，我们在多个在线场景使用机器学习提高用户的使用体验，例如：在伴鱼绘本中，我们根据用户的帖子浏览记录，为

深度排队离婚落户上天台所有人都在赌明天

Mon, 14 Mar 2022 17:26:12 +0800

作者：旺角黄局长来源：JIC投资观察（ID：JICTIMES）天地悠悠过客匆匆潮起又潮落恩恩怨怨生死白头几人能看透 01 中国同时出现了三支排队的队伍，富人在深圳排队离婚，中产阶级在天津排队落户，还有存在段子里的一支队伍——穷人赌球输了排队上天台。 2018年6月，历史上极为普通的一个月

美团广告深度预估技术在美团到店场景下的突破与畅想

Mon, 14 Mar 2022 17:25:59 +0800

胡可坚强张博等美团技术团队稿导读：后深度学习时代下，技术迭代全面进入深水区，以提升模型复杂度为主体的广告预估模型优化已经不再奏效。美团到店广告质量预估团队紧密结合业务特点，发挥深度模型结构灵活多变的优势，实现了进一步破局。本文先介绍了美团业务的LBS空间距离约束和长周期性两大挑战

工作效率低这个锅远程办公不背

Mon, 14 Mar 2022 17:25:58 +0800

疫情仍在继续，每个人为这个社会做贡献的方式，除了做好防控和不必要的恐慌外，我们更应该做好本职工作，以确保社会经济的正常运转，要做到“各司其职”。从2月3号开始，越来越多企业选择了远程办公模式。但因为沟通不畅所带来的信息不对称、效率低下，内耗等问题，对管理者和员工都是不小的考验。远

深度可视化网络探索记忆的形成

Mon, 14 Mar 2022 17:25:56 +0800

在卷积神经网络领域中有许多可视化方面的研究，但是对于 LSTM 却没有足够的类似工具。LSTM 网络的可视化能带来很有意思的结果，由于其包含时间相关性，我们除了可以在可视化图像的空间维度上探索数据之间的关联，还可以在时间维度上探索关联的稳健性。 GitHub 地址： https://github.com/asap-report/lstm-visualisation 数据集地址 https://archive.ics.uci.edu/ml/datasets/Australian+Sign+Language+signs 对于长序列建模而言，长短期

源码系列

Mon, 14 Mar 2022 17:25:55 +0800

原文： https://www.amazingkoala.com.cn/Lucene/2019/1205/115.html 阅读本篇文章需要前置内容： BulkOperationPacked，下文中会列出在文章 BulkOperationPacked 中涉及的代码，但是不会展开介绍。 DirectWriter&&DirectReader 两个类用来处理 long 类型的数据集（数组类型），其中 DirectWriter 用来在写数据时使用 BulkOperationPacked 将 long 类型的数据转换成 byte 类型，而 DirectReader 则是将 byte 类型的数据恢复成 long 类型。使用 byte 类型数据存储的

优秀的算法工程师都是不用深度学习的

Mon, 14 Mar 2022 17:25:20 +0800

前几天面试了一个C9应届硕士生，模式识别专业，连续问好几个专业问题都没能答上来。尴尬之余，我问他：「你没有什么理想吗？你现在最渴望的事情是什么？」他转悠着大眼睛，不假思索道：「将kaiming大大的Resnet扩展到10万层，把kitti,COCO数据库检测识别任务提升20个点以

飞猪拼接召回在飞猪交通域的实践

Mon, 14 Mar 2022 17:25:20 +0800

分享嘉宾：诗安阿里飞猪编辑整理：张振出品平台：DataFunTalk 导读：当用户打算从A地到达B地时，有时没有直达方案或者不符合预期，这就需要拼接召回技术。面对海量航班、多商家票源，我们基于带约束的路由算法和机器学习算法，兼顾用户偏好和召回方案的合理性，提升拼接召回效率。本次将分

深度学习大厂面试题汇总

Mon, 14 Mar 2022 17:25:18 +0800

文末彩蛋：七月在线干货组最新升级的《名企AI面试100题》免费送！ 31、什么是RNN？ RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预

构造对象一

Mon, 14 Mar 2022 17:25:16 +0800

来源： https://www.amazingkoala.com.cn/Lucene/Index/2019/1111/106.html 该系列文章将会介绍构造一个 IndexWriter 对象的流程，该流程总体分为下面三个部分：设置索引目录 Directory 设置 IndexWriter 的配置信息 IndexWriterConfig 调用 IndexWriter 的构造函数设置索引目录 Directory Directory 用来维护索引目录中的索引文件，定义了创建、打开、删除、读取、重命名、同步(持久化索引文件至磁盘)、校验和（checksum computing

百度商业大规模高性能全息日志检索技术揭秘

Mon, 14 Mar 2022 17:25:16 +0800

一、背景介绍百度商业产品是服务于百度广告主用来投放广告而打造的产品生态。包含搜索推广、信息流推广、品牌等推广渠道以及观星盘、基木鱼等营销工具。百度商业产品全景图这一系列商业产品底层多为复杂的 Java 业务系统。复杂性主要体现在底层微服务子系统多、应用间调用关系复杂、基础组件依赖多。复杂性

流批一体生产应用实时计算平台建设实践

Mon, 14 Mar 2022 17:25:15 +0800

来源： Flink 中文社区摘要：本文由 Bigo 计算平台负责人徐帅分享，主要介绍 Bigo 实时计算平台建设实践的介绍。内容包括： Bigo 实时计算平台的发展历程特色与改进业务场景效率提升总结展望一、Bigo 实时计算平台的发展历程今天主要跟大家分享 Bigo 实时计算平台的建设历程，我们在建设过程中解决的一些问题，以及所做的

发展越来越快十年或二十年后哪些工作不会被替代

Mon, 14 Mar 2022 17:25:13 +0800

自动化浪潮下未来还有哪些行业与工作岗位被看好现在很多人都读到过这样一条新闻：机器人的时代来了，它们会夺走我们的工作。事实上，根据当前的智能技术，高达45%的工作任务可以被自动化工具取代，将来这个数字肯定会继续上升。然而，这个数据的另一面往往被忽视：新兴技术将使许多工作流失，但它会

丨解读微软亚洲研究院篇入选论文

Mon, 14 Mar 2022 17:24:57 +0800

这几天，比国庆火车票还一票难求的NIPS 2018出最终结果了！作为机器学习领域的顶级会议，今年NIPS 之火爆达到了惊人的程度，投稿数量上升至史无前例的 4856 篇，比去年增加了约 50%，接受率保持着与去年持平的20.8%，共接受论文 1011 篇，其中168 篇Spotlight（3.5%），30 篇

性能调优总结

Mon, 14 Mar 2022 17:24:56 +0800

使用正确的 transformations操作虽然开发者达到某一目标，可以通过不同的transformations操作，但是有时候不同的姿势，性能差异非常明显。优化姿势的总体目标是尽可能少的产生 shuffle，和待被 shuffled data。因为shffule过程存在写盘和节点间网络IO的开销 repartition

架构服务端网络层架构

Mon, 14 Mar 2022 17:24:56 +0800

1. Reactor 模式 Kafka 网络层采用的是Reactor模式，是一种基于事件驱动模式。对应于Java的NIO 提供了Reactor模式的API.常见的单线程Java NIO 的线程模型为流程：首先创建ServerSocketChannel 对象并在Selector 上注册OP_ACCEPT 事件，ServerSo

出轨大数据新出炉暴露一个惊人真相

Mon, 14 Mar 2022 17:24:53 +0800

-01- 曾经有很多女孩在后台问我：桌子，我将来到底是选择嫁给爱情，还是嫁给金钱？我回答她们：姑娘，你真的多虑了。 100%的女孩都想嫁给爱情，但是最终只有极小一部分嫁给了爱情，极小一部分嫁给了金钱。还有极大部分呢？她们嫁给了隐忍和妥协。你可能说我腹黑，但我说的就是赤裸裸的现实，不是吗？这

深度学习在美团搜索广告排序的应用实践是怎么样的

Mon, 14 Mar 2022 17:24:53 +0800

作者 | 薛欢玉林王新转自 | 美团技术团队 AI（人工智能）技术已经广泛应用于美团的众多业务，从美团App到大众点评App，从外卖到打车出行，从旅游到婚庆亲子，美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索、推荐、广告、风控、智能调度、语音识别、机器人、无人配送等多个领域，帮助

棚改三四线楼市再无未来

Mon, 14 Mar 2022 17:24:52 +0800

作者：三个火枪手来源：格隆汇APP 格隆汇APP原创首发，十档行情Level-2免费送！ “我不种田了！” 2016年初的一天，十八线的老舅在电话里说，“村里搞棚户区改造，搬到镇上住了，离庄稼地太远了，你表哥叫我别种了。” 我盯着熔断的上证K线，强作开心地跟老舅说，“那很好啊！” 就这样，

深入剖析源码设计二模式到底干了啥

Mon, 14 Mar 2022 16:49:02 +0800

前言周末向往常一样睡了一上午，惆怅了一个中午，下午学了会习，梳理了下Netty的线程模型是如何体现Reactor模式的。继上一篇对一些通信底层IO的C函数学习，这一篇主要是总结Java里对底层IO不同层次的抽象，每一层都为了解决什么问题？为什么Reator模型使得现在Netty处

雷军小米创业年内部影像首次公开看完我心里边都是一团火

Mon, 14 Mar 2022 16:48:59 +0800

8年前，我有一个疯狂的想法。但是我打算，一条路走到黑。反正我现在，心里边都是一团火《小米创业 8 年内部纪录片》（手机篇），内部影像首次公开，蝉联金马奖纪录片导演周浩监制。雷军：我不喜欢把稻草卖成金条的人《小米创业 8 年内部纪录片》（手机篇）由著名的金马奖导演周浩监制，在一段小米内部会

同城智能语音质检系统架构实践

Mon, 14 Mar 2022 16:48:55 +0800

文章作者：刘晟源、陈璐内容来源：58 AI Lab 背景传统语音质检通常是指质检员听取一定比例的电话录音进行人工质检，检测坐席在通话过程中是否有违规或非标准话术行为，如骂人、嘲讽、推诿、过度承诺等，以规范坐席人员行为，进而提升客户服务质量。纯人工听取录音效率低，单人日均仅能听取约 3 小时，在大

届校招提前批推荐算法面试题总结

Mon, 14 Mar 2022 16:48:49 +0800

文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！问题1：非递归的二叉树中序遍历该题为Leetcode-94：二叉树的中序遍历方法：迭代需要一个栈的空间，先用指针找到每颗子数的最左下角，然后进行进出栈的操作。代码如下：时间复

这是我读过写得最好的秒杀系统架构分析与实战

Mon, 14 Mar 2022 16:48:39 +0800

1 秒杀业务分析 1. 正常电子商务流程（1）查询商品；（2）创建订单；（3）扣减库存；（4）更新订单；（5）付款；（6）卖家发货； 2. 秒杀业务的特性（1）低廉价格；（2）大幅推广；（3）瞬时售空；（4）一般是定时上架；（5）时间短、瞬时并发量高； 2 秒杀技术挑战假设某网站秒杀活动只推出一件

贝壳业务数据治理中台实践

Mon, 14 Mar 2022 16:48:32 +0800

分享嘉宾：李清华贝壳资深产品经理编辑整理：赵敏出品平台：DataFunTalk 导读：数据治理经过多年的沉淀，积累了比较完善的理论体系；但是落地时候，治理范围如何聚焦，数据产品如何定位、具象设计和推广运营，不同公司有着不同的设计实现。本文会结合贝壳找房近两年的业务数据中心建设经验，

互联网广告预估新算法基于神经网络的原理解读

Mon, 14 Mar 2022 16:48:28 +0800

什么是CTR预估 CTR（Click-Through-Rate）即点击通过率，是互联网广告常用的术语，指网络广告（图片广告/文字广告/关键词广告/排名广告/视频广告等）的点击到达率，即该广告的实际点击次数除以广告的展现量。 CTR是衡量互联网广告效果的一项重要指标。 CTR预估数据特点

干货携程酒店推荐模型优化

Mon, 14 Mar 2022 16:48:25 +0800

作者简介：Yorkey，携程高级算法专家，主要从事大规模分布式推荐系统设计和算法研发工作。一、背景当用户在线上浏览酒店时，作为旅行平台，如何挑选更合适的酒店推荐给用户，降低其选择的费力度，是需要考虑的一个问题。在携程APP中，一般会触发多种场景。在Figure 1中，我们列举了几种

机器学习人工智能学习资源导航

Mon, 14 Mar 2022 16:48:25 +0800

资源地址： https://github.com/howie6879/mlhub123 帮这个有心的同学推广下欢迎给他pr star mlhub123 机器学习网站导航以及资源，欢迎PR提供资源：网站： https://www.mlhub123.com/ 进微信群交流：备注mlhub进群 - mlhub Telegram群组：欢迎加入，资源多多~ 导航新闻资讯 Analytics Vidhya: 为数据科学专业人员提供基于社区的知识门户 Distill: 展示机器学习的最新文章 Google News: Google News Machine learning MIT News: Machine learning

详解支撑亿用户搜索的百度图片处理收录中台

Mon, 14 Mar 2022 16:48:25 +0800

内容来源：百度Geek说作者： imazon 导读：在百度搜索中，主要由“搜索在线”和“搜索离线”两部分构成，“在线”服务主要用于响应用户请求，“离线”服务则将各种来源的数据转换处理后送入“在线”服务中。“搜索离线”的数据处理是一个典型的海量数据批次/实时计算结合的场景。一、多模态检索背后的”

招聘推荐排序算法实战与探索

Mon, 14 Mar 2022 16:48:24 +0800

背景 58同城作为中国最大的分类信息网站，为用户提供招聘、租房、二手车及黄页等多种信息服务，其中招聘业务是公司的主要业务之一。招聘平台有千万级的求职者用户，每天有百万级的新增职位发布，如何提高招聘方与求职者的双边匹配效率和用户体验，是招聘数据策略团队一直致力于解决的核心问题。此外，

清华大学图神经网络综述模型与应用

Mon, 14 Mar 2022 16:48:24 +0800

转载自机器之心作者 paperWeekly 近年来，图神经网络的研究成为深度学习领域的热点，机器之心曾介绍过清华大学朱文武等人综述的图网络。近日，清华大学孙茂松组在 arXiv 上发布预印版综述文章 Graph Neural Networks: A Review of Methods and Applications。该文总结了近年来图神经网络领域的经典模型与典型应用，并提出了四个开放性问题。

基于深度强化学习的新闻推荐模型

Mon, 14 Mar 2022 16:48:21 +0800

文章作者：杨镒铭滴滴出行高级算法工程师内容来源：记录广告、推荐等方面的模型积累@知乎专栏出品社区：DataFun 注：欢迎后台留言投稿「行知」专栏文章。在深度学习大潮之后，搜索推荐等领域模型该如何升级迭代呢？强化学习在游戏等领域大放异彩，那是否可将强化学习应用到搜索推荐领域呢？推荐

精选开源项目处理数据检测卫星图像生成模型

Mon, 14 Mar 2022 16:48:21 +0800

文末免费送电子书：七月在线干货组最新升级的《2021最新大厂AI面试题》免费送！项目一：fmriprep 用于预处理各种 fMRI 数据的易用pipeline fMRIPrep 是一种功能性磁共振成像（fMRI）数据预处理管道，旨在提供易于访问的、最先进的接口，该接口可对扫描采集协议的变化非常可靠，并且需要最

滴滴集群跨版本升级与平台重构之路

Mon, 14 Mar 2022 16:48:15 +0800

分享嘉宾：赵情融滴滴专家工程师编辑整理：王洪达出品平台：DataFunTalk 导读：前不久，滴滴ES团队将维护的30多个ES集群，3500多个ES节点，8PB的数据，从2.3.3跨大版本无缝升级到6.6.1。在对用户查询写入基本零影响和改动的前提下，解决了ES跨大版本协议不兼容、

构造对象二

Mon, 14 Mar 2022 16:48:09 +0800

查看来源系列文章: 构造 IndexWriter 对象（一）构造一个 IndexWriter 对象的流程总体分为下面三个部分：设置索引目录 Directory 设置 IndexWriter 的配置信息 IndexWriterConfig 调用 IndexWriter 的构造函数在文章构造 IndexWriter 对象（一）中我们讲到了设置 IndexWriter 的配置信息 IndexWriterConfig 中不可配置的内容，接着我们继续介绍可配置的内容。设置 IndexWriter 的配置信息 IndexWriterConfig 可变配置可变配置包含的内容有：Merg

架构程序员该如何突破瓶颈阿里小马哥十年架构师经验之谈文末送书

Mon, 14 Mar 2022 16:48:06 +0800

一、源码分析源码分析是一种临界知识，掌握了这种临界知识，能不变应万变，源码分析对于很多人来说很枯燥，生涩难懂。源码阅读，我觉得最核心有三点：技术基础+强烈的求知欲+耐心。我认为是阅读源码的最核心驱动力，我见到绝大多数程序员，对学习的态度基本上就是这几个层次(很偏激哦)： ** ** 二、分

反向传播算法推导全连接神经网络

Mon, 14 Mar 2022 16:48:02 +0800

反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大规模的应用。全连接神经网络（多层感知器模型，MLP），卷积神经网络（CNN），循环神经网络（RNN）中都有它的实现版本。算法从多元复合函数求导的链式法则导出，递推的计算神经网络每一层参数的梯度值。算法名称

全面总结机器学习经典书相关资料全面总结中文译本官方代码课程视频学习笔记等等

Mon, 14 Mar 2022 16:47:55 +0800

今天给大家推荐一本机器学习、深度学习的人都应该听说过一本经典教材：《Pattern Recognition and Machine Learning》，中文译名《模式识别与机器学习》，简称 PRML。出自微软剑桥研究院实验室主任 Christopher Bishop 大神之手。对，就是豆瓣评分 9.5 的这本书。可能之前你看过其他公众号有分享过，不过不要着急，本推文更

机器学习与深度学习常见面试题上

Mon, 14 Mar 2022 16:47:43 +0800

导言一年一度的校园招聘已经开始了，为了帮助参加校园招聘、社招的同学更好的准备面试，SIGAI整理出了一些常见的机器学习、深度学习面试题。理解它们，对你通过技术面试非常有帮助，当然，我们不能只限于会做这些题目，最终的目标是真正理解机器学习与深度学习的原理、应用。 1 比较Boostin

袁腾飞阿里飞猪信息流内容推荐探索

Mon, 14 Mar 2022 16:43:07 +0800

分享嘉宾：袁腾飞阿里巴巴算法专家编辑整理：赵二白出品平台：DataFunSummit 导读：飞猪信息流的业务场景是架设在飞猪首页里面的猜你喜欢模块，其本质是一个多物料混排场景，包括内容和商品，本次的分享主要是介绍内容推荐在旅行场景的一些探索及实践。主要有如下三部分：飞猪信息流业务简

视频回放来也科技知识图谱及智能问答系统构建

Mon, 14 Mar 2022 16:43:00 +0800

浏览器不支持该媒体的播放 :( 感谢AICUG人工智能社区知识图谱在知识表示的完备性、语义刻画的准确性、体系结构的组织性上，显著优于传统Corpus的表示，对于信息检索、推荐系统、问答系统都至关重要，本次议题将以电力行业为背景，分享如何使用深度学习NLP技术挖掘和构建知识，产生行业知识

逻辑回归模型融合原理详解与实战

Mon, 14 Mar 2022 16:42:54 +0800

来源： Datawhale干货作者：吴忠强，东北大学，Datawhale成员一、GBDT+LR简介协同过滤和矩阵分解存在的劣势就是仅利用了用户与物品相互行为信息进行推荐，忽视了用户自身特征，物品自身特征以及上下文信息等，导致生成的结果往往会比较片面。而这次介绍的这个模型是2014年

随机森林概述

Mon, 14 Mar 2022 16:42:51 +0800

在SIGAI之前的公众号文章“大话AdaBoost算法”中我们介绍了集成学习的思想以及Boosting算法，今天的文章中我们将为大家介绍另外一种集成学习算法-随机森林。随机森林由多棵决策树组成，采用多棵决策树联合进行预测可以有效提高模型的精度。这些决策树用对训练样本集随机抽样构造

我们和腾讯级专家聊了聊在领域深耕的那些年

Mon, 14 Mar 2022 16:42:49 +0800

给国家围棋队陪练的AI“绝艺”、精通王者荣耀全英雄的策略协作型AI“绝悟”、能歌善舞的AI虚拟人艾灵、在滨海大厦种番茄的AI智慧农业方案iGrow、以及与钟南山院士团队合作预测新冠肺炎走向的AI，这些都是腾讯AI Lab耳熟能详的一些工作。同样为人熟知的是实验室副主任、著名语音识别

我们该如何学习机器学习中的数学

Mon, 14 Mar 2022 16:42:46 +0800

数学在机器学习中非常重要，不论是在算法上理解模型代码，还是在工程上构建系统，数学都必不可少。通常离开学校后很难有机会静下心学习数学知识，因此我们最好能通过阅读小组或读书会等形式营造环境，并专注学习那些在实践中常常需要用到的数学知识。数学达到什么水平才可以开始机器学习？人们并不清楚

上的用命名实体识别任务来解释损失函数

Mon, 14 Mar 2022 16:42:40 +0800

英文原文翻译地址回顾在前一节中，我们知道 CRF 层可以从训练数据集中学习一些约束，以确保最终预测的实体标签序列是有效的。约束条件可以是：句子中第一个单词的标签应该以“B-”或“O”开头，而不是“I-” “B-label1 I-label2 I-label3 I-…”，在这个模式中，label1、label2、label3

面试题精选风控建模流程分箱法的目的及第三方数据评估

Mon, 14 Mar 2022 16:42:40 +0800

问题1：分箱后，各箱badrate单调递增从业务上怎么理解呀？我们有个先验知识，多头越多badrate越大，历史逾期越多badrate越大…等等，如果变量分箱后不符合这个先验，可能就把他剃掉了。 Bad Rate：坏样本率，指的是将特征进行分箱之后，每个bin下的样本所统计

从损失函数的角度详解机器学习算法之逻辑回归

Mon, 14 Mar 2022 16:42:39 +0800

源 | 机器学习算法全栈工程师 ID：Jeemy110 作者：章华燕逻辑回归详解分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。这时，输入变量X可以是离散的，也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数，称为分类器(cl

算法解析及实现

Mon, 14 Mar 2022 16:42:39 +0800

原文地址： https://www.cnblogs.com/wkang/p/9657032.html 1. GBDT + LR 是什么本质上GBDT+LR是一种具有stacking思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于Facebook 2014年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。 2. GBDT + LR 用在哪 GBDT+LR 使用最广泛的场景是CTR点击率预估，即预测当给用户推送的广告会不会被用户点击。

为什么程序员一言不合就重构代码

Mon, 14 Mar 2022 16:42:34 +0800

当你看到前任写成一团毛球的代码块；新增几行代码需先捋半天逻辑的超级大函数；好不容易在迷宫里找到方向，小心翼翼地添加上新代码，却将别的调用系统给弄垮时；还有运行缓慢的老系统…… 此时程序员只有两个选择：要么忍，要么重构**。** 忍是有极限的，重构的“三次法则”表示：程序员第一次看到乱

滴滴出行基于构建企业级消息队列服务的实践

Mon, 14 Mar 2022 16:42:25 +0800

作者：江海挺 2018-11-20 本文整理自滴滴出行消息队列负责人江海挺在 Apache RocketMQ 开发者沙龙北京站的分享。滴滴出行的消息技术选型历史初期，公司内部没有专门的团队维护消息队列服务，所以消息队列使用方式较多，主要以 Kafka 为主，有业务直连的，也有通过独立的服务转发消息的。另外有一些团队也会用 RocketMQ、Re

京东线性模型的重构与优化实践

Mon, 14 Mar 2022 16:42:17 +0800

分享嘉宾：郑瑞峰京东资深算法专家编辑整理：乔伊 51job 出品平台：DataFunTalk 导读：随着机器学习乃至深度学习的火热发展，Spark家族中的Spark-ML频频出圈。Spark-ML是基于Spark Core与Spark SQL的机器学习库。因为其简单易用而被广泛应用于离线批处理的训

基于深度负相关学习的人群计数方法

Mon, 14 Mar 2022 16:42:17 +0800

SIGAI特约作者 cnns . 阿姆斯特丹大学在读博士研究方向：深度学习，计算机视觉人群计数监控视频中的人群自动计数有着重要的社会意义和市场应用前景。充分利用兴趣区域的人数统计信息可以为一些人群密集的商场、车站、广场等公共场合的安全预警提供有效的指导。还可以带来经济效益，例如，提高服务质量

年月中旬百度岗位面试题分享二

Mon, 14 Mar 2022 16:42:17 +0800

问题6：NLG的评估指标有哪些 BLEU (Bilingual Evaluation Understudy) ROUGE (Recall Oriented Understudy for Gisting Evaluation) BLEU是机器翻译中使用最广泛的评估指标，可以看成是精确率，公式如下： ROUGE可以看作是召回率，有以下几种： ROUGE-N：计算 n-gram 的召回率，即算出候选译文和参考译文重合的 n-gram 个数占参考译文的比例； ROUGE-L：计算最长公共子序

赵海源峰值超亿秒在美团数据平台的实践

Mon, 14 Mar 2022 16:42:17 +0800

分享嘉宾：赵海源美团流存储工程师编辑整理：刘明慕华信息科技出品平台：DataFunTalk 导读：本文将介绍Kafka在美团数据平台的实践，主要内容包括：① Kafka在美团数据平台的发展现状和面临的挑战，主要是海量数据下如何保证读写延迟的问题，以及大规模的集群管理与优化；② 面对上述

同城搜索云云搜核心技术揭秘

Mon, 14 Mar 2022 16:42:15 +0800

来源： 58技术作者：卢克浏览器不支持该媒体的播放 :( 导读： 10月31日-11月1日，第三届2020 AI Pioneer Con技术峰会线下场在杭州成功举行。本次大会聚焦AI与5G最前沿技术及产业落地，邀请全球顶尖技术企业及全球开发者共同参与。 58同城高级架构师卢克受邀在本次大会“AI平台+数据科学”

被裁离职前给组了的高级开发们个建议

Mon, 14 Mar 2022 16:42:15 +0800

以下文章来源于跨界架构师，作者Zachary 我们的中国文化，对“面子”看的特别重，所以你会发现身边到处都是高级XXX，听着倍儿有面子，程序员也不例外。但是你真要问每个人，你认为的高级XXX是什么样子的。估计每个人都有不同的回答。我还记得在我刚开始从事编程工作的时候，对坐在边上不远

阿里小蜜多模态知识图谱的构建及应用

Mon, 14 Mar 2022 16:42:15 +0800

分享嘉宾：徐国海阿里巴巴编辑整理：monk 国家管网出品平台：DataFunTalk 导读：本文由阿里巴巴达摩院阿里小蜜团队带来，介绍其在知识图谱方面一年多以来的一些工作进展。主要内容包括：① 知识图谱的简介；② 领域知识图谱的构建及应用；③ 多模态知识图谱的构建及应用；④ Takeaways (心得领悟)。

基于对象特征的推荐系统

Mon, 14 Mar 2022 16:42:14 +0800

（本实验选用数据为真实电商脱敏数据，仅用于学习，请勿商用）在上一期基于协同过滤的的推荐场景中，我们介绍了如何通过PAI快速搭建一个基于协同过滤方案的推荐系统，这一节会介绍一些如何基于推荐对象特征的推荐方法。首先看下整个业务流程图，这是一个基于对象特征的推荐场景的通用流程：首先把数

快手技术副总裁郑文为什么说是短视频平台的核心能力

Mon, 14 Mar 2022 16:42:14 +0800

本文转载自快手AI技术副总裁郑文CSDI演讲量子位授权发布 | 公众号 QbitAI 7月初举办的中国软件研发管理行业峰会（CSDI）上，快手AI技术副总裁郑文针对AI技术在短视频领域的应用做了精彩演讲。他介绍了人工智能技术是如何在快手整个业务流程中发挥作用，以及互联网公司如何从0开始成功推进一个

年月字节秋招算法道面试题分享

Mon, 14 Mar 2022 16:42:13 +0800

问题1：搜索旋转排序数组带重复值问题该题为leetcode第81题，搜索先转排序数组II 对于数组中有重复元素的情况，二分查找时可能会有 a[l]=a[mid]=a[r]，此时无法判断区间 [l,mid] 和区间 [mid+1,r] 哪个是有序的。例如nums=[3,1,2,3,3,3,3]，target=2，首次二分

快手在千亿级用户特征数据分析中的应用与实践

Mon, 14 Mar 2022 16:42:13 +0800

分享嘉宾：陈杨快手编辑整理：Hoh Xil 内容来源：BigData NoSQL 12th Meetup 出品社区：DataFun 快手建设 HBase 差不多有2年时间，在公司里面有比较丰富的应用场景：如短视频的存储、IM、直播里评论 feed 流等场景。本次只分享其中的一个应用场景：快手 HBase 在千亿级用户特征数据分析中的应用与实践。为什么分享

吴恩达课程从未失望斯坦福深度学习课程全套资料放出附下载

Mon, 14 Mar 2022 16:42:12 +0800

吴恩达老师斯坦福CS230深度学习课程资源进行开放了，大家都知道吴恩达老师最出名的是他在coursera的机器学习课程，可以说让很多刚开始接触ml的小白入门该领域。我个人本身也是在大二下学期由于学校一个创新项目的需求，学习吴恩达老师网易云课堂的机器学习课程，也记得ML从那个时候真

架构拆分原理解析

Mon, 14 Mar 2022 16:42:12 +0800

原创：王概凯⼀个⽣命周期过程为什么可以做架构拆分︖架构拆分时需要有什么前提条件吗︖对于这些问题很多⼈比较迷茫。本⽂尝试描述作者对架构拆分原理的理解，不⼀定正确，请各位读者指正。为什么可以进行架构拆分先来看看⼀个主体⽣命周期的内部活动。这些⽣命周期活动都有⼀个很明确的特征：前⼀个活

深度学习在中的探索与应用

Mon, 14 Mar 2022 16:42:12 +0800

文章作者：马宇峰阅文集团编辑整理：Hoh Xil 内容来源：作者授权出品社区：DataFun 本文来自对论文：Applying Deep Learning To Airbnb Search 的解读。内容大纲：效果概览模型演进失败尝试特征工程系统介绍一、效果概览分为离线和在线俩部分。其中，一个重要指标是 NDCG 标准化文档累计增益，NDCG = DCG/IDCG 。二、模

预训练语言模型在网易严选的应用

Mon, 14 Mar 2022 16:40:59 +0800

文章作者：纪志伟@网易严选内容来源：严选技术团队导读：随着Bert的发布，预训练 ( pre-train ) 成为NLP领域最为热门的方向之一，大规模的无监督语料加上少量有标注的语料成为了NLP模型的标配。本文将介绍几种常见的语言模型的基本原理和使用方式，以及语言模型在网易严选NLP业务上的实践，包括分

深度碧桂园的鸡血狗血和人血

Mon, 14 Mar 2022 16:40:51 +0800

作者：林默来源：花儿街参考（ID:zaraghost）经作者授权发布 01 在萧山的“碧桂园.前宸府”工地基坑塌陷前两周，192公里外的上海市，碧桂园红墅林刚刚塌陷过一次。相较于那次塌陷，两周后路基塌陷出的那个巨大的坑里简直装满了幸运，因为上一次，发生在六层楼高。红墅林在建的售楼处，六

初窥门径百度搜索流式体验新形态

Mon, 14 Mar 2022 16:40:39 +0800

导读：迄今为止，关于搜索未来形态的探索从未停止。2021年，尝试搜索流式体验新形态时，我们发现，在热点场景下提供更多视频、热议、资讯等富媒体内容，会带来更高的搜索分发。但是由于当前搜索架构贴着搜索搭建，留给富媒体内容混排的时间和空间非常有限，强制插入混排队列对当前搜索系统侵入性太

怎么理解基于机器学习四大支柱划分的学习排序方法

Mon, 14 Mar 2022 16:40:38 +0800

原文出自：搜索与推荐 Wiki Learning to rank（LTR，L2R）也叫排序学习，泛指机器学习中任何用户排序的技术，是指一类监督学习（Supervised Learning）排序算法。LTR 被应用在很多领域，比如信息检索（Information Retrieval）、推荐系统（Recommend Sy

自然语言处理基础上下文词表征入门解读

Mon, 14 Mar 2022 16:40:38 +0800

原文自：大快搜索公众号自然语言处理的基础涉及到对词的表征。华盛顿大学计算机科学与工程教授 Noah Smith（史諾亞）近日在 arXiv 发布了一篇入门介绍论文，由浅入深通俗易懂地介绍了自然语言处理中对词的处理和表示方法。摘要：这篇介绍论文的目的是讲述如何让计算机处理语言的故事。这是自然语言处理（N

伴鱼基于构建数据集成平台的设计与实现

Mon, 14 Mar 2022 16:40:37 +0800

A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management’s decisions. —— Bill Inmon 一、数据集成 VS 数据同步「数据集成」往往和「数据同步」在概念上存在一定的混淆，为此我们对这二者进行了区分：「数据集成」特指面向数据仓库 ODS 层的数据同步过程；「数据同步」面向的是一般化的 Source 到 Sink 的数据传输过程。二者的关系如

微拍堂深度召回在文玩个性化推荐中的实践

Mon, 14 Mar 2022 16:40:37 +0800

分享嘉宾：赵争超前微拍堂算法负责人编辑整理：王岩出品平台：DataFunTalk 导读：当前阶段，“个性化推荐”早已成为了电商平台的基建工程，也是AI驱动业务增长的重要支撑，概括地说，个性化推荐是一门AI结合消费者行为心理学，运筹优化等多个领域的交叉学科。而今天的分享，是我们对“个

知识图谱在小米的应用与探索

Mon, 14 Mar 2022 16:40:36 +0800

分享嘉宾：彭力小米编辑整理：马瑶出品平台：DataFunTalk 导读：小米知识图谱于2017年创立，已支持公司了每天亿级的访问，已赋能小爱同学，小米有品、智能问答、用户画像、虚拟助手、智能客服等互联网产品。通过引入知识图谱，这些产品在内容理解、用户理解、实体推荐等方面都有了显著的

阿里技术双实时物流订单最佳实践

Mon, 14 Mar 2022 16:40:36 +0800

随着双11的开启，物流业也迎来了年度大考。2021年双11期间，递四方作为物流仓储服务方，布局仓库和分拣点超40+个，50w+平米作业场地，单日订单峰值达千万级别，海量购物订单由递四方配送到家，消费者由尾款人秒变收货人。一业务介绍递四方成立于2004年，创业在深圳，是国内最早的国

深度学习推荐系统中各类流行的方法下

Mon, 14 Mar 2022 16:40:35 +0800

Embedding 技术概览：对其它 Embedding 技术不熟悉，可以看我的上一篇文章：深度学习推荐系统中各类流行的 Embedding 方法（上） 1. Graph Embedding 简介 Word2Vec 和其衍生出的 Item2Vec 类模型是 Embedding 技术的基础性方法，二者都是建立在“序列”样本（比如句子、用户行为序列）的基础上的。在互联网场景下，数据对象之间更多呈现的是图结构，所以 Item2Vec 在处理大量的网

一条数据的之旅简明入门教程与

Mon, 14 Mar 2022 16:40:33 +0800

Flush与Compaction其实属于Write流程的继续，所以本文应该称之为" Write后传"。在2.0版本中，最主要的变化就是新增了In-memory Flush/Compaction，而DateTieredCompaction并不算2.0新加入的特性，2

张菡深度学习下的京东搜索召回技术

Mon, 14 Mar 2022 16:40:33 +0800

分享嘉宾：张菡京东算法工程师编辑整理：吴祺尧出品平台：DataFunTalk 导读：搜索主要经历四个阶段：召回、粗排、精排和重排，最后呈现给用户最终的结果。而召回的结果主要来自两个部分：倒排检索和语义召回。传统的倒排检索依赖字面匹配，很难去召回一些语义相似但是字面不匹配的商品。传统

理解计算从根号到第季神经网络的数学模型

Mon, 14 Mar 2022 16:40:33 +0800

1910年，英国哲学家伯特兰·罗素（Bertrand Russell ）和其老师怀特海（Alfred North Whitehead）合著的《数学原理》一书问世，这本书是如此的深奥，尤其对中国人而言，因为直到100多年后的今天，仍然没有完整而权威的中译本(能看懂的人确实很少)。不过想想现在连一般的科普作品都

图解当前最强语言模型是如何攻克迁移学习的

Mon, 14 Mar 2022 16:40:30 +0800

作者：Jay Alammar 机器之心编译参与：Panda 前段时间，谷歌发布了基于双向 Transformer 的大规模预训练语言模型 BERT，该预训练模型能高效抽取文本信息并应用于各种 NLP 任务，该研究凭借预训练模型刷新了 11 项 NLP 任务的当前最优性能记录。技术博主 Jay Alammar 近日发文通过图解方式生动地讲解了 BERT 的架构和方法基础。 2018 年是

美团在美团系统中的应用演进

Mon, 14 Mar 2022 16:40:30 +0800

背景 DSP系统是互联网广告需求方平台，用于承接媒体流量，投放广告。业务特点是并发度高，平均响应低（百毫秒）。为了能够有效提高DSP系统的性能，美团平台引入了一种带有清退机制的缓存结构LruCache(Least Recently Used Cache)，在目前的DSP系统中，使用LruCache + 键值存储

面经分享零基础从数据分析成功转行推荐算法成功上岸

Mon, 14 Mar 2022 16:40:26 +0800

这篇文章是一位七月在线推荐高级小班学员的的面试经历的分享，下面的一些问题非常具有代表性，现将面试情况及面试题目分享给大家，祝大家都能有好的offer。 01、基本情况毕业于985本科,船舶与海洋工程专业,年龄30+（报班之前做的数据分析），0.1的基础来自于船舶行业专业计算软件学到

关于感受野的总结

Mon, 14 Mar 2022 16:40:25 +0800

感谢SIGAI特约作者：mileistone 感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。一、定义感受野被定义为卷积神经网络特征所能看到输入图像的区域，换句话说特征输出受感受野区域内的像素点的影响。比

美团外卖广告平台化的探索与实践

Mon, 14 Mar 2022 16:40:25 +0800

美团技术团队稿随着美团外卖业务不断发展，外卖广告引擎团队在多个领域进行了工程上的探索和实践，目前已经取得了一些成果。我们计划通过连载的形式分享给大家，本文是《美团外卖广告工程实践》专题连载的第一篇。本文针对业务提效的目标，介绍了美团外卖广告引擎在平台化过程中的一些思考和实践。我们

情感分析技术在美团的探索与应用

Mon, 14 Mar 2022 16:40:23 +0800

作者：任磊佳昊金刚等美团技术团队 2021年5月，美团NLP中心开源了迄今规模最大的基于真实场景的中文属性级情感分析数据集ASAP，该数据集相关论文被自然语言处理顶会NAACL2021录用，同时该数据集加入中文开源数据计划千言，将与其他开源数据集一起推动中文信息处理技术的进步。本文

流形学习概述

Mon, 14 Mar 2022 16:40:17 +0800

数据降维问题在很多应用中，数据的维数会很高。以图像数据为例，我们要识别32x32的手写数字图像，如果将像素按行或者列拼接起来形成向量，这个向量的维数是1024。高维的数据不仅给机器学习算法带来挑战，而且导致计算量大，此外还会面临维数灾难的问题（这一问题可以直观的理解成特征向量维数

到底该不该去创业公司

Mon, 14 Mar 2022 16:40:15 +0800

本文经授权转载自公众号Spenser的二次学习日记（ID：spenserandhk），作者：Spenser 最近身边朋友换工作的越来越多了，有的已经从体制内辞职，有的在传统高大上公司递交辞呈的路上。他们想出来创业，或是加入创业公司。我不知道这到底是好事还是坏事，但这就是中国这些年的

见微知著你真的搞懂的模型了吗

Mon, 14 Mar 2022 16:40:14 +0800

作者：王喆公众号：王喆的机器学习笔记为什么在Google的Wide&Deep模型中，要使用带L1正则化项的FTRL作为wide部分的优化方法，而使用AdaGrad作为deep部分的优化方法？论文原文的描述是这样的： In the experiments, we used Follow- the-regularized-leader (FTRL) algorithm with L1 regularization as the optimizer for the wide part of the model, and AdaGrad for the deep part. 这

贝壳找房人机耦合在贝壳新居住服务的应用

Mon, 14 Mar 2022 16:40:14 +0800

分享嘉宾：陈开江贝壳找房算法架构师编辑整理：刘贝尔匈牙利佩奇大学出品平台：DataFunTalk 导读：在人工智能应用高速发展的现代服务业，实现机器对人的辅助与一定程度上的替代，即人机耦合 ( Human Machine Coupling )，是文明进步的趋势。而在衣食住行等与生活起居息息相关的服务业态中，居住服务因其消费内

拼多多上市后创业年身价亿背后这个字最值得深思

Mon, 14 Mar 2022 16:40:12 +0800

作者：何加盐来源：何加盐拼多多于7月26日在美国上市了，市值1600亿人民币。创始人黄峥占股50.7%。这位出生于1980年的杭州普通工人之子，用28个月时间创造了身家800亿的奇迹。 80后的创业者和亿万富翁越来越多。前不久摩拜胡玮炜就已经成为10亿级的富豪，而好未来张邦鑫、大疆

机器学习新手必须掌握的十大算法指南

Mon, 14 Mar 2022 16:40:12 +0800

在机器学习中有一种“无免费午餐(NFL)”的定理。简而言之，它指出没有任何一个算法可以适用于每个问题，尤其是与监督学习相关的。因此，你应该尝试多种不同的算法来解决问题，同时还要使用“测试集”对不同算法进行评估，并选出最优者。大原则然而，这些都有一个共同的原则，那就是所有监督机器学

用户画像技术及方法论

Mon, 14 Mar 2022 16:40:11 +0800

文章作者：姚凯飞编辑整理：Hoh 导读：用户画像也是近几年比较热的一个词，不过很多小伙伴对于画像的认知还只是标签化的层面，或者只是利用其做一些简单的分群分析；如何全面地认知并做系统性地尝试，背后有非常多的点需要我们深思挖掘。今天就根据自己的一些浅见进行分享，因为与商品画像的联系，中

史上最全最常用工具清单

Mon, 14 Mar 2022 16:40:09 +0800

1、题记工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。希望能借助“工具”提高开发、运维效率！ 2、工具分类概览 2.1 基础类工具 1. Head插件 1）功能概述： ES集群状态查看、索引数据查看、ES DSL实现（增、删、改、查操作）比较实用的

如何维持搜索系统的迭代和运转

Mon, 14 Mar 2022 16:40:08 +0800

文章作者：杨楠楠等内容来源：《数据产品经理：实战进阶》导读：以搜索为代表的策略产品经理，日常工作中一样会面临非常多的业务需求和badcase，有目标地满足需求和解决问题是容易的，但往往会面临另一个问题：当没有人提出具体需求时，怎样挖掘新的需求，推动搜索系统正常的迭代和运转？回答这

深度学会为自己工作

Mon, 14 Mar 2022 16:40:07 +0800

作者：L先生说来源：L先生说（ID:lxianshengmiao) 正在读这篇文章的你，从事着什么工作呢？也许，你是一名白领，坐在冷气强劲的5A级写字楼，拿着一万出头的工资，每天朝九晚八，带着一身疲惫回家。虽然积蓄不多，却也在一直慢慢增长。又或许，你是一名应届生，刚刚进入心仪的大公

金融风控精选道面试题分享文末彩蛋

Mon, 14 Mar 2022 16:40:06 +0800

文末免费送电子书：七月在线干货组最新升级的《2021最新大厂AI面试题》免费送！问题 1 ：芝麻信用分的主要计算维度？主要维度个人属性：职业类型、学历学籍等；稳定性：手机稳定性、地址稳定性、账户活跃时长等；资产状况：账户资产、有无住房、有无车辆；消费能力：消费金额、消费层次、消费场景

架构软件服务架构的一些感悟

Mon, 14 Mar 2022 16:40:00 +0800

早想着要写一篇博客，但由于各种原因(其实因为懒)，迟迟没有动笔。今日下决心，写写关于软件服务架构的一点感悟。三层架构从读大学开始，老师就讲三层架构。后来的项目实施基本上也都是三层架构。对于小型项目，业务逻辑相对简单的项目，三层架构是快速迭代的利器。随着项目的迭代，功能越来越多，业

深度知乎高赞久居一线城市都有什么错觉

Mon, 14 Mar 2022 16:39:57 +0800

本文来源于微信公众号：LinkedIn 微信ID：LinkedIn-China LinkedIn领英是全球知名的职业社交网站，每个《财富》500强公司均有高管加入。《北京女子图鉴》里面有一句经典的台词：北京就是一个标准不一的地方，你想要什么标准，就按照什么标准去努力。这句话，真的太鸡

观点博士离开学术界算不算失败牛津大学博士有话要说

Mon, 14 Mar 2022 16:39:54 +0800

近日，牛津大学的医学在读博士 Philipp Kruger 在 Nature 上发表了一篇文章，为大家介绍了读博过程中，博士生、导师分别应该怎么做。同时也要告诉大家一个事实——「离开学术界的研究人员并非失败的学者」。作为一名即将毕业的博士生，我发现自己正被黯淡的就业前景和学术前途所困。这种缺乏希望的未来可能会增加学生的压

字节跳动全链路压测的实践

Mon, 14 Mar 2022 16:39:52 +0800

1. 背景随着公司业务的不断扩张，用户流量在不断提升，研发体系的规模和复杂性也随之增加。线上服务的稳定性也越来越重要，服务性能问题，以及容量问题也越发明显。因此有必要搭建一个有效压测系统，提供安全、高效、真实的线上全链路压测服务，为线上服务保驾护航。关于全链路压测的建设，业界已经有了

一个好的持续交付流水线是怎样的

Mon, 14 Mar 2022 16:39:51 +0800

作者 | 张燎原、张裕文章来源 | 阿里巴巴云效团队上一讲我们讲了持续部署的4个目标：准确可预期的部署结果、部署过程不影响线上服务、有可持续部署的软件增量、低成本和高效地部署发布，并分析了如何做到。可是，有了好的持续部署实践，如何才能规模化落地呢？承载实践最好的方式就是工具。持续部署过程

机器学习近年来之怪现状

Mon, 14 Mar 2022 16:39:51 +0800

人工智能领域的发展离不开学者们的贡献，然而随着研究的进步，越来越多的论文出现了「标题党」、「占坑」、「注水」等现象，暴增的顶会论文接收数量似乎并没有带来更多技术突破。最近，来自卡耐基梅隆大学的助理教授 Zachary C. Lipton 与斯坦福大学博士 Jacob Steinhardt 提交了一篇文章《Troubling Trends in Machine Learning Schola

干货携程数据同步实践

Mon, 14 Mar 2022 16:39:50 +0800

作者简介 dot，携程技术经理，专注高并发、高性能领域。一、背景 Elasticsearch是最近几年非常热门的分布式搜索和数据分析引擎，携程内部不仅使用ES实现了大规模的日志平台，也广泛使用ES实现了各个业务场景的搜索、推荐等功能。本文聚焦在业务搜索的场景分享了我们在做数据同步方面

拼多多为什么崛起这是目前解读最深刻的一篇

Mon, 14 Mar 2022 16:39:50 +0800

作者：梁宁来源：得到APP 在消费升级的时代，实际上是新生活、新消费和新商业三件事情循环滚动，在底下不停地迭代。在这样的循环里，所有的东西都值得重做一遍。昨天（8月2日），湖畔大学产品模块学术主任，百度集团顾问，人称“中关村第一才女”的梁宁在得到APP上，就最近最火的拼多多展开了一

傅轶网易数帆云原生日志平台架构实践

Mon, 14 Mar 2022 16:39:48 +0800

分享嘉宾：傅轶网易数帆编辑整理：张德通 Treelab 出品平台：DataFunTalk 导读：网易从2015年就开始了云原生的探索与实践，作为可观测性的重要一环，日志平台也经历了从主机到容器的演进，支撑了集团内各业务部门的大规模云原生化改造。本文会讲述在这个过程中我们遇到的问题，如何演进和改造，

贝壳找房基于的向量搜索实践三

Mon, 14 Mar 2022 16:39:48 +0800

贝壳找房 | 基于 Milvus 的向量搜索实践（一）贝壳找房 | 基于 Milvus 的向量搜索实践（二）摘要: 本系列文章分为三部分，第一篇主要讲基本概念、背景、选型及服务的整体架构；第二篇主要讲针对低延时、高吞吐需求，我们对Milvus部署方式的一种定制；本篇主要讲实现数据更新、保证数据一致性，以及保证服务稳定

汽车之家基于的实时计算平台建设实践

Mon, 14 Mar 2022 16:39:47 +0800

作者：邸星星摘要：本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括：一、应用场景我们的应用场景与其他公司很类似，涵盖了实时指标统计、监控预警、实时数据处理、实时用户行为、实时入湖、实时数据传输这几个方面：实施指标统计包括实时的流量分析、车展大屏

美团点评深度学习在计算机视觉中的应用

Mon, 14 Mar 2022 16:39:47 +0800

背景计算机视觉是利用摄像机和电脑代替人眼，使得计算机拥有类似于人类的对目标进行检测、识别、理解、跟踪、判别决策的功能。以美团业务为例，在商家上单、团单展示、消费评价等多个环节都会涉及计算机视觉的应用，包括文字识别、图片分类、目标检测和图像质量评价等方向。本文将通过以OCR（光学字

数据增强在贝壳找房文本分类中的应用

Mon, 14 Mar 2022 16:39:46 +0800

深度学习已经在计算机视觉、语音识别、自然语言处理等领域取得了突出的进展，其中有监督学习起到了至关重要的作用。然而，有监督的深度学习极大地依赖大规模的标注数据，在实际项目中，我们通常会面临少样本、样本分布不均衡等场景。因此，如何运用数据增强技术来改善上述问题是近年来的热点问题之一。

机器学习第三篇分类决策树

Mon, 14 Mar 2022 16:39:46 +0800

决策树是一类常见的机器学习方法，利用决策树来进行决策的过程很像人类在面临决策问题时的一种思考模式。举个生活中的例子，假如我们要判断一个没剖开的西瓜是不是好瓜，有经验的瓜农可能会首先看看西瓜的颜色，再看看西瓜的根蒂形状，如果还没得出结论，可能还会敲打西瓜，听听是什么声音。上述过程用

神马搜索技术演进之路

Mon, 14 Mar 2022 16:39:46 +0800

前言国内搜索引擎大事记 1998年，Google发布；2000年，百度发布；2004年，搜狗发布；2006年，搜搜发布；2010年，Google退出中国；2012年，360搜索发布； 2013年，神马发布，搜搜并入搜狗，百度收购91；2017年，微信推出搜一搜。神马搜索简介 1.关于神

达观数据金融知识图谱的构建与应用

Mon, 14 Mar 2022 16:39:46 +0800

分享嘉宾：王文广达观数据副总裁编辑整理：朱瑞杰出品平台：DataFunTalk、AI启蒙者导读：金融机构在过去积累了大量的数据，包括结构化数据和非结构化数据。如何利用这些数据来构建金融知识图谱，并将构造好的知识图谱应用到具体的金融场景下，是一件很有价值的事情。本文将为大家介绍达观

异构广告混排在美团到店业务的探索与实践

Mon, 14 Mar 2022 16:39:45 +0800

美团技术团队稿导读：在LBS（Location Based Services, 基于位置的服务）距离约束下，候选较少制约了整个到店广告排序系统的潜力空间。本文介绍了我们从候选类型角度进行候选扩展，通过高性能的异构混排网络来应对性能的挑战，从而提升本地生活场景排序系统的潜能上限。希望能给从事相关方向的同学以启发

文字识别在高德地图数据生产中的演进

Mon, 14 Mar 2022 16:39:44 +0800

导读：丰富准确的地图数据大大提升了我们在使用高德地图出行的体验。相比于传统的地图数据采集和制作，高德地图大量采用了图像识别技术来进行数据的自动化生产，而其中场景文字识别技术占据了重要位置。商家招牌上的艺术字、LOGO五花八门，文字背景复杂或被遮挡，拍摄的图像质量差，如此复杂的场景

阿里技术高可用的本质

Mon, 14 Mar 2022 16:39:43 +0800

我是乐羊，一个热爱风险防控的人，之前参与过蚂蚁Glocal多个站点从0到1的建站和高可用建设，目前正在参与蚂蚁大安全的高可用建设。无论是一个域，一个BG，还是一个站点，虽然范围有大有小，对象有所不同，但其高可用的理念都是相通的，今天将自己对高可用的一点点思考以及总结的【nPRT公

DDD实战：08 微服务架构模型：几种常见模型的对比和分析

Sat, 12 Mar 2022 13:22:10 +0000

在上一讲中我重点介绍了 DDD 分层架构，同时我也提到了微服务架构模型其实还有好多种，不知道你注意到了没？这些架构模型在我们的实际应用中都具有很高的借鉴价值。那么今天我们就把 DDD 分层架构（详情介绍如有遗忘可回看 [第 07 讲] ）、整洁架构、六边形架构这三种架构模型放到一起，对比分析，看看如何利用

DDD实战：07 DDD分层架构：有效降低层与层之间的依赖

Fri, 11 Mar 2022 13:22:10 +0000

微服务架构模型有好多种，例如整洁架构、CQRS 和六边形架构等等。每种架构模式虽然提出的时代和背景不同，但其核心理念都是为了设计出“高内聚低耦合”的架构，轻松实现架构演进。而 DDD 分层架构的出现，使架构边界变得越来越清晰，它在微服务架构模型中，占有非常重要的位置。那 DDD 分层架构到底长什么

DDD实战：06 领域事件：解耦微服务的关键

Thu, 10 Mar 2022 13:27:10 +0000

在事件风暴（Event Storming）时，我们发现除了命令和操作等业务行为以外，还有一种非常重要的事件，这种事件发生后通常会导致进一步的业务操作，在 DDD 中这种事件被称为领域事件。这只是最简单的定义，并不能让我们真正理解它。那到底什么是领域事件？领域事件的技术实现机制是怎样的？这一

DDD实战：05 聚合和聚合根：怎样设计聚合

Thu, 10 Mar 2022 13:26:10 +0000

我们先回顾下上一讲，在事件风暴中，我们会根据一些业务操作和行为找出实体（Entity）或值对象（ValueObject），进而将业务关联紧密的实体和值对象进行组合，构成聚合，再根据业务语义将多个聚合划定到同一个限界上下文（Bounded Context）中，并在限界上下文内完成领域

DDD实战：04 实体和值对象：从领域模型的基础单元看系统设计

Thu, 10 Mar 2022 13:25:10 +0000

这两个概念都是领域模型中的领域对象。它们在领域模型中起什么作用，战术设计时如何将它们映射到代码和数据模型中去？就是我们这一讲重点要关注的问题。另外，在战略设计向战术设计过渡的这个过程中，理解和区分实体和值对象在不同阶段的形态是很重要的，毕竟阶段不同，它们的形态也会发生变化，这与我

DDD实战： 03 限界上下文：定义领域边界的利器

Thu, 10 Mar 2022 13:24:10 +0000

在 DDD 领域建模和系统建设过程中，有很多的参与者，包括领域专家、产品经理、项目经理、架构师、开发经理和测试经理等。对同样的领域知识，不同的参与角色可能会有不同的理解，那大家交流起来就会有障碍，怎么办呢？因此，在 DDD 中就出现了“通用语言”和“限界上下文”这两个重要的概念。什么是通用语言？

DDD实战：02 领域、子域、核心域、通用域和支撑域

Thu, 10 Mar 2022 13:23:10 +0000

DDD 的知识体系提出了很多的名词，像：领域、子域、核心域、通用域、支撑域、限界上下文、聚合、聚合根、实体、值对象等等，非常多。这些名词，都是关键概念，但它们实在有些晦涩难懂，可能导致你还没开始实践 DDD 就打起了退堂鼓。因此，在基础篇中，我希望能带着你一起做好实践前的准备工作。除此之外，我

DDD实战：答疑：有关3个典型问题的讲解

Thu, 10 Mar 2022 13:22:10 +0000

截至今天这一讲，我们的基础篇和进阶篇的内容就结束了。在这个过程中，我一直有关注大家提的问题。那在实战篇正式开始之前啊，我想针对 3 个比较典型的问题，做一个讲解，希望你也能同步思考，调动自己已学过的内容，这对我们后面实战篇的学习也是有一定帮助的。问题 1：有关于领域可以划分为核心域、通

DDD实战：01 领域驱动设计：微服务设计为什么要选择DDD

Thu, 10 Mar 2022 12:22:10 +0000

我们知道，微服务设计过程中往往会面临边界如何划定的问题，我经常看到项目团队为微服务到底应该拆多小而争得面红耳赤。不同的人会根据自己对微服务的理解而拆分出不同的微服务，于是大家各执一词，谁也说服不了谁，都觉得自己很有道理。那在实际落地过程中，我也确实见过不少项目在面临这种微服务设计

DDD实战：00 开篇词

Thu, 10 Mar 2022 11:22:10 +0000

目前热衷于采用领域驱动设计（DDD）实现中台业务建模，专注基于 DDD 的微服务设计和开发等。另外，我也正在深入探索传统企业中台数字化转型的技术和方法体系。很高兴在这个专栏和你见面！说起 DDD 的实践，那就不得不提微服务了。2015 年，我刚开始接触微服务，那时候和别人去介绍微服务的设计理念，接

基于 DDD 的微服务设计和开发实战

Thu, 10 Mar 2022 10:22:10 +0000

DDD 分层架构视图 DDD 分层架构包括：展现层、应用层、领域层和基础层。 DDD 分层架构各层职能如下：展现层展现层负责向用户显示信息和解释用户指令。应用层应用层是很薄的一层，主要面向用户用例操作，协调和指挥领域对象来完成业务逻辑。应用层也是与其他系统的应用层进行交互的必要渠道。应用层服务尽量简单

当中台遇上 DDD，我们该如何设计微服务

Thu, 10 Mar 2022 10:21:10 +0000

“设计原则千万条，高内聚低耦合第一条，架构设计不规范，开发运维两行泪！”。在分布式架构下，单体应用被拆分为多个微服务，为了保证微服务的单一职责和合理拆分，“高内聚、松耦合”是最宝贵的设计原则。通俗点讲，高内聚就是把相关的行为聚集在一起，把不相关的行为放在别处，如果你要修改某个服务

DDD+微服务大型案例：Uber如何从复杂的RPC微服务转向面向业务领域的微服务架构DOMA

Thu, 10 Mar 2022 09:20:10 +0000

Uber从单体到微服务转变在Uber，我们采用了微服务架构，因为我们（大约在2012年至2013年）拥有两个整体服务，并且遇到了微服务解决的许多运营问题。 **可用性风险。**单一代码库中的单个回归可以使整个系统（在这种情况下，是整个Uber）瘫痪。 **风险高昂的部署。**由于频繁

MySql规范

Wed, 09 Mar 2022 20:38:39 +0800

【强制】： ① 存储引擎必须使用 InnoDB 解读： InnoDB 支持事物、行级锁、并发性能更好，CPU 及内存缓存页优化使得资源利用率更高。【强制】：②每张表必须设置一个主键 ID，且这个主键 ID 使用自增主键（在满足需要的情况下尽量短），除非在分库分表环境下解读：由于 InnoDB 组织数据的方式决定了需要有一个主键，而且若

领域驱动设计全局观-事件风暴落地过程

Mon, 07 Mar 2022 14:22:10 +0000

强调您可以自己研究的重要领域驱动设计术语强调通过本次讨论出现的重要泛在语言术语我想专注于最终目标。在这一点上，我们正试图实现一个有效的上下文映射，我们可以快速制作原型我们的第一个领域事件：“咖啡已购买” 团队要求考虑一个将发生在他业务核心的事件。希望以客户为

积分领域 DDD 实践

Mon, 07 Mar 2022 11:22:10 +0000

前言原有用户业务线上，属于大熔炉模式，所有和用户相关的业务逻辑都放在用户工程下，用户账号，用户会员，用户积分，活动等等在各个业务逻辑中都有互相掺杂，在面对业务快速发展的新零售电商行业显得力不从心。在进行业务迭代，新需求开发，让整个用户系统伤筋动骨。一、为什么要使用 DDD 1、贫血症引起

Go的干净模板，领域驱动设计，清洁架构，Gin和GORM

Mon, 07 Mar 2022 08:55:38 +0800

GitHub Repo： https://github.com/resotto/goilerplate Goilerplate Go的干净样板，领域驱动设计，清洁架构，Gin和GORM。什么是Goilerplate？使用清洁架构的好例子。 Go，Domain-Driven Design，Clean Architecture，Gin和GORM的火箭入门指南。谁是Goilerplate的主要用户？各

DDD021-有界上下文

Sun, 06 Mar 2022 23:23:10 +0000

有界上下文是域驱动设计中的中心模式。这是DDD战略设计部分的重点，该部分是关于处理大型模型和团队的。DDD通过将它们划分为不同的有界上下文并明确它们的相互关系来处理大型模型。 DDD是关于基于底层域模型设计软件的。模型充当无处不在的语言，以帮助软件开发人员和领域专家之间的通信。它还

DDD020-域驱动设计入门建模过程

Sun, 06 Mar 2022 23:22:10 +0000

此过程为您提供了学习和实际应用领域驱动设计（DDD）各个方面的分步指南 - 从围绕组织的业务模型进行定位到编写领域模型。使用此过程将指导您完成使用DDD思维方式设计软件系统的每个基本步骤，因此您可以专注于业务挑战，而不会同时学习DDD而不知所措。一旦你经历了这个过程的几次迭代，你将拥

机器学习经典网站二

Fri, 04 Mar 2022 08:55:44 +1000

新闻资讯 Analytics Vidhya: 为数据科学专业人员提供基于社区的知识门户 Distill: 展示机器学习的最新文章 Google News: Google News Machine learning MIT News: Machine learning | MIT News 17bigdata: 专注数据分析、挖掘、大数据相关领域的技术分享、交流机器之心: 机器之心 | 全球人工智能信息服务雷锋网: 雷锋网 | 读懂智能，未来数据分析网: 数据分析网 - 大数据学习交流第一平台知乎主题:

人工智能领域推荐文集

Wed, 02 Mar 2022 11:57:29 +0800

美团搜索中查询改写技术的探索与实践端智能在大众点评搜索重排序的应用实践美团 Flink 大作业部署与状态稳定性优化实践赵鑫：强化学习在京东广告序列推荐中的应用 58 技术 | 深度学习排序在 58 招聘搜索场景的演进【通知!!】2022 AIQ 全面开放注册 OPPO 唐黎：零代码技能平台技术实践探索！丁香园 | 电商搜索的语义

Next.js学习系列：资源、metadata和 CSS 4

Mon, 28 Feb 2022 10:04:19 +0800

元素如果我们想修改页面的元数据（如 HTML 标记），该怎么办？<title> <title>是 HTML 标记的一部分，因此让我们深入了解如何在 Next.js 页面中修改标记。<head>``````<head> 在编辑器中打开并找到以下行：pages/index.j

Next.js学习系列：资源、metadata和 CSS 3

Mon, 28 Feb 2022 09:52:44 +0800

资产 Next.js可以在顶级public目录下提供静态资产，如图像。内部文件可以从应用程序的根目录引用，类似于pages。public 该目录还可用于、Google 站点验证和任何其他静态资产。查看静态文件服务文档以了解更多信息。public``````robots.txt 下载您的个

Next.js学习系列：资源、metadata和 CSS 2

Mon, 28 Feb 2022 09:12:49 +0800

下载入门代码（可选）如果您不打算继续上一课，可以在下面下载、安装和运行本课程的入门代码。这将设置一个目录，使其与上一课的结果相同。nextjs-blog 同样，如果您刚刚完成上一课，则不需要这样做。 npx create-next-app nextjs-blog –use-npm –example “https://github.com/vercel/next-learn/tree/master/basics/assets-metadata-css-starter" 然后按照命令输出中的说明（进入目录并启动开发服务器）进行操作。cd

Next.js学习系列：资源、metadata和 CSS

Mon, 28 Feb 2022 09:07:03 +0800

我们添加的第二个页面当前没有样式。让我们添加一些 CSS 来设置页面样式。 Next.js内置了对 CSS 和 Sass 的支持。在本课程中，我们将使用 CSS。本节课还将讨论 Next.js 如何处理静态资产（如图像）和页面metadata（如标记）。<title> 您将在本课中学到什么在本课中，您将学习：如何将

Next.js学习系列：在页面之间导航4

Fri, 25 Feb 2022 16:21:47 +0800

客户端导航 "链接“组件支持在同一 Next.js 应用中的两个页面之间进行客户端导航。客户端导航意味着_使用JavaScript_进行页面转换，这比浏览器完成的默认导航更快。以下是验证它的简单方法：使用浏览器的开发人员工具将的 CSS 属性更改为。background``````&

Next.js学习系列：在页面之间导航3

Fri, 25 Feb 2022 15:45:29 +0800

链接组件在网站上的页面之间链接时，请使用 HTML 标记。<a> 在"Next.js"中，使用"来自下一个组件/链接“来包装标记。允许您执行客户端导航到应用程序中的其他页面。Link``````<a>``````<Lin

Next.js学习系列：在页面之间导航2

Fri, 25 Feb 2022 15:40:57 +0800

**如果要继续上一课，**可以跳过此页面。单击下面的按钮转到下一页。下载入门代码（可选）如果您不打算继续上一课，可以在下面下载、安装和运行本课程的入门代码。这将设置一个目录，使其与上一课的结果相同。nextjs-blog 同样，如果您刚刚完成上一课，则不需要这样做。 npx create-next-app nextjs-blog –use-npm –example “https://github.com/vercel/next-learn/tree/master/basics/navigate-between-pages-starter" 然后

Next.js学习系列：在页面之间导航

Fri, 25 Feb 2022 15:38:11 +0800

到目前为止，我们创建的Next.js应用只有一个页面。网站和Web应用程序通常具有许多不同的页面。让我们探讨一下如何向应用程序添加更多页面。您将在本课中学到什么在本课中，您将：使用集成文件系统路由创建新页面。了解如何使用链接组件在页面之间启用客户端导航。了解对代码拆分和预取的内置

Next.js学习系列：在页面之间导航

Fri, 25 Feb 2022 15:33:00 +0800

Next.js学习系列：创建Next.js应用4

Fri, 25 Feb 2022 15:26:03 +0800

编辑页面让我们尝试编辑初学者页面。确保 Next.js 开发服务器仍在运行。使用文本编辑器打开。pages/index.js 找到标签下显示**“欢迎加入”的文本，并将其更改为“学习”**。<h1> 保存文件。保存文件后，浏览器会自动使用新

Next.js学习系列：创建Next.js应用3

Fri, 25 Feb 2022 15:22:36 +0800

欢迎来到 Next.js 当您访问 http://localhost:3000 时，您应该会看到这样的页面。这是初学者模板页面，其中显示了有关Next.js的一些有用信息。 **可获得帮助：**如果您遇到困难，可以在GitHub讨论中联系社区。让我们尝试接下来编辑此页面！

Next.js学习系列：创建Next.js应用2

Fri, 25 Feb 2022 15:19:10 +0800

设置首先，让我们确保您的开发环境已准备就绪。如果您没有安装 Node.js，请从此处安装它。您需要 Node.js版本 10.13 或更高版本。在本教程中，你将使用自己的文本编辑器和终端应用。如果您使用的是 Windows，我们建议您下载 Git for Windows 并使用随附的 Git Bash，它支持本教程中特定于 UNIX 的命令。

Next.js学习系列：创建Next.js应用

Fri, 25 Feb 2022 15:12:33 +0800

要使用 React 从头开始构建一个完整的 Web 应用程序，您需要考虑许多重要的细节：代码必须使用像webpack这样的捆绑器捆绑在一起，并使用像Babel这样的编译器进行转换。您需要执行生产优化，例如代码拆分。您可能希望静态预呈现某些页面以提高性能和 SEO。您可能还希望使用服务器端呈现或客户端呈

Github高星开源游戏 - 手机游戏

Wed, 16 Feb 2022 16:43:17 +0800

多人社交平衡 - 一个带球的逻辑谜题，你能找到有缺陷的球吗？谷歌播放 ChaseWhisplyProject - Chase Whisply是一个FPS。你必须寻找，找到并杀死生活在你周围的鬼魂。 ClonesOnline - ClonesOnline是一款在线多人安卓棋盘游戏。 Colorphun - ColorPhun是一款基于简单色彩的Android游戏。黎明前最黑暗 - 适用于A

Github高星开源游戏 - PC - 大型游戏

Wed, 16 Feb 2022 16:19:55 +0800

大型多人在线角色扮演《永恒之地 - 永恒之地》是一款免费的多人在线角色扮演游戏，由Radu Privantu于2002年创建。现在就开始玩吧！ FreeSO - 重新實現《The Sims Online》。现在就开始玩吧！侠盗猎车手 - 侠盗猎车手V的在线合作修改，现在就开始玩吧！ Meridian 59 - 第一款3D MMORPG，于1

Github高星开源游戏 - PC - 休闲类

Wed, 16 Feb 2022 16:00:30 +0800

AssaultCube - Wouter van Oortmerssen的FPS完全转换，称为Cube。 AssaultCube Reloaded - AssaultCube Reloaded。 BZFlag - 跨平台，C++的3D坦克FPS。射击，躲闪和夺取旗帜。城堡 - 黑暗幻想场景中的FPS。包括作为奖励 DOOM E1M1 级别在现代技术中完成的。欺骗者 - 在这个以世界尽头为背景的哲学射击游戏中，向墙壁，天花板和

Github高星开源游戏 - PC - 联机类

Wed, 16 Feb 2022 14:53:13 +0800

Alieanum - My Ludum Dare 33 entry.有点像子弹地狱射手。比尔万特 - 只需点击啤酒！ Bitfighter - 多人太空格斗街机游戏。现在就开始玩吧！ Boenken - 2人游戏，是足球和台球的混合体 Bombermaaan - Bombermaaan是经典炸弹人游戏的克隆。 C-Dogs SDL - 经典 DOS 游戏的头顶射击端口。混沌投射物 - 带有RPG元素的2D运行和枪支动作游戏。 Clonepoint

Github高星开源游戏 - PC - 动作类

Wed, 16 Feb 2022 14:52:26 +0800

Oolite - Oolite是一部基于Elite的开放世界太空歌剧 OpenTomb - 开源古墓丽影1-5引擎重制版。

Github高星开源游戏 - 基于浏览器 - 其他类

Wed, 16 Feb 2022 14:02:29 +0800

野兽 - 向1984年ASCII游戏"BEAST"致敬，由Dan Baker，Alan Brown，Mark Hamilton和Derrick Shadel用node编写。你必须在可推的方块之间压扁小ASCII野兽，但要注意你不要被它们吃掉。 binb - 竞技，多人，实时，猜歌游戏

Github高星开源游戏 - 基于浏览器 - 策略类

Wed, 16 Feb 2022 14:02:02 +0800

远古野兽 - 物化和控制野兽，以击败你的对手！现在就开始玩吧！篮球GM - 单人篮球管理模拟游戏。现在就开始玩吧！命令与征服 - 流行RTS的克隆。现在就开始玩吧！ Freeciv-web - 一款在HTML5中实现的回合制策略游戏。现在就开始玩吧！ Galaxy of Drones Online - 一款开源的多人太空战略游戏。现在就开始玩吧！ Hexa Battle - 一款回合

Github高星开源游戏 - 基于浏览器 - 沙盒类

Wed, 16 Feb 2022 14:01:27 +0800

3d.城市 - 3d城市建设者游戏。现在就开始玩吧！ Blk Game - 多人 Javascript/WebGL 体素世界游戏演示。现在就开始玩吧！ Cube Engine - 完全用HTML5编写的3D引擎，没有OpenGL。现在就开始玩吧！ Project Cube - 基于使用HTML5制作的Minecraft的体素游戏。现在就开始玩吧！

Github高星开源游戏 - 基于浏览器 - 角色扮演类

Wed, 16 Feb 2022 14:01:02 +0800

Diablo JS - html5 canvas 和 javascript 上的 Isometric minimal-code style game。现在就开始玩吧！ FGMK - 用于JSON编写的JRPG游戏的Javascript引擎，带有PyQt Ui。现在就开始玩吧！ Roguish - 用JavaScript创建的RPG/类似Rogue的游戏。现在就开始玩吧！变化的空间 - 随机生成的动作RPG。现在就开始玩吧！

Github高星开源游戏 - 基于浏览器 - 竞速类

Wed, 16 Feb 2022 14:00:23 +0800

HexGL - Thibaut Despoulain使用HTML5，Javascript和WebGL的未来主义HTML5赛车游戏。现在就开始玩吧！触发拉力赛在线版 - 快速街机拉力赛。现在就开始玩吧！

Github高星开源游戏 - 基于浏览器 - 益智类

Wed, 16 Feb 2022 13:52:09 +0800

.buk - .buk是一个立方体滚动益智游戏。现在就开始玩吧！ 0hh0 - Q42的0hh1的配套游戏。现在就开始玩吧！ 0hh1 - Q42的可爱小逻辑游戏。现在就开始玩吧！ 2048 - 滑动添加游戏现在玩吧！暗室 - 用JavaScript编写的极简主义文本冒险游戏。现在就开始玩吧！字谜 - 字谜的文字游戏和API。现在就

Github高星开源游戏 - 基于浏览器 - 指定攻击类

Wed, 16 Feb 2022 13:51:38 +0800

阴谋点击器 - 死亡射线游戏的阴谋点击器粒子点击器 - 令人上瘾的增量游戏，教玩家高能粒子物理学的历史。现在就开始玩吧！群模拟器 - 从只有几只幼虫和一小堆肉开始，建立一个由数万亿只巨大的外星虫子组成的无情群体。现在就开始玩吧！点按点按冒险 - 浏览器任务的扩展。现在就开始玩吧！房子 - 你在一个奇

Github高星开源游戏 - 基于浏览器 - 平台游戏

Wed, 16 Feb 2022 13:50:46 +0800

Chromacore - 2D音乐平台游戏，设置在一个黑暗，黑白的世界中，通过成功的游戏玩法逐渐变得更加丰富多彩和快乐。 Emberwind - 独立平台游戏Emberwind的HTML5移植版。现在就开始玩吧！ OpenLara - 经典古墓丽影开源引擎。 PixelPlatformer - 简单的平台游戏，展示了实体游戏引擎的强大功能。平台 - 使用Phaser游戏引擎制作的

Github高星开源游戏 - 基于浏览器 - 大型多人在线角色扮演

Wed, 16 Feb 2022 13:49:56 +0800

BrowserQuest - HTML5/JavaScript 多人游戏实验。现在就开始玩吧！ Mudlet - 一个跨平台，开源和超快速的MUD（纯文本MMORPG）客户端，在Lua中编写脚本。 The Tale （俄語：Сказка） - 俄羅斯多人 ZPG 沙盒。现在就开始玩吧！

Github高星开源游戏 - 基于浏览器 - 第一人称射击

Wed, 16 Feb 2022 13:49:29 +0800

BananaBread - 将立方体2 / Sauerbraten 3D游戏引擎/第一人称射击游戏移植到Web，使用Emscripten将C++和OpenGL编译为JavaScript和WebGL。现在就开始玩吧！ QuakeJS - QuakeJS是在Emscripten的帮助下将ioquake3移植到JavaScript。现在就开始玩吧！

Github高星开源游戏 - 基于浏览器 - 棋盘桌游

Wed, 16 Feb 2022 13:48:01 +0800

3D Hartwing国际象棋套装 - 在HTML / CSS / JS中完成的3D国际象棋游戏。现在就开始玩吧！ Android： Netrunner - 一款双人生活卡牌游戏（LCG），以反乌托邦的赛博朋克未来为背景，用Clojure和Clojurescript编写。现在就开始玩吧！ c4 - 连接四个游戏，与AI，在HTML

Github高星开源游戏 - 基于浏览器 - 小创意游戏

Wed, 16 Feb 2022 13:45:05 +0800

Alge’s Escapade - HTML5，JavaScript，GameJs街机游戏，您可以在其中控制藻类。现在就开始玩吧！外星人入侵 - 移动HTML5游戏开发的演示游戏。现在就开始玩吧！岚 - 岚是街机游戏《暴风雨》的克隆版。现在就开始玩吧！小行星 - 纯JavaScript小行星。现在就开始玩吧！ Avabranch - GitHub Game Off 2012

Web3.0 - 构建 Web3 数据应用的下一个体系结构

Wed, 16 Feb 2022 11:46:59 +0800

Web3 数据架构 Web3 和 Web2 应用程序之间的主要区别在于它们的数据体系结构。Web3 应用程序依赖于以用户为中心的（“自主权"或"主权”）数据存储体系结构。在此模型中，应用程序数据托管在分散的网络上，与每个单独的用户一起存储，并由应用程序客户端写入并由

技术架构图

Wed, 16 Feb 2022 11:38:06 +0800

Web3.0 - 定义web3

Mon, 14 Feb 2022 15:54:27 +0800

在成为传统的全栈开发人员大约10年后，我于2021年4月过渡到web3。在深入研究所有这些新技术和想法时，我想知道的第一件事是"什么是web3堆栈？在构建传统的Web或移动应用程序时，我经常依靠少数构建块来完成工作。 API/应用程序服务器（REST 或 GraphQL）身份

ReactJS-10个在2022年成为React.js开发人员的最佳网站

Sun, 05 Dec 2021 22:04:18 +0800

如果您想成为一名 React 开发人员，或者只是想学习 React.js完成前端任务，并寻找在 2022 年学习 React 的最佳网站，那么您来对地方了。早些时候，我已经分享了最好的React.js课程，书籍和完整的React.js开发人员路线图，今天，我将分享最好的网站和在线平台，以便在2022年学习React

Android 4.x 支持HTTPS请求

Wed, 03 Nov 2021 10:10:00 +0000

定义 SSLSocketFactoryCompat，在创建 Socket 的时候如果是 4.x 的设备则启用 TLSv1.2 import android.os.Build; import java.io.IOException; import java.net.InetAddress; import java.net.Socket; import java.security.KeyManagementException; import java.security.NoSuchAlgorithmException; import javax.net.ssl.SSLContext; import javax.net.ssl.SSLSocket; import javax.net.ssl.SSLSocketFactory; public class SSLSocketFactoryCompat extends SSLSocketFactory{ private static final String[] TLS_V12_ONLY = {"TLSv1.2"}; private final SSLSocketFactory delegate; public SSLSocketFactoryCompat() throws KeyManagementException, NoSuchAlgorithmException { SSLContext sc = SSLContext.getInstance("TLS"); sc.init(null, null, null); delegate = sc.getSocketFactory(); } public SSLSocketFactoryCompat(SSLSocketFactory delegate) { if (delegate == null) { throw new NullPointerException(); } this.delegate = delegate; } @Override public String[] getDefaultCipherSuites() { return delegate.getDefaultCipherSuites(); } @Override public String[] getSupportedCipherSuites() { return delegate.getSupportedCipherSuites(); } private Socket enableTls12(Socket socket) { if (Build.VERSION.SDK_INT >= 16 && Build.VERSION.SDK_INT < 20)

Nifi-Apache Nifi-Apache nifi 第一篇

Sat, 30 Oct 2021 13:01:00 +0000

1、什么是 Apache NiFi？简单地说，NiFi 是为了自动化系统之间的数据流。虽然数据流这种形式很容易理解，但我们在此使用它来表示系统之间的自动化和不同系统之间数据的流转。企业拥有多个系统，其中一些系统创建了数据，部分系统消耗了数据，那么问题就出现了。出现的问题和解决方案已经广泛讨论和阐

Nifi-Apache Nifi-基础指南大全

Sat, 30 Oct 2021 13:00:00 +0000

介绍 Apache NiFi 是基于基于流量编程概念的数据流系统。它支持数据路由、转换和系统调停逻辑的强大且可扩展的定向图形。NiFi 拥有基于 Web 的用户界面，用于设计、控制、反馈和监控数据流。它在服务质量的几个方面具有高度可配置性，例如耐损性与保证交付、低延迟与高吞吐量以及基于优先级的排队。NiFi 为接

Nifi-Apache Nifi-系统管理大全

Sat, 30 Oct 2021 12:01:00 +0000

系统要求 Apache NiFi 可以在笔记本电脑这样简单的东西上运行，但它也可以聚类到许多企业级服务器上。因此，所需的硬件和内存数量将取决于所涉及的数据流的规模和性质。数据存储在磁盘上，而 NiFi 正在处理它。因此，NiFi 需要为其各种存储库分配足够的磁盘空间，特别是内容存储库、流文件存储库和出处存储库（请

WebRTC Weekly 一周技术 & 产品总结 21-10-31

Sat, 30 Oct 2021 00:00:00 +0000

两年后 Skype Web 版本现在也能在 Firefox 上使用了 Skype 作为 VOIP 鼻祖级别的公司，被微软收购之后反而走向了下坡路，很多人可能已经忘记了 Skype。微软的 Teams 推出之后，由于跟 Office 套件的捆绑策略迅速抢占了大量的企业办公协同市场，就在人们以为微软会放弃 Skype 之后， Skype 终于让他的 web 版本，支持了 firefox。前一段时间甚

Metabase教程系列-各种可视化元素基本运用

Tue, 26 Oct 2021 10:12:00 +0000

数字数字选项用于显示单个数字，漂亮又大。数字选项包括：添加字符前缀或后缀（因此您可以做一些事情，如把一个货币符号在前面或一个百分比在年底），） **设置要包含的十进制位置数，**以及将结果乘以数字（如要将十进制乘以 100，使其看起来像百分比）。如果你想除以一个数字，那么只需乘以小数

Metabase教程系列-Metabase基本认识和初级分析

Mon, 25 Oct 2021 10:12:00 +0000

Metabase介绍及基础使用 Metabase概述 Metabase是基于一个java语言开发的一款开源的数据分析工具，主要通过给公司人员提问题的方式（ps:相对于Metabase中的Question）对数据进行根据自己的需求进行提炼。帮助你把数据库中的数据更好的,多样化的呈现给更

BI-可视化-Metabase与CBoard差异化分析说明

Mon, 25 Oct 2021 10:11:00 +0000

这里的CBoard是在原生态CBoard基础上进行二次开发之后的BI工具，以下内容将其称为Mydata。相似点 1.可以下载查询出的数据。 2.底层均采用java开发。 3.可视化拖拉拽查询方式。 4.均支持二次开发。 5.支持在图表上方进行数值筛选。 6.均支持自定义表达式，Metabas

BI-可视化-superset、metabase、redash三个开源BI工具的个人使用心得及分析

Mon, 25 Oct 2021 10:10:00 +0000

数据可视化也是大数据领域里极为关键的一环，通过计算引擎算出来的数据往往需要以合适又美观的图表形式展示给产品经理和决策者，一开始笔者的部门用的是SpringBoot+ECharts的经典组合来做可视化的，确实功能很强也很灵活，但后来随着统计需求越来越多，每来一个新需求都要写大量的重

BI-ETL-在10分钟内掌握Apache Airflow

Sun, 24 Oct 2021 19:44:00 +0000

介绍一个pache 气流是用于协调复杂工作流和数据处理管道的开源工具。它是一个平台，以编程方式安排和监控预定工作的工作流程。 Apache 气流使您的工作流程简单、井然有序、系统化，因此可以根据要求轻松编写和安排时间。让我们从基础知识开始。 **我们所说的工作流程是什么意思？工作流程可以是您的简单

BI-ETL-开始使用Apache Airflow

Sun, 24 Oct 2021 19:41:00 +0000

概述了解Apache Airflow及其部件的需求我们将创建我们的第一个 DAG 获得现场板球得分使用Apache Airflow 介绍工作自动化在任何行业都发挥着关键作用，是实现功能效率的最快方法之一。但是，我们中的许多人不知道如何自动化一些任务，并结束在手动做同样的事情一次又一次的循环。我们大多数人必

BI-ETL-Apache Airflow简介：5分钟内开始

Sun, 24 Oct 2021 19:40:00 +0000

如果你在大数据工作，你很可能听说过Apache Airflow。它于 2014 年在Airbnb启动开源项目，以帮助公司处理其批量数据管道。自那时起，它已成为数据工程中最受欢迎的开源工作流管理平台之一。 Apache Airflow是用 Python 书写的，它具有灵活性和稳健性。其强大且设备齐全的用户界面简化了工作流

BI-数据仓-初学者数据仓库教程：学习基本概念

Sun, 24 Oct 2021 19:30:00 +0000

数据仓库教程摘要数据仓库是软件工具的集合，帮助分析大量不同的数据。目标是从数据中获取有利可图的见解。本课程涵盖数据市场、数据湖、舍马斯等高级主题。我应该知道些什么？教程专为几乎没有或根本没有数据仓库体验的初学者设计。虽然对数据库和SQL的基本理解是一个优势。数据仓库课程教学大纲介

BI-数据湖-什么是数据湖它是建筑-数据湖教程

Sun, 24 Oct 2021 19:20:00 +0000

什么是数据湖？数据湖是一个存储库，可以存储大量的结构化、半结构化和非结构化数据。它是以本地格式存储每种类型数据的地方，对帐户大小或文件没有固定限制。它提供高数据量，以提高分析性能和本地集成。数据湖就像一个大容器，非常类似于真正的湖泊和河流。就像在一个湖中，你有多个支流进来，一个数

BI-数据湖-一文看懂数据湖：概念、特征、架构与案例

Sun, 24 Oct 2021 19:10:00 +0000

什么是数据湖；数据湖的基本特征；数据湖基本架构；各厂商的数据湖解决方案；典型的数据湖应用场景；数据湖建设的基本过程；总结。一、什么是数据湖数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但是在计划构建数据湖之前，搞清楚什么是数据湖，明确一个数据湖项目的基本

BI-MongoDB-中台MongoDB应用

Sun, 24 Oct 2021 19:00:00 +0000

目前数据仓库与大数据不足数据中台以打通部门或数据孤岛的统一数据平台为基础，构建统一数据资产体系，并以API服务方式为全渠道业务分析+应用，提供即时交付能力的企业级数据架构金融行业 ](https://img202 技术需求技术产品关系型数据库数据仓库大数据 NOSQL与非结构数据 MongoDb存储的优势，多模数据库

Metabase教程系列-设置电子邮件

Sun, 24 Oct 2021 18:11:00 +0000

一旦您将数据库连接到 Metabase，您就会想要配置一个电子邮件帐户，以便向组织的用户发送系统通知。Metabase 使用电子邮件重置密码，将新用户放到船上，并在发生某些事情时通知您。配置您的电子邮件帐户要使 Metabase 向组织用户发送消息，您需要设置一个电子邮件帐户，以便通过*SMTP（*简

Metabase教程系列-获取有关问题的警报

Sun, 24 Oct 2021 18:10:00 +0000

无论您是跟踪收入、用户还是负面评论，您经常会想提醒某些事情。Metabase 有几个不同类型的警报，您可以设置，您可以选择通过电子邮件或 Slack 收到通知。获取警报要开始使用警报，您团队中作为管理员的人员需要确保这一点电子邮件集成首先设置。警报类型在元基地中，您可以收到三种注意事项：当时间

Metabase教程系列-7 个您可能不知道的方便的元基础功能

Sun, 24 Oct 2021 13:00:00 +0000

Metabase 的界面试图远离您的方式，以帮助将您的数据带到最前沿。这种悠闲的方法意味着有时功能可能需要时间来发现，因此我们整理了一些您可能尚未利用的功能列表。 1. 警报：当指标达到某个数字时，会收到通知有些人错过了问题右下角的菜单（图1）： *图1。*单击问题右下角的铃来设置警报。他们不点击铃声，

Metabase教程系列-基本设置

Wed, 20 Oct 2021 18:00:00 +0000

一、写在前面概述：Metabase可以帮助你把数据库中的数据更好的呈现给更多人，数据分析人员通过建立一个”查询“（Metabase中定义为Question）来提炼数据，再通过仪表盘（Dashboards）来组合展示给公司成员优点：1.开源免费 2.工具轻量、安装依赖的环境简单、配置

重构实战 - 领域驱动设计战略建模在重构业务系统时的应用

Thu, 14 Oct 2021 15:50:00 +0000

转摘：https://www.pianshen.com/article/17311939527/ 领域驱动设计战略建模在重构业务系统时的应用学习领域驱动设计相关的知识有一段时间了，但是一直苦恼于其中的一些概念无法理解透彻，导致无法落地实现甚至生根发芽。机缘巧合，不久前的工作内容中，

阿里技术专家详解DDD系列第五讲 - 聊聊如何避免写流水账代码

Thu, 14 Oct 2021 15:49:00 +0000

转摘：https://zhuanlan.zhihu.com/p/366395817 在过去一年里我们团队做了大量的老系统重构和迁移，其中有大量的代码属于流水账代码，通常能看到是开发在对外的API接口里直接写业务逻辑代码，或者在一个服务里大量的堆接口，导致业务逻辑实际无法收敛，接口复

什么是DDD领域驱动设计的战略设计

Thu, 14 Oct 2021 15:48:00 +0000

转摘：https://www.jdon.com/52189 它也称为战略建模，它是DDD的支柱，其主要目标是与整个项目团队（领域专家和技术团队）一起定义有界上下文，统一的无所不在语言和上下文映射。要清楚地了解战略项目是什么，您需要掌握我所谈到的每个概念。有界上下文/界定上下文有界上

谈谈代码：DDD从入门到完全入门

Thu, 14 Oct 2021 15:47:00 +0000

转摘：https://www.jianshu.com/p/0f24360d47f3 1.什么是DDD 先看下万能的维基百科：Domain-driven design (DDD) is the concept that the structure and language of software code (class names, class methods, class variables) should match the business domain. For example, if a software processes loan applications, it might have classes such as LoanApplication and Customer, and methods such as AcceptOffer and Withdraw. 这边将其称为了一个概念。在我看来DDD

谈谈代码：降低复杂度，从放弃三层架构到DDD入门

Thu, 14 Oct 2021 15:46:00 +0000

转摘：https://www.jianshu.com/p/738d16723f81 1.前言最近我发现团队某项目的复杂度越来越高（典型的三层架构），具体表现为：代码可读性较差：各个服务之间调用复杂，流程不清晰修改某服务业务代码导致大量无关服务的测试用例失败，单个功能开发者很难迅速定

阿里技术专家详解DDD系列第四讲 - 领域层设计规范

Thu, 14 Oct 2021 15:45:00 +0000

转摘：https://zhuanlan.zhihu.com/p/356518017 在一个DDD架构设计中，领域层的设计合理性会直接影响整个架构的代码结构以及应用层、基础设施层的设计。但是领域层设计又是有挑战的任务，特别是在一个业务逻辑相对复杂应用中，每一个业务规则是应该放在Ent

阿里技术专家详解DDD系列第三讲 - Repository模式

Thu, 14 Oct 2021 15:44:00 +0000

转摘：https://zhuanlan.zhihu.com/p/348706530 在讲Repository之前其实应该先讲Entity（实体）、Aggregate Root（聚合根）、BoundedContext（限界上下文）等概念。但在实际写的过程中，发现单纯讲Entity相关的

阿里技术专家详解DDD系列第二讲 - 应用架构

Thu, 14 Oct 2021 15:43:00 +0000

转摘：https://zhuanlan.zhihu.com/p/343388831 架构这个词源于英文里的“Architecture“，源头是土木工程里的“建筑”和“结构”，而架构里的”架“同时又包含了”架子“（scaffolding）的含义，意指能快速搭建起来的固定结构。而今天的

阿里技术专家详解 DDD 系列第一讲- Domain Primitive

Thu, 14 Oct 2021 15:42:00 +0000

转摘：https://zhuanlan.zhihu.com/p/340911587 导读对于一个架构师来说，在软件开发中如何降低系统复杂度是一个永恒的挑战，无论是 94 年 GoF 的 Design Patterns ， 99 年的 Martin Fowler 的 Refactoring ， 02 年的 P of EAA ，还是 03 年的 Enterprise Integration Patterns ，都是通过一系列的设计模式或范例来降低一些常见的复杂度。但是

交易中心实战-领域驱动设计系列5

Mon, 11 Oct 2021 13:00:00 +0000

一、DDD的基本概念和设计流程 1、DDD的概念 DDD: Domain Driven Design Eric Evans:《领域驱动设计：软件核心复杂性应对之道》里面一段话： DDD先对业务领域进行分析，建立领域模型，根据领域模型驱动代码设计 2、使用DDD的原因和好处最重要的一点是，DDD是类似于微服务中台落地的指导思想，这也是DD

结合电商支付业务-领域驱动设计系列4

Sun, 10 Oct 2021 10:18:00 +0000

2004 年，软件大师 Eric Evans 的不朽著作《领域驱动设计：软件核心复杂性应对之道》面世，从书名可以看出，这是一本应对软件系统越来越复杂的方法论的图书。然而，在当时，中国的软件业才刚刚起步，软件系统还没有那么复杂，即使维护了几年，软件退化了，不好维护了，推倒重新开发就好了。因此，在过去的那么多年

六边形架构-领域驱动设计系列3

Fri, 08 Oct 2021 20:17:00 +0000

为什么叫六边形？六边形建筑的名称来自此建筑通常描述的方式：我们将回到为什么六边形在本文的后面使用。这种模式还属于端口和适配器（这更好地解释了它背后的中心思想）和洋葱结构（因为它是如何分层的）。在下面，我们将仔细看看"洋葱"。我们将从核心（领域模型）开始，然后自

战术领域驱动设计-领域驱动设计系列2

Fri, 08 Oct 2021 20:16:00 +0000

与战略领领域驱动设计相比，战术设计更加实际，更接近实际代码。战略设计涉及抽象整体，而战术设计则涉及类和模块。战术设计的目的是将领域模型细化到可以转换为工作代码的阶段。设计是一个迭代的过程，因此将战略设计与战术设计相结合是有意义的。你从战略设计开始，然后是战术设计。最大的领领域模型

战略领域驱动设计-领域驱动设计系列1

Fri, 08 Oct 2021 20:15:00 +0000

自Eric Evans于 2003 年出版关于该主题的书以来，领域驱动设计（DDD）一直存在。几年前，当我加入一个存在数据一致性问题的项目时，我自己也接触到了 DDD。重复显示在数据库中，一些信息根本没有保存，可以随时随地遇到乐观的锁定错误。我们通过使用战术领域驱动设计的构建基块来解决这个问

005 用户中心领域梳理

Fri, 08 Oct 2021 20:14:00 +0000

梳理整体事件流程四色作色领域划分上下文及领域边界

004 领域驱动设计落地

Fri, 08 Oct 2021 19:23:00 +0800

域建模是困难的。教学和学习域建模更加困难。因此，我的目标是帮助您学习这个巨大的主题，让您对领域驱动的意义有一个坚实的基本理解。概念概念和挖掘示例是本系列的意义。人们经常直接潜入开发带有代码的业务线应用程序（LoB），但在实施可能导致灾难之前不知道 DDD 真正代表什么。从历史上看，单体建

003 订单中心领域梳理

Wed, 06 Oct 2021 23:25:00 +0000

002 根据DDD进行重构系统

Wed, 06 Oct 2021 23:24:00 +0000

进行模块划分业务逻辑入手 handler层部分业务逻辑下沉到微服务-沉淀为领域service handler层部分业务逻辑整合到应用服务模块 Mapper Mapper 已使用tkmybatis Model model 新增自身逻辑（校验、等），划分到领域model model 北向，面向数据库 message 南向，面向业务层领域发现那领域模型是怎么一步一

001 搭建工具提升DDD开发效率

Wed, 06 Oct 2021 23:23:00 +0000

为什么启动DDD 传统开发模式传统开发模式下，我们的应用架构往往以数据为中心。在这种架构风格中，代码结构比较，开发人员拿到业务需求后，一般的开发流程就是：建表、按照业务流程写服务，服务操作数据库表数据，使其返回结果。这种模式最大的好处就是：学习门槛低、上手速度快，长久以来被大家所使

DDD019-学习笔记

Wed, 06 Oct 2021 23:22:10 +0000

DDD是什么领域驱动设计(Domain Driven Design) 是一种从系统分析到软件建模的一套方法论。以领域为核心驱动力的设计体系。为什么需要DDD 面向对象设计，数据行为绑定，告别贫血模型优先考虑领域模型，而不是切割数据和行为准确传达业务规则代码即设计 DDD的一些概念战略设计：限界上下文、上下文映射

2021十大热门数据处理类职位

Wed, 06 Oct 2021 21:15:00 +0000

***•*分析翻译：成为一名优秀的分析翻译需要技术知识和一定的业务理解。分析翻译可以根据业务目标充分确定机器学习计划的优先级。在担任这一职务时，应聘者必须与其他企业的人建立关系并管理相关项目。 **•**数据架构师：数据架构师负责阐明新的数据收集，确保准确的数据质量，消除数据冗余，

使用 HTML +CSS 的骨架屏幕加载动画

Wed, 06 Oct 2021 19:48:00 +0000

预加载使用 HTML 和 CSS 为骨架屏幕加载动画覆盖图像在本文中，我展示了如何使用 HTML CSS 和 JavaScript 创建骷髅屏幕加载动画。我在个人资料卡上创建了此动画。您将看到各种网站，在那里你可以看到骷髅加载动画之前加载任何元素。毫无疑问，它提高了网站的质量和美感很多。您需要有一个关于 HTML 和 CSS 的基本想法才能做到这一点。

DDD.1 - 专业知识

Wed, 06 Oct 2021 10:41:10 +0000

开发人员和领域专家协作，讨论域专家的知识，将其提炼成所有，而且仅与项目相关的知识。目标是最终建立一个模型，说明应用程序应该做什么，应该怎么做，以及技术实施应该是什么。知识的塑造不是一次性完成，就像瀑布方法一样。虽然在项目开始时确实应该更加密集，但它必须是一个持续和反复的过程，当开

DDD018-领领域驱动设计基础概念

Wed, 06 Oct 2021 09:41:10 +0000

领域驱动设计是程序员Eric Evans在 2004 年在他的著作《领域驱动设计：解决软件核心的复杂性》中引入的概念。这是一种通过自上而下的方法查看软件来构建软件设计的方法。在详细讨论主题之前，让我们尝试集中一些光，并了解在此上下文中领域的含义。什么是领域？软件开发中使用的"领域

DDD017-领域驱动设计它是什么何使用它

Wed, 06 Oct 2021 09:11:10 +0000

什么是领域？要定义，我们首先应该确定我们在此背景下（以及一般发展中）的含义。通用字典的定义是：“知识或活动领领域”。从这一点深入研究，在软件工程领领域通常是指应用程序打算应用的主题区领域。换句话说，在应用开发过程中，是"应用逻辑围绕的知识和活动领

DDD016-在开发软件中应用领域驱动设计

Mon, 04 Oct 2021 14:11:10 +0000

**领域驱动设计（DDD）**是开发代码库结构与业务领域结构非常匹配的软件的概念。有关 DDD 的更多信息，您可以在此处找到它我花了很多时间来理解和应用它到日常任务，所以这篇文章是我的分享所有我所知道的关于 Ddd 。规则该规则规定，外圈中声明的某些>内圈不得在代码中提及。 —干

Java 开发架构模式清洁架构

Sat, 02 Oct 2021 11:33:33 +0000

虽然这些架构的细节都有些不同，但它们非常相似。它们都有相同的目标，即解耦。它们都通过将软件划分为层来实现这种分离。每个层至少有一层用于业务规则，另一层用于接口。这些架构中的每一个都产生以下系统：独立于框架。架构并不依赖于一些充满功能的软件库的存在。这允许您使用工具等框架，而不必将

Java 开发架构模式从分层架构、洋葱架构到六边形架构

Sat, 02 Oct 2021 11:22:22 +0000

经典分层分层是打破复杂软件系统的最广为人知的技术之一。它已被推广到许多流行的书籍，如马丁·福勒的企业应用架构模式。图层允许我们在不知道任何较低级别层的详细信息的情况下在较低级别层之上构建软件。在理想世界中，我们甚至可以用不同的实现替换低层。虽然层数可能有所不同，但我们在实践中大多

吴恩达的 CS229的数学基础（线性代数）

Fri, 01 Oct 2021 13:39:17 +0800

机器学习数学基础-01概率统计基础课程

Fri, 01 Oct 2021 13:39:17 +0800

概率基础概率例子质地均匀，每个面按照古典概率，概率都一样已知条件，发生的概率：条件概率条件概率生活中就不是古典概型分子分母同时除总数转换成概率公式例子 AB的概率，也就是B的概率概率相除得到条件概率例子贝叶斯公式利用新的证据修改已有的看法联合概率同时除 AB同时发生的概率链式法则先x

关键词库-Go 语言高效分词, 支持英文、中文、日文等

Mon, 27 Sep 2021 14:03:10 +0800

Go 语言高效分词, 支持英文、中文、日文等词典用双数组trie（Double-Array Trie）实现，分词器算法为基于词频的最短路径加动态规划。支持普通和搜索引擎两种分词模式，支持用户词典、词性标注，可运行JSON RPC服务。分词速度单线程9MB/s，goroutines并发42M

关键词库-本地sqllit存储

Mon, 27 Sep 2021 13:03:10 +0800

本地存储 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 package db import ( "database/sql" "fmt" _ "github.com/mattn/go-sqlite3" "log" "os" ) var db *sql.DB var err error func init() { if isExist("./keybase.db") { db, err = sql.Open("sqlite3", "./keybase.db") if err != nil { log.Fatal(err) } }else{ db, err = sql.Open("sqlite3", "./keybase.db") if err != nil { log.Fatal(err) } sqlStmt :=

关键词库-Go中使用爬虫框架

Sun, 26 Sep 2021 20:03:10 +0800

简介本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。本项目将爬虫的各个功能流程区分成Spider模块（主控），Downloader模块（下载器），PageProcesser模块（页面分

DDD015-实现领域驱动设计：第四部分

Sat, 25 Sep 2021 13:35:42 +0800

对象映射对象当两个对象具有相同或相似属性时，自动对象到对象映射是将值从一个对象复制到另一个对象的有用方法。 DTO 和实体类通常具有相同的/类似的属性，您通常需要从实体创建 DTO 对象。 ABP 的对象对象映射系统与自动映射器集成使这些操作比手动映射容易得多。仅使用自动对象映射进行实体输出 DTO 映射。不要

DDD014-实现领域驱动设计：第三部分

Sat, 25 Sep 2021 12:27:42 +0800

需要外部服务的实体中的业务逻辑当业务逻辑仅使用该实体的属性时，只需在实体方法中实施业务规则就很简单。如果业务逻辑要求查询数据库或使用应从依赖性注入系统解决的任何外部服务，该怎么办？记住：实体不能注入服务！实现这种商业逻辑有两种常见方法：在实体方法上实现业务逻辑，并获取外部依赖作为

DDD013-实现领域驱动设计：第二部分

Sat, 25 Sep 2021 11:27:42 +0800

实现：构建基块这是本系列的重要组成部分。我们将用实例介绍和解释一些明确的规则。您可以遵循这些规则，并在实施域驱动设计时应用到您的解决方案中。示例领域示例将使用 GitHub 使用的一些概念，如问题、存储库、标签和用户，您已经熟悉。下图显示了一些聚合、聚合根、实体、价值对象及其之间的关系：问题聚

DDD012-实现领域驱动设计：第一部分

Fri, 24 Sep 2021 23:27:42 +0800

简单代码！踢足球很简单，但踢简单的足球是最难的。- 约翰 · 克鲁伊夫如果我们把这个著名的名言作为编程，我们可以说：编写代码非常简单，但编写简单的代码是最难的事情。什么是域驱动设计？域驱动设计（DDD）是将实现与不断发展的模型连接起来，满足复杂需求的软件开发方法; DDD 适用于复杂的领域和大

DDD011-子域和边界上下文

Fri, 24 Sep 2021 23:22:42 +0800

这篇文章是一个摘要，给自己一个关于子域和边界上下文的差异的说明。这些术语通常由域驱动设计从业者使用。曾经有段时间，我把它们混在一起一点点。希望你能发现这个有用。如果你发现任何不准确之处，请告诉我。我仍在改进我的 DDD 实践和知识。子域让我们从什么是亚多曼开始。子域位于问题空间中。一个大

DDD010-领域驱动设计：实体、价值对象以及如何区分它们

Fri, 24 Sep 2021 23:02:42 +0800

DDD 可分为战略和战术设计，其中战术设计是关于 DDD 的构建基块的。这篇文章将是关于DDD的基本构建基块：***实体和价值对象（VOs）。***实体和 VO 是 DDD 中表示模型的两个构建基块。它们是域驱动设计（服务和域事件除外）的起点。除了只看实体和VO的定义，我还将为您提供一些如何区分它们的指导。

DDD009-领域驱动设计（DDD）的介绍

Fri, 24 Sep 2021 22:02:42 +0800

DDD 语境中什么是领域？知识、影响力或活动领域。用户应用程序的主题区域是软件的域。我将向您提供 DDD 的概述。这篇文章是关于**DDD 的 “为什么？**我不会深入探讨这里的特定主题。不过，我会指出一些重要术语的定义，就像我刚才对"域"所做的那样。正如您将意识到

DDD008-第 1 部分：领域驱动设计

Fri, 24 Sep 2021 20:23:44 +0800

DDD007-领域动设计入门建模过程

Fri, 24 Sep 2021 18:23:44 +0800

此过程为您提供了一个分步学习指南，并实际应用了领域驱动设计（DDD）的各个方面 - 从围绕组织的业务模式定位到编码域模型。使用此过程将引导您完成设计具有 DDD 思维的软件系统的每一个基本步骤，这样您就可以专注于业务挑战，而不是同时学习 DDD 而不知所措。一旦您经历了流程的几次迭代，您将拥有基础 DDD

DDD006-领域驱动架构图

Thu, 23 Sep 2021 16:02:42 +0800

领域驱动设计是创建对问题空间的共同理解，通过对话、代码和图表无处不在地加强。DDD 的共享理解增强了协同效应和一致性，提高了可持续交付价值的能力 - 理想情况下，在产品的使用寿命内。正如一个系统的架构，通过图表表达，是一个有利可图的途径，以加强DD的共享模式。以红色突出显示：其中架构图

Typora+PicGo自动上传图片到Github图床

Thu, 23 Sep 2021 15:02:42 +0800

以前用Typora写东西，要插入图片url需要手动用PicGo将图片上传到图床，然后把链接粘贴到Typora中。之前重装系统以后也重装了Typora，虽然用PicGo上传图片的流程已经很简单了，但是今天打开发现插入图片可以直接调用PicGo上传到图床，立马就开始折腾了起来。 Typ

DDD005-构建域驱动的微服务

Thu, 23 Sep 2021 11:02:42 +0800

微服务 - 定义微服务中的"微型"一词虽然表示服务的规模，但并不是使应用程序成为微服务的唯一标准。当团队转向基于微服务的架构时，他们的目标是提高其敏捷性 - 自主和频繁地部署功能。很难确定这种建筑风格的简明定义。我喜欢阿德里安·科克克罗夫特的这个简短定义**——&qu

DDD004-域驱动设计初学者指南

Thu, 23 Sep 2021 09:02:42 +0800

软件应用程序总是围绕构成公司业务的知识和活动领域发展。域驱动设计是一种软件开发方法，通过将实现与不断发展的模型连接起来来解决复杂的问题：它提供了一套工具，旨在设计和实现具有高业务价值的代码。需要注意的是，DDD 旨在解决复杂的问题，如果复杂性不足以证明其合理性，则可能过于过分。 DDD 提

DDD003-域驱动设计：您一直想知道的一切，但不敢问

Thu, 23 Sep 2021 08:59:57 +0800

随着代码基数的增长，其复杂性必然会增加。由于这种情况，它往往变得更加难以保持代码的组织和结构，因为最初的意图，这被称为软件熵。在多次迭代中，如果不执行严格的架构准则，保持良好的关注分离以及正确脱钩类和模块将更具挑战性。在传统的模型视图控制器（MVC）架构中，“M&qu

DDD002-什么是域驱动设计？

Thu, 23 Sep 2021 08:46:32 +0800

随着代码基数的增长，其复杂性必然会增加。由于这种情况，它往往变得更加难以保持代码的组织和结构，因为最初的意图，这被称为软件熵。在多次迭代中，如果不执行严格的架构准则，保持良好的关注分离以及正确脱钩类和模块将更具挑战性。在传统的模型视图控制器（MVC）架构中，”M”层将掌握所有业务

DDD001-解释域驱动设计的概念

Wed, 22 Sep 2021 19:20:04 +0800

使用微服务意味着从松散耦合服务创建应用程序。该应用程序由几个小型服务组成，每个服务代表一个单独的业务目标。它们可以在复杂的应用中结合后单独开发和轻松维护。微服务是一种架构设计模型**，具有特定的边界上下文、配置和依赖性。**这些结果来自域驱动设计和 DevOps 的架构原理。域驱动设计是通过代

Golang通过http.NewRequest实现模拟请求，添加请求头

Wed, 22 Sep 2021 16:45:45 +0800

Golang 通过 http.NewRequest 实现模拟请求，添加请求头和请求参数： func DownloadString(remoteUrl string,queryValues url.Values) (body []byte,err error){ client := &http.Client{}; body = nil; uri,err := url.Parse(remoteUrl); if(err != nil){ return ; } if(queryValues != nil){ values := uri.Query(); if(values != nil){ for k,v := range values { queryValues[k] = v; } } uri.RawQuery = queryValues.Encode(); } reqest, err := http.NewRequest("GET",uri.String(),nil); reqest.Header.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"); reqest.Header.Add("Accept-Encoding", "gzip, deflate"); reqest.Header.Add("Accept-Language", "zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3"); reqest.Header.Add("Connection", "keep-alive"); reqest.Header.Add("Host", uri.Host); reqest.Header.Add("Referer", uri.String()); reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0"); response, err := client.Do(reqest) defer response.Body.Close(); if(err != nil){ return ; } if response.StatusCode == 200 { switch response.Header.Get("Content-Encoding") { case "gzip": reader, _ := gzip.NewReader(response.Body) for { buf := make([]byte, 1024) n, err := reader.Read(buf) if err != nil && err != io.EOF { panic(err)

Golang通过http.NewRequest实现模拟请求，添加请求头

Wed, 22 Sep 2021 16:42:05 +0800

Golang通过http.NewRequest实现模拟请求，添加请求头和请求参数 func DownloadString(remoteUrl string,queryValues url.Values) (body []byte,err error){ client := &http.Client{}; body = nil; uri,err := url.Parse(remoteUrl); if(err != nil){ return ; } if(queryValues != nil){ values := uri.Query(); if(values != nil){ for k,v := range values { queryValues[k] = v; } } uri.RawQuery = queryValues.Encode(); } reqest, err := http.NewRequest("GET",uri.String(),nil); reqest.Header.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"); reqest.Header.Add("Accept-Encoding", "gzip, deflate"); reqest.Header.Add("Accept-Language", "zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3"); reqest.Header.Add("Connection", "keep-alive"); reqest.Header.Add("Host", uri.Host); reqest.Header.Add("Referer", uri.String()); reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0"); response, err := client.Do(reqest) defer response.Body.Close(); if(err != nil){ return ; } if response.StatusCode == 200 { switch response.Header.Get("Content-Encoding") { case "gzip": reader, _ := gzip.NewReader(response.Body) for {

程序员文摘：第四期

Wed, 22 Sep 2021 15:03:10 +0800

1 - A categorized list of all Java and JVM features since JDK 8 to 17 (https://advancedweb.hu/a-categorized-list-of-all-java-and-jvm-features-since-jdk-8-to-17/)：从 Java 8 到 Java 17 一共 194 个 JEP（JDK Enhancement Proposals (http://openj

2021 真香 7 Javascript 库

Wed, 10 Mar 2021 14:55:14 +0800

这里有7个真棒JavaScript库来看看。 fullpagejs.js 此开源库可帮助您创建在上面 GIF 中看到的全屏幕滚动网站。链接 animejs.js 动画库之一，动漫.js是灵活和易于使用。它是完美的工具，帮助您添加一些很酷的动画到您的项目。链接 screenfulljs.js 如果您还希望有一个全屏功能，我建议使用此库，而不是全屏API，因为它的跨浏览器

样式中的 Web 组件

Wed, 10 Mar 2021 11:53:44 +0800

Web 组件非常易于样式。您可以以接近零的成本在它们之间共享样式，并且它们仍然可以从外部进行样式设计。它们易于设置和逐步增强。有一大堆使用 Web 组件的框架，如果你进入其中，你自然会知道这一切。但它真的很难理解来自React，Vue，角度等。因此，让我们来谈谈它。基线网络组件可能是目前网络上

Python 程序以查找两个列表的交集

Mon, 08 Mar 2021 10:34:46 +0800

交叉操作意味着，我们必须从列表 1 和列表 2 中接收所有常见元素，并将所有元素存储在另一个第三个列表中。 List1::[1,2,3] List2::[2,3,6] List3::[2,3] 算法 Step 1: input lists. Step 2: first traverse all the elements in the first list and check with the elements in the second list. Step 3: if the elements are matched then store in third list. 示例代码 #Intersection of two lists def intertwolist(A, B): C = [i for i in A if i in B] return C # Driver Code A=list() B=list() n=int(input("Enter the size of the List ::")) print("Enter the Element of first list::") for i in range(int(n)): k=int(input("")) A.append(k) print("Enter the

使用Java找到两个链接列表的交叉点

Mon, 08 Mar 2021 10:24:44 +0800

链接列表是一个线性数据结构，其中每个Node有两个块，这样一个块包含Node的值或数据，而另一个块包含下一个字段的地址。让我们假设我们有一个链接列表，以便每个Node都包含指向列表中其他Node的随机指点。任务是找到两个链接列表相互交集的Node。如果他们不相交，然后返回空或空作

UX 设计：如何开始（完整指南）

Fri, 05 Mar 2021 22:14:35 +0800

您是否希望在UX设计中开始，但不知道从哪里开始？这 6 个步骤将帮助您从一个完整的初学者到训练有素的 UX 设计师（有工作！切通过所有的噪音在线和开始与此视频！在这段视频中，我们的 UX 设计师之一 Amr 分享了分步指南和时间表，包括要参加的关键在线课程、掌握的工具、要加入的社区、我们学到的教训以及您

Vim 2021：在 Vim 中添加上下文菜单

Fri, 05 Mar 2021 09:00:58 +0800

当您与光标下的当前单词/行有关时，漂亮的上下文菜单非常有用。它还可以提醒你，当你忘记你的键盘图：设置在ui扩展插件quickui的帮助下，它可以简单地定义为： Plug ‘skywind3000/vim-quickui’ " define your context menu as a list of (text, command) pairs let g:context_menu_k = [ \ ["&Help Keyword\t\ch", ’echo expand("")’ ], \ ["&Signature\t\cs", ’echo 101’], \ [’-’], \ [“Find in &File\t\cx”, ’exec “/” . expand("")’ ], \ [“Find in &Project\t\cp”, ’exec “vimgrep " . expand("”) . “*”’ ], \ [“Find in &Defintion\t\cd”, ‘YcmCompleter GotoDefinition’ ], \ [“Search &References\t\cr”,

SSH - 配置

Thu, 04 Mar 2021 20:30:08 +0800

SSH命令生成 ssh-key 运行终端中的命令，然后重命名您的密钥或键输入，以继续使用通用给定名称，该名称id_rsa用于私钥，id_rsa.pub 用于公共密钥 ssh-keygen -t rsa Enter fullscreen mode Exit fullscreen mode 添加标识 ssh-add /home/user/.ssh/id_rsa Enter fullscreen mode Exit fullscreen mode 将标识添加到吉图布 cat /home/user/.ssh/id_rsa.pub Enter fullscreen mode Exit fullscreen mode 如果 ssh 键是针对 GitHub 的，请转到设置查找 ssh 键和 gpg 键，并在此处运行

10 分钟内学到的东西，这将对您的编程生涯的其余部分有用

Fri, 26 Feb 2021 18:18:12 +0800

有一个非常简单的技巧，你可以在短短几分钟内学习，这将是有用的，你的未来作为一个程序员。有一个关键的原因，为什么这一个小把戏是如此重要，是重要的理解 10 选项卡规则在编程中，您将遇到问题、错误消息以及程序没有执行您认为应该做的事情的情况。你对这些场景的React将是一个不错的程序员和一

JUnit 4和5注释每个开发人员应该知道

Thu, 25 Feb 2021 20:32:12 +0800

JUnit 4 +5 注释摘要，附有示例在写这篇文章之前，我只知道一些常用的JUnit 4注释，如 @RunWith @Test @Before @After @BeforeClass @AfterClass 你不得不评论多少次测试？令我吃惊的是，有注释可以做到这一点。 @Ignore("Reason for ignoring") @Disabled("Reason for disabling") 嗯，事实证明，还有其他一些注释，特别是在JUnit 5，可以帮助编写更好和更有效的测试。期待什么？在本文中，我将用用例

为什么你应该先学习 JavaScript 原理（不是最热门的框架）

Thu, 25 Feb 2021 20:24:15 +0800

疯狂框架竞赛中无优胜者在过去的五年里，我一直在疯狂地追逐JavaScript图书馆和框架之间最热门的比赛。也许在某个时候，我们都问自己，我们应该学习哪个Javascript框架，评估利弊，为什么，为什么，等等。我一直是那场比赛的受害者，也许你也是。当然，我不知道这是否发生在你身上

网络浏览器引擎概述：初学者

Thu, 25 Feb 2021 20:14:00 +0800

作为一个人，当你在纸上写一个文档，或者让我们说打印一份报纸时，你会看到标题和它下面故事的某些部分，以及指向另一页上剩余故事的链接。一些头条新闻下面会有完整的故事。您会看到段落中断到一条新线，它们之间有空间。您可以在页面的不同位置看到不同的颜色、图像。您会看到不同的图像大小、不同的

framework not found

Mon, 22 Feb 2021 16:04:55 +0000

问题：在build的时候framework not found 解决：添加需要的framework 确定framework齐全的情况下，就是系统添加了冗余的framework编译需求，找到require列表删除即可 project.xcodeproj文件--->显示包内容--->proje

融云iOS无法接受语音视频消息

Wed, 27 Jan 2021 09:03:11 +0000

安卓（李某测试）拨打苹果（李朴2），进入对话界面，弹出键盘，弹出报错,在chat_room.dart文件中 1 2 3 4 5 6 7 8 9 10 11 [VERBOSE-2:ui_dart_state.cc(177)] Unhandled Exception: 'package:flutter/src/widgets/scroll_controller.dart': Failed assertion: line 112 pos 12: '_positions.isNotEmpty': ScrollController not attached to any scroll views. #0 _AssertionError._doThrowNew (dart:core-patch/errors_patch.dart:46:39) #1 _AssertionError._throwNew (dart:core-patch/errors_patch.dart:36:5) #2 ScrollController.position (package:flutter/src/widgets/scroll_controller.dart:112:12) #3 _ChatRoomState.didChangeMetrics (package:polars_app/pages/chat/chat_room.dart:708:27) #4 WidgetsBinding.handleMetricsChanged (package:flutter/src/widgets/binding.dart:571:16) #5 _rootRun (dart:async/zone.dart:1190:13) #6 _CustomZone.run (dart:async/zone.dart:1093:19) #7 _CustomZone.runGuarded (dart:async/zone.dart:997:7) #8 _invoke (dart:ui/hooks.dart:251:10) #9 _updateWindowMetrics (dart:ui/hooks.dart:53:3) 解决：在访问maxScrollExtent属性前一定要判

完整的入门vue指南

Mon, 25 Jan 2021 22:39:08 +0800

Vue.js是一个前端框架，针对渐进式集成进行了优化。这意味着您可以拥有一个只集成了几个 Vue 组件的大型应用程序，或者您可以从头开始，在 Vue 生态系统中完全工作。另一个让 Vue 与众不同的是与很多框架相比，学习曲线较低。如果您了解 HTML、CSS 和 JavaScript，那么您就已经非常接近了，

完整的入门React指南

Mon, 25 Jan 2021 22:35:34 +0800

什么是React React 是 Facebook 开发团队在 2013 年构建的 JavaScript 库，用于使用户界面更加模块化（或可重用）且更易于维护。根据 React 的网站，它用于"构建管理自身状态的封装组件，然后组合它们以生成复杂的 UIs"。我要在这篇文章中使用很多 Facebook 的例子，因为他们写 React 摆在首位。还记得 Facebook 从喜欢转向Re

学习React之前，JavaScript 基础知识

Mon, 25 Jan 2021 22:11:56 +0800

在深入了解 React 之前了解有关 JavaScript 和 Web 开发的所有信息。不幸的是，我们生活在一个不完美的世界里，所以在 React 之前对所有 JavaScript 进行大做笑只会让你流血。如果您已经拥有了一些 JavaScript 的经验，那么在 React 之前，您需要学习的只是用于开发 React 应用程序的 JavaScript 功能。关于JavaScript，在学习React之前，你应该对它感到

React设计模式（第 2 部分）

Mon, 25 Jan 2021 22:04:18 +0800

这一次，我们将讨论模式、模式和模式。Context``````Presentational and Container Components``````Compound Components 上下文根据React文档：上下文提供了一种通过组件树传递数据的方法，而无需在每个级别手动传递道具。简单地说，如果您有一个需要通过多个组件级别的全局状态，可以使用。例如：如果您有一个会

React设计模式（第 1 部分）

Mon, 25 Jan 2021 22:00:25 +0800

**注：**有些模式侧重于状态管理概念，但我们可以避免和其他第三方状态管理工具，因为它们与本文的主题无关。Redux,``````Mobx 渲染道具响应文档比比皆是：术语"呈现道具"是指使用其值为函数的 prop 在 React 组件之间共享代码的技术。简单地说，它只是一个函数值的道

ssh避免重复输入密码

Wed, 20 Jan 2021 11:52:44 +0000

解决方法：添加私钥步骤：切换到文件夹 1 cd ~/.ssh 添加秘钥 1 ssh-add id_rsa 查看秘钥 ssh-add -l 测试github仓库连接 git ls-remote -h -- git@github.com:zhangjk4859/jenkins-build-iOS.git 完。参考：https://superuser.com/questions/988185/how-to-avoid-being-asked-enter-passphrase-for

jenkins安装

Wed, 20 Jan 2021 10:33:31 +0000

安装 brew install jenkins-lts 启动 1 brew services start jenkins-lts 停止 1 brew services stop jenkins-lts 重启 1 brew services restart jenkins-lts 更新 1 brew upgrade jenkins-lts 局域网访问配置 homebrew.mxcl.jenkins.plist里面httpListenAddress从127.0.0.1更改为0.0.0.0 两个地方 ~/Library/LaunchAgents/homebrew.mxcl.jenkins.plist /usr/local/Cellar/jenkins/版本号/

2021 年跨平台应用框架将选什么

Sun, 10 Jan 2021 10:50:25 +0800

在当今具有高度颠覆性且达尔文式移动应用开发世界中，企业不会冒险错过在两个平台上的存在：谷歌Play商店或苹果应用商店。但是，如果企业使用本机应用，预算通常是个问题。这就是为什么跨平台应用程序开发已成为无与伦比的企业选择，旨在出现在Android以及iOS。在继续了解 2021 年这一类框架

libstdc++缺失问题

Thu, 07 Jan 2021 16:04:55 +0000

问题：libstdc++ not found 原因：libstdc++ was deprecated 5 years ago,we should update project to use libc++ 解决：更新工程或者下载库到当前工程，下载地址 https://github.com/zhangjk4859/zhangjk4859.github.io/raw/zjk/files/libstdc--master.zip 下载完成以后执行对应.sh文件即可参考：1.https://github.com/devdawei/libstdc- 2.https://www.jianshu.com/p/e694782b8740

Xcode12,iOS14，app启动慢

Thu, 07 Jan 2021 12:38:38 +0000

问题：启动app会白屏很长一段时间，即使是一个全新的app 解决方案： In the Xcode menu,go to product > scheme > edit scheme open the info tab Uncheck the debug executables checkbox 参考：1. https://stackoverflow.com/questions/63929122/slow-app-launch-time-after-updating-to-ios-14-and-xcode-12 2.https://developer.apple.com/forums/thread/651012

Mac环境下朗文词典

Thu, 07 Jan 2021 11:55:31 +0000

原理：原生的dictionary加朗文的词库，词库需要转换，转换过程见参考链接2 参考：1. https://www.zhihu.com/question/21964466 https://kaihao.io/2018/mdict-to-macos-dictionary/ 3.https://www.zhihu.com/question/20428599/answer/223511099

链表是什么

Wed, 06 Jan 2021 00:23:22 +0000

链表了解吗 Linked list is a sequence of links which contains items Link - Each link of a linked list can store a data called an element Next - Each link of a linked list contains a link to the next link called Next LinkedList - A Linked List contains the connection link to the first link called First Linked list can be visualized as a chain of nodes,where every node points to hte next node ![image]( Simple linked list -item navigation is forward only doubly linked list - items can be navigated forward and backward circular linked list - last item contains link of the first element as next and the first element has a link to the last element as previous. 双向链表是什么同上，节点有前

hexo给目录分类

Tue, 05 Jan 2021 13:55:10 +0000

创建分类功能 1 hexo new page categories 打开index文件 /source/categories/index.md 文件添加字段 title: categories date: 2021-01-05 12:19:59 type: "categories" 写文章的时候加上分类标签 title: mac android studio flutter 打包 apk date: 2020-11-16 20:16:07 categories: - unix tags: 添加标签同理完。参考：https://www.cnblogs.com/hankleo/p/11606224.html

flutter中的websocket概念

Tue, 05 Jan 2021 11:44:00 +0000

目的：实现客户端与服务端的实时通讯，基于TCP协议与keep-alive区别：keep-alive机制会连接一小段时间，最终会断开，ws协议不会断开原理：通过一条特殊的http协议请求进行握手后，服务端支持ws协议，则进行协议升级，利用http创建的tcp连接，实现长连接。步骤分

《flutter实战》电子书

Tue, 05 Jan 2021 11:15:43 +0000

国内第一本开源的电子书，也有实体书，特此记录在线编辑步骤 npm i -g gitbook-cli gitbook install #安装本书构建所要依赖的插件 gitbook serve 来源：https://github.com/flutterchina/flutter-in-action

flutter网络三方库Flutter-Net

Tue, 05 Jan 2021 10:54:40 +0000

在给app的网络请求添加loading过程中，发现一个封装更加完善的网络三方库，里面有很多值得借鉴的细节，特此记录优点：默认自带loading，如果单个请求不想要loading，可以传递参不显示，自己封装的目前全部显示loading 更加友好的控制台json打印封装了公共参数响应拦

flutter中一个好用的三方库loading

Tue, 05 Jan 2021 10:47:15 +0000

地址：https://github.com/kokohuang/flutter_easyloading 用法，添加到materialApp的builder属性中 1 2 3 4 5 6 7 8 9 10 11 12 13 14 class MyApp extends StatelessWidget { // This widget is the root of your application. @override Widget build(BuildContext context) { return MaterialApp( title: 'Flutter EasyLoading', theme: ThemeData( primarySwatch: Colors.blue, ), home: MyHomePage(title: 'Flutter EasyLoading'), builder: EasyLoading.init(), ); } } 接下来在任何地方调

flutter padding组件

Tue, 05 Jan 2021 10:43:56 +0000

如果一个组件没有调整内边距的属性，那么可以在它的外层加一层Padding，达到调整位置的效果，效果等同于放到Container里，比Container更轻量级 1 2 3 4 Padding( padding: EdgeInsets.all(10), child: Text('这是一段测试文字'), )

flutter ListTitle组件

Tue, 05 Jan 2021 10:34:14 +0000

该组件可以用在container和card组件里，默认有大标题和小标题属性，无需再进行text上下排列组合 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Card( margin: EdgeInsets.all(10), child: Column( children: <Widget>[ ListTile( title: Text("张三",style: TextStyle(fontSize: 28)), subtitle: Text("董事长"), ), Divider(), ListTile( title: Text("电

flutter card组件

Tue, 05 Jan 2021 10:27:30 +0000

在开发过程中，Container组件使用多了，会有一些重复的代码，比如矩形边框和圆角，需要额外加decoration,使用card已经默认加上了边框和阴影 1 2 3 4 Card( margin: EdgeInsets.all(10), child: ... )

flutter中radio单选使用

Tue, 05 Jan 2021 10:10:26 +0000

在一个数组容器里放置两个及其以上radio，当radio的group value和自己value相等时，便是选中状态 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 int groupValue = 1; _onChange(value){ if(mounted) setState(() { groupValue = value; }); } Row( mainAxisAlignment: MainAxisAlignment.center, children: <Widget>[ Radio( value: 1, groupValue: groupValue, onChanged: (T) => _onChange(T), ), Radio( value: 2, groupValue: groupValue, onChanged: (T) => _onChange(T), ), Radio( value: 3, groupValue: groupValue, onChanged: (T) => _onChange(T), ), ], ) 参考：h

flutter个别圆角切割

Tue, 05 Jan 2021 10:06:41 +0000

取用圆角类的only属性，左上，右上，左下，右下，此处圆角半径也是一个类 1 2 3 4 BorderRadius.only( topLeft: Radius.circular(8.w), topRight: Radius.circular(8.w), ) 全部圆角则取all 1 2 3 BorderRadius.all( Radius.circular(8.w) )

flutter随机颜色生成

Tue, 05 Jan 2021 10:00:03 +0000

在listview或gridview中，用index去获颜色，挨个取一遍 1 Colors.primaries[index % Colors.primaries.length]

flutter模型生成

Fri, 25 Dec 2020 13:17:10 +0000

首先自己写好模型类模板代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 import 'package:json_annotation/json_annotation.dart'; part 'buy_record_data.g.dart'; ///标志class需要实现json序列化功能 @JsonSerializable() class BuyRecordData { ///属性 List<BuyRecordEntity> entities; /// 构造函数 BuyRecordData(this.entities); /// 这个函数在.g.dart中，命名就是类名+FromJson /// 直接写就行报错也没关系生成.g.dart文件之后就好了 factory BuyRecordData.fromJson(Map<String, dynamic> json) => _$BuyRecordDataFromJson(json); Map<String, dynamic> toJson()

flutter渲染原理要点

Wed, 02 Dec 2020 23:35:58 +0000

渲染过程会生成三棵树 widget树 element树 render object树提高buid效率，在build方法中尽量少做事，层级越简单越好 setState方法尽量下放到底层节点尽量减少重绘区域，使用repaint boundry 减少离屏渲染比如save layer，clip path，减少透明度使用，因为每

dart枚举

Wed, 02 Dec 2020 08:03:53 +0000

1 2 3 4 5 6 7 8 enum MediaType { movie, //0 shortVideo, //1 other, //2 } var videoType = MediaType.values[0]; // videoType == movie 定义枚举和OC差别不大，取值的时候不可以直接和int比较，需要从枚举数组中根据index拿出来，比OC多了一步

flutter组件

Fri, 27 Nov 2020 11:14:54 +0000

sliverList A sliver that places multiple box children in a linear array along the main axis. Each child is forced to have the SliverConstraints.crossAxisExtent in the cross axis but determines its own main axis extent. SliverList determines its scroll offset by “dead reckoning” because children outside the visible part of the sliver are not materialized, which means SliverList cannot learn their main axis extent.Instead,newly materialized children are placed adjacent to existing children.

flutter actionSheet使用方法

Thu, 26 Nov 2020 18:51:55 +0000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 //函数 _showCupertinoActionSheet() async{ var result = await showCupertinoModalPopup( context: context, builder: (context) { return CupertinoActionSheet( title: Text('标题'), message: Text('内容'), actions: <Widget>[ CupertinoActionSheetAction( child: Text( '标题一', style: TextStyle( color: Color(0xFF00C599) ), ), onPressed: () { Navigator.of(context).pop('delete'); }, isDefaultAction: true, ), CupertinoActionSheetAction( child: T

无法打开"xxx",因为无法确认开发者的身份

Wed, 25 Nov 2020 23:55:41 +0000

处理方法加权限,同意任何来源 sudo spctl --master-disable //用完还原 sudo spctl --master-enable 按住command键，鼠标右键菜单选择打开app，出现窗口会出现打开按钮，正常情况下不会出现参考：https://huajiakeji.com/macos/2019-07/2793.html 完。

fijkplayer播放期间屏幕熄灭处理

Wed, 25 Nov 2020 23:49:43 +0000

两种方案 1.借用第三方插件，让当前页面保持常量，别的页面跟随系统 wakelock: ^0.1.4+2 Wakelock.enable(); Wakelock.disable(); 2.调用fijkplayer自身的常量参数二选一 await player.setOption(FijkOption.hostCategory, "request-screen-on", 1); FijkPlugin.keepScreenOn ; 参考：https://www.jianshu.com/p/8750de450850 https://fijkplayer.befovy.com/docs/zh/host-option.html#gsc.tab=0

pubspec.lock坑

Wed, 25 Nov 2020 09:27:09 +0000

昨天以为pubspec.lock文件和cocoapods的profile.lock文件性质一样，可以生成，所以删除，结果遇见了编译报错，即使在执行了 flutter pub get 命令重新生成后，经过一番研究和队友协助，找到是这个问题，把老的恢复回来工程编译正常，下面是报错的关键字 Execution failed for task ':app:processDebugManifest'. > Manifest merger failed : Attribute provider...

flutter启动页

Tue, 24 Nov 2020 14:09:04 +0000

在main.dart文件的materialAPP.home属性返回一个UI，这个UI就是启动页，启动页的scanffold的body，返回一张图片 in main.dart return MaterialApp( home: SplashPage(), ); in SplashPage @override Widget build(BuildContext context) { return Scaffold( body: Container( child: Image.asset( 'assets/images/launch_image.png', fit: BoxFit.fill, width: double.infinity, height: double.infinity, ), ), ); }

flutter工程注意事项

Tue, 24 Nov 2020 11:50:49 +0000

在工程文件夹内，git管理，忽略pubspec.lock文件，运行 flutter pub get /ios文件夹里，忽略Pods文件夹，Podfile.lock文件，*.xcworkspace文件,运行 pod install

enter passphrase for key询问解决

Tue, 24 Nov 2020 11:47:58 +0000

ssh-add ~/.ssh/id_rsa ssh添加id_rsa文件即可

zsh的挽救

Mon, 23 Nov 2020 18:36:03 +0000

今天配置环境变量的时候，因为失误不小心让zsh整个失效了， zsh: command not found:xxx 补救办法，在命令行输入 PATH=/bin:/usr/bin:/usr/local/bin:${PATH} 恢复正常失误的地方在于配置flutter时路径少输入一个$符号，在$HOME/.zshrc文件中 //正确 export PATH="$PATH:[PATH_TO_FLUTTER_GIT_DIRECTORY]/flutter/bin" //错误 export PATH="PATH:[PATH_TO_FLUTTER_GIT_DIRECTORY]/flutter/bin" //注意 PATH_TO_FLUTTER_GIT_DIRECTORY 是需要输入全路径的，/User/xxx/xxx,不是~符号！

LRU cache implementation

Fri, 20 Nov 2020 23:39:09 +0000

LRU cache stand for Least Recently Used Cache,which evict least recently used entry.As Cache purpose is to provide fast and efficient way of retrieving data, it need to meet certain requirement. Some of the Requirement are fixed size:cache need to have some bounds to limit memory usages. Fast Access:Cache Inert and lookup operation should be fast, preferably O(1) time Replacement of Entry in case,Memory Limit is reached:A cache shoule have efficient algorithm to evict when memory is full. In case of LRU cache we evict least recently used entry so we have to keep track of recently used entries, entries which have not been used from long time and which have been used recently, plus lookup and insertion operation should be fast enough . When we think about O(1) lookup, obvious data structure comes in our mind is HashMap.HashMap provide

flutter中list view加一个header view

Fri, 20 Nov 2020 23:24:35 +0000

body: CustomScrollView( slivers: <Widget>[ SliverGrid.count( //具体的配置 ), //列表 SliverFixedExtentList( delegate: SliverChildBuilderDelegate( (context, index) => ConversationListItem( delegate: this, conversation: conList[index] ), childCount: conList.length, ), itemExtent: 100, ), ], ), 解析：大的容器叫做custom scroll view,子控件叫做slivers，是一个数组，在数组里面从上到下排布sliver控件，有sliver grid，有sliver fixed extent list 效果大概长这样

flutter按钮点击事件传给delegate

Thu, 19 Nov 2020 22:43:34 +0000

在ios中，通常用block或者代理去实现，在flutter中，外部实现一个方法，把这个方法传给按钮，按钮内部用callback接受，ontap方法调用即可，实现如下 import 'package:flutter/cupertino.dart'; import 'package:flutter/material.dart'; //定义函数类型 typedef StringValue = void Function(String); class ImageBtn extends StatelessWidget { //作为属性 StringValue callback; ImageBtn({Key key,this.callback}) : super(key: key); @override Widget build(BuildContext context) { return new GestureDetector( onTap: () { print('MyButton was tappedq!'); //调用 this.callback("testString"); }, child: ...

flutter控件从上到下居中排列

Thu, 19 Nov 2020 22:30:23 +0000

Column( children: <Widget>[ Expanded(child: Image.asset('assets/images/$imageName.png') ), Text( this.model.title, style: TextStyle( fontSize: 15, color: Colors.white, ), ), ], ), 注解： column是一个垂直的容器，子控件放在children里面要想让图片居中，需要放在expanded容器里面,官方定义：expanded is a widget that expands a child of a row,column,or flex so that the child fills the available space.

flutter判断页面是否在屏幕上

Thu, 19 Nov 2020 22:18:51 +0000

ModalRoute.of(context).isCurrent 解析：由于页面的组合都是由路由管理的，所以把当前的context传给路由，让路由去判断是否在最顶端，这个路由叫做模态路由

图片引发的思考

Wed, 18 Nov 2020 22:48:43 +0000

在博客中看到这张有趣的图片，自己加了点扩展自动证明了 (a+b)^2 = a^2 + 2ab + b^2 (a-b)^2 = a^2 - 2ab + b^2

flutter tabcontroller监听点击调用两次

Wed, 18 Nov 2020 16:14:48 +0000

原因：点击本身出发一次监听，随之产生的动画效果再次出发监听，如果是滑动，仅触发一次监听解决：看下点击的索引和动画值对不对，过滤掉点击的listen，只显示动画的listen _tabController.addListener(() { if(_tabController.index == _tabController.animation.value){ int index = _tabController.index; print("====================当前点击了$index===

flutter延迟执行方法

Wed, 18 Nov 2020 12:21:12 +0000

延迟加载 //延迟1秒加载 Future.delayed(Duration(seconds: 1), (){ //do sth }); 使用场景：同时执行toast和导航栏页面切换，会导致卡顿，可用延迟其中一个方法，避免同时执行

flutter渐变处理

Wed, 18 Nov 2020 12:20:54 +0000

线性渐变开始位置结束位置开始结束点颜色 LinearGradient( //渐变位置 begin: Alignment.topLeft, //左上 end: Alignment.bottomRight, //右下 stops: [0.0, 1.0], //[渐变起始点, 渐变结束点] //渐变颜色[始点颜色, 结束颜色] colors: [Color.fromRGBO(253, 1, 129, 1), Color.fromRGBO(206, 21, 240, 1)] )

flutter基础知识

Tue, 17 Nov 2020 17:38:24 +0000

基本上由widget组成，widget有stateless和stateful两种，常用的基础widget有 container：矩形元素，可以设置背景边框阴影 row，column：让子控件水平和垂直布局，flex布局原理 stack：可以堆砌widget，用上下左右来定位 text：一

mac android studio flutter 打包 apk

Mon, 16 Nov 2020 20:16:07 +0000

Create a keystore keytool -genkey -v -keystore ~/key.jks -keyalg RSA -keysize 2048 -validity 10000 -alias key /android文件夹下生成属性文件关联秘钥 key.properties storePassword=<password from previous step> keyPassword=<password from previous step> keyAlias=key storeFile=<location of the key store file, such as /Users/<user name>/key.jks> /android/app/build.gradle文件里增加load代码 def keystoreProperties = new Properties() def keystorePropertiesFile = rootProject.file('key.properties') if (keystorePropertiesFile.exists()) { keystoreProperties.load(new FileInputStream(keystorePropertiesFile)) } android { ... } 在buildTypes之前增加签名配置代码 signingConfigs { release { keyAlias keystoreProperties['keyAlias']

寻找下一个数

Sun, 15 Nov 2020 23:03:38 +0000

寻找下一个数字，例如输入345，输出354 思路：从最右边位和上一位对比，如果大，就往前移，移动完，尾数排序，从大到小，保证次大 -代码 //字符串逆序 NSString *reverseStr(NSString *str){ NSMutableString *string=[[NSMutableString alloc] init]; for(int i=0;i<str.length;i++){ [string appendString:[str substringWithRange:NSMakeRange(str.length-1-i, 1)]]; } return string; } //字符串分成数组 NSMutableArray *separateStringToArray(NSString *str){ NSMutableArray *marr = [NSMutableArray array]; for (NSInteger i = 0; i < str.length; i++) { [marr addObject:[str substringWithRange:NSMakeRange(i, 1)]]; } return marr; } NSString *findNextLargerNum(NSString *oriNum){ NSMutableString *finalStr = [NSMutableString string]; NSMutableArray *marr = separateStringToArray(oriNum); for (NSInteger i

字典取值为空崩溃问题

Fri, 13 Nov 2020 10:24:39 +0000

今天后台报错 [_NSPlaceholderData initWithBase64Encoding:]: nil string argument Foundation -[NSData(NSData) base64Encoding] 经过检查问题发生在字典取出值没有判空就传递给方法使用，细节也要注意，养成良好的编码习惯 NSString *urlstr = dic[@"imgBase64"]; NSData *data = [[NSData alloc] initWithBase64Encoding:urlstr]; 正确的代码 id obj = dic[@"imgBase64"]; if (obj && [obj isKindOfClass:[NSString class]]) { NSString *urlstr = (NSString *)obj; NSData *data = [[NSData alloc] initWithBase64Encoding:urlstr]; }

flutter和ffmpeg的资源

Thu, 12 Nov 2020 21:31:18 +0000

咸鱼flutter技术文章集合：https://www.yuque.com/xytech/flutter 关于ffmpeg一位老师的博客：https://blog.csdn.net/leixiaohua1020 b站老师视频相关https://yinwenjie.blog.csdn.

跑flutter工程的坑

Thu, 12 Nov 2020 21:05:29 +0000

下载过来，一定要把pod和workspace删掉重新安装，否则会出现奇奇怪怪的问题，比如目标系统不对应，不适配arm64架构等： The iOS deployment target ‘IPHONEOS_DEPLOYMENT_TARGET’ is set to 8.0 | undefined symbols for architecture arm |

flutter pub get慢

Thu, 12 Nov 2020 19:30:00 +0000

分析：从开发者仓库网站下载依赖比较慢，网络问题解决：更换数据源地址 export PUB_HOSTED_URL=https://pub.flutter-io.cn export FLUTTER_STORAGE_BASE_URL=https://storage.flutter-io.cn 最后翻墙运行参考：https://www.askmaclean.com/archives/flutter-pub-get-slow.html

2020-11安装cocoapods问题

Thu, 12 Nov 2020 18:48:08 +0000

今天安装pods发生无法下载问题， Unable to download data from XXX 切换了镜像源解决查看镜像源 gem sources -l 删除淘宝镜像源 -r remove sudo gem sources -r https://ruby.taobao.org/ 添加新的镜像源 -a add sudo gem sources -a https://rubygems.org 安装 sudo gem install cocoapods 成功 Successfully installed cocoapods-1.10.0 Parsing documentation for cocoapods-1.10.0 Done installing documentation for cocoapods after 2 seconds 参考：https://blog.csdn.net/li_ph/article/details/438

catalina系统的zsh配置

Thu, 12 Nov 2020 18:13:26 +0000

catalina系统默认的终端是zsh，如果没有找到配置文件，需要自己创建 vim ~/.zshrc 保存运行使之生效 source $HOME/.zshrc 看一下是否成功 echo $PATH 参考：https://stackoverflow.com/questions/10574684/where-to-place-path-variable-asser

static-lib

Thu, 12 Nov 2020 12:35:48 +0000

static lib a unit of code linked at compile time,which does not change Dynamic lib a unit of code and/or assets linked at runtime that may change only Apple is allowed to create dynamic libraries for iOS Software Framework a compiled set of code that accomplished a task,hence,you can actually have a static framework or a dynamic framework,which are typically just the compiled versions of the above. source：https://stackoverflow.com/questions/15331056/library-static-dynamic-or-framework-project-inside-another-project

Go规范：Uber Go 语言编码规范

Fri, 06 Nov 2020 21:20:59 +0800

uber-go/guide 的中文翻译 English Uber Go 语言编码规范 Uber 是一家美国硅谷的科技公司，也是 Go 语言的早期 adopter。其开源了很多 golang 项目，诸如被 Gopher 圈熟知的 zap、jaeger 等。2018 年年末 Uber 将内部的 Go 风格规范开源到 GitHub，经过一年的积累和更新，该规范已经初具规模，并受到广大 Gopher 的关注。本文是该规范的

Go实战：Go语言实战笔记

Wed, 04 Nov 2020 21:20:40 +0800

程序员：读书系列推荐书一

Sun, 01 Nov 2020 14:07:47 +0800

语言类 python源码剖析这本书讲解了python2.5版本的cpython实现，大致分为3个部分，分别讲解了python中基本对象python虚拟机和python的runtime的实现和原理。个人感觉这本书可以帮助你理解python执行时候的行为，为什么代码会有这样的表现，比如

Go汇总 2：最优秀的Go博客

Sun, 01 Nov 2020 13:58:20 +0800

Go优秀博客周刊类 Golang weekly Golang Weekly https://golangweekly.com/ https://golangweekly.com/issues/254 Go夜读 Go 每日阅读和 Go 夜读 > Daily Reading Go and Night Reading Go - Go source reading and offline technical or another articles or discussion on every night. https://github.com/developer-learning/reading-go Go 夜读 https://reading.developerlearning.cn/ Go夜读 at Bilibili https://space.bilibili.com/326749661 个人类 Tony Bai Tony Bai 一个程序员的心路历程 https://tonybai.com/ 理解Golang包导入 https://tonybai.com/2015/03/09/understanding-import-packages/ “实际测试结果告诉我们：(1)在使用第三方包的时候，当源码和.a均已安装的情况下，

Go汇总 1：最全面的go语言学习圣地

Sun, 01 Nov 2020 13:57:03 +0800

Go general 怎么学习 Golang？ https://www.zhihu.com/question/23486344 怎么学习 Golang？ - 知乎用户的回答 - 知乎 https://www.zhihu.com/question/23486344/answer/24785991 Project Euler https://projecteuler.net/ 怎么学习 Golang？ - cholerae的回答 - 知乎 https://www.zhihu.com/question/23486344/answer/130837179 The Go Programming Language https://golang.org/doc/ A Tour of Go https://tour.golang.org/welcome/ Go語言聖經（中文版） https://www.gitbook.com/book/wizardforcel/gopl-zh/details https://www.gitbook.com/@wizardforcel 系统学习GO，推荐几本靠谱的书? - 飞雪无情的回答 - 知乎 https://www.zhihu.com/question/30461290/answer/210414739 Go编程语言 https://go-zh.org/doc/ Go指南 https://tour.go-zh.org/welcome/ Go语言圣经 https://www.gitbook.com/book/yar999/gopl-zh/details 然后通

Monorepo：Monorepo 是什么，为什么大家都在用

Sun, 01 Nov 2020 12:53:27 +0800

Monorepo 是什么，为什么大家都在用？ Dan Luu 很早很早就写了篇文章，给大家介绍 monorepo 。在我之前那篇推荐 Buck / Bazel 的文章之后就想讲讲 monorepo，结果一直没来得及写。 Monorepo 的概念要和互联网公司里怎样训练新人上手一起讲。很多公司要花超过半个月的时间才能让新人开始动手干活，并不是内部系统要学的东西很多，只是

Go基础系列：保持模块兼容

Sun, 01 Nov 2020 11:11:00 +0800

随着您添加新功能、更改行为和重新考虑模块公共表面的某些部分，模块将随着时间的推移而演变。如Go 模块：v2 和以后，对 v1+ 模块的中断更改必须作为主要版本颠簸的一部分（或采用新的模块路径）发生。但是，发布新的主要版本对用户来说很难。他们必须找到新版本，学习新的 API，并更改他们的代码。有

Go基础系列：Go模块v2 和 Beyond

Sun, 01 Nov 2020 11:10:05 +0800

随着成功的项目的成熟和新的要求被添加，过去的功能和设计决策可能会停止意义。开发人员可能希望通过删除已弃用函数、重命名类型或将复杂包拆分为可管理部分来整合他们学到的经验教训。这些类型的更改需要下游用户努力将代码迁移到新的 API，因此不应在不考虑收益大于成本的情况下进行这些更改。对于

Go基础系列：发布 Go 模块

Sun, 01 Nov 2020 11:08:22 +0800

请注意：这篇文章涵盖了开发，包括。如果你有兴趣，请参阅去模块：v2和Beyond。v1``````v2 这篇文章在示例中使用了 Gitmercurialbazaar，和其他人也得到支持。项目设置对于此帖子，您需要一个现有项目作为示例。因此，从"使用转到模块"文章末

Go基础系列：迁移转到模块

Sun, 01 Nov 2020 11:05:44 +0800

Go 项目使用各种依赖项管理策略。dep和滑翔等供应商工具很受欢迎，但它们在行为上存在很大差异，而且并不总是很好地协同工作。某些项目将其整个 GOPATH 目录存储在单个 Git 存储库中。其他人只是依赖并期望在 GOPATH 中安装相当新版本的依赖项。go get Go 的模块系统在 Go 1.11 中引入，它提供了命令中内置的官方依赖管理解

Go基础系列：使用 Go 模块

Sun, 01 Nov 2020 11:03:06 +0800

Go 1.11 和 1.12 包括对模块的初步支持，Go 的新依赖项管理系统使依赖关系版本信息明确且更易于管理。本文介绍了开始使用模块所需的基本操作。模块是存储在文件树中的 Go包的集合，其根目录有文件。该文件定义了模块的模块_路径_，这也是用于根目录的导入路径，以及其依赖项_要求_，这是成功生成所需的其

NPM起步：将私有 NPM 包发布到 Nexus

Fri, 30 Oct 2020 18:15:02 +0800

我们都在项目上工作，这让我们有机会构建可重用的组件。大多数时候，这些组件最终出现在项目的文件夹中。然后，此文件夹被复制粘贴到多个项目中，随着时间的推移，这成为更新的噩梦，因为我们不能轻易地拥有多个版本的组件，并且在多个分支上维护相同的代码库，因为版本是解决这个问题的一种棘手解决方

Python基础：Python文件打开

Sun, 25 Oct 2020 20:23:38 +0800

Python文件打开打开服务器上的文件假设我们有以下文件，位于与 Python 相同的文件夹中： test. txt Hello! Welcome to demofile.txt This file is for testing purposes. Good Luck! 若要打开文件，请使用内置函数。open() 函数返回一个文件对象，该对象具有读取文件内容的方法：open()``````read() 例子 f = open("demofile.txt", "r") print(f.read()) 如果文件位于其他位置，则必

Python基础：Python文件操作

Sun, 25 Oct 2020 20:09:11 +0800

Python文件操作文件处理是任何 Web 应用程序的重要组成部分。 Python 具有多个用于创建、读取、更新和删除文件的函数。文件处理使用 Python 中的文件的关键功能是该函数。open() 函数采用两个参数;文件名_和_模式。open() 打开文件有四种不同的方法（模式）： "r"- 读取 - 默认值。打开文件进行读取，如

Python基础：Python字符串格式

Sun, 25 Oct 2020 20:05:49 +0800

Python字符串格式若要确保字符串将像预期的那样显示，我们可以使用方法对结果进行格式设置。format() 字符串格式（）该方法允许您格式化字符串的选定部分。format() 有时，有些文本部分您无法控制，可能它们来自数据库，或者用户输入？若要控制这些值，请添加文本中的占位符（卷曲

Python基础：Python user input 接收

Sun, 25 Oct 2020 20:04:39 +0800

Python user input 接收 user_input Python 允许用户输入。这意味着我们可以向用户请求输入。在 Python 3.6 中，该方法与 Python 2.7 方法略有不同。 Python 3.6 使用该方法。input() Python 2.7 使用该方法。raw_input() 下面的示例要求使用用户名，当您输入用户名时，它会在屏幕上打印出来： Python 3.6 username = input("Enter username:") print("Username is: " + username) Python 2.7 username = raw_input("Enter username:") print("Username is: " + username) Python 在函

Python基础：Python try except

Sun, 25 Oct 2020 20:03:01 +0800

Python try except 该块允许您测试代码块的错误。try 该块允许您处理错误。except 该块允许您执行代码，而不管 try- 和除块的结果如何。finally 异常处理当发生错误或我们称之为异常时，Python 通常会停止并生成错误消息。可以使用语句处理这些异常：try 例子块将生成异常，因为未定义：try``

Python基础：Python pip 包管理器

Sun, 25 Oct 2020 19:49:50 +0800

Python Pip 什么是 PIP？ PIP 是 Python 包的包管理器，或者如果您喜欢，也可以是模块。 **注：**如果您有 Python 版本 3.4 或更晚，则默认情况下包括 PIP。什么是Package？包包含模块所需的所有文件。模块是 Python 代码库，您可以在项目中包含。检查 PIP 是否已安装将命令行导航到 Python 的脚本目录的位置，然后键入以下内容：

Python基础：Python Regx 正则表达式

Sun, 25 Oct 2020 19:47:09 +0800

Python RegEx RegEx 或正则表达式是组成搜索模式的字符序列。 RegEx 可用于检查字符串是否包含指定的搜索模式。正则表达式模块 Python 有一个名为的内置包，可用于使用正则表达式。re 导入模块：re import re Python 中的 RegEx 导入模块后，可以开始使用正则表达式：re 例子搜索字符串以查看其是否以"The"开头，以

Python基础：Python Json

Sun, 25 Oct 2020 19:44:06 +0800

Python Json JSON 是一种用于存储和交换数据的语法。 JSON 是文本，使用 JavaScript 对象表示法编写。 Python 中的 Json Python 有一个名为的内置包，可用于处理 JSON 数据。json 例子导入 json 模块： import json 解析 Json - 从 Json 转换为 Python 如果您有 JSON 字符串，可以使用方法分析它。json.loads() 结果将是Python字典。例子从 JSON 转换为 Python

Python基础：Python数学函数

Sun, 25 Oct 2020 19:41:55 +0800

Python数学函数 Python 有一组内置的数学函数，包括一个广泛的数学模块，允许您对数字执行数学任务。内置数学函数和函数可用于查找可重复值中的最低值或最高值：min()``````max() 例子 x = min(5, 10, 25) y = max(5, 10, 25) print(x) print(y) 函数返回指定数字的绝对（正）值：abs() 例子 x = abs(-7.25) print(x) 函数将 x 的值返回

Python基础：Python日期时间

Sun, 25 Oct 2020 19:39:52 +0800

Python日期时间 Python 日期 Python 中的日期不是它自己的数据类型，但我们可以导入名为的模块，以将日期用作日期对象。datetime 例子导入日期时间模块并显示当前日期： import datetime x = datetime.datetime.now() print(x) 日期输出当我们从上面的示例执行代码时，结果将是： <script>cc = "2018/05/06 09:30:20" var d = new Date(); var m = d.getMonth() + 1; if (m < 10) m = "0" + m var day = d.getDate(); if (day <

Python基础：Python 模块

Sun, 25 Oct 2020 19:38:23 +0800

Python 模块什么是模块？将模块视为与代码库相同。包含要在应用程序中包含的一组函数的文件。创建模块若要创建模块，只需将要保存的代码保存在文件扩展名的文件中：.py 例子将此代码保存在名为mymodule.py def greeting(name): print("Hello, " + name) ## 使用模块 <font _mstmutation="1" _msthash="104507" _msttexthash="172829462

Python基础：Python 作用域

Sun, 25 Oct 2020 19:36:45 +0800

Python 作用域变量仅从创建它的地区内部可用。这称为** 作用域**。本地作用域在函数内创建的变量属于_该函数的_本地作用域，只能在该函数内使用。例子在函数内创建的变量在函数内可用： def myfunc(): x = 300 print(x) myfunc() 函数内函数如上例所述，该变量在函数之外不可用，但它可用于函数内的任何函数：x 例子可以从函数中的

Python基础：Python iterators

Sun, 25 Oct 2020 19:33:42 +0800

Python iterators Python iterators 活动器是包含可计数值数的对象。遍历器是可遍历的对象，这意味着您可以遍历所有值。从技术上讲，在 Python 中，一个数据器是实现引用器协议的对象，它由方法和组成。__iter__()``````__next__() 可移动器与可移动列表、元组、字典和集都是可重复的对象。它们是可重复_的容

Python基础：Python继承

Sun, 25 Oct 2020 19:26:56 +0800

Python继承 Python 继承继承允许我们定义一个类，该类从另一个类继承所有方法和属性。父类是从继承的类，也称为基类。子类是从另一个类继承的类，也称为派生类。创建父类任何类都可以是父类，因此语法与创建任何其他类相同：例子创建名为的类，带和属性，以及方法：Person``````first

Python基础：Python类和对象

Sun, 25 Oct 2020 19:25:18 +0800

Python类和对象 Python 类/对象 Python 是一种面向对象的编程语言。 Python 中的几乎所有内容都是一个对象，其属性和方法。类就像对象构造函数，或用于创建对象的"蓝图"。创建类若要创建类，请使用关键字：class 例子创建名为 MyClass 的类，其属性名为 x： class MyClass: x = 5 创建对象现在，我们可以使

Python基础：Python 阵列

Sun, 25 Oct 2020 19:08:45 +0800

Python 阵列 **注：**Python 没有对数组的内置支持，但可以使用 Python列表。阵列 **注：**本页演示如何使用列表作为 ARRAYS，但是，要使用 Python 中的数组，您必须导入库，如NumPy 库。数组用于在单个变量中存储多个值：例子创建包含车名的数组： cars = ["Ford", "Volvo", "BMW"] 什么是阵列？数组是一个特殊

Python基础：Python 阵列

Sun, 25 Oct 2020 19:08:45 +0800

Python基础：Python Lambda

Sun, 25 Oct 2020 18:56:31 +0800

Python Lambda lambda 函数是一个小的匿名函数。 lambda 函数可以接受任何数量的参数，但只能有一个表达式。语法 lambda arguments : expression 执行表达式并返回结果：例子向参数添加 10，并返回结果：a x = lambda a : a + 10 print(x(5)) Lambda 函数可以具有多数个参数：例子将参数与参数相乘并返回结果：a b x = lambda a, b : a * b print(x(5, 6)) 例子总结参数、和并返回结果：a

Python基础：Python Lambda

Sun, 25 Oct 2020 18:56:31 +0800

Python基础：Python函数

Sun, 25 Oct 2020 18:53:55 +0800

Python函数函数是仅在调用时运行的代码块。您可以将数据（称为参数）传递到函数中。因此，函数可以返回数据。创建函数在 Python 中，函数使用def 关键字定义：例子 def my_function(): print("Hello from a function") 调用函数若要调用函数，请使用函数名称后跟括号：例子 def my_function(): print("Hello from a function") **my_function()** 参数信息可以作为参数传递到函数中。参数在函数名称之

Python基础：Python函数

Sun, 25 Oct 2020 18:53:55 +0800

Python基础：Python for 循环

Sun, 25 Oct 2020 18:51:51 +0800

Python for 循环 Python for 循环 for循环用于在序列（列表、元组、字典、集或字符串）上迭代。这与其他编程语言中的 for关键字不同，它的工作方式更像其他面向对象的编程语言中的一个引用器方法。使用for循环，我们可以执行一组语句，一次用于列表、元组、集等中的每一项。例子在水果列表中打印每个水果： fruits =

Python基础：Python for 循环

Sun, 25 Oct 2020 18:51:51 +0800

Python基础：Python 循环

Sun, 25 Oct 2020 18:50:04 +0800

Python 循环 Python 循环 Python 有两个基元循环命令： while loops for loops while 循环使用while 循环，我们可以执行一组语句，只要条件为 true。例子打印 i 只要 i 小于 6： i = 1 while i < 6: print(i) i += 1 **注意：**请记住增加 i，否则循环将永远继续。 while 循环需要相关变量准备就绪，在此示例中，我们需要定义一个索引变量i，我们将其

Python基础：Python 循环

Sun, 25 Oct 2020 18:50:04 +0800

Python基础：Python If 语句

Sun, 25 Oct 2020 18:48:06 +0800

Python If 语句 Python 条件和 If 语句 Python 支持数学中通常的逻辑条件：等于： a = b 不等于： a ！ = b 小于： < b 小于或等于：<= b 大于：a > b 大于或等于：>= b 这些条件可以通过多种方式使用，最常见的是"if 语句"和循环。使用 if 关键字编写"if语句"。例

Python基础：Python If 语句

Sun, 25 Oct 2020 18:48:06 +0800

Python基础：Python词典

Sun, 25 Oct 2020 17:12:47 +0800

Python词典字典字典是无序、可更改和索引的集合。在 Python 字典中，用大括号编写，它们具有键和值。例子创建和打印字典： thisdict = { "brand": "Ford", "model": "Mustang", "year": 1964 } print(thisdict) 访问项目您可以通过引用字典的键名称（方括号内）来访问字典的项：例子获取"模型"键的值： x = thisdict["model"] 还有一种称为方法，该方法将为您提

Python基础：Python词典

Sun, 25 Oct 2020 17:12:47 +0800

Python基础：Python sets

Sun, 25 Oct 2020 17:10:41 +0800

Python sets 设置 sets是无序和未编制索引的 sets合。在 Python 中， sets用大括号编写。例子创建 sets： thisset = {"apple", "banana", "cherry"} print(thisset) 注： sets是无序的，因此您无法确定项目按什么顺序显示。访问项目不能通过引用索引或键来访问 sets合中的项。但是，您可以使用循环遍历 sets项，或使用关键字询问 sets合中

Python基础：Python sets

Sun, 25 Oct 2020 17:10:41 +0800

Python基础：Python tuples

Sun, 25 Oct 2020 16:31:24 +0800

Python tuples tuples tuples组是有序且不可更改的集合。在 Python tuples对中，用圆形括号书写。例子创建tuples组： thistuple = ("apple", "banana", "cherry") print(thistuple) 访问tuples组项目您可以通过引用方括号内的索引号来访问tuples组项：例子打印tuples组中的第二个项目： thistuple = ("apple", "banana", "cherry") print(thistuple[1]) 负索引负索引表示从末尾开始，指最后一

Python基础：Python tuples

Sun, 25 Oct 2020 16:31:24 +0800

Python基础：Python列表

Sun, 25 Oct 2020 16:28:55 +0800

Python列表 Python 集合（数组） Python 编程语言有四种集合数据类型：列表是一个有序且可更改的集合。允许重复的成员。元组是一个有序且不可更改的集合。允许重复的成员。 Set是无序和未编制索引的集合。没有重复的成员。字典是无序、可更改和索引的集合。没有重复的成员。选择集合类型时，了解该类型的属

Python基础：Python列表

Sun, 25 Oct 2020 16:28:55 +0800

Python基础：Python运算符

Sun, 25 Oct 2020 15:53:03 +0800

Python运算符 Python 运算符运算符用于对变量和值执行操作。 Python 将运算符分为以下组：算术运算符分配运算符比较运算符逻辑运算符标识运算符会员运算符位运算符 Python 算术运算符算术运算符与数值一起使用，以执行常见的数学运算： | Operator | Name | Example | | + | Addition | x + y | | - | Subtraction | x - y | | * | Multiplication | x * y | | / |

Python基础：Python运算符

Sun, 25 Oct 2020 15:53:03 +0800

Python基础：Python 布尔

Sun, 25 Oct 2020 14:44:34 +0800

Python 布尔布尔表示两个值之一：或。True``````False 布尔值在编程中，您经常需要知道表达式是或。True``````False 您可以计算 Python 中的任何表达式，并获取两个答案之一，或。True``````False 比较两个值时，将计算表达式，Python 返回布尔答案：例子 print(10 > 9) print(10

Python基础：Python 布尔

Sun, 25 Oct 2020 14:44:34 +0800

Python基础：Python字符串

Sun, 25 Oct 2020 14:42:57 +0800

Python字符串字符串 python 中的字符串文本由单个引号或双引号包围。 “你好"和’你好’是一样的。您可以使用以下函数显示字符串文本：print() 例子 print("Hello") print('Hello') 将字符串分配给变量将字符串分配给变量使用变量名称后跟一个等号和字符串完成：例子 a = "Hello" print(a)

Python基础：Python字符串

Sun, 25 Oct 2020 14:42:57 +0800

Python基础：Python强转

Sun, 25 Oct 2020 14:39:17 +0800

Python强转指定变量类型有时可能需要为变量指定类型。这可以通过强转完成。Python 是一种面向对象的语言，因此它使用类来定义数据类型，包括其基元类型。因此，使用构造函数在 python 中强制转换： int（） - 从整数文本、浮数字（通过向下舍入到上一个整数）或字符串文本（提供字符串表示整数）

Python基础：Python强转

Sun, 25 Oct 2020 14:39:17 +0800

Python基础：Python Numbers

Sun, 25 Oct 2020 14:36:11 +0800

Python Numbers Python Numbers Python 中有三种数字类型： int float complex 向数值分配值时，将创建数值类型的变量：例子 x = 1 # int y = 2.8 # float z = 1j # complex 若要验证 Python 中任何对象的类型，请使用以下函数：type() 例子 print(type(x)) print(type(y)) print(type(z)) Int int 或整数是长度无限的整数，正数或负数。没有小数。例子整数： x = 1 y = 35656222554887711 z = -3255522 print(type(x)) print(type(y)) print(type(z)) Float 浮动或"浮点

Python基础：Python Numbers

Sun, 25 Oct 2020 14:36:11 +0800

Python基础：Python数据类型

Sun, 25 Oct 2020 14:34:10 +0800

Python基础：Python数据类型

Sun, 25 Oct 2020 14:34:10 +0800

Python基础：Python变量

Sun, 25 Oct 2020 14:32:32 +0800

Python变量创建变量变量是用于存储数据值的容器。与其他编程语言不同，Python 没有声明变量的命令。变量在您首次为其分配值时创建。例子 x = 5 y = "John" print(x) print(y) 变量不需要用任何特定类型声明_，_甚至可以在设置后更改类型。例子 x = 4 # x is of type int x = "Sally" # x is now of type str print(x) 可以使用单引号或双引号

Python基础：Python变量

Sun, 25 Oct 2020 14:32:32 +0800

Python基础：Python注释

Sun, 25 Oct 2020 14:29:22 +0800

Python注释注释可用于解释 Python 代码。注释可用于使代码更具可读性。注释可用于在测试代码时阻止执行。创建注释注释以开头，Python 将忽略它们：# 例子 #This is a comment print("Hello, World!") 注释可以放在行的末尾，Python 将忽略行的其余部分：例子 print("Hello, World!") #This is a comment 注释不必是文本来解释代码，它也可以用来防止 Python 执行代

Python基础：Python注释

Sun, 25 Oct 2020 14:29:22 +0800

Python基础：Python语法

Sun, 25 Oct 2020 14:27:46 +0800

Python语法执行 Python 语法 Python 缩进 Python 变量 Python 注释练习执行 Python 语法正如我们在上一页中学到的，Python 语法可以通过直接在命令行中写入来执行： >>> print("Hello, World!") Hello, World! 或者，在服务器上创建 python 文件，使用 .py 文件扩展名，并在命令行中运行该文件： C:\Users\_Your Name_>python myfile.py Python 缩进缩进是指代码行开头的空格。在其他编程语言中，代码中的缩

Python基础：Python语法

Sun, 25 Oct 2020 14:27:46 +0800

Python基础：Python 入门

Sun, 25 Oct 2020 14:25:39 +0800

Python 入门 Python 安装许多 PC 和 Mac 将安装 python。要检查是否安装了 Python 在 Windows PC 上，请在开始栏中搜索 Python 或在命令行（cmd.exe）上运行以下内容： C:\Users\_Your Name_>python --version 要检查您是否在 Linux 或 Mac 上安装了 python，然后在 linux 上打开命令行或在 Mac 上打开终端并键入： python --version 如果您发现您的计算机上没有安装 python，那么您可

Python基础：Python 入门

Sun, 25 Oct 2020 14:25:39 +0800

Python基础：Python 语法

Sun, 25 Oct 2020 14:02:27 +0800

Python 语法与其他编程语言相比，Python 语法 Python 旨在实现可读性，与受数学影响的英语有一些相似之处。 Python 使用新行来完成命令，而不是经常使用分号或括号的其他编程语言。 Python 依靠缩进，使用空格来定义范围;例如循环、函数和类的范围。其他编程语言通常使用大括号来用于此目的。 Python 缩进在其他编程语言中，代

Python基础：Python 语法

Sun, 25 Oct 2020 14:02:27 +0800

Python基础：什么是 Python

Sun, 25 Oct 2020 13:50:05 +0800

什么是 Python Python 是一种流行的编程语言。它由吉多·范·罗森于1991年创建。 Python 是一种易于学习、功能强大的编程语言。它有高效的高级数据结构，以及一种简单而有效的面向对象的编程方法。Python 优雅的语法和动态类型，加上其解释性，使其成为大多数平台上许多领域脚本编写和快速应用程序开发的理想语

Python基础：什么是 Python

Sun, 25 Oct 2020 13:50:05 +0800

机器学习：交互式机器学习体验

Sun, 25 Oct 2020 13:39:17 +0800

我已经在 GitHub 上🤖了新的交互式机器学习实验项目。虽然模型可能有点笨（记住，这些只是实验，而不是生产就绪的代码），他们会尽力： 🖌识别在浏览器中绘制的数字或草图 📸检测和识别要显示给相机的对象 🌅对上传的图像进行分类 📝一起写一首莎士比亚诗 ✊🖐✌️玩你在摇滚纸剪刀游戏等。我已经训练了_Pyth

JavaScript基础：为初学者学习 JavaScript 中的数据结构

Sun, 25 Oct 2020 13:32:14 +0800

介绍它是 JavaScript 中学习数据结构的注释。我研究了长途跋涉的Github 存储库的源代码表单。对于JavaScript开发人员和初学者来说，这是一个很好的材料来学习数据结构。除了Trekhleb的 Github，我还提到《离开：乌迪米编程和编码采访》和哈克兰克的视频。本课程使用 Java 实现和解释数据

MySql Text 类型大小

Wed, 21 Oct 2020 20:38:39 +0800

MySql Text 类型大小

Wed, 21 Oct 2020 20:38:39 +0800

Java编程：你需要学习多少Java才能找到第一份工作？

Mon, 19 Oct 2020 22:20:45 +0800

潜在的 Java 低年级学生需要了解什么才能获得第一份工作，甚至有资格获得好公司的实习生职位？哪些工具可以帮助Java程序员达到一个新的水平？您应该学习哪些技术，哪些技术最好推迟？这些问题没有标准答案，就像没有一个行动计划绝对适合每个人一样。一些公司正在争取开发，不断引进新技术，测试新版本

高效的DevOps：2021 年要关注的关键 DevOps 原则

Tue, 13 Oct 2020 22:53:56 +0800

2021 年 8个开发原则变革需要创新，创新需要进步。这是经过考验的方法，也是构建成功组织的关键。软件行业一次又一次地受到一波挑战性需求的打击，要求达到市场标准。为了跟上不断变化的趋势，组织开始采用新的流程。其中一种方法就是 DevOps。什么是 DevOps？ DevOps 背后的主要理念是将两个松散连接

高效的DevOps：2021 年要关注的关键 DevOps 原则

Tue, 13 Oct 2020 22:53:56 +0800

高效的DevOps：30 多个开源工具，用于构建 DevOps 安全性。第 1 部分

Tue, 13 Oct 2020 22:50:06 +0800

新的安全工具没有时间成为快速增长的实践集的一部分，这使我想将某个检查点设置为工具列表。实践意味着一组措施可以内置到 SDLC/DevOps 的阶段之一（威胁建模、SAST、DAST、SCA、Docker 图像扫描、Kubernetes 扫描、AWS 审核等）。 1.威胁建模因此，安全开发生命周期环境中的威胁建模

高效的DevOps：30 多个开源工具，用于构建 DevOps 安全性。第 1 部分

Tue, 13 Oct 2020 22:50:06 +0800

高效的DevOps：业务开发操作的三种方式框架方法

Tue, 13 Oct 2020 22:45:38 +0800

在寻求公司以提高 IT 交付服务的敏捷性时，出现了一种名为 DevOps 的 IT 行业趋势。在这里，我们将探讨在 IT 业务中应用树方法框架方法。什么是 DevOps？如前所述，DevOps 是 IT 行业旨在提高 IT 交付服务敏捷性的新趋势。此举强调透明通信、协作以及开发人员软件和 IT 运营之间的集成。 DevOps 认识到开发人员和 IT 操

高效的DevOps：业务开发操作的三种方式框架方法

Tue, 13 Oct 2020 22:45:38 +0800

Golang实践：使用 Go + 第 2 部分创建 RESTful 服务

Tue, 13 Oct 2020 22:35:06 +0800

什么是 RESTful 服务？ REST 是一种用于设计 Web 服务的体系结构方法。REST API 是围绕_资源_设计的，资源是客户端可以访问的任何类型的对象、数据或服务。资源具有标识符_，_它是唯一标识该资源的 URI。例如，特定客户订单的 URI 可能是： https://adventure-works.com/orders/1 客户端通过交换资源表示形式_与服务_交互。许多 Web API 使用 JSON（当

Golang实践：使用 Go+ 第 1 部分创建微服务

Tue, 13 Oct 2020 22:32:37 +0800

来自JavaScript的背景，我一直想学习一种静态类型的编程语言，今年早些时候，我拿起Golang后，阅读了有关语言的评论，Golang得到了谷歌的支持。哦，当然，流行的 Devops 工具，如码头，库伯内特， Terraform，是用Golang建造的。在通过 freecodecamp 从这个令人敬畏的教程中选取基础

Golang实践：Golang的 3 个陷阱

Tue, 13 Oct 2020 22:20:16 +0800

在过去的一年里，我们一直在开发一个复杂的半实时生产系统。我们决定和Golang一起写。我们在 Go 中几乎没有经验，所以正如你想象的那样，这不是一件小事。快进一年：该系统在生产中运行，并成为CllimaCell产品的主要支柱之一。精通意味着你有足够的经验来知道你正在使用的平台的陷阱是什

Golang基础：go语言中的循环

Sun, 11 Oct 2020 21:56:25 +0800

循环允许您重复代码。有不同类型的循环，其中之一是 for 循环。对于Go（golang）中的循环，与 Python 更类似于 C/Java。在 Python 中，语法是 for i in range(1,10): 在 C/Java 中，语法为 for (i = 1; i <= 10; i++) { 但在Golang for i := 1; i <= 10; i++ { 因此，它受到这些语言的启发。 For 循环解释在上面的程序中，它是什么意思？首先变量

Golang实战：细胞吞噬

Sun, 11 Oct 2020 21:50:17 +0800

细胞吞噬游戏是一_个细胞自动_机，但这并没有意味着很多，大多数人。想象一下，一个存在于两种状态的细胞网格：活着或死亡。您看到的"动画"实际上是连续几代呈现在屏幕上。有四个规则可以帮助决定下一代的状态。维基百科这样描述它们。任何只有不到两个活邻居的活细胞死亡，好

开发日常：nginx ip_hash 作用

Sat, 10 Oct 2020 17:41:10 +0000

_nginx_负载均衡策略:ip_hash、url_hash_xqhys的博客-CS… 2018年8月18日上述是一个极简的监听8081端口的的_nginx_服务,其中当请求url 为/Upload/upload时,会走_ip_hash_策略; upstream是_ngi

开发日常：nginx ip_hash 作用

Sat, 10 Oct 2020 17:41:10 +0000

掘金 2020年10月09日技术热点

Fri, 09 Oct 2020 22:05:06 +0000

[原理02] 权限控制 1天内掘金是一个帮助开发者成长的社区,是给开发者用的 Hacker News,给设计师用的 Designer News,和给产品经理用的 Medium。掘金的技术文章由稀土上聚集的技… 面试题 | 链表相交 & 成环 1天内掘金是一个帮助开发者成长的社区,是给开发者用的 Hacker News,给设计师用

掘金 2020年10月09日技术热点

Fri, 09 Oct 2020 22:05:06 +0000

CSDN 2020年10月09日热门技术点

Fri, 09 Oct 2020 22:04:21 +0000

【Docker介绍及简单操作】_追梦的博客-CSDN博客 6小时前一、Docker1、简介Docker 是一个开源的容器引擎,它基于 LXC 容器技术,使用 Go 语言开发源代码托管在 GitHub 上,并遵从 Apache2.0 协议Docker 采用 C/S架构,其… 全球顶级开源大神们现身 COSCon'20-CSDN.NET 11小时前业界最具影响力的

CSDN 2020年10月09日热门技术点

Fri, 09 Oct 2020 22:04:21 +0000

开源中国 2020年10月09日技术要点

Fri, 09 Oct 2020 22:01:48 +0000

QSettings 自定义格式 - OSCHINA 5小时前转自:http://hi.baidu.com/cyclone/blog/item/1bcb5edfed60d20348540320.html 早就注意到 QSettings 提供了自定义配置文件格式的功能,却一直没怎么看… PHP 开源工作流引擎 Tpflow V3.2 正式版发布 - OSCHIN… 1天内 PHP

开源中国 2020年10月09日技术要点

Fri, 09 Oct 2020 22:01:48 +0000

思否 2020年10月09日技术要点

Fri, 09 Oct 2020 22:00:27 +0000

JavaScript计时器:你需要了解的所有内容_疯狂的技术宅… 6小时前作者:Samer Buna翻译:疯狂的技术宅原文:[链接]未经允许严禁转载先从一个面试题开始:JavaScript 面试题:setTimeout 和 setInterval 的源代码是在哪里实现的? (不… 台达P

思否 2020年10月09日技术要点

Fri, 09 Oct 2020 22:00:27 +0000

Java 线程热点文章 2020年10月09日

Fri, 09 Oct 2020 21:58:33 +0000

_Java_多_线程__yucan1234的博客-CSDN博客 11小时前 1.在第二种方法(Runnable)中,ticket输出的顺序并不是54321,这是因为_线程_执行的时机难以预测,ticket–并不是原子操作。 2.在第一种方法中,我们new了3个Thread对&helli

CSS 热点文章：2020年9月第三周

Sun, 20 Sep 2020 20:41:20 +0000

前端之_CSS_篇 - NQ31 - 博客园 1天前 /内部样式/ Title p{ background-color: red; } /外部样式将_css_代码写在单独的文件中,再进行引用/ /行内样式/ hello world… CSS-01入门和语法,选择器。_qq_44715164的博客-CSDN博客 2天前 css_简单介绍_CSS:Cascading Style Sheets:层叠样式