mirror of
				https://github.com/torvalds/linux.git
				synced 2025-11-04 02:30:34 +02:00 
			
		
		
		
	flow_offload: move tc indirect block to flow offload
move tc indirect block to flow_offload and rename it to flow indirect block.The nf_tables can use the indr block architecture. Signed-off-by: wenxu <wenxu@ucloud.cn> Acked-by: Jakub Kicinski <jakub.kicinski@netronome.com> Signed-off-by: David S. Miller <davem@davemloft.net>
This commit is contained in:
		
							parent
							
								
									e4da910211
								
							
						
					
					
						commit
						4e481908c5
					
				
					 7 changed files with 293 additions and 276 deletions
				
			
		| 
						 | 
					@ -781,9 +781,9 @@ static int mlx5e_rep_indr_register_block(struct mlx5e_rep_priv *rpriv,
 | 
				
			||||||
{
 | 
					{
 | 
				
			||||||
	int err;
 | 
						int err;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	err = __tc_indr_block_cb_register(netdev, rpriv,
 | 
						err = __flow_indr_block_cb_register(netdev, rpriv,
 | 
				
			||||||
					  mlx5e_rep_indr_setup_tc_cb,
 | 
										    mlx5e_rep_indr_setup_tc_cb,
 | 
				
			||||||
					  rpriv);
 | 
										    rpriv);
 | 
				
			||||||
	if (err) {
 | 
						if (err) {
 | 
				
			||||||
		struct mlx5e_priv *priv = netdev_priv(rpriv->netdev);
 | 
							struct mlx5e_priv *priv = netdev_priv(rpriv->netdev);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
| 
						 | 
					@ -796,8 +796,8 @@ static int mlx5e_rep_indr_register_block(struct mlx5e_rep_priv *rpriv,
 | 
				
			||||||
static void mlx5e_rep_indr_unregister_block(struct mlx5e_rep_priv *rpriv,
 | 
					static void mlx5e_rep_indr_unregister_block(struct mlx5e_rep_priv *rpriv,
 | 
				
			||||||
					    struct net_device *netdev)
 | 
										    struct net_device *netdev)
 | 
				
			||||||
{
 | 
					{
 | 
				
			||||||
	__tc_indr_block_cb_unregister(netdev, mlx5e_rep_indr_setup_tc_cb,
 | 
						__flow_indr_block_cb_unregister(netdev, mlx5e_rep_indr_setup_tc_cb,
 | 
				
			||||||
				      rpriv);
 | 
										rpriv);
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
static int mlx5e_nic_rep_netdevice_event(struct notifier_block *nb,
 | 
					static int mlx5e_nic_rep_netdevice_event(struct notifier_block *nb,
 | 
				
			||||||
| 
						 | 
					
 | 
				
			||||||
| 
						 | 
					@ -1649,16 +1649,17 @@ int nfp_flower_reg_indir_block_handler(struct nfp_app *app,
 | 
				
			||||||
		return NOTIFY_OK;
 | 
							return NOTIFY_OK;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	if (event == NETDEV_REGISTER) {
 | 
						if (event == NETDEV_REGISTER) {
 | 
				
			||||||
		err = __tc_indr_block_cb_register(netdev, app,
 | 
							err = __flow_indr_block_cb_register(netdev, app,
 | 
				
			||||||
						  nfp_flower_indr_setup_tc_cb,
 | 
											    nfp_flower_indr_setup_tc_cb,
 | 
				
			||||||
						  app);
 | 
											    app);
 | 
				
			||||||
		if (err)
 | 
							if (err)
 | 
				
			||||||
			nfp_flower_cmsg_warn(app,
 | 
								nfp_flower_cmsg_warn(app,
 | 
				
			||||||
					     "Indirect block reg failed - %s\n",
 | 
										     "Indirect block reg failed - %s\n",
 | 
				
			||||||
					     netdev->name);
 | 
										     netdev->name);
 | 
				
			||||||
	} else if (event == NETDEV_UNREGISTER) {
 | 
						} else if (event == NETDEV_UNREGISTER) {
 | 
				
			||||||
		__tc_indr_block_cb_unregister(netdev,
 | 
							__flow_indr_block_cb_unregister(netdev,
 | 
				
			||||||
					      nfp_flower_indr_setup_tc_cb, app);
 | 
											nfp_flower_indr_setup_tc_cb,
 | 
				
			||||||
 | 
											app);
 | 
				
			||||||
	}
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	return NOTIFY_OK;
 | 
						return NOTIFY_OK;
 | 
				
			||||||
| 
						 | 
					
 | 
				
			||||||
| 
						 | 
					@ -4,6 +4,7 @@
 | 
				
			||||||
#include <linux/kernel.h>
 | 
					#include <linux/kernel.h>
 | 
				
			||||||
#include <linux/list.h>
 | 
					#include <linux/list.h>
 | 
				
			||||||
#include <net/flow_dissector.h>
 | 
					#include <net/flow_dissector.h>
 | 
				
			||||||
 | 
					#include <linux/rhashtable.h>
 | 
				
			||||||
 | 
					
 | 
				
			||||||
struct flow_match {
 | 
					struct flow_match {
 | 
				
			||||||
	struct flow_dissector	*dissector;
 | 
						struct flow_dissector	*dissector;
 | 
				
			||||||
| 
						 | 
					@ -370,4 +371,32 @@ static inline void flow_block_init(struct flow_block *flow_block)
 | 
				
			||||||
	INIT_LIST_HEAD(&flow_block->cb_list);
 | 
						INIT_LIST_HEAD(&flow_block->cb_list);
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					typedef int flow_indr_block_bind_cb_t(struct net_device *dev, void *cb_priv,
 | 
				
			||||||
 | 
									      enum tc_setup_type type, void *type_data);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					typedef void flow_indr_block_ing_cmd_t(struct net_device *dev,
 | 
				
			||||||
 | 
										flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
										void *cb_priv,
 | 
				
			||||||
 | 
										enum flow_block_command command);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					int __flow_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
				
			||||||
 | 
									  flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
									  void *cb_ident);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					void __flow_indr_block_cb_unregister(struct net_device *dev,
 | 
				
			||||||
 | 
									     flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
									     void *cb_ident);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					int flow_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
				
			||||||
 | 
									flow_indr_block_bind_cb_t *cb, void *cb_ident);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					void flow_indr_block_cb_unregister(struct net_device *dev,
 | 
				
			||||||
 | 
									   flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
									   void *cb_ident);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					void flow_indr_block_call(struct net_device *dev,
 | 
				
			||||||
 | 
								  flow_indr_block_ing_cmd_t *cb,
 | 
				
			||||||
 | 
								  struct flow_block_offload *bo,
 | 
				
			||||||
 | 
								  enum flow_block_command command);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
#endif /* _NET_FLOW_OFFLOAD_H */
 | 
					#endif /* _NET_FLOW_OFFLOAD_H */
 | 
				
			||||||
| 
						 | 
					
 | 
				
			||||||
| 
						 | 
					@ -70,15 +70,6 @@ static inline struct Qdisc *tcf_block_q(struct tcf_block *block)
 | 
				
			||||||
	return block->q;
 | 
						return block->q;
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
int __tc_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
					 | 
				
			||||||
				tc_indr_block_bind_cb_t *cb, void *cb_ident);
 | 
					 | 
				
			||||||
int tc_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
					 | 
				
			||||||
			      tc_indr_block_bind_cb_t *cb, void *cb_ident);
 | 
					 | 
				
			||||||
void __tc_indr_block_cb_unregister(struct net_device *dev,
 | 
					 | 
				
			||||||
				   tc_indr_block_bind_cb_t *cb, void *cb_ident);
 | 
					 | 
				
			||||||
void tc_indr_block_cb_unregister(struct net_device *dev,
 | 
					 | 
				
			||||||
				 tc_indr_block_bind_cb_t *cb, void *cb_ident);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
int tcf_classify(struct sk_buff *skb, const struct tcf_proto *tp,
 | 
					int tcf_classify(struct sk_buff *skb, const struct tcf_proto *tp,
 | 
				
			||||||
		 struct tcf_result *res, bool compat_mode);
 | 
							 struct tcf_result *res, bool compat_mode);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
| 
						 | 
					@ -137,32 +128,6 @@ void tc_setup_cb_block_unregister(struct tcf_block *block, flow_setup_cb_t *cb,
 | 
				
			||||||
{
 | 
					{
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
static inline
 | 
					 | 
				
			||||||
int __tc_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
					 | 
				
			||||||
				tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	return 0;
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static inline
 | 
					 | 
				
			||||||
int tc_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
					 | 
				
			||||||
			      tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	return 0;
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static inline
 | 
					 | 
				
			||||||
void __tc_indr_block_cb_unregister(struct net_device *dev,
 | 
					 | 
				
			||||||
				   tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static inline
 | 
					 | 
				
			||||||
void tc_indr_block_cb_unregister(struct net_device *dev,
 | 
					 | 
				
			||||||
				 tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static inline int tcf_classify(struct sk_buff *skb, const struct tcf_proto *tp,
 | 
					static inline int tcf_classify(struct sk_buff *skb, const struct tcf_proto *tp,
 | 
				
			||||||
			       struct tcf_result *res, bool compat_mode)
 | 
								       struct tcf_result *res, bool compat_mode)
 | 
				
			||||||
{
 | 
					{
 | 
				
			||||||
| 
						 | 
					
 | 
				
			||||||
| 
						 | 
					@ -23,9 +23,6 @@ struct tcf_walker;
 | 
				
			||||||
struct module;
 | 
					struct module;
 | 
				
			||||||
struct bpf_flow_keys;
 | 
					struct bpf_flow_keys;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
typedef int tc_indr_block_bind_cb_t(struct net_device *dev, void *cb_priv,
 | 
					 | 
				
			||||||
				    enum tc_setup_type type, void *type_data);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
struct qdisc_rate_table {
 | 
					struct qdisc_rate_table {
 | 
				
			||||||
	struct tc_ratespec rate;
 | 
						struct tc_ratespec rate;
 | 
				
			||||||
	u32		data[256];
 | 
						u32		data[256];
 | 
				
			||||||
| 
						 | 
					
 | 
				
			||||||
| 
						 | 
					@ -2,6 +2,7 @@
 | 
				
			||||||
#include <linux/kernel.h>
 | 
					#include <linux/kernel.h>
 | 
				
			||||||
#include <linux/slab.h>
 | 
					#include <linux/slab.h>
 | 
				
			||||||
#include <net/flow_offload.h>
 | 
					#include <net/flow_offload.h>
 | 
				
			||||||
 | 
					#include <linux/rtnetlink.h>
 | 
				
			||||||
 | 
					
 | 
				
			||||||
struct flow_rule *flow_rule_alloc(unsigned int num_actions)
 | 
					struct flow_rule *flow_rule_alloc(unsigned int num_actions)
 | 
				
			||||||
{
 | 
					{
 | 
				
			||||||
| 
						 | 
					@ -280,3 +281,217 @@ int flow_block_cb_setup_simple(struct flow_block_offload *f,
 | 
				
			||||||
	}
 | 
						}
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
EXPORT_SYMBOL(flow_block_cb_setup_simple);
 | 
					EXPORT_SYMBOL(flow_block_cb_setup_simple);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static struct rhashtable indr_setup_block_ht;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					struct flow_indr_block_cb {
 | 
				
			||||||
 | 
						struct list_head list;
 | 
				
			||||||
 | 
						void *cb_priv;
 | 
				
			||||||
 | 
						flow_indr_block_bind_cb_t *cb;
 | 
				
			||||||
 | 
						void *cb_ident;
 | 
				
			||||||
 | 
					};
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					struct flow_indr_block_dev {
 | 
				
			||||||
 | 
						struct rhash_head ht_node;
 | 
				
			||||||
 | 
						struct net_device *dev;
 | 
				
			||||||
 | 
						unsigned int refcnt;
 | 
				
			||||||
 | 
						flow_indr_block_ing_cmd_t  *block_ing_cmd_cb;
 | 
				
			||||||
 | 
						struct list_head cb_list;
 | 
				
			||||||
 | 
					};
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static const struct rhashtable_params flow_indr_setup_block_ht_params = {
 | 
				
			||||||
 | 
						.key_offset	= offsetof(struct flow_indr_block_dev, dev),
 | 
				
			||||||
 | 
						.head_offset	= offsetof(struct flow_indr_block_dev, ht_node),
 | 
				
			||||||
 | 
						.key_len	= sizeof(struct net_device *),
 | 
				
			||||||
 | 
					};
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static struct flow_indr_block_dev *
 | 
				
			||||||
 | 
					flow_indr_block_dev_lookup(struct net_device *dev)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						return rhashtable_lookup_fast(&indr_setup_block_ht, &dev,
 | 
				
			||||||
 | 
									      flow_indr_setup_block_ht_params);
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static struct flow_indr_block_dev *
 | 
				
			||||||
 | 
					flow_indr_block_dev_get(struct net_device *dev)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						struct flow_indr_block_dev *indr_dev;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_dev = flow_indr_block_dev_lookup(dev);
 | 
				
			||||||
 | 
						if (indr_dev)
 | 
				
			||||||
 | 
							goto inc_ref;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_dev = kzalloc(sizeof(*indr_dev), GFP_KERNEL);
 | 
				
			||||||
 | 
						if (!indr_dev)
 | 
				
			||||||
 | 
							return NULL;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						INIT_LIST_HEAD(&indr_dev->cb_list);
 | 
				
			||||||
 | 
						indr_dev->dev = dev;
 | 
				
			||||||
 | 
						if (rhashtable_insert_fast(&indr_setup_block_ht, &indr_dev->ht_node,
 | 
				
			||||||
 | 
									   flow_indr_setup_block_ht_params)) {
 | 
				
			||||||
 | 
							kfree(indr_dev);
 | 
				
			||||||
 | 
							return NULL;
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					inc_ref:
 | 
				
			||||||
 | 
						indr_dev->refcnt++;
 | 
				
			||||||
 | 
						return indr_dev;
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static void flow_indr_block_dev_put(struct flow_indr_block_dev *indr_dev)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						if (--indr_dev->refcnt)
 | 
				
			||||||
 | 
							return;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						rhashtable_remove_fast(&indr_setup_block_ht, &indr_dev->ht_node,
 | 
				
			||||||
 | 
								       flow_indr_setup_block_ht_params);
 | 
				
			||||||
 | 
						kfree(indr_dev);
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static struct flow_indr_block_cb *
 | 
				
			||||||
 | 
					flow_indr_block_cb_lookup(struct flow_indr_block_dev *indr_dev,
 | 
				
			||||||
 | 
								  flow_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						struct flow_indr_block_cb *indr_block_cb;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						list_for_each_entry(indr_block_cb, &indr_dev->cb_list, list)
 | 
				
			||||||
 | 
							if (indr_block_cb->cb == cb &&
 | 
				
			||||||
 | 
							    indr_block_cb->cb_ident == cb_ident)
 | 
				
			||||||
 | 
								return indr_block_cb;
 | 
				
			||||||
 | 
						return NULL;
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static struct flow_indr_block_cb *
 | 
				
			||||||
 | 
					flow_indr_block_cb_add(struct flow_indr_block_dev *indr_dev, void *cb_priv,
 | 
				
			||||||
 | 
							       flow_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						struct flow_indr_block_cb *indr_block_cb;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_block_cb = flow_indr_block_cb_lookup(indr_dev, cb, cb_ident);
 | 
				
			||||||
 | 
						if (indr_block_cb)
 | 
				
			||||||
 | 
							return ERR_PTR(-EEXIST);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_block_cb = kzalloc(sizeof(*indr_block_cb), GFP_KERNEL);
 | 
				
			||||||
 | 
						if (!indr_block_cb)
 | 
				
			||||||
 | 
							return ERR_PTR(-ENOMEM);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_block_cb->cb_priv = cb_priv;
 | 
				
			||||||
 | 
						indr_block_cb->cb = cb;
 | 
				
			||||||
 | 
						indr_block_cb->cb_ident = cb_ident;
 | 
				
			||||||
 | 
						list_add(&indr_block_cb->list, &indr_dev->cb_list);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						return indr_block_cb;
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static void flow_indr_block_cb_del(struct flow_indr_block_cb *indr_block_cb)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						list_del(&indr_block_cb->list);
 | 
				
			||||||
 | 
						kfree(indr_block_cb);
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					int __flow_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
				
			||||||
 | 
									  flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
									  void *cb_ident)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						struct flow_indr_block_cb *indr_block_cb;
 | 
				
			||||||
 | 
						struct flow_indr_block_dev *indr_dev;
 | 
				
			||||||
 | 
						int err;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_dev = flow_indr_block_dev_get(dev);
 | 
				
			||||||
 | 
						if (!indr_dev)
 | 
				
			||||||
 | 
							return -ENOMEM;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_block_cb = flow_indr_block_cb_add(indr_dev, cb_priv, cb, cb_ident);
 | 
				
			||||||
 | 
						err = PTR_ERR_OR_ZERO(indr_block_cb);
 | 
				
			||||||
 | 
						if (err)
 | 
				
			||||||
 | 
							goto err_dev_put;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if (indr_dev->block_ing_cmd_cb)
 | 
				
			||||||
 | 
							indr_dev->block_ing_cmd_cb(dev, indr_block_cb->cb,
 | 
				
			||||||
 | 
										   indr_block_cb->cb_priv,
 | 
				
			||||||
 | 
										   FLOW_BLOCK_BIND);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						return 0;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					err_dev_put:
 | 
				
			||||||
 | 
						flow_indr_block_dev_put(indr_dev);
 | 
				
			||||||
 | 
						return err;
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					EXPORT_SYMBOL_GPL(__flow_indr_block_cb_register);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					int flow_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
				
			||||||
 | 
									flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
									void *cb_ident)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						int err;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						rtnl_lock();
 | 
				
			||||||
 | 
						err = __flow_indr_block_cb_register(dev, cb_priv, cb, cb_ident);
 | 
				
			||||||
 | 
						rtnl_unlock();
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						return err;
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					EXPORT_SYMBOL_GPL(flow_indr_block_cb_register);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					void __flow_indr_block_cb_unregister(struct net_device *dev,
 | 
				
			||||||
 | 
									     flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
									     void *cb_ident)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						struct flow_indr_block_cb *indr_block_cb;
 | 
				
			||||||
 | 
						struct flow_indr_block_dev *indr_dev;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_dev = flow_indr_block_dev_lookup(dev);
 | 
				
			||||||
 | 
						if (!indr_dev)
 | 
				
			||||||
 | 
							return;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_block_cb = flow_indr_block_cb_lookup(indr_dev, cb, cb_ident);
 | 
				
			||||||
 | 
						if (!indr_block_cb)
 | 
				
			||||||
 | 
							return;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if (indr_dev->block_ing_cmd_cb)
 | 
				
			||||||
 | 
							indr_dev->block_ing_cmd_cb(dev, indr_block_cb->cb,
 | 
				
			||||||
 | 
										   indr_block_cb->cb_priv,
 | 
				
			||||||
 | 
										   FLOW_BLOCK_UNBIND);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						flow_indr_block_cb_del(indr_block_cb);
 | 
				
			||||||
 | 
						flow_indr_block_dev_put(indr_dev);
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					EXPORT_SYMBOL_GPL(__flow_indr_block_cb_unregister);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					void flow_indr_block_cb_unregister(struct net_device *dev,
 | 
				
			||||||
 | 
									   flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
									   void *cb_ident)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						rtnl_lock();
 | 
				
			||||||
 | 
						__flow_indr_block_cb_unregister(dev, cb, cb_ident);
 | 
				
			||||||
 | 
						rtnl_unlock();
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					EXPORT_SYMBOL_GPL(flow_indr_block_cb_unregister);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					void flow_indr_block_call(struct net_device *dev,
 | 
				
			||||||
 | 
								  flow_indr_block_ing_cmd_t cb,
 | 
				
			||||||
 | 
								  struct flow_block_offload *bo,
 | 
				
			||||||
 | 
								  enum flow_block_command command)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						struct flow_indr_block_cb *indr_block_cb;
 | 
				
			||||||
 | 
						struct flow_indr_block_dev *indr_dev;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_dev = flow_indr_block_dev_lookup(dev);
 | 
				
			||||||
 | 
						if (!indr_dev)
 | 
				
			||||||
 | 
							return;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						indr_dev->block_ing_cmd_cb = command == FLOW_BLOCK_BIND
 | 
				
			||||||
 | 
									     ? cb : NULL;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						list_for_each_entry(indr_block_cb, &indr_dev->cb_list, list)
 | 
				
			||||||
 | 
							indr_block_cb->cb(dev, indr_block_cb->cb_priv, TC_SETUP_BLOCK,
 | 
				
			||||||
 | 
									  bo);
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					EXPORT_SYMBOL_GPL(flow_indr_block_call);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static int __init init_flow_indr_rhashtable(void)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						return rhashtable_init(&indr_setup_block_ht,
 | 
				
			||||||
 | 
								       &flow_indr_setup_block_ht_params);
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					subsys_initcall(init_flow_indr_rhashtable);
 | 
				
			||||||
| 
						 | 
					
 | 
				
			||||||
| 
						 | 
					@ -37,6 +37,7 @@
 | 
				
			||||||
#include <net/tc_act/tc_skbedit.h>
 | 
					#include <net/tc_act/tc_skbedit.h>
 | 
				
			||||||
#include <net/tc_act/tc_ct.h>
 | 
					#include <net/tc_act/tc_ct.h>
 | 
				
			||||||
#include <net/tc_act/tc_mpls.h>
 | 
					#include <net/tc_act/tc_mpls.h>
 | 
				
			||||||
 | 
					#include <net/flow_offload.h>
 | 
				
			||||||
 | 
					
 | 
				
			||||||
extern const struct nla_policy rtm_tca_policy[TCA_MAX + 1];
 | 
					extern const struct nla_policy rtm_tca_policy[TCA_MAX + 1];
 | 
				
			||||||
 | 
					
 | 
				
			||||||
| 
						 | 
					@ -545,6 +546,33 @@ static void tcf_chain_flush(struct tcf_chain *chain, bool rtnl_held)
 | 
				
			||||||
	}
 | 
						}
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static int tcf_block_setup(struct tcf_block *block,
 | 
				
			||||||
 | 
								   struct flow_block_offload *bo);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					static void tc_indr_block_ing_cmd(struct net_device *dev,
 | 
				
			||||||
 | 
									  struct tcf_block *block,
 | 
				
			||||||
 | 
									  flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
 | 
									  void *cb_priv,
 | 
				
			||||||
 | 
									  enum flow_block_command command)
 | 
				
			||||||
 | 
					{
 | 
				
			||||||
 | 
						struct flow_block_offload bo = {
 | 
				
			||||||
 | 
							.command	= command,
 | 
				
			||||||
 | 
							.binder_type	= FLOW_BLOCK_BINDER_TYPE_CLSACT_INGRESS,
 | 
				
			||||||
 | 
							.net		= dev_net(dev),
 | 
				
			||||||
 | 
							.block_shared	= tcf_block_non_null_shared(block),
 | 
				
			||||||
 | 
						};
 | 
				
			||||||
 | 
						INIT_LIST_HEAD(&bo.cb_list);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if (!block)
 | 
				
			||||||
 | 
							return;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						bo.block = &block->flow_block;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						cb(dev, cb_priv, TC_SETUP_BLOCK, &bo);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						tcf_block_setup(block, &bo);
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
static struct tcf_block *tc_dev_ingress_block(struct net_device *dev)
 | 
					static struct tcf_block *tc_dev_ingress_block(struct net_device *dev)
 | 
				
			||||||
{
 | 
					{
 | 
				
			||||||
	const struct Qdisc_class_ops *cops;
 | 
						const struct Qdisc_class_ops *cops;
 | 
				
			||||||
| 
						 | 
					@ -567,229 +595,18 @@ static struct tcf_block *tc_dev_ingress_block(struct net_device *dev)
 | 
				
			||||||
	return cops->tcf_block(qdisc, TC_H_MIN_INGRESS, NULL);
 | 
						return cops->tcf_block(qdisc, TC_H_MIN_INGRESS, NULL);
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
static struct rhashtable indr_setup_block_ht;
 | 
					static void tc_indr_block_get_and_ing_cmd(struct net_device *dev,
 | 
				
			||||||
 | 
										  flow_indr_block_bind_cb_t *cb,
 | 
				
			||||||
struct tc_indr_block_dev {
 | 
										  void *cb_priv,
 | 
				
			||||||
	struct rhash_head ht_node;
 | 
										  enum flow_block_command command)
 | 
				
			||||||
	struct net_device *dev;
 | 
					 | 
				
			||||||
	unsigned int refcnt;
 | 
					 | 
				
			||||||
	struct list_head cb_list;
 | 
					 | 
				
			||||||
};
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
struct tc_indr_block_cb {
 | 
					 | 
				
			||||||
	struct list_head list;
 | 
					 | 
				
			||||||
	void *cb_priv;
 | 
					 | 
				
			||||||
	tc_indr_block_bind_cb_t *cb;
 | 
					 | 
				
			||||||
	void *cb_ident;
 | 
					 | 
				
			||||||
};
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static const struct rhashtable_params tc_indr_setup_block_ht_params = {
 | 
					 | 
				
			||||||
	.key_offset	= offsetof(struct tc_indr_block_dev, dev),
 | 
					 | 
				
			||||||
	.head_offset	= offsetof(struct tc_indr_block_dev, ht_node),
 | 
					 | 
				
			||||||
	.key_len	= sizeof(struct net_device *),
 | 
					 | 
				
			||||||
};
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static struct tc_indr_block_dev *
 | 
					 | 
				
			||||||
tc_indr_block_dev_lookup(struct net_device *dev)
 | 
					 | 
				
			||||||
{
 | 
					{
 | 
				
			||||||
	return rhashtable_lookup_fast(&indr_setup_block_ht, &dev,
 | 
						struct tcf_block *block = tc_dev_ingress_block(dev);
 | 
				
			||||||
				      tc_indr_setup_block_ht_params);
 | 
					
 | 
				
			||||||
 | 
						tc_indr_block_ing_cmd(dev, block, cb, cb_priv, command);
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
static struct tc_indr_block_dev *tc_indr_block_dev_get(struct net_device *dev)
 | 
					static void tc_indr_block_call(struct tcf_block *block,
 | 
				
			||||||
{
 | 
								       struct net_device *dev,
 | 
				
			||||||
	struct tc_indr_block_dev *indr_dev;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_dev = tc_indr_block_dev_lookup(dev);
 | 
					 | 
				
			||||||
	if (indr_dev)
 | 
					 | 
				
			||||||
		goto inc_ref;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_dev = kzalloc(sizeof(*indr_dev), GFP_KERNEL);
 | 
					 | 
				
			||||||
	if (!indr_dev)
 | 
					 | 
				
			||||||
		return NULL;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	INIT_LIST_HEAD(&indr_dev->cb_list);
 | 
					 | 
				
			||||||
	indr_dev->dev = dev;
 | 
					 | 
				
			||||||
	if (rhashtable_insert_fast(&indr_setup_block_ht, &indr_dev->ht_node,
 | 
					 | 
				
			||||||
				   tc_indr_setup_block_ht_params)) {
 | 
					 | 
				
			||||||
		kfree(indr_dev);
 | 
					 | 
				
			||||||
		return NULL;
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
inc_ref:
 | 
					 | 
				
			||||||
	indr_dev->refcnt++;
 | 
					 | 
				
			||||||
	return indr_dev;
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static void tc_indr_block_dev_put(struct tc_indr_block_dev *indr_dev)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	if (--indr_dev->refcnt)
 | 
					 | 
				
			||||||
		return;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	rhashtable_remove_fast(&indr_setup_block_ht, &indr_dev->ht_node,
 | 
					 | 
				
			||||||
			       tc_indr_setup_block_ht_params);
 | 
					 | 
				
			||||||
	kfree(indr_dev);
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static struct tc_indr_block_cb *
 | 
					 | 
				
			||||||
tc_indr_block_cb_lookup(struct tc_indr_block_dev *indr_dev,
 | 
					 | 
				
			||||||
			tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	struct tc_indr_block_cb *indr_block_cb;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	list_for_each_entry(indr_block_cb, &indr_dev->cb_list, list)
 | 
					 | 
				
			||||||
		if (indr_block_cb->cb == cb &&
 | 
					 | 
				
			||||||
		    indr_block_cb->cb_ident == cb_ident)
 | 
					 | 
				
			||||||
			return indr_block_cb;
 | 
					 | 
				
			||||||
	return NULL;
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static struct tc_indr_block_cb *
 | 
					 | 
				
			||||||
tc_indr_block_cb_add(struct tc_indr_block_dev *indr_dev, void *cb_priv,
 | 
					 | 
				
			||||||
		     tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	struct tc_indr_block_cb *indr_block_cb;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_block_cb = tc_indr_block_cb_lookup(indr_dev, cb, cb_ident);
 | 
					 | 
				
			||||||
	if (indr_block_cb)
 | 
					 | 
				
			||||||
		return ERR_PTR(-EEXIST);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_block_cb = kzalloc(sizeof(*indr_block_cb), GFP_KERNEL);
 | 
					 | 
				
			||||||
	if (!indr_block_cb)
 | 
					 | 
				
			||||||
		return ERR_PTR(-ENOMEM);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_block_cb->cb_priv = cb_priv;
 | 
					 | 
				
			||||||
	indr_block_cb->cb = cb;
 | 
					 | 
				
			||||||
	indr_block_cb->cb_ident = cb_ident;
 | 
					 | 
				
			||||||
	list_add(&indr_block_cb->list, &indr_dev->cb_list);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	return indr_block_cb;
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static void tc_indr_block_cb_del(struct tc_indr_block_cb *indr_block_cb)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	list_del(&indr_block_cb->list);
 | 
					 | 
				
			||||||
	kfree(indr_block_cb);
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static int tcf_block_setup(struct tcf_block *block,
 | 
					 | 
				
			||||||
			   struct flow_block_offload *bo);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static void tc_indr_block_ing_cmd(struct net_device *dev,
 | 
					 | 
				
			||||||
				  struct tcf_block *block,
 | 
					 | 
				
			||||||
				  tc_indr_block_bind_cb_t *cb,
 | 
					 | 
				
			||||||
				  void *cb_priv,
 | 
					 | 
				
			||||||
				  enum flow_block_command command)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	struct flow_block_offload bo = {
 | 
					 | 
				
			||||||
		.command	= command,
 | 
					 | 
				
			||||||
		.binder_type	= FLOW_BLOCK_BINDER_TYPE_CLSACT_INGRESS,
 | 
					 | 
				
			||||||
		.net		= dev_net(dev),
 | 
					 | 
				
			||||||
		.block_shared	= tcf_block_non_null_shared(block),
 | 
					 | 
				
			||||||
	};
 | 
					 | 
				
			||||||
	INIT_LIST_HEAD(&bo.cb_list);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if (!block)
 | 
					 | 
				
			||||||
		return;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	bo.block = &block->flow_block;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	cb(dev, cb_priv, TC_SETUP_BLOCK, &bo);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	tcf_block_setup(block, &bo);
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
int __tc_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
					 | 
				
			||||||
				tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	struct tc_indr_block_cb *indr_block_cb;
 | 
					 | 
				
			||||||
	struct tc_indr_block_dev *indr_dev;
 | 
					 | 
				
			||||||
	struct tcf_block *block;
 | 
					 | 
				
			||||||
	int err;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_dev = tc_indr_block_dev_get(dev);
 | 
					 | 
				
			||||||
	if (!indr_dev)
 | 
					 | 
				
			||||||
		return -ENOMEM;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_block_cb = tc_indr_block_cb_add(indr_dev, cb_priv, cb, cb_ident);
 | 
					 | 
				
			||||||
	err = PTR_ERR_OR_ZERO(indr_block_cb);
 | 
					 | 
				
			||||||
	if (err)
 | 
					 | 
				
			||||||
		goto err_dev_put;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	block = tc_dev_ingress_block(dev);
 | 
					 | 
				
			||||||
	tc_indr_block_ing_cmd(dev, block, indr_block_cb->cb,
 | 
					 | 
				
			||||||
			      indr_block_cb->cb_priv, FLOW_BLOCK_BIND);
 | 
					 | 
				
			||||||
	return 0;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
err_dev_put:
 | 
					 | 
				
			||||||
	tc_indr_block_dev_put(indr_dev);
 | 
					 | 
				
			||||||
	return err;
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
EXPORT_SYMBOL_GPL(__tc_indr_block_cb_register);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
int tc_indr_block_cb_register(struct net_device *dev, void *cb_priv,
 | 
					 | 
				
			||||||
			      tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	int err;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	rtnl_lock();
 | 
					 | 
				
			||||||
	err = __tc_indr_block_cb_register(dev, cb_priv, cb, cb_ident);
 | 
					 | 
				
			||||||
	rtnl_unlock();
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	return err;
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
EXPORT_SYMBOL_GPL(tc_indr_block_cb_register);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
void __tc_indr_block_cb_unregister(struct net_device *dev,
 | 
					 | 
				
			||||||
				   tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	struct tc_indr_block_cb *indr_block_cb;
 | 
					 | 
				
			||||||
	struct tc_indr_block_dev *indr_dev;
 | 
					 | 
				
			||||||
	struct tcf_block *block;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_dev = tc_indr_block_dev_lookup(dev);
 | 
					 | 
				
			||||||
	if (!indr_dev)
 | 
					 | 
				
			||||||
		return;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_block_cb = tc_indr_block_cb_lookup(indr_dev, cb, cb_ident);
 | 
					 | 
				
			||||||
	if (!indr_block_cb)
 | 
					 | 
				
			||||||
		return;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	/* Send unbind message if required to free any block cbs. */
 | 
					 | 
				
			||||||
	block = tc_dev_ingress_block(dev);
 | 
					 | 
				
			||||||
	tc_indr_block_ing_cmd(dev, block, indr_block_cb->cb,
 | 
					 | 
				
			||||||
			      indr_block_cb->cb_priv, FLOW_BLOCK_UNBIND);
 | 
					 | 
				
			||||||
	tc_indr_block_cb_del(indr_block_cb);
 | 
					 | 
				
			||||||
	tc_indr_block_dev_put(indr_dev);
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
EXPORT_SYMBOL_GPL(__tc_indr_block_cb_unregister);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
void tc_indr_block_cb_unregister(struct net_device *dev,
 | 
					 | 
				
			||||||
				 tc_indr_block_bind_cb_t *cb, void *cb_ident)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	rtnl_lock();
 | 
					 | 
				
			||||||
	__tc_indr_block_cb_unregister(dev, cb, cb_ident);
 | 
					 | 
				
			||||||
	rtnl_unlock();
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
EXPORT_SYMBOL_GPL(tc_indr_block_cb_unregister);
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static void flow_indr_block_call(struct net_device *dev,
 | 
					 | 
				
			||||||
				 struct flow_block_offload *bo,
 | 
					 | 
				
			||||||
				 enum flow_block_command command)
 | 
					 | 
				
			||||||
{
 | 
					 | 
				
			||||||
	struct tc_indr_block_cb *indr_block_cb;
 | 
					 | 
				
			||||||
	struct tc_indr_block_dev *indr_dev;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	indr_dev = tc_indr_block_dev_lookup(dev);
 | 
					 | 
				
			||||||
	if (!indr_dev)
 | 
					 | 
				
			||||||
		return;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	list_for_each_entry(indr_block_cb, &indr_dev->cb_list, list)
 | 
					 | 
				
			||||||
		indr_block_cb->cb(dev, indr_block_cb->cb_priv, TC_SETUP_BLOCK,
 | 
					 | 
				
			||||||
				  bo);
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
static void tc_indr_block_call(struct tcf_block *block, struct net_device *dev,
 | 
					 | 
				
			||||||
			       struct tcf_block_ext_info *ei,
 | 
								       struct tcf_block_ext_info *ei,
 | 
				
			||||||
			       enum flow_block_command command,
 | 
								       enum flow_block_command command,
 | 
				
			||||||
			       struct netlink_ext_ack *extack)
 | 
								       struct netlink_ext_ack *extack)
 | 
				
			||||||
| 
						 | 
					@ -804,7 +621,7 @@ static void tc_indr_block_call(struct tcf_block *block, struct net_device *dev,
 | 
				
			||||||
	};
 | 
						};
 | 
				
			||||||
	INIT_LIST_HEAD(&bo.cb_list);
 | 
						INIT_LIST_HEAD(&bo.cb_list);
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	flow_indr_block_call(dev, &bo, command);
 | 
						flow_indr_block_call(dev, tc_indr_block_get_and_ing_cmd, &bo, command);
 | 
				
			||||||
	tcf_block_setup(block, &bo);
 | 
						tcf_block_setup(block, &bo);
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
| 
						 | 
					@ -3378,11 +3195,6 @@ static int __init tc_filter_init(void)
 | 
				
			||||||
	if (err)
 | 
						if (err)
 | 
				
			||||||
		goto err_register_pernet_subsys;
 | 
							goto err_register_pernet_subsys;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	err = rhashtable_init(&indr_setup_block_ht,
 | 
					 | 
				
			||||||
			      &tc_indr_setup_block_ht_params);
 | 
					 | 
				
			||||||
	if (err)
 | 
					 | 
				
			||||||
		goto err_rhash_setup_block_ht;
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	rtnl_register(PF_UNSPEC, RTM_NEWTFILTER, tc_new_tfilter, NULL,
 | 
						rtnl_register(PF_UNSPEC, RTM_NEWTFILTER, tc_new_tfilter, NULL,
 | 
				
			||||||
		      RTNL_FLAG_DOIT_UNLOCKED);
 | 
							      RTNL_FLAG_DOIT_UNLOCKED);
 | 
				
			||||||
	rtnl_register(PF_UNSPEC, RTM_DELTFILTER, tc_del_tfilter, NULL,
 | 
						rtnl_register(PF_UNSPEC, RTM_DELTFILTER, tc_del_tfilter, NULL,
 | 
				
			||||||
| 
						 | 
					@ -3396,8 +3208,6 @@ static int __init tc_filter_init(void)
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	return 0;
 | 
						return 0;
 | 
				
			||||||
 | 
					
 | 
				
			||||||
err_rhash_setup_block_ht:
 | 
					 | 
				
			||||||
	unregister_pernet_subsys(&tcf_net_ops);
 | 
					 | 
				
			||||||
err_register_pernet_subsys:
 | 
					err_register_pernet_subsys:
 | 
				
			||||||
	destroy_workqueue(tc_filter_wq);
 | 
						destroy_workqueue(tc_filter_wq);
 | 
				
			||||||
	return err;
 | 
						return err;
 | 
				
			||||||
| 
						 | 
					
 | 
				
			||||||
		Loading…
	
		Reference in a new issue