就在双方商谈着如何撤出这渔阳城时，丘力居竟然提出要带走城里的一半粮食，而且还以寒冬来临为借口，不肯退回到辽西去，并希望能在上谷郡和右北平保留他们的族群。
这样的要求顿时就惹来了刘等人的怒骂声，特别是刘手按刀柄地来到丘力居的面前，就说道：“丘力居，你还真以为自己有讲条件的资格吗？别忘了这里可是我大汉的疆土，而且你和你的族人们也在本将军的掌控之中。本将军让你们生则生、让你们死则死，你竟然还想霸着我大汉的疆土不肯走吗？既然是这样，那咱们也没什么好谈的了，等我灭了你们这群人后，再去收回那上谷郡和右北平来。到时候我会送更多的乌桓人来幽冥地府陪你的，而你也可以在地府里继续当你的单于了。”
刘的强硬顿时给丘力居带来了不小的压力，不过这家伙也很聪明，他知道在这里真正做主的人是刘虞，所以他立马就摆出了一副可怜样，并希望能得到刘虞的同情。
而刘虞也一向主张以怀柔的政策来对待当地的游牧民族，所以他很快就与丘力居达成了协议，那就是丘力居率军退回到右北平，而渔阳城里的粮食也可以带走一些。不过等到明年的春暖花开之时，他们必须要全部地退回到辽西郡去，并保证不再有犯境的事情发生。
就在丘力居准备签下这份协议书时，突然一把宝剑隔断了他要签名的地方，而阻止他签名的人正是刘。此时的刘在冷哼了一声，道：“我不同意这样的协议，城里的粮食你们休想带走，还有上谷郡必须回到我大汉朝的手中。至于右北平我可以暂时地借给你们躲过寒冬，但我大汉王军必须驻扎在右北平里，并保证我大汉子民的安全。一旦天气变暖后，你们乌桓人必须全部撤出右北平，到时候我大汉王军会监督你们撤走的事宜的。同时你们掳去的幽州百姓也要全部放回，否则我不介意让你们也变成我汉人的奴隶。”
刘那霸气的话语顿时引来了无数的叫好声，特别是那些百姓更是叫嚷着让乌桓人放回他们的亲人来。看着场面如此的激烈，丘力居不由得又把目光投向了刘虞这一边，同时他还暗示地说道：“这里究竟是谁做主啊，刚才达成的协议难道就这样作废了吗？”
丘力居此话一出，顿时就惹来了刘虞的一身怒气。只见刘虞一拍桌子就冷眼地对刘说道：“刘太守，这里好像并不是你的管辖区域吧，如果你想耍威风尽可以回你的渤海郡去，但这里还用不着你来插手。现在我命令你率军退出我幽州地界，否则咱们就到御前去听候陛下的圣裁吧。”
看着刘虞那一脸怒气冲冲的样子，刘笑了笑，便说道：“刘刺史，咱们现在谈的可是军国大事，而我做为朝廷的前将军有责任保卫我大汉领土的完整以及百姓们的安全，同时做为一名军人这也是我应尽的职责。再说这渔阳城也是我率军攻克下来的，所以我有权参与你们之间的谈判。上谷郡乃是我大汉领土，乌桓人必须无条件地撤出上谷郡。而右北平也是我看在刺史大人的份上，才好心地借给他们躲避寒冬，但右北平始终是我大汉的领土，在那里驻军也是理所当然的事情，难道还需要他们乌桓人的同意吗？”